ベンチマーク

AI

LangChain vs ベタ書き:Function Call実装の徹底比較

はじめに LangChainでfunction callを実装した。前にfunction callをフレームワークなしで実装した結果と比べてみる。 Function Call機能を実装する際、開発者は「フレームワークを使うか、直接APIを叩...
AI

OllamaとLangChainでFunction Call機能を実装してみた

はじめに LLMのFunctionCallを使用して遊んでいたが、LangChainを使用すると楽に実装ができそうだったので実装してみる。 Function Call機能とは Function Call(関数呼び出し)機能は、LLMが適切な...
AMD

NPU(XDNA)をプログラムしてみる Data移動とベクトル演算編

前回で環境構築が終わったので、NPU(XDNA)をプログラムしてみるシリーズ第2回です。NPU(XDNA)を使ったプログラムの基本的な流れは、パイソンでXDNAの設計を行い、makefileでコンパイルし、Test実行する流れです。 1. ...
AI

【RyzenAI】DeepSeekを動作させてみた LM Studioを使った環境構築と検証結果RyzenAIでDeepseekを動かす

「RyzenAIでDeepSeekを動作させる方法を解説!AMDの最新ドライバーを導入し、LM Studioをセットアップする手順を詳しく紹介。APU環境での実行結果もレポート。」
AI

AMDのNPU(RyzenAI XDNA)でLLM(Llama-3.1-8B-Instruct)を使ってみる

前回はfacebook/opt-125mを使用していたが、Llama-3.1-8B-InstructをNPPで動作できるように量子化したllama3.1-8b-Instruct-amd-npuがあったので動かしてみる。 環境設定はfaceb...
AI

RyzenAIのNPUでLLMベンチマークを取得する方法と結果

NPUのRyzenAIでLLMのベンチマークが取れたのでその記録をする。 前提 RyzenAIの開発環境はすでに整っている前提で進める。 リンクのReadmeがあるので参考にする。 Anacondaの環境作成 Anacondaプロンプトで以...