AI AMDのNPU(RyzenAI XDNA)でLLM(Llama-3.1-8B-Instruct)を使ってみる
前回はfacebook/opt-125mを使用していたが、Llama-3.1-8B-InstructをNPPで動作できるように量子化したllama3.1-8b-Instruct-amd-npuがあったので動かしてみる。 環境設定はfaceb...
FPGA
AI 
AI RyzenAIのNPUでLLMベンチマークを取得する方法と結果
NPUのRyzenAIでLLMのベンチマークが取れたのでその記録をする。 前提 RyzenAIの開発環境はすでに整っている前提で進める。 リンクのReadmeがあるので参考にする。 Anacondaの環境作成 Anacondaプロンプトで以...
AI AMDのNPU(RyzenAI XDNA)を使ってみた3
(ryzen-ai-1.2.0) C:\Program Files\RyzenAI\1.2.0\quicktest>python quicktest.py Traceback (most recent call last): File "C...
AI AMDのNPU(RyzenAI XDNA)を使ってみた2
前回からだいぶ時間が経って、RyzenAI1.2がリリースされていたので使用する。 Installation Instructions — Ryzen AI Software 1.2 documentation リンクの手順に従ってインスト...
AI AMDのNPU(RyzenAI XDNA)を使ってみた
新しくLinux開発機を組み立てたが、せっかくだしWindow11をインストールしてRyzenAIを動かしてみる。 Ryzen8000シリーズの8600GでもRyzenAI動作したので記録する。 インストール手順 — Ryzen AI So...