AI AMDのNPU(RyzenAI XDNA)でLLM(Llama-3.1-8B-Instruct)を使ってみる
前回はfacebook/opt-125mを使用していたが、Llama-3.1-8B-InstructをNPPで動作できるように量子化したllama3.1-8b-Instruct-amd-npuがあったので動かしてみる。 環境設定はfaceb...
2024-11
AI 
AI RyzenAIのNPUでLLMベンチマークを取得する方法と結果
NPUのRyzenAIでLLMのベンチマークが取れたのでその記録をする。 前提 RyzenAIの開発環境はすでに整っている前提で進める。 リンクのReadmeがあるので参考にする。 Anacondaの環境作成 Anacondaプロンプトで以...
未分類 WindowsPCにVscodeのRemote‐SSHで接続する
Microsoft リモート デスクトップいつもはMicrosoftのリモートデスクトップで作業していたが、SSHでリモート接続した方が便利なシーンが増えてきたので、SSHでアクセスするまでの作業を記録する WindowsServer設定 ...
AI AMDのNPU(RyzenAI XDNA)を使ってみた3
(ryzen-ai-1.2.0) C:\Program Files\RyzenAI\1.2.0\quicktest>python quicktest.py Traceback (most recent call last): File "C...