AI AMDのNPU(RyzenAI XDNA)でLLM(Llama-3.1-8B-Instruct)を使ってみる 前回はfacebook/opt-125mを使用していたが、Llama-3.1-8B-InstructをNPPで動作できるように量子化したllama3.1-8b-Instruct-amd-npuがあったので動かしてみる。 環境設定はfaceb... 2024.11.09 AIAI推論AMDFPGALLMNPURyzenAIベンチマーク