AI AMDのNPU(RyzenAI XDNA)でLLM(Llama-3.1-8B-Instruct)を使ってみる
前回はfacebook/opt-125mを使用していたが、Llama-3.1-8B-InstructをNPPで動作できるように量子化したllama3.1-8b-Instruct-amd-npuがあったので動かしてみる。 環境設定はfaceb...
AI 
AI