Core i７ 32GB＋G-force RTX3060、VRAM 24GB クラスで生成AIをローカル運用したところ、速度・内容ともに充分な性能が得られた。このクラスのPCはチョイと物好きなら個人用として所有している例は多いと思うが、一般的なユーザーはCore i5クラスのノートPCが多いようだ。
では、このようなノートPCのCPUが、AI性能向上を考えてCore Ultraシリーズになったらば、ローカルで生成AIがサクサクと動くのだろうか。
Core UltraによるAI性能向上は
１．NPU（Neural Processing Unit）の搭載
２．iGPU（Intel Arc）の強化
３．CPUコア側のAVX-512 / VNNI最適化
１についてはNPUは省電力・常駐型AI向けであり、主な用途は音声認識、カメラ補正、ノイズ除去、小規模LLM（Large Language Model：大規模言語モデル）の補助処理であり、生成AIの本丸では無い。
Intel自身も、NPUは「クラウドに投げていた軽量AIをローカルに戻す」
という位置づけであると表明している。
ではiGPU（Intel Arc）だけでの生成AIはどのくらいの性能かといえば、トークン生成速度はグラボ（RTX3060）と比べて一桁劣る性能であり、 動く事は動くが可なり遅く、使い方によってはイライラするだろう。
というか、ぶっちゃけ、生成AIのローカル運用は厳しいだろう。
結局、時流に乗るためにと焦ってPCを買い替える必要な無いという事だが、まあ、多くはWindows11対応で既に買い替えているから、高見の見物と行こうか。