「Rakuten AI 3.0」をローカル環境(家庭用PCや社内の単一マシン)で動かすためのスペックは、結論から言うと、一般的なデスクトップPCやゲーミングPCで「無改造のまま」動かすのは絶対に不可能なレベルの、超巨大なモンスター級モデルとなる。
Rakuten AI 3.0は、総パラメータ数が6710億(約700B)ある。推論時にはそのうち370億パラメータだけが動く「MoE(専門家混合モデル)」という仕組みだが、動かすためには6710億個のデータをすべてメモリ(VRAM)の上に広げておく必要があるためだ。
以下にデータ精度(量子化)のレベル別に、必要なハードウェアスペックをまとめる。
1.【現実的】4-bit量子化(圧縮版)で動かす場合
AIのデータを「4-bit(Int4/NF4)」という形式に圧縮(量子化)して、性能を少し犠牲にしつつメモリ消費を極限まで抑える方法。
• 必要なビデオメモリ(VRAM): 最低 350GB〜400GB
• 必要なPCスペック例:
◦ GPU: NVIDIA A100 (80GB) × 5枚、または H100 (80GB) × 5枚
◦ Macの場合: Mac Studio(M2/M3 Ultra)のメモリ192GB搭載モデルを2台繋げてクラスター化するか、特注のワークステーションが必要となる(単体ではメモリが足りない)。

一般PCとの比較:現在の最高峰ゲーミングGPU「GeForce RTX 4090」でもVRAMは24GBしかない。RTX 4090を15枚以上並列で繋ぐ必要があり、個人のローカルPCの域を完全に超えている。
2.【非現実的】無圧縮(bfloat16精度)でそのまま動かす場合
楽天が公開しているオリジナルの高精度な状態で動かす場合で、モデルのファイルサイズだけで約1.4TBある。
• 必要なビデオメモリ(VRAM): 最大 2TB(2,000GB)
• 必要なPCスペック例:
◦ GPU: NVIDIA H100 (80GB) × 24枚 などのデータセンター向けサーバー環境
◦ 価格: 数千万円〜数億円レベルのエンタープライズ(企業向け)インフラだ。
これでは、企業でもある程度の規模でないととても無理だ。
いやいや、AIは甘くなかった。