約7,500億(750B)パラメータを誇る超大型MoE(Mixture-of-Experts)モデルである「GLM-5.3」クラスのAIモデルをフル稼働(大規模推論・ファインチューニング・分散学習など)させるには、一般的なデータセンターではなく、高電力密度・液冷設備・高速インターコネクト(InfiniBand/NVLink)を備えた「AI特化型データセンター(高密度DC)」が必要となる。
日本国内において、このクラスのモデルをフルで運用・稼働できるスペックを備えたデータセンターは、用途に応じて約30〜40施設存在する。
🔷用途別の稼働可能データセンター数
インフラ-1024x571.jpg)
1. 大規模サービス運用・並列推論・追加学習(超大型AIデータセンター)
• 対応施設数:約30〜40施設
• 必要な環境:数百〜数千枚規模の最先端GPU群(NVIDIA H100 / H200 / B200 / GB200など)、ラックあたり30kW〜100kW以上の高電力供給、液冷対応。
• 主な国内の代表拠点:
◦ ソフトバンク:旧シャープ堺工場跡地(大阪)のAIデータセンター、苫小牧AIデータセンター(北海道・約300MW規模)
◦ さくらインターネット:石狩データセンター(北海道・1万枚超のGPU大規模計算基盤)
◦ NTTグループ / NTTデータ:千葉県印西エリアや関西エリアの超大型AI特化DC(IOWN光技術導入拠点含む)
◦ KDDI / GMOインターネット / NEC:多摩・堺・石狩などのGPUクラウド・高密度DC拠点
2. 外資系メガクラウドの日本リージョン(クラウド経由のフル稼働)
• 対応ゾーン数:約15〜20アベイラビリティゾーン(AZ)
• 自社で物理サーバーを置かずに、クラウド上のH100/B200/TPUインスタンスを確保して稼働させる場合、以下の日本国内リージョンが対応可能だ。
◦ AWS (Amazon Web Services):東京リージョン / 大阪リージョン(P5/P6等のアクセラレーテッド計算インスタンス)
◦ Microsoft Azure:東日本リージョン / 西日本リージョン(NDv5 / NDv6シリーズ等)
◦ Google Cloud:東京リージョン / 大阪リージョン(TPU v5p / H100ノード)
3. 単体ノードでの検証・中規模推論(8~16GPUノード運用)
• 対応施設数:50箇所以上
• 量子化(FP8 / INT4)を行った上で、8枚〜16枚のH100/H200/B200搭載サーバー1〜2ラックで運用する場合であれば、上記以外の国内の標準的なハイパースケールDCやコロケーションDCでも受容可能となる。
🔷GLM-5.3クラスのフル稼働に必要な物理的要件
のフル稼働に必要な『物理的要件(スペック)』-1024x571.jpg)
750B規模のモデルを実効速度で運用するためには、データセンター側に以下の性能が求められる。
① VRAM容量とGPU構成
◦ 推論(FP8精度):モデル重みだけで約375GB〜750GBのVRAMが必要となる。コンテキスト長(最大100万トークン)や複数ユーザーの並列リクエストを処理するには、最低でもH100/H200(80GB~141GB VRAM)を8枚組んだ1ノード(またはGB200 NVL72等)が必要。
② ラック電力密度(30kW〜100kW+)
◦ 従来のデータセンターは1ラックあたり4kW〜10kW程度だが、最新のNVIDIA B200 / GB200クラスをフル稼働させるには1ラックあたり30kW〜120kWの電力が必須となる。
③ 冷却設備(水冷・液冷)
◦ 空冷だけでは超高密度GPUの発熱を抑えきれないため、ダイレクト・ツー・チップ(液冷)対応の設備を備えたDCに限定される。
まとめ
日本国内には200を超えるデータセンターが存在するが、GLM-5.3のような最新世代の超大型モデル(700B+クラス)をフルスペックで駆動・学習させられる高密度AIデータセンターは、現在整備中・計画中の施設も含めて約30〜40施設となる。
特に北海道(石狩・苫小牧)や千葉(印西)、大阪(堺)などのエリアに、こうした大規模AIインフラが集中・急速拡大している。