富士通が理化学研究所(RIKEN AIP)や東京科学大学、東海大学と共同開発し、2026年6月に発表した「PHOTON(フォトン)」は、大規模言語モデル(LLM)の推論処理効率を劇的に飛躍させるポストTransformer世代の新AIアーキテクチャという極めて興味の湧く内容だ。
正式名称は Parallel Hierarchical Operation for TOp-down Networks であり、従来のTransformerが抱えるGPUメモリの壁を解消するために開発された。
主な特徴と革新的なポイント
1.「意味のまとまり」による階層処理

従来のTransformerは、文章を細かな「トークン(単語の断片)」単位に分解し、すべてのトークン同士の関係性を平面的(総当たり)に計算する。
これに対しPHOTONは、文章を「意味のまとまり」として階層的に圧縮・再構成する。
• ボトムアップ要約:入力トークン列を抽象的な「上位状態」へ圧縮して保持。
• トップダウン再構成:必要に応じて上位状態から具体的なトークン表現を展開。
文章を「段落→文→単語」のように折りたたんで保持するため、全単語間の計算負荷やメモリアクセスを大幅に抑えることができる。
2.GPUメモリ(KVキャッシュ)の壁を破る
の壁を破る-1024x558.jpg)
LLMの推論において、過去の文脈を保持する「KVキャッシュ」がメモリ帯域を圧迫し、GPUの処理速度を低下させる最大の要因(メモリ律速)となっている。
PHOTONは最上位の抽象的なキャッシュのみを常駐させる設計のため、KVキャッシュの消費量を大幅に削減し、GPUリソースを他の処理に解放できる。
3.「マルチクエリー統合」で精度と効率を両立

PHOTONはメモリ消費が極めて少ないため、同じGPUメモリの枠内で複数の回答候補を同時に並列生成することができる。
1. 1つの問題に対し、表現を変えた複数のクエリー(質問)を内部で生成。
2. それぞれに対する回答を並行して出力。
3. 得られた候補を多数決や最良選択によって1つに統合。
検証では、わずか9つのクエリーを統合するだけで従来のTransformerと同水準の生成精度を維持できることが確認されている。
性能インパクト:「最大475倍」の意味

報道などで注目された「GPUあたり最大475倍の効率」とは、モデルの思考能力や精度が475倍になるという意味ではなく、「同じGPUリソースで処理できる出力トークン数(マルチクエリー並列スループット)が最大475倍になる」という意味だ。

補足・注意点
• 光(フォトニクス)技術ではない:名称に「PHOTON」と入っているが、光半導体や光計算技術のことではなく、純粋なソフトウェア/モデル構造(アーキテクチャ)の技術だ。
• マルチAIエージェント時代への親和性:複数のAIが協調して動く「マルチエージェント」や、推論時に思考量を増やして精度を上げる手法(Test-time compute)では並列処理負荷が膨大になるが、PHOTONの低メモリ構造はそのような用途で真価を発揮する。
最後に「475倍」を強調した画像を添付しておく。
