生成AIの性能競争というと、巨大なデータセンターに大量のGPUを並べ、膨大な電力を投入する姿を想像しやすい。
米国や中国が巨額の資金を投じるなか、日本が同じ方法で正面から競争するのは容易ではない。
では、GPUを増やすのではなく、同じGPUをもっと効率よく使えないだろうか？
おはこんばんにちは！力学観測研究所のRYOです❗
富士通が開発した新しいAIアーキテクチャ「PHOTON」は、Transformerの弱点であるメモリ効率の改善を狙った技術です。
そしてこの技術、少し乱暴に別の世界へ置き換えてみると、日本の大都市圏で毎朝行われている「通勤ラッシュ対策」と妙に似ていませんか？
Transformerは「記憶」を大量に抱えて走っている
現在の生成AIは、文章が長くなるほど過去の情報を大量に抱えながら処理する必要があります。そのため、GPUそのものに計算能力があっても、メモリとのデータのやり取りが渋滞して処理速度が落ちていきます。
PHOTONが狙うのは、この「渋滞」の解消です。
要するに、「マシンエンジンの馬力はあるのに、道路が渋滞して速度が出ない」ような状態です。
※ちなみに道路渋滞とは「巻き込まれる」ものでは無く、「参加」するものである！
PHOTONは、すべての情報を細かいまま抱え続けるのではなく、内容をある程度まとめて整理し、必要なところだけ詳しく扱う仕組みに変えます。
人間でいえば、長い文章を一字一句すべて覚えておくのではなく、まず「この部分は何の話か」をまとめて覚え、必要になったところだけ細かく思い出すようなイメージです。
これによって、メモリにかかる負担を大きく減らそうとしています。
「1000倍」の意味
ここは注意が必要です。PHOTONはAIを1000倍賢くする技術でも、生成速度を1000倍にする技術というわけではありません。
研究で示されたのは、主に単位メモリ当たりの処理効率の大幅な向上です。条件によっては従来型Transformerに対し、最大1000倍を超える効率が報告されています。
つまり、「運ぶトラックを1000倍用意した」という話ではない。
「道路の使い方を変えた結果、同じ道路から取り出せる輸送能力が桁違いに増えた」と考える方が近い。
そこで通勤ラッシュ🚃を思い出す
ここから少しAIを離れてみる。
大都市の鉄道では、朝夕の通勤時間帯に大量の乗客を限られた線路へ流さなければならない。
もっとも単純な解決策は、設備そのものを増やすことである。複線なら複々線にする／駅のホームを増やす／車両を増やす。
もちろん、それができれば強い。
しかし都市部では土地も費用も限られている。
そこで鉄道会社は、別の方向へ進化してきた。
快速特急／通勤特急／特急／区間特急／快速急行／通勤急行／区間急行／準急／区間準急／普通……（どれだけ種別を思いつくねん！）
列車を目的別に細かく分け、途中駅で追い越し、列車によって停車駅を変え、ときには複数の優等列車で停車駅を分担する千鳥停車まで使う。
「線路を増やす」のではなく、「今ある線路へどう列車を流すか」を徹底的に工夫する。
全員を同じ列車に乗せ、すべての駅へ同じようにアクセスさせる必要はない。
長距離客は速達列車へ／近距離客は普通列車へ／ある駅への需要はA列車で処理し、別の駅への需要はB列車で処理する。
物理的な線路容量という制約の中で、情報ならぬ「人間」を階層化して流しているともいえます。
もちろんPHOTONの仕組みと鉄道ダイヤが技術的に同じという話ではありません。
しかし両者を動かしている力学には、よく似たものがあります。
「資源を増やす」から「流し方を変える」へ
生成AIの競争では、大量のGPU／高速なHBM／大規模データセンター／莫大な電力が注目される。
これは鉄道でいえば、線路を増やす／ホームを増やす／車両を増やす方向である。強力だが、資本が必要になる。
PHOTONが面白いのは、その手前で問答している。
「そもそも、そのメモリの使い方は効率的なのか？」
生成AIの競争では、大量のGPU／高速なHBM／大規模データセンター／莫大な電力といった「物量」が注目されます。
PHOTONが面白いのは、そこに対して「そもそも、今ある計算資源をもっと効率よく使えないか」と発想を変えている点です。
鉄道でいえば、線路を増やすのではなく、ダイヤや停車パターンを工夫して今ある線路を使い切る考え方に近い。
「同じ物量から、どれだけ多くの仕事を取り出せるか」
米中との物量競争が難しい日本にとって、この方向には大きな意味があります。もちろん、PHOTONが巨大LLMでも同じ効果を維持できるかはまだ未知数です。それでも、計算資源を増やすだけではなく、使い方そのものを変えるという発想は興味深いところです。
そしてJR東海が反応した（※かもしれない）
↑※フィクションです
しかし、限られた設備の中で大量のものを高速かつ安定して流すという発想だけを取り出してみれば、生成AIと鉄道というまったく違う世界に、似た力が働いているのは面白い。
新しい技術を見るとき、「何が新しくなったのか」だけを見る必要はない。
「どこにあった渋滞を、どのような方法で解消したのか」
そう置き換えてみると、その技術の本当の方向性が少し見えやすくなりますね。
コメントを残す