Googleは第8世代TPUに2つのシステムを加えた。安全で機密性の高い推論に向けたTPU 8txと、非常に大きなコンテキストウィンドウに向けたTPU 8i Maxだ。同社は11月9日に発表し、1年で4つのTPUシステムを投入するのは初めてだとしている。

TPUはGoogleがAI処理向けに設計した専用プロセッサーだ。店頭で買うガジェットではなく、多くの読者はクラウドサービスやアプリを通じて間接的に触れることになる。それでも、こうしたサービスの速さ、プライバシー、コストを左右する存在だ。

この世代の4つのシステムとは

GoogleはTPU 8tと8iを4月のGoogle Cloud Nextで紹介した。今回の2つは同じ土台の上に作られた派生版だ。

  • TPU 8t：大規模な基盤モデルの学習
  • TPU 8i：低遅延のリアルタイム推論
  • TPU 8tx：安全で機密性の高い推論。小規模な学習にも向く
  • TPU 8i Max：非常に大きなコンテキストウィンドウと、ラックあたり最高の計算密度

前の2つについて、Googleは前世代と比べ、8tの学習性能が最大2.7倍、8iの推論の価格性能が80%向上したとしている。8iはチップ間の通信遅延を最大で半分に減らすという。

TPU 8txは何をするのか

TPU 8txは、最先端モデルや独自モデルで機密データを扱う規制対象の企業や政府を想定している。

  • TPU 8tと同じシリコンを採用
  • 第5世代AMD EPYC CPUのホストと組み合わせ
  • もともとTPU 8i向けに作られた低遅延ネットワーク「Boardfly」を採用
  • Googleによると、遅延はTPU 8tより最大2x低く、性能低下はほぼゼロ

データは通常、保存時やネットワーク上では暗号化されるが、処理中はメモリ上で復号されなければならない。Googleによれば、8txは保護をハードウェアに組み込み、機密データやモデルの重みを使用中でも隔離したまま保つ。学習級の計算能力と高速ネットワークを兼ね備えるため、1つのシステムでモデルの実行とカスタマイズが同時にできる。

TPU 8i Maxは何をするのか

TPU 8i Maxは、2つのTPU 8iチップを1つのパッケージにまとめたものだ。

  • 計算能力はTPU 8iの2倍
  • SRAMも2倍
  • HBM帯域幅も2倍
  • 既存のラックの設置面積に収まる

Googleの説明では、多数のソフトウェアエージェントがコードベース全体や数時間分の動画を扱うと、メモリ帯域幅がボトルネックになる。同じラックに2倍のシリコンを収めれば、データセンターは面積当たり、電力当たりでより多くの計算ができるという。

開発者はTPUを使いやすくなったのか

Googleは導入の障壁を取り除いてきたと説明する。先月はTorchTPUをオープンソース化し、PyTorchのコードやHugging Faceのモデルがそのままネイティブに動き、vLLMやSGLangといった推論エンジンにも対応する。プレビュー中のオープンソースのTPUエージェントスイートは、Cursorなどのコーディングツールとつながり、導入やチューニングを支援する。さらにTPU Syncをオープンソース化し、KV転送の遅延と最初のトークンまでの時間を90%超減らせるとし、待機中のエージェントのセッションを一時停止してコストを抑えるAgent Compute Engineも発表した。TPUの顧客は100社近くで、最先端の研究所、トレーディング会社、小売、大学などが含まれる。

価格

GoogleはTPU 8txとTPU 8i Maxの価格も発売日も示していない。TPUはクラウドの計算能力として提供され、顧客は自社のデータセンターに導入することもできるため、小売価格はない。8tと8iについては、Google Cloudの顧客向けの一般提供が今後数か月以内に始まる見込みだとTechRadarが報じた。

どんな人に向くか

規制対象の組織。モデルの処理中もデータを守る必要がある銀行、医療機関、公的機関がTPU 8txの対象だ。

長いコンテキストを扱うチーム。大規模なコードベースや長時間の動画で多数のエージェントを動かす企業が、TPU 8i Maxの想定する使い手だ。

PyTorchの開発者。Googleによると、TorchTPUにより既存のコードとHugging Faceのモデルを書き直さずにTPUで動かせる。

一般の読者。このチップを買うことはないが、利用しているクラウドツールの裏側で使われている可能性がある。より速く、より機密性の高い基盤は、将来サービスの向上として現れるかもしれない。

まだ分かっていないこと

Googleは2つの新システムの発売日、提供地域、価格を示しておらず、競合ハードウェアとの比較ベンチマークも公表していない。詳細はGoogle Cloudのインフラページで確認したい。