구글이 8세대 TPU 제품군에 두 가지 시스템을 추가했다. 안전하고 기밀성 높은 추론을 위한 TPU 8tx와 매우 큰 컨텍스트 윈도우를 위한 TPU 8i Max다. 회사는 11월 9일 이를 발표하며 한 해에 TPU 시스템 네 가지를 내놓은 것은 처음이라고 밝혔다.

TPU는 구글이 AI 작업용으로 설계한 맞춤형 프로세서다. 매장에서 살 수 있는 기기가 아니라서 대부분의 독자는 클라우드 서비스와 앱을 통해 간접적으로 접하게 된다. 그래도 이 서비스들의 속도, 개인정보 보호 수준, 비용을 좌우한다.

이번 세대의 네 가지 시스템은 무엇인가

구글은 4월 구글 클라우드 넥스트에서 TPU 8t와 8i를 먼저 소개했다. 이번 두 제품은 같은 기반 위에 만든 변형이다.

  • TPU 8t: 대형 파운데이션 모델 학습
  • TPU 8i: 저지연 실시간 추론
  • TPU 8tx: 안전하고 기밀성 높은 추론, 소규모 학습에도 적합
  • TPU 8i Max: 초대형 컨텍스트 윈도우와 랙당 최고 연산 밀도

앞의 두 제품에 대해 구글은 이전 세대와 비교해 8t의 학습 성능이 최대 2.7배, 8i의 추론 가격 대비 성능이 80% 높다고 주장한다. 8i는 칩 간 통신 지연을 최대 절반까지 줄인다고도 설명했다.

TPU 8tx는 무엇을 하나

TPU 8tx는 첨단 모델이나 자체 모델로 민감한 데이터를 다루는 규제 대상 기업과 정부를 겨냥한다.

  • TPU 8t와 같은 실리콘 기반
  • 5세대 AMD EPYC CPU 호스트와 결합
  • 원래 TPU 8i용으로 만든 저지연 Boardfly 네트워크 채택
  • 구글에 따르면 지연 시간은 TPU 8t보다 최대 2x 낮고 성능 손실은 거의 없음

데이터는 보통 저장할 때와 네트워크로 보낼 때 암호화되지만, 처리 중에는 메모리에서 암호가 풀려야 한다. 구글은 8tx가 보호 기능을 하드웨어에 넣어 민감한 데이터와 모델 가중치를 사용 중에도 격리된 상태로 유지한다고 설명한다. 학습급 연산 능력과 빠른 네트워크를 함께 갖춰 한 시스템에서 모델을 실행하고 맞춤화할 수 있다.

TPU 8i Max는 무엇을 하나

TPU 8i Max는 TPU 8i 칩 두 개를 하나의 패키지로 묶었다.

  • 연산 능력은 TPU 8i의 두 배
  • SRAM도 두 배
  • HBM 대역폭도 두 배
  • 기존 랙 설치 공간에 들어감

구글의 설명은 이렇다. 여러 소프트웨어 에이전트가 코드베이스 전체나 몇 시간 분량의 영상을 다루면 메모리 대역폭이 병목이 된다. 같은 랙에 두 배의 실리콘을 넣으면 데이터센터가 면적당, 전력당 더 많은 연산을 할 수 있다는 것이다.

개발자가 TPU를 쓰기 더 쉬워졌나

구글은 진입 장벽을 계속 없애 왔다고 말한다. 지난달에는 TorchTPU를 오픈소스로 공개해 PyTorch 코드와 Hugging Face 모델이 TPU에서 그대로 실행되며 vLLM, SGLang 같은 추론 엔진도 지원한다. 미리보기 단계인 오픈소스 TPU 에이전트 도구 모음은 Cursor 같은 코딩 도구와 연결돼 도입과 튜닝을 돕는다. 구글은 KV 전송 지연과 첫 토큰까지의 시간을 90% 넘게 줄인다는 TPU Sync도 오픈소스로 공개했고, 유휴 에이전트 세션을 일시 중지해 비용을 줄이는 Agent Compute Engine도 발표했다. TPU 고객은 100곳에 가까우며 첨단 연구소, 트레이딩 회사, 소매업체, 대학이 포함된다.

가격

구글은 TPU 8tx와 TPU 8i Max의 가격과 출시일을 밝히지 않았다. TPU는 클라우드 연산 자원으로 판매되고 고객이 자체 데이터센터에 설치할 수도 있어 소매 가격이 없다. 8t와 8i에 대해서는 구글 클라우드 고객 대상 정식 출시가 앞으로 몇 달 안에 이뤄질 전망이라고 TechRadar가 보도했다.

누구에게 맞나

규제 대상 기관. 모델이 데이터를 처리하는 동안에도 보호해야 하는 은행, 의료 기관, 공공기관이 TPU 8tx의 대상이다.

긴 컨텍스트를 다루는 팀. 대형 코드베이스나 긴 영상에서 많은 에이전트를 돌리는 기업이 TPU 8i Max의 사용처다.

PyTorch 개발자. 구글에 따르면 TorchTPU 덕분에 기존 코드와 Hugging Face 모델을 다시 짜지 않고 TPU에서 실행할 수 있다.

일반 독자. 이 칩을 직접 살 일은 없지만 이용하는 클라우드 도구 뒤에서 쓰일 수 있다. 더 빠르고 기밀성 높은 기반은 나중에 더 나은 서비스로 이어질 수 있다.

아직 알려지지 않은 것

구글은 두 새 시스템의 출시일, 지역별 제공 여부, 가격을 밝히지 않았고 경쟁 하드웨어와 비교한 벤치마크 수치도 공개하지 않았다. 자세한 내용은 구글 클라우드의 인프라 페이지에서 확인할 수 있다.