Google sumó dos sistemas a su familia de TPU de octava generación: el TPU 8tx, diseñado para inferencia segura y confidencial, y el TPU 8i Max, pensado para ventanas de contexto muy grandes. La empresa los anunció el 9 de noviembre y afirma que es la primera vez que presenta cuatro sistemas TPU en un solo año.

Los TPU son los procesadores a medida que Google diseña para tareas de IA. No son un gadget que se compre en una tienda: la mayoría de los lectores los encuentra de forma indirecta, en servicios en la nube y aplicaciones que se apoyan en ellos. Aun así, influyen en la velocidad, la privacidad y el costo de esos servicios.

¿Cuáles son los cuatro sistemas de esta generación?

Google presentó los TPU 8t y 8i en Google Cloud Next, en abril. Los dos nuevos son variantes construidas sobre las mismas bases.

  • TPU 8t: entrenamiento de grandes modelos de base
  • TPU 8i: razonamiento en tiempo real con baja latencia
  • TPU 8tx: inferencia segura y confidencial, también apta para entrenamiento a pequeña escala
  • TPU 8i Max: ventanas de contexto masivas y la mayor densidad de cómputo por rack

Para los dos primeros, Google asegura hasta 2,7 veces más rendimiento de entrenamiento (8t) y 80 % mejor relación precio-rendimiento en inferencia (8i) frente a la generación anterior. Añade que el 8i reduce hasta a la mitad los retrasos de comunicación entre chips.

¿Qué hace el TPU 8tx?

El TPU 8tx apunta a empresas reguladas y gobiernos que procesan datos sensibles con modelos de frontera o propios.

  • Construido sobre el mismo silicio que el TPU 8t
  • Combinado con anfitriones de CPU AMD EPYC de quinta generación
  • Usa la red de baja latencia Boardfly, creada primero para el TPU 8i
  • Hasta 2x menos latencia que el TPU 8t, con una pérdida de rendimiento casi nula, según Google

Los datos suelen cifrarse en almacenamiento y en la red, pero deben descifrarse en memoria mientras la computadora los procesa. Según Google, el 8tx integra la protección en el hardware, de modo que los datos sensibles y los pesos del modelo quedan aislados incluso en uso. Como combina cómputo de entrenamiento con una red rápida, un mismo sistema puede ejecutar un modelo y personalizarlo.

¿Qué hace el TPU 8i Max?

El TPU 8i Max junta dos chips TPU 8i en un solo paquete.

  • El doble de cómputo que el TPU 8i
  • El doble de SRAM
  • El doble de ancho de banda HBM
  • Cabe en el espacio de rack actual

El razonamiento de Google: cuando muchos agentes de software trabajan sobre todo un código fuente o sobre horas de video, el ancho de banda de memoria se vuelve el cuello de botella. Con el doble de silicio en el mismo rack, los centros de datos pueden obtener más cómputo por pie cuadrado y por watt, dice la empresa.

¿Es ahora más fácil para los desarrolladores usar TPU?

Google dice que ha ido eliminando barreras. El mes pasado liberó TorchTPU, de modo que el código de PyTorch y los modelos de Hugging Face corren de forma nativa en TPU, con motores de inferencia como vLLM y SGLang. Un conjunto abierto de agentes para TPU, en vista previa, se conecta a herramientas de programación como Cursor para facilitar la puesta en marcha y el ajuste. También liberó TPU Sync, que según la empresa reduce en más de 90 % la latencia de transferencia de la caché KV y el tiempo al primer token, y anunció un Agent Compute Engine que suspende sesiones de agentes inactivas para ahorrar costos. Los TPU tienen casi 100 clientes, entre ellos laboratorios de frontera, firmas de trading, minoristas y universidades.

Precios

Google no indicó precios ni fecha de lanzamiento para el TPU 8tx ni el TPU 8i Max. Los TPU se venden como capacidad en la nube y los clientes también pueden instalarlos en sus propios centros de datos, así que no hay precio al público. Para los 8t y 8i, TechRadar informó que la disponibilidad general en Google Cloud se esperaba en los próximos meses.

A quién le conviene

Organizaciones reguladas. Bancos, grupos de salud y entidades públicas que deben proteger los datos mientras un modelo los procesa son el objetivo del TPU 8tx.

Equipos con contexto largo. Las empresas que ejecutan muchos agentes sobre grandes bases de código o videos largos son el caso de uso del TPU 8i Max.

Desarrolladores de PyTorch. Con TorchTPU, el código existente y los modelos de Hugging Face pueden correr en TPU sin reescribirlos, según Google.

Lectores comunes. Usted no comprará estos chips, pero pueden estar detrás de las herramientas en la nube que usa: servidores más rápidos y privados podrían traducirse después en mejores servicios.

¿Qué sigue sin saberse?

Google no dio fecha de lanzamiento, disponibilidad por región ni precios de los dos sistemas nuevos, y no publicó cifras de pruebas frente a la competencia. Conviene revisar las páginas de infraestructura de Google Cloud para esos datos.