Google vừa bổ sung hai hệ thống vào dòng TPU thế hệ thứ tám: TPU 8tx, dành cho suy luận an toàn và bảo mật, và TPU 8i Max, dành cho các cửa sổ ngữ cảnh rất lớn. Công ty công bố vào ngày 9 tháng 11 và cho biết đây là lần đầu tiên họ giới thiệu bốn hệ thống TPU trong một năm.
TPU là bộ xử lý do Google tự thiết kế cho các tác vụ AI. Đây không phải thiết bị mua ở cửa hàng, và phần lớn người đọc chỉ tiếp xúc gián tiếp qua các dịch vụ đám mây và ứng dụng chạy trên đó. Dù vậy, chúng quyết định các dịch vụ ấy nhanh đến đâu, riêng tư đến đâu và tốn bao nhiêu chi phí.
Bốn hệ thống của thế hệ này là gì?
Google giới thiệu TPU 8t và 8i tại Google Cloud Next hồi tháng 4. Hai hệ thống mới là biến thể xây dựng trên cùng nền tảng.
- TPU 8t: huấn luyện các mô hình nền tảng lớn
- TPU 8i: suy luận thời gian thực, độ trễ thấp
- TPU 8tx: suy luận an toàn và bảo mật, cũng phù hợp huấn luyện quy mô nhỏ
- TPU 8i Max: cửa sổ ngữ cảnh khổng lồ và mật độ tính toán cao nhất trên mỗi tủ rack
Với hai hệ thống đầu, Google tuyên bố hiệu năng huấn luyện của 8t tăng tới 2,7 lần và hiệu năng trên giá suy luận của 8i tốt hơn 80% so với thế hệ trước. Công ty cũng nói 8i giảm độ trễ giao tiếp giữa các chip tới một nửa.
TPU 8tx làm được gì?
TPU 8tx nhắm tới các doanh nghiệp bị quản lý chặt và chính phủ, nơi dữ liệu nhạy cảm đi qua các mô hình tiên phong hoặc mô hình riêng.
- Dùng cùng silicon với TPU 8t
- Ghép với máy chủ CPU AMD EPYC thế hệ thứ 5
- Dùng mạng độ trễ thấp Boardfly, ban đầu được tạo cho TPU 8i
- Theo Google, độ trễ thấp hơn TPU 8t tới 2x, hao hụt hiệu năng gần như bằng không
Dữ liệu thường được mã hóa khi lưu trữ và truyền qua mạng, nhưng phải được giải mã trong bộ nhớ khi máy tính xử lý. Google cho biết 8tx đưa việc bảo vệ vào thẳng phần cứng, nên dữ liệu nhạy cảm và trọng số mô hình vẫn được cô lập ngay cả khi đang sử dụng. Vì kết hợp sức mạnh cấp huấn luyện với mạng nhanh, cùng một hệ thống có thể vừa chạy vừa tinh chỉnh mô hình.
TPU 8i Max làm được gì?
TPU 8i Max ghép hai chip TPU 8i trong một gói duy nhất.
- Sức mạnh tính toán gấp đôi TPU 8i
- SRAM gấp đôi
- Băng thông HBM gấp đôi
- Vừa với diện tích tủ rack hiện có
Lập luận của Google: khi nhiều tác tử phần mềm cùng làm việc trên toàn bộ mã nguồn hoặc hàng giờ video, băng thông bộ nhớ trở thành nút thắt. Theo công ty, nhét gấp đôi silicon vào cùng không gian rack giúp trung tâm dữ liệu có thêm sức tính toán trên mỗi foot vuông và mỗi watt.
Nhà phát triển có dễ dùng TPU hơn không?
Google nói họ đang gỡ dần các rào cản. Tháng trước, công ty mở mã nguồn TorchTPU, giúp mã PyTorch và mô hình Hugging Face chạy trực tiếp trên TPU, cùng các engine suy luận như vLLM và SGLang. Bộ tác tử TPU mã nguồn mở, đang ở bản xem trước, kết nối với các công cụ lập trình như Cursor để hỗ trợ làm quen và tinh chỉnh. Google cũng mở mã nguồn TPU Sync, mà theo công ty giúp giảm hơn 90% độ trễ truyền KV và thời gian tới token đầu tiên, và công bố Agent Compute Engine, tự động tạm dừng các phiên tác tử nhàn rỗi để tiết kiệm chi phí. TPU hiện có gần 100 khách hàng, gồm phòng thí nghiệm tiên phong, công ty giao dịch, nhà bán lẻ và trường đại học.
Giá
Google không nêu giá hay ngày phát hành cho TPU 8tx và TPU 8i Max. TPU được bán dưới dạng năng lực đám mây, khách hàng cũng có thể triển khai trong trung tâm dữ liệu riêng, nên không có giá bán lẻ. Với 8t và 8i, TechRadar đưa tin dự kiến khách hàng Google Cloud sẽ được dùng rộng rãi trong vài tháng tới.
Phù hợp với ai
Tổ chức bị quản lý chặt. Ngân hàng, tập đoàn y tế và cơ quan công cần giữ dữ liệu được bảo vệ khi mô hình xử lý là đối tượng của TPU 8tx.
Nhóm làm việc với ngữ cảnh dài. Các công ty chạy nhiều tác tử trên mã nguồn lớn hoặc video dài là trường hợp dùng của TPU 8i Max.
Nhà phát triển PyTorch. Theo Google, nhờ TorchTPU, mã hiện có và mô hình Hugging Face chạy được trên TPU mà không cần viết lại.
Độc giả thông thường. Bạn sẽ không mua các chip này, nhưng chúng có thể nằm sau các công cụ đám mây bạn dùng. Hạ tầng nhanh hơn, riêng tư hơn có thể mang lại dịch vụ tốt hơn về sau.
Điều gì vẫn chưa rõ?
Google chưa công bố ngày ra mắt, phạm vi khu vực hay giá của hai hệ thống mới, cũng chưa đưa ra số liệu đo so với phần cứng của đối thủ. Hãy theo dõi các trang hạ tầng của Google Cloud để biết chi tiết.
