Google ਨੇ ਆਪਣੀ ਅੱਠਵੀਂ ਪੀੜ੍ਹੀ ਦੇ TPU ਪਰਿਵਾਰ ਵਿੱਚ ਦੋ ਸਿਸਟਮ ਜੋੜੇ ਹਨ: ਸੁਰੱਖਿਅਤ ਅਤੇ ਗੁਪਤ ਇਨਫ਼ਰੈਂਸ ਲਈ ਬਣਿਆ TPU 8tx, ਅਤੇ ਬਹੁਤ ਵੱਡੀਆਂ ਕਾਂਟੈਕਸਟ ਵਿੰਡੋਆਂ ਲਈ ਬਣਿਆ TPU 8i Max। ਕੰਪਨੀ ਨੇ 9 ਨਵੰਬਰ ਨੂੰ ਇਨ੍ਹਾਂ ਦਾ ਐਲਾਨ ਕੀਤਾ ਅਤੇ ਕਿਹਾ ਕਿ ਇੱਕ ਸਾਲ ਵਿੱਚ ਚਾਰ TPU ਸਿਸਟਮ ਪੇਸ਼ ਕਰਨਾ ਉਸ ਲਈ ਪਹਿਲੀ ਵਾਰ ਹੈ।

TPU ਉਹ ਖ਼ਾਸ ਪ੍ਰੋਸੈਸਰ ਹਨ ਜੋ Google AI ਦੇ ਕੰਮ ਲਈ ਆਪ ਡਿਜ਼ਾਈਨ ਕਰਦੀ ਹੈ। ਇਹ ਦੁਕਾਨ ਤੋਂ ਖ਼ਰੀਦਣ ਵਾਲਾ ਗੈਜੇਟ ਨਹੀਂ ਹਨ, ਤੇ ਜ਼ਿਆਦਾਤਰ ਪਾਠਕ ਇਨ੍ਹਾਂ ਨੂੰ ਕਲਾਊਡ ਸੇਵਾਵਾਂ ਅਤੇ ਐਪਾਂ ਰਾਹੀਂ ਅਸਿੱਧੇ ਤੌਰ ’ਤੇ ਹੀ ਮਿਲਦੇ ਹਨ। ਫਿਰ ਵੀ ਇਹ ਤੈਅ ਕਰਦੇ ਹਨ ਕਿ ਉਹ ਸੇਵਾਵਾਂ ਕਿੰਨੀਆਂ ਤੇਜ਼, ਕਿੰਨੀਆਂ ਨਿੱਜੀ ਅਤੇ ਕਿੰਨੀਆਂ ਸਸਤੀਆਂ ਹੋਣਗੀਆਂ।

ਇਸ ਪੀੜ੍ਹੀ ਦੇ ਚਾਰ ਸਿਸਟਮ ਕਿਹੜੇ ਹਨ?

Google ਨੇ TPU 8t ਅਤੇ 8i ਅਪ੍ਰੈਲ ਵਿੱਚ Google Cloud Next ਵਿੱਚ ਦਿਖਾਏ ਸਨ। ਦੋ ਨਵੇਂ ਸਿਸਟਮ ਉਨ੍ਹਾਂ ਹੀ ਬੁਨਿਆਦਾਂ ’ਤੇ ਬਣੇ ਰੂਪ ਹਨ।

  • TPU 8t: ਵੱਡੇ ਬੁਨਿਆਦੀ ਮਾਡਲਾਂ ਦੀ ਟ੍ਰੇਨਿੰਗ
  • TPU 8i: ਘੱਟ ਦੇਰੀ ਵਾਲੀ ਰੀਅਲ-ਟਾਈਮ ਸੋਚ
  • TPU 8tx: ਸੁਰੱਖਿਅਤ ਅਤੇ ਗੁਪਤ ਇਨਫ਼ਰੈਂਸ, ਛੋਟੇ ਪੱਧਰ ਦੀ ਟ੍ਰੇਨਿੰਗ ਲਈ ਵੀ ਠੀਕ
  • TPU 8i Max: ਬਹੁਤ ਵੱਡੀਆਂ ਕਾਂਟੈਕਸਟ ਵਿੰਡੋਆਂ ਅਤੇ ਪ੍ਰਤੀ ਰੈਕ ਸਭ ਤੋਂ ਵੱਧ ਕੰਪਿਊਟ ਘਣਤਾ

ਪਹਿਲੇ ਦੋ ਬਾਰੇ Google ਦਾ ਦਾਅਵਾ ਹੈ ਕਿ ਪਿਛਲੀ ਪੀੜ੍ਹੀ ਨਾਲੋਂ 8t ਦੀ ਟ੍ਰੇਨਿੰਗ ਕਾਰਗੁਜ਼ਾਰੀ 2.7 ਗੁਣਾ ਤੱਕ ਅਤੇ 8i ਦੀ ਇਨਫ਼ਰੈਂਸ ਕੀਮਤ-ਕਾਰਗੁਜ਼ਾਰੀ 80% ਬਿਹਤਰ ਹੈ। ਕੰਪਨੀ ਮੁਤਾਬਕ 8i ਚਿੱਪਾਂ ਵਿਚਕਾਰ ਸੰਚਾਰ ਦੀ ਦੇਰੀ ਨੂੰ ਅੱਧੇ ਤੱਕ ਘਟਾਉਂਦਾ ਹੈ।

TPU 8tx ਕੀ ਕਰਦਾ ਹੈ?

TPU 8tx ਉਨ੍ਹਾਂ ਨਿਯਮ-ਬੱਧ ਕੰਪਨੀਆਂ ਅਤੇ ਸਰਕਾਰਾਂ ਲਈ ਹੈ ਜੋ ਸੰਵੇਦਨਸ਼ੀਲ ਡੇਟਾ ਨੂੰ ਅਤਿ-ਆਧੁਨਿਕ ਜਾਂ ਆਪਣੇ ਮਾਡਲਾਂ ਵਿੱਚੋਂ ਲੰਘਾਉਂਦੀਆਂ ਹਨ।

  • TPU 8t ਵਾਲੀ ਹੀ ਸਿਲੀਕਾਨ ’ਤੇ ਬਣਿਆ
  • 5th Generation AMD EPYC CPU ਹੋਸਟਾਂ ਨਾਲ ਜੋੜਿਆ ਗਿਆ
  • ਘੱਟ ਦੇਰੀ ਵਾਲਾ Boardfly ਨੈੱਟਵਰਕ, ਜੋ ਪਹਿਲਾਂ TPU 8i ਲਈ ਬਣਿਆ ਸੀ
  • Google ਮੁਤਾਬਕ TPU 8t ਨਾਲੋਂ 2x ਤੱਕ ਘੱਟ ਦੇਰੀ, ਕਾਰਗੁਜ਼ਾਰੀ ਦਾ ਨੁਕਸਾਨ ਲਗਭਗ ਸਿਫ਼ਰ

ਡੇਟਾ ਆਮ ਤੌਰ ’ਤੇ ਸਟੋਰੇਜ ਅਤੇ ਨੈੱਟਵਰਕ ’ਤੇ ਏਨਕ੍ਰਿਪਟ ਹੁੰਦਾ ਹੈ, ਪਰ ਪ੍ਰੋਸੈਸਿੰਗ ਦੌਰਾਨ ਮੈਮਰੀ ਵਿੱਚ ਖੋਲ੍ਹਣਾ ਪੈਂਦਾ ਹੈ। Google ਮੁਤਾਬਕ 8tx ਸੁਰੱਖਿਆ ਨੂੰ ਹਾਰਡਵੇਅਰ ਵਿੱਚ ਹੀ ਬਣਾਉਂਦਾ ਹੈ, ਇਸ ਲਈ ਸੰਵੇਦਨਸ਼ੀਲ ਡੇਟਾ ਅਤੇ ਮਾਡਲ ਵੇਟ ਵਰਤੋਂ ਦੌਰਾਨ ਵੀ ਅਲੱਗ ਰਹਿੰਦੇ ਹਨ। ਟ੍ਰੇਨਿੰਗ-ਪੱਧਰ ਦੀ ਗਣਨਾ ਅਤੇ ਤੇਜ਼ ਨੈੱਟਵਰਕ ਇਕੱਠੇ ਹੋਣ ਕਰਕੇ ਇੱਕੋ ਸਿਸਟਮ ਮਾਡਲ ਚਲਾ ਵੀ ਸਕਦਾ ਹੈ ਅਤੇ ਉਸ ਨੂੰ ਆਪਣੇ ਮੁਤਾਬਕ ਢਾਲ ਵੀ ਸਕਦਾ ਹੈ।

TPU 8i Max ਕੀ ਕਰਦਾ ਹੈ?

TPU 8i Max ਦੋ TPU 8i ਚਿੱਪਾਂ ਨੂੰ ਇੱਕ ਪੈਕੇਜ ਵਿੱਚ ਜੋੜਦਾ ਹੈ।

  • TPU 8i ਨਾਲੋਂ ਦੁੱਗਣੀ ਕੰਪਿਊਟ ਸਮਰੱਥਾ
  • ਦੁੱਗਣੀ SRAM
  • ਦੁੱਗਣੀ HBM ਬੈਂਡਵਿਡਥ
  • ਮੌਜੂਦਾ ਰੈਕ ਦੀ ਥਾਂ ਵਿੱਚ ਹੀ ਫਿੱਟ

Google ਦਾ ਤਰਕ ਹੈ ਕਿ ਜਦੋਂ ਕਈ ਸਾਫ਼ਟਵੇਅਰ ਏਜੰਟ ਪੂਰੇ ਕੋਡਬੇਸ ਜਾਂ ਘੰਟਿਆਂ ਦੀ ਵੀਡੀਓ ’ਤੇ ਕੰਮ ਕਰਦੇ ਹਨ, ਤਾਂ ਮੈਮਰੀ ਬੈਂਡਵਿਡਥ ਰੁਕਾਵਟ ਬਣ ਜਾਂਦੀ ਹੈ। ਕੰਪਨੀ ਮੁਤਾਬਕ ਉਸੇ ਰੈਕ ਵਿੱਚ ਦੁੱਗਣੀ ਸਿਲੀਕਾਨ ਆਉਣ ਨਾਲ ਡੇਟਾ ਸੈਂਟਰ ਪ੍ਰਤੀ ਵਰਗ ਫੁੱਟ ਅਤੇ ਪ੍ਰਤੀ ਵਾਟ ਵੱਧ ਗਣਨਾ ਕਰ ਸਕਦੇ ਹਨ।

ਕੀ ਡਿਵੈਲਪਰਾਂ ਲਈ TPU ਵਰਤਣਾ ਹੁਣ ਸੌਖਾ ਹੈ?

Google ਦਾ ਕਹਿਣਾ ਹੈ ਕਿ ਉਹ ਰੁਕਾਵਟਾਂ ਹਟਾ ਰਹੀ ਹੈ। ਪਿਛਲੇ ਮਹੀਨੇ ਉਸ ਨੇ TorchTPU ਓਪਨ-ਸੋਰਸ ਕੀਤਾ, ਜਿਸ ਨਾਲ PyTorch ਕੋਡ ਅਤੇ Hugging Face ਮਾਡਲ TPU ’ਤੇ ਸਿੱਧੇ ਚੱਲਦੇ ਹਨ, ਅਤੇ vLLM ਤੇ SGLang ਵਰਗੇ ਇਨਫ਼ਰੈਂਸ ਇੰਜਣ ਵੀ ਸਮਰਥਿਤ ਹਨ। ਪ੍ਰੀਵਿਊ ਵਿੱਚ ਚੱਲ ਰਿਹਾ ਓਪਨ-ਸੋਰਸ TPU ਏਜੰਟ ਸੂਟ Cursor ਵਰਗੇ ਕੋਡਿੰਗ ਟੂਲਾਂ ਨਾਲ ਜੁੜ ਕੇ ਸ਼ੁਰੂਆਤ ਅਤੇ ਟਿਊਨਿੰਗ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ। Google ਨੇ TPU Sync ਵੀ ਓਪਨ-ਸੋਰਸ ਕੀਤਾ, ਜੋ ਉਸ ਮੁਤਾਬਕ KV ਟ੍ਰਾਂਸਫ਼ਰ ਦੀ ਦੇਰੀ ਅਤੇ ਪਹਿਲੇ ਟੋਕਨ ਤੱਕ ਦੇ ਸਮੇਂ ਨੂੰ 90% ਤੋਂ ਵੱਧ ਘਟਾਉਂਦਾ ਹੈ, ਅਤੇ ਇੱਕ Agent Compute Engine ਦਾ ਐਲਾਨ ਕੀਤਾ ਜੋ ਵਿਹਲੇ ਏਜੰਟ ਸੈਸ਼ਨਾਂ ਨੂੰ ਰੋਕ ਕੇ ਖ਼ਰਚਾ ਬਚਾਉਂਦਾ ਹੈ। TPU ਦੇ ਹੁਣ ਲਗਭਗ 100 ਗਾਹਕ ਹਨ, ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਅਤਿ-ਆਧੁਨਿਕ ਲੈਬਾਂ, ਟ੍ਰੇਡਿੰਗ ਫ਼ਰਮਾਂ, ਰਿਟੇਲਰ ਅਤੇ ਯੂਨੀਵਰਸਿਟੀਆਂ ਸ਼ਾਮਲ ਹਨ।

ਕੀਮਤਾਂ

Google ਨੇ TPU 8tx ਜਾਂ TPU 8i Max ਦੀ ਕੋਈ ਕੀਮਤ ਜਾਂ ਰਿਲੀਜ਼ ਤਾਰੀਖ਼ ਨਹੀਂ ਦੱਸੀ। TPU ਕਲਾਊਡ ਸਮਰੱਥਾ ਵਜੋਂ ਵੇਚੇ ਜਾਂਦੇ ਹਨ ਅਤੇ ਗਾਹਕ ਇਨ੍ਹਾਂ ਨੂੰ ਆਪਣੇ ਡੇਟਾ ਸੈਂਟਰਾਂ ਵਿੱਚ ਵੀ ਲਗਾ ਸਕਦੇ ਹਨ, ਇਸ ਲਈ ਕੋਈ ਰਿਟੇਲ ਕੀਮਤ ਨਹੀਂ ਹੈ। 8t ਅਤੇ 8i ਬਾਰੇ TechRadar ਨੇ ਦੱਸਿਆ ਸੀ ਕਿ Google Cloud ਗਾਹਕਾਂ ਲਈ ਆਮ ਉਪਲਬਧਤਾ ਆਉਣ ਵਾਲੇ ਮਹੀਨਿਆਂ ਵਿੱਚ ਹੋਣ ਦੀ ਉਮੀਦ ਹੈ।

ਇਹ ਕਿਸ ਲਈ ਠੀਕ ਹੈ

ਨਿਯਮ-ਬੱਧ ਸੰਸਥਾਵਾਂ। ਬੈਂਕ, ਸਿਹਤ ਸਮੂਹ ਅਤੇ ਸਰਕਾਰੀ ਅਦਾਰੇ, ਜਿਨ੍ਹਾਂ ਨੂੰ ਮਾਡਲ ਵੱਲੋਂ ਪ੍ਰੋਸੈਸਿੰਗ ਦੌਰਾਨ ਵੀ ਡੇਟਾ ਸੁਰੱਖਿਅਤ ਰੱਖਣਾ ਪੈਂਦਾ ਹੈ, TPU 8tx ਦਾ ਨਿਸ਼ਾਨਾ ਹਨ।

ਲੰਮੇ ਕਾਂਟੈਕਸਟ ਵਾਲੀਆਂ ਟੀਮਾਂ। ਵੱਡੇ ਕੋਡਬੇਸ ਜਾਂ ਲੰਮੀ ਵੀਡੀਓ ’ਤੇ ਕਈ ਏਜੰਟ ਚਲਾਉਣ ਵਾਲੀਆਂ ਕੰਪਨੀਆਂ TPU 8i Max ਦਾ ਵਰਤੋਂ-ਮਾਮਲਾ ਹਨ।

PyTorch ਡਿਵੈਲਪਰ। Google ਮੁਤਾਬਕ TorchTPU ਨਾਲ ਮੌਜੂਦਾ ਕੋਡ ਅਤੇ Hugging Face ਮਾਡਲ ਬਿਨਾਂ ਦੁਬਾਰਾ ਲਿਖੇ TPU ’ਤੇ ਚੱਲ ਸਕਦੇ ਹਨ।

ਆਮ ਪਾਠਕ। ਤੁਸੀਂ ਇਹ ਚਿੱਪ ਨਹੀਂ ਖ਼ਰੀਦੋਗੇ, ਪਰ ਇਹ ਤੁਹਾਡੇ ਵਰਤੇ ਕਲਾਊਡ ਟੂਲਾਂ ਦੇ ਪਿੱਛੇ ਹੋ ਸਕਦੇ ਹਨ। ਤੇਜ਼ ਅਤੇ ਵਧੇਰੇ ਨਿੱਜੀ ਬੈਕਐਂਡ ਅੱਗੇ ਚੱਲ ਕੇ ਬਿਹਤਰ ਸੇਵਾਵਾਂ ਵਜੋਂ ਦਿਸ ਸਕਦੇ ਹਨ।

ਹਾਲੇ ਕੀ ਪਤਾ ਨਹੀਂ?

Google ਨੇ ਦੋ ਨਵੇਂ ਸਿਸਟਮਾਂ ਦੀ ਲਾਂਚ ਤਾਰੀਖ਼, ਖੇਤਰ ਮੁਤਾਬਕ ਉਪਲਬਧਤਾ ਜਾਂ ਕੀਮਤ ਨਹੀਂ ਦੱਸੀ, ਅਤੇ ਵਿਰੋਧੀ ਹਾਰਡਵੇਅਰ ਨਾਲ ਤੁਲਨਾ ਵਾਲੇ ਬੈਂਚਮਾਰਕ ਅੰਕੜੇ ਵੀ ਜਾਰੀ ਨਹੀਂ ਕੀਤੇ। ਇਨ੍ਹਾਂ ਵੇਰਵਿਆਂ ਲਈ Google Cloud ਦੇ ਇਨਫ਼ਰਾਸਟ੍ਰਕਚਰ ਪੰਨੇ ਦੇਖਦੇ ਰਹੋ।