NVIDIA ਦਾ ਦਾਅਵਾ ਹੈ ਕਿ ਉਸ ਦਾ Vera Rubin ਪਲੇਟਫ਼ਾਰਮ Blackwell Ultra ਦੇ ਮੁਕਾਬਲੇ ਪ੍ਰਤੀ ਡਾਲਰ ਏਜੰਟਿਕ ਥਰੂਪੁੱਟ 30x ਤੱਕ ਵਧਾਉਂਦਾ ਹੈ, ਜਦਕਿ ਪ੍ਰਤੀ GPU HBM ਸਮਰੱਥਾ ਸਿਰਫ਼ ਲਗਭਗ 3% ਵਧੀ ਹੈ। ਕੰਪਨੀ ਨੇ ਇਹ ਗੱਲ 5 ਨਵੰਬਰ 2026 ਨੂੰ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤੀ ਅਤੇ ਕਿਹਾ ਕਿ ਸਪਲਾਈ ਤੰਗ ਹੋਣ ਅਤੇ ਕੀਮਤਾਂ ਵਧਣ ਦੇ ਦੌਰ ਵਿੱਚ ਚਿੱਪ ਉੱਤੇ ਹੋਰ ਮੈਮਰੀ ਲਾਉਣਾ ਹੱਲ ਨਹੀਂ ਹੈ।

ਇਸ ਦੀ ਥਾਂ NVIDIA ਪੂਰੇ ਸਟੈਕ ਦੇ ਸਾਂਝੇ ਡਿਜ਼ਾਈਨ ਦੀ ਗੱਲ ਕਰਦੀ ਹੈ: GPU, CPU, ਨੈੱਟਵਰਕ, ਸਟੋਰੇਜ ਅਤੇ ਸੌਫ਼ਟਵੇਅਰ ਇਕੱਠੇ ਡਿਜ਼ਾਈਨ ਕੀਤੇ ਜਾਂਦੇ ਹਨ ਤਾਂ ਜੋ ਮੈਮਰੀ ਦਾ ਹਰ ਬਾਈਟ ਵੱਧ ਕੰਮ ਕਰੇ। ਅੰਕੜੇ NVIDIA ਦੇ ਆਪਣੇ ਬਲੌਗ ਅਤੇ ਉਸ ਵੱਲੋਂ ਦੱਸੇ SemiAnalysis AgentX ਬੈਂਚਮਾਰਕ ਤੋਂ ਹਨ, ਇਸ ਲਈ ਇਨ੍ਹਾਂ ਨੂੰ ਨਿਰਮਾਤਾ ਦੇ ਦਾਅਵੇ ਸਮਝੋ।

ਮੈਮਰੀ AI ਸਰਵਰਾਂ ਦੀ ਰੁਕਾਵਟ ਕਿਉਂ ਹੈ?

NVIDIA ਮੁਤਾਬਕ ਵੱਡੇ ਮਾਡਲ, ਲੰਮੇ ਕੰਟੈਕਸਟ ਅਤੇ ਏਜੰਟ ਐਪਲੀਕੇਸ਼ਨ GPU ਮੈਮਰੀ ਉੱਤੇ ਦਬਾਅ ਵਧਾ ਰਹੇ ਹਨ। HBM, ਯਾਨੀ GPU ਦੇ ਨਾਲ ਲੱਗੀ ਤੇਜ਼ ਬੈਂਡਵਿਡਥ ਵਾਲੀ ਮੈਮਰੀ, ਸਭ ਤੋਂ ਤੇਜ਼ ਅਤੇ ਮਹਿੰਗੀ ਪਰਤ ਹੈ, ਅਤੇ ਮਾਡਲ ਵਜ਼ਨ ਅਤੇ KV ਕੈਸ਼ ਇਸ ਲਈ ਮੁਕਾਬਲਾ ਕਰਦੇ ਹਨ।

KV ਕੈਸ਼ ਹਰ ਸਰਗਰਮ ਬੇਨਤੀ ਲਈ ਮਾਡਲ ਨੂੰ ਲੋੜੀਂਦਾ ਸੰਦਰਭ ਸੰਭਾਲਦਾ ਹੈ। NVIDIA ਦੱਸਦੀ ਹੈ ਕਿ ਏਜੰਟਿਕ ਕੰਮ ਵਿੱਚ ਮਾਡਲ ਅਤੇ ਟੂਲ ਕਾਲਾਂ ਦੌਰਾਨ ਪੁਰਾਣਾ ਸੰਦਰਭ ਨਾਲ ਚੱਲਦਾ ਹੈ, ਕੁਝ ਮਾਮਲਿਆਂ ਵਿੱਚ 3 million ਟੋਕਨ ਤੱਕ, ਇਸ ਲਈ ਵਰਕਿੰਗ ਮੈਮਰੀ ਵਧਦੀ ਜਾਂਦੀ ਹੈ। RAG ਹੋਰ ਸੰਦਰਭ ਜੋੜਦਾ ਹੈ।

NVIDIA ਇੱਕ ਹੱਦ ਦਾ ਜ਼ਿਕਰ ਵੀ ਕਰਦੀ ਹੈ ਜਿਸ ਨੂੰ ਉਹ ਮੈਮਰੀ ਕੰਧ ਕਹਿੰਦੀ ਹੈ। ਵੱਧ HBM ਹੋਰ ਵਰਤੋਂਕਾਰਾਂ ਦਾ ਸੰਦਰਭ ਰੱਖ ਸਕਦੀ ਹੈ, ਪਰ ਸਾਰੇ ਇੱਕੋ ਕੰਪਿਊਟ ਅਤੇ ਬੈਂਡਵਿਡਥ ਨੂੰ ਵੰਡਦੇ ਹਨ। ਜਦੋਂ ਬੈਂਡਵਿਡਥ ਕੰਪਿਊਟ ਦਾ ਸਾਥ ਨਹੀਂ ਦਿੰਦੀ, ਵਾਧੂ ਸਮਰੱਥਾ ਵਿਹਲੀ ਰਹਿੰਦੀ ਹੈ ਪਰ ਖ਼ਰਚ ਅਤੇ ਬਿਜਲੀ ਵਧਾਉਂਦੀ ਹੈ।

NVIDIA ਇਸ ਬਾਰੇ ਕੀ ਕਰ ਰਹੀ ਹੈ?

NVIDIA ਤਿੰਨ ਤਕਨੀਕਾਂ ਗਿਣਾਉਂਦੀ ਹੈ, ਹਰ ਇੱਕ ਵੱਖਰੇ ਬਰਬਾਦੀ ਸਰੋਤ ਲਈ:

  • ਛੋਟੇ ਵਜ਼ਨ। NVFP4 ਫਾਰਮੈਟ FP8 ਨਾਲੋਂ ਘੱਟ ਥਾਂ ਲੈਂਦਾ ਹੈ, ਅਤੇ FP8 Hopper ਪਲੇਟਫ਼ਾਰਮ ਦੀ ਸਭ ਤੋਂ ਘੱਟ ਸ਼ੁੱਧਤਾ ਹੈ। NVL72 ਸਿਸਟਮ ਵਿੱਚ ਵਜ਼ਨ 72 GPU ਤੱਕ ਵੰਡੇ ਜਾ ਸਕਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਹਰ GPU ਦੀ HBM KV ਕੈਸ਼ ਲਈ ਬਚਦੀ ਹੈ। NVIDIA ਨੇ NVFP4 ਚੈੱਕਪੁਆਇੰਟਾਂ ਨਾਲ ਜਾਰੀ ਕਈ ਨਵੇਂ ਮਾਡਲ ਗਿਣਾਏ, ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਉਸ ਦਾ ਆਪਣਾ Nemotron 3.5 Super VL ਵੀ ਹੈ।
  • ਛੋਟਾ ਅਤੇ ਹਿਲਾਇਆ ਜਾ ਸਕਣ ਵਾਲਾ KV ਕੈਸ਼। NVFP4 KV ਕੈਸ਼ ਨੂੰ FP8 ਨਾਲੋਂ ਛੋਟਾ ਕਰਦਾ ਹੈ। Vera CPU ਟੂਲ ਕਾਲਾਂ ਦੌਰਾਨ ਵਿਹਲਾ ਸਮਾਂ ਘਟਾਉਂਦਾ ਹੈ, ਅਤੇ NVLink-C2C ਰਾਹੀਂ Rubin GPU ਨਾਲ ਜੁੜੀ ਵੱਡੀ LPDDR ਮੈਮਰੀ ਰੁਕੇ ਹੋਏ ਸੰਦਰਭ ਨੂੰ ਨੇੜੇ ਥਾਂ ਦਿੰਦੀ ਹੈ। Dynamo ਸੌਫ਼ਟਵੇਅਰ ਵਿਹਲੇ ਸੰਦਰਭ ਨੂੰ CMX ਕੰਟੈਕਸਟ ਮੈਮਰੀ ਸਟੋਰੇਜ ਵਿੱਚ ਭੇਜ ਸਕਦਾ ਹੈ, ਜਿਸ ਦੀ ਪ੍ਰਤੀ ਬਿੱਟ ਲਾਗਤ NVIDIA ਮੁਤਾਬਕ HBM ਨਾਲੋਂ ਕਾਫ਼ੀ ਘੱਟ ਹੈ।
  • ਹਲਕਾ ਖੋਜ ਡੇਟਾ। Nemotron Retriever ਮਾਡਲ ਛੋਟੇ ਐਂਬੈਡਿੰਗ ਬਣਾਉਂਦੇ ਹਨ, ਅਤੇ cuVS ਲਾਇਬ੍ਰੇਰੀ ਇੰਡੈਕਸ ਨੂੰ CPU ਅਤੇ ਸਟੋਰੇਜ ਉੱਤੇ ਰੱਖਣ ਦਿੰਦੀ ਹੈ, ਇਸ ਲਈ ਗਿਆਨ ਅਧਾਰ HBM ਵਿੱਚ ਨਹੀਂ ਆਉਂਦਾ।

ਪਿਛੋਕੜ ਵਜੋਂ, NVIDIA ਦੀਆਂ ਰੈਕ ਯੋਜਨਾਵਾਂ ਬਾਰੇ ਇੱਕ ਹੋਰ ਰਿਪੋਰਟ Vera Rubin NVL72 ਨੂੰ 72 Rubin GPU ਅਤੇ 36 Vera CPU ਦਾ ਸੁਮੇਲ ਦੱਸਦੀ ਹੈ।

ਅੰਕੜੇ ਕੀ ਦੱਸਦੇ ਹਨ?

NVIDIA ਦੇ ਨਤੀਜੇ SemiAnalysis AgentX ਦੇ DeepSeek V4 Pro ਵਰਕਲੋਡ ਤੋਂ ਹਨ:

  • GB300 NVL72 ਬਨਾਮ H200: ਪ੍ਰਤੀ ਵਰਤੋਂਕਾਰ 100 ਟੋਕਨ ਪ੍ਰਤੀ ਸਕਿੰਟ ਉੱਤੇ ਪ੍ਰਤੀ ਡਾਲਰ ਥਰੂਪੁੱਟ 10x ਤੱਕ ਵੱਧ, ਅਤੇ ਪ੍ਰਤੀ GPU HBM ਸਮਰੱਥਾ ਲਗਭਗ ਦੁੱਗਣੀ।
  • Vera Rubin NVL72 ਬਨਾਮ GB300 NVL72: ਪ੍ਰਤੀ ਵਰਤੋਂਕਾਰ 125 ਟੋਕਨ ਪ੍ਰਤੀ ਸਕਿੰਟ ਉੱਤੇ ਪ੍ਰਤੀ ਡਾਲਰ ਥਰੂਪੁੱਟ 30x ਤੱਕ ਵੱਧ, ਅਤੇ ਪ੍ਰਤੀ GPU HBM ਸਮਰੱਥਾ ਲਗਭਗ 3% ਵੱਧ।

NVIDIA ਕਹਿੰਦੀ ਹੈ ਕਿ ਆਪਰੇਟਰਾਂ ਲਈ ਅਸਲ ਮਾਪ ਇਹ ਹੈ ਕਿ ਬਿਜਲੀ ਦੇ ਬਜਟ ਵਿੱਚ ਰਹਿੰਦਿਆਂ ਅਤੇ ਜਵਾਬ ਸਮੇਂ ਦੀਆਂ ਲੋੜਾਂ ਪੂਰੀਆਂ ਕਰਦਿਆਂ ਕਿੰਨੇ ਲਾਭਦਾਇਕ ਟੋਕਨ ਮਿਲਦੇ ਹਨ। ਕੰਪਨੀ ਇਹ ਵੀ ਕਹਿੰਦੀ ਹੈ ਕਿ ਉਹ HBM3e ਅਤੇ HBM4 ਨੂੰ ਤੇਜ਼ ਕੰਪਿਊਟਿੰਗ ਸਟੈਕ ਵਿੱਚ ਅਪਣਾਉਣ ਵਾਲੀ ਪਹਿਲੀ ਸੀ।

ਕੀਮਤਾਂ

NVIDIA ਨੇ ਇਸ ਲੇਖ ਵਿੱਚ ਕੋਈ ਕੀਮਤ ਨਹੀਂ ਦੱਸੀ, ਨਾ ਹੀ Vera Rubin ਸਿਸਟਮਾਂ ਦੀਆਂ ਸ਼ਿਪਿੰਗ ਤਾਰੀਖਾਂ। ਲੇਖ ਇਹ ਜ਼ਰੂਰ ਕਹਿੰਦਾ ਹੈ ਕਿ ਮੈਮਰੀ ਸਪਲਾਈ ਤੰਗ ਹੋ ਰਹੀ ਹੈ ਅਤੇ ਕੀਮਤਾਂ ਵਧ ਰਹੀਆਂ ਹਨ, ਜਿਸ ਦੇ ਨੇੜਲੇ ਸਮੇਂ ਵਿੱਚ ਜਾਰੀ ਰਹਿਣ ਦੀ ਉਮੀਦ ਹੈ। ਕੋਟੇਸ਼ਨ ਲਈ NVIDIA ਜਾਂ ਆਪਣੇ ਸਰਵਰ ਸਪਲਾਇਰ ਨਾਲ ਸੰਪਰਕ ਕਰੋ।

ਕਿਸ ਲਈ ਢੁਕਵਾਂ ਹੈ

ਡੇਟਾ ਸੈਂਟਰ ਅਤੇ ਕਲਾਊਡ ਖ਼ਰੀਦਦਾਰ। ਜੇ ਤੁਸੀਂ ਇਨਫ਼ਰੈਂਸ ਲਈ ਪ੍ਰਤੀ ਟੋਕਨ ਭੁਗਤਾਨ ਕਰਦੇ ਹੋ ਤਾਂ ਇਹ ਦਾਅਵਾ ਸਭ ਤੋਂ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ। ਪ੍ਰਤੀ ਡਾਲਰ ਅਤੇ ਪ੍ਰਤੀ ਵਾਟ ਥਰੂਪੁੱਟ ਦੇ ਅੰਕੜੇ ਆਪਣੇ ਵਰਕਲੋਡ ਉੱਤੇ ਪੱਕੇ ਕਰਵਾਓ।

AI ਡਿਵੈਲਪਰ। NVFP4 ਚੈੱਕਪੁਆਇੰਟਾਂ ਵਾਲੇ ਮਾਡਲ ਅਤੇ Dynamo ਤੇ cuVS ਵਰਗੇ ਟੂਲ ਉਹ ਵਿਹਾਰਕ ਹਿੱਸੇ ਹਨ ਜਿਨ੍ਹਾਂ ਨੂੰ ਅੱਜ ਵੇਖਿਆ ਜਾ ਸਕਦਾ ਹੈ।

ਆਮ ਪੀਸੀ ਅਤੇ ਫ਼ੋਨ ਖ਼ਰੀਦਦਾਰ। ਇਹ ਰੈਕ ਪੱਧਰ ਦਾ ਸਰਵਰ ਹਾਰਡਵੇਅਰ ਹੈ, ਇਸ ਲਈ ਖਪਤਕਾਰਾਂ ਲਈ ਸਿੱਧਾ ਉਤਪਾਦ ਨਹੀਂ। ਮੈਮਰੀ ਦੀ ਤੰਗੀ ਉਹੀ ਸਪਲਾਈ ਦਬਾਅ ਹੈ ਜੋ ਲੇਖ ਮੁਤਾਬਕ ਕੀਮਤਾਂ ਵਧਾ ਰਿਹਾ ਹੈ।

ਜਿਨ੍ਹਾਂ ਨੂੰ ਉਡੀਕ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ। ਜੋ ਇਨ੍ਹਾਂ ਅੰਕੜਿਆਂ ਦੇ ਆਧਾਰ ਉੱਤੇ ਖ਼ਰੀਦ ਸੋਚ ਰਹੇ ਹਨ, ਉਹ ਆਜ਼ਾਦ ਟੈਸਟਾਂ ਦੀ ਉਡੀਕ ਕਰਨ, ਕਿਉਂਕਿ ਅੰਕੜੇ NVIDIA ਦੇ ਹਨ ਅਤੇ ਇੱਕ ਹੀ ਟੈਸਟ ਵਰਕਲੋਡ ਉੱਤੇ ਟਿਕੇ ਹਨ।

ਹੁਣ ਤੱਕ ਕੀ ਪਤਾ ਨਹੀਂ

NVIDIA ਨਹੀਂ ਦੱਸਦੀ ਕਿ ਇਹ ਲਾਭ ਮੈਮਰੀ ਤਕਨੀਕਾਂ ਅਤੇ ਕੰਪਿਊਟ ਸੁਧਾਰ ਵਿੱਚ ਕਿਵੇਂ ਵੰਡੇ ਹਨ, ਨਾ ਹੀ ਹੋਰ ਵਰਕਲੋਡਾਂ ਉੱਤੇ ਨਤੀਜੇ। ਆਜ਼ਾਦ ਬੈਂਚਮਾਰਕ ਅਤੇ ਕੀਮਤਾਂ ਦੱਸਣਗੀਆਂ ਕਿ ਗਾਹਕਾਂ ਤੱਕ ਕਿੰਨਾ ਪਹੁੰਚਦਾ ਹੈ।

ਅਗਲਾ ਕਦਮ: ਮੂਲ ਲੇਖ ਵਿੱਚ ਦਿੱਤੀ ਤਕਨੀਕੀ ਵਿਆਖਿਆ ਅਤੇ ਵੀਡੀਓ ਪੜ੍ਹੋ, ਅਤੇ AgentX ਨਤੀਜਿਆਂ ਦੀ ਆਪਣੇ ਮਾਡਲ ਤੇ ਕੰਟੈਕਸਟ ਲੰਬਾਈ ਨਾਲ ਤੁਲਨਾ ਕਰੋ।