AMD का MI355X accelerator, Kimi K3 2.8T मॉडल पर Nvidia के GB200 NVL72 से कम cost per token दिखा रहा है। SemiAnalysis के InferenceX head-to-head comparison के मुताबिक, सबसे ऊंचे interactivity level पर MI355X की लागत $0.15 प्रति million tokens रही। इसी operating point पर GB200 NVL72 की लागत $0.22 प्रति million tokens दर्ज की गई।

SemiAnalysis के comparison page में इस अंतर को AMD MI355X के लिए “46% cheaper” बताया गया है। यह तुलना inference workload में प्रति million tokens की लागत पर आधारित है, इसलिए इसका सीधा संबंध मॉडल चलाने की operating economics से है।

अलग operating point पर भी AMD आगे

Comparison में 71 tok/s/user के operating point पर MI355X की लागत $0.05 प्रति million tokens बताई गई है। Nvidia GB200 NVL72 के लिए इसी point पर लागत $0.07 प्रति million tokens दर्ज है। SemiAnalysis ने इस अंतर को 35% cost-per-token gap के रूप में पेश किया है।

इससे संकेत मिलता है कि दोनों hardware platforms के बीच लागत का अंतर operating point के साथ बदलता है। सबसे ऊंचे interactivity level पर अंतर 46% बताया गया, जबकि 71 tok/s/user पर यह 35% रहा। इसलिए किसी deployment के लिए तुलना करते समय केवल एक benchmark point के बजाय इस्तेमाल किए जाने वाले performance और interactivity level को देखना जरूरी होगा।

उपलब्ध जानकारी में 118 tok/s/user के operating point पर MI355X की लागत $0.14 प्रति million tokens बताई गई है। हालांकि, इस point के लिए GB200 NVL72 की तुलनात्मक लागत उपलब्ध सामग्री में स्पष्ट नहीं है। इसलिए वहां दोनों platforms के बीच प्रतिशत अंतर निकालना संभव नहीं है।

यह तुलना Kimi K3 2.8T पर InferenceX head-to-head results तक सीमित है। test configuration, hardware की संख्या, कुल throughput या deployment की दूसरी लागतों का विवरण की जानकारी अभी नहीं है। इसलिए इसे इसी benchmark comparison के cost-per-token नतीजे के रूप में देखना चाहिए, न कि हर तरह के AI workload के लिए सामान्य निष्कर्ष के रूप में।

निष्कर्ष

SemiAnalysis के InferenceX comparison में AMD MI355X ने Kimi K3 2.8T पर Nvidia GB200 NVL72 की तुलना में कम cost per token दिखाई। सबसे ऊंचे interactivity level पर अंतर 46% और 71 tok/s/user पर 35% बताया गया है।

अक्सर पूछे जाने वाले सवाल

Q. यह तुलना किन accelerators के बीच है?

AMD MI355X और Nvidia GB200 NVL72 के बीच।

Q. तुलना किस AI मॉडल पर की गई?

तुलना Kimi K3 2.8T पर की गई है।

Q. सबसे ऊंचे interactivity level पर MI355X की लागत कितनी रही?

MI355X की लागत $0.15 प्रति million tokens रही।

Q. इसी operating point पर GB200 NVL72 की लागत कितनी थी?

GB200 NVL72 की लागत $0.22 प्रति million tokens बताई गई है।

Q. 71 tok/s/user पर दोनों की लागत कितनी थी?

MI355X की लागत $0.05 और GB200 NVL72 की लागत $0.07 प्रति million tokens रही।

Q. 71 tok/s/user पर cost gap कितना बताया गया?

SemiAnalysis ने इस अंतर को 35% cost-per-token gap बताया है।

Q. 118 tok/s/user पर क्या जानकारी उपलब्ध है?

इस operating point पर MI355X की लागत $0.14 प्रति million tokens बताई गई है। GB200 NVL72 की तुलनात्मक लागत उपलब्ध सामग्री में स्पष्ट नहीं है।