比輝達便宜的AI晶片？晶片大神Keller：捨棄HBM

日經新聞15日報導，Keller表示，輝達產品目前還有許多市場尚未涵蓋到。隨著AI拓展至智慧型手機、電動車及雲端服務，許多業者正在尋找較便宜的解決方案，不少小企業不願支付2萬美元購買輝達的高階繪圖處理器(GPU)。

Tenstorrent今(2024)年底準備推出第二代多用途AI晶片。據公司說法，在某些領域，這款AI晶片的能源、處理效率優於輝達AI GPU。事實上，跟輝達DGX系列AI伺服器相比，Tenstorrent的Galaxy系統不但效率高三倍、價格也便宜33%。

這是如何辦到的呢？Keller說，其中一個原因，就是Tenstorrent並未使用高頻寬記憶體(HBM)。HBM是生成式AI晶片的重要元件，輝達產品能獲致成功、HBM扮演重要角色。然而，HBM同時也是導致AI晶片耗電嚴重、價格高昂的元凶之一。

一般來說，AI晶片組每處理一次任務，GPU就會把資料傳送至記憶體。這需要HBM的高速資料傳輸能力。然而，Tenstorrent晶片大幅降低了資料傳輸次數，其特點是數百個核心中、每個核心都有一顆小型CPU，能自行判定哪些資料得優先處理、哪些非必要的任務可以放棄，進而提升整體效率。

Keller認為，全新方式可讓Tenstorrent晶片在部分AI研發領域取代GPU及HBM。不只如此，該公司也會盡量提升產品成本效益，但Keller坦言想要干擾現今規模龐大的HBM產業、恐得花上數年時間。他預測，未來將有更多新興業者搶進輝達目前還無法服務到的AI市場，而不是出現單獨一家完全取代輝達的企業。

根據Sequoia Capital分析師David Cahn日前估算，AI企業每年必須賺取約6,000億美元，才能負擔它們的AI基礎建設(例如資料中心)。

Cahn的計算方式相對簡單。首先，他將輝達的營收運轉率(run-rate，指按照運行速度推估未來表現)預估值乘以二，來估算AI資料中心的總成本(GPU佔據一半，其餘是能源、建築及後援發電機)。然後，Cahn再將這個數字乘以二，來涵蓋終端用戶(例如新創商、或向AWS等雲端商購買AI算力的業者)的50%毛利率。

然而，就算是樂觀情境下，科技巨擘也難以創造6,000億美元的AI營收。Cahn指出，假設Google、微軟、蘋果(Apple)及Meta各創造100億美元AI相關年營收，而甲骨文(Oracle)、字節跳動(ByteDance)、阿里巴巴(Alibaba)、騰訊(Tencent)、X及特斯拉(Tesla)各創造50億美元AI年營收，這跟AI企業每年需賺取的6,000億美元相比，還是有多達5,000億美元的差距。

值得注意的是，輝達新推的B100/B200處理器，已承諾效能可望高2.5倍、成本僅增加25%。輝達執行長黃仁勳(Jensen Huang) 2月曾表示，AI處理器的架構創新，比產量更重要。

黃仁勳2月12日在杜拜舉辦的世界政府峰會(World Governments Summit)對阿聯的AI部長Omar Al Olama表示，不能預設自己能買更多電腦，而是要假設電腦運算速度會加快，因此不必買下那麼多電腦。

(圖片來源：Rapidus)