全球首款 Transformer 專用AI晶片 Sohu發布：比晶NVIDIA H100快20倍

據媒體報導，美國新興的晶片創業公司 Etched 發布其首款AI晶片——Sohu。

這款晶片在運行大型模型時展現出了驚人的性能，其速度超越了行業巨頭 NVIDIA 的H100高達20倍，即便是與今年3月才面世的頂尖晶片B200相比，Sohu 也展現出超過10倍的優越性能。

Sohu 晶片的最大突破在於它直接將 Transformer 架構嵌入晶片內部。據 Etched 公司負責人Uberti 透露，Sohu 採用了台積電的先進4奈米工藝製造，不僅在推理性能上遠超GPU和其他通用人工智慧晶片，更在能耗控制上達到了新的高度。

對於 Transformer 技術而言，Sohu 無疑是目前市場上最快的晶片，其性能與其他產品之間存在顯著的量級差異。值得一提的是，當前主流的 AI產品如 ChatGPT、Claude、Gemini 和 Sora 等，均基於T ransformer 架構驅動。

作為世界上首款 Transformer ASIC（應用型專用集成電路）晶片，Sohu 的集成應用更是令人矚目。據測試，一台配備8塊Sohu晶片的服務器，其性能足以媲美160塊H100 GPU的集群。

具體而言，集成8塊Sohu晶片的服務器每秒能夠處理高達50萬的Llama 7B tokens，這一數據在業界堪稱前所未有。

而打造這款傑出晶片的Etched公司，位於美國加州的庫比蒂諾，盡管成立僅兩年，團隊規模也僅有35人，但其創始人——哈佛輟學生Gavin Uberti（前OctoML和前Xnor.ai員工）和Chris Zhu，與資深技術專家Robert Wachen和前賽普拉斯半導體公司首席技術官Mark Ross共同領導，已經成功研發出這款專為大模型AI設計的晶片，展現了其強大的技術實力和無限潛力。

消息來源