OpenAI 全新 gpt-oss 開源模型可在 NVIDIA RTX GPU 加速運行
NVIDIA 宣布與 OpenAI 合作,讓一般消費者能夠使用到全新 gpt-oss 開源模型系列產品,原本僅限於雲端資料中心的尖端 AI 技術,如今也能以驚人的速度在搭載 RTX 技術的 PC 及工作站上運行。
此項發布象徵次世代裝置端 AI 技術透過 GeForce RTX GPU 與 PRO GPU 的強大運算能力,能夠在 PC 及工作站的本機端提供用戶更快速、更智慧的 AI 使用體驗。此次推出兩款專為支援整個 AI 生態系多元應用需求的全新版本:
- 經過最佳化的 gpt-oss-20b 模型可在搭配至少 16GB VRAM 的 NVIDIA RTX AI PC 上,以最大效能極速運行,在 RTX 5090 GPU 上可達每秒 250 個 token 的運算速度。
- 更高階的 gpt-oss-120b 模型則支援搭載 NVIDIA RTX PRO GPU 的專業工作站。
這兩款使用 NVIDIA H100 GPU 完成訓練的模型,是首批在 NVIDIA RTX 上支援 MXFP4 精度的模型。相較於過去使用的技術,MXFP4 可在不增加效能成本的前提下,有效提升模型品質與準確度。這兩款模型皆支援長達 131,072 token 的上下文長度,在本地推論領域中的表現位居前列。兩款模型皆採用靈活的專業混合(MoE)架構,具有思維鏈功能,並支援指令跟隨與工具使用等功能。
本週, RTX AI Garage 將重點介紹 AI 愛好者與開發者如何在 NVIDIA RTX GPU 上快速上手 OpenAI 的全新模型:
- Ollama 應用程式:使用全新推出的 Ollama 應用程式,是最容易測試這些模型的方式。它的直覺式使用者介面內建支援 gpt-oss 模型,已針對 RTX GPU 進行最佳化。
- cpp:NVIDIA 與開源社群合作,持續提升 RTX GPU 的運算效能,近期貢獻包括導入 CUDA Graphs 技術,有效降低系統開銷。開發者可透過 Llama.cpp 的 GitHub 儲存庫輕鬆開始使用。
- Microsoft AI Foundry:Windows 開發者可透過 Microsoft AI Foundry Local(現為公開預覽階段)使用這些模型。只要在終端機執行指令 Foundry model run gpt-oss-20b,即可輕鬆啟動模型。
若想進一步了解 NVIDIA 與 OpenAI 的合作詳情,請造訪 NVIDIA 官方部落格文章。
延伸影片閱讀: