OpenAI 全新 gpt-oss 開源模型可在 NVIDIA RTX GPU 加速運行

NVIDIA 宣布與 OpenAI 合作，讓一般消費者能夠使用到全新 gpt-oss 開源模型系列產品，原本僅限於雲端資料中心的尖端 AI 技術，如今也能以驚人的速度在搭載 RTX 技術的 PC 及工作站上運行。

此項發布象徵次世代裝置端 AI 技術透過 GeForce RTX GPU 與 PRO GPU 的強大運算能力，能夠在 PC 及工作站的本機端提供用戶更快速、更智慧的 AI 使用體驗。此次推出兩款專為支援整個 AI 生態系多元應用需求的全新版本：

• 經過最佳化的 gpt-oss-20b 模型可在搭配至少 16GB VRAM 的 NVIDIA RTX AI PC 上，以最大效能極速運行，在 RTX 5090 GPU 上可達每秒 250 個 token 的運算速度。
• 更高階的 gpt-oss-120b 模型則支援搭載 NVIDIA RTX PRO GPU 的專業工作站。

這兩款使用 NVIDIA H100 GPU 完成訓練的模型，是首批在 NVIDIA RTX 上支援 MXFP4 精度的模型。相較於過去使用的技術，MXFP4 可在不增加效能成本的前提下，有效提升模型品質與準確度。這兩款模型皆支援長達 131,072 token 的上下文長度，在本地推論領域中的表現位居前列。兩款模型皆採用靈活的專業混合（MoE）架構，具有思維鏈功能，並支援指令跟隨與工具使用等功能。

本週， RTX AI Garage 將重點介紹 AI 愛好者與開發者如何在 NVIDIA RTX GPU 上快速上手 OpenAI 的全新模型：

• Ollama 應用程式：使用全新推出的 Ollama 應用程式，是最容易測試這些模型的方式。它的直覺式使用者介面內建支援 gpt-oss 模型，已針對 RTX GPU 進行最佳化。
• cpp：NVIDIA 與開源社群合作，持續提升 RTX GPU 的運算效能，近期貢獻包括導入 CUDA Graphs 技術，有效降低系統開銷。開發者可透過 Llama.cpp 的 GitHub 儲存庫輕鬆開始使用。
• Microsoft AI Foundry：Windows 開發者可透過 Microsoft AI Foundry Local（現為公開預覽階段）使用這些模型。只要在終端機執行指令 Foundry model run gpt-oss-20b，即可輕鬆啟動模型。

若想進一步了解 NVIDIA 與 OpenAI 的合作詳情，請造訪 NVIDIA 官方部落格文章。