解碼 AI 最新的開發者工具和應用程式 ChatRTX 能在 PC 與工作站上加速人工智慧作業

NVIDIA 的 RTX AI 平台包含了各種工具和軟體開發套件，可協助 Windows 開發者打造尖端的生成式人工智慧（AI）功能，在AI PC 和工作站上締造最佳效能。

有了Chat with RTX，這一技術展示暨開發者參照專案，使用者可輕鬆快速地將強大的大型語言模型（LLM) 與自己的數據資料建立連結。

RTX PC 生成式 AI 競賽的優勝者名單已於3月18日揭曉。生成式 AI 演講廳其中一場「解碼 AI 」講座重點介紹了 OutlookLLM、Rocket League BotChat 和 CLARA，三者均採用 NVIDIA TensorRT-LLM 加速技術。另外兩場「解碼 AI 」講座的主題，則包含在內容創作中使用生成式 AI，並且深入探討 Chat with RTX。

隨著 Jan.ai、Langchain、LlamaIndex 和 Oobabooga 即將開始採用加速技術，採用 TensorRT-LLM 整合的開發者框架和介面也不斷成長，進而讓目前超過 500 個應用於RTX PC 和工作站的AI應用程式持續壯大。

NVIDIA NIM 微服務即將支援 RTX PC和工作站，可提供預先建構的容器和符合業界標準的 API，讓開發者能加速處理 RTX PC 和工作站上的部署作業。NVIDIA AI Workbench 是簡單易上手的開發者工具套件，可管理 AI 模型的客製化和最佳化工作流程，現已公開發行供 RTX 開發者使用。

這些生態系的整合功能和各種工具的應用，會加快全新 Windows 應用程式和功能的開發速度。在本次競賽的獲勝作品提供了這些內容未來樣貌的一瞥，令人鼓舞。

多聽、多看、多聊聊

Chat with RTX，簡稱為 ChatRTX， 採用檢索增強生成技術、NVIDIA TensorRT-LLM 軟體和 NVIDIA RTX 加速功能，可將本機生成式 AI 的各種功能賦予採用 RTX 的Windows 系統。使用者能以資料集的形式，將本機檔案快速輕鬆地連結到開放式大型語言模型，如 Mistral 或 Llama 2，快速獲得符合情境的查詢結果。

ChatRTX 未來亦將不再侷限於文字，不久後即將支援語音、影像和新模型。

使用者將能透過 Whisper 自動語音辨識系統與 ChatRTX 對話，Whisper會使用AI來處理口語內容。推出此功能後，ChatRTX 將能「理解」口語内容並以文字反應。

將來也會透過更新，加入相片支援功能。待整合 OpenAI 的 CLIP（對比語言影像預先訓練，Contrastive Language-Image Pre-training）後，便能讓使用者在私人媒體庫中依單字、詞語或片語搜尋相片。

除了 Google 的 Gemma 外，接下來的更新中也將會支援ChatGLM。

開發者可以先從 GitHub 上最新版本的開發者參照專案著手開始使用。

笑傲生成式 AI 競賽

NVIDIA RTX 的 NVIDIA 生成式 AI 開發者競賽要求開發者製作 Windows 應用程式或外掛程式。

參賽作品的三項評分標準包括：在社群媒體上發表的示範短片、專案的相對影響力和易用性，以及專案中 NVIDIA 技術堆疊的運用成效。三位獲獎者皆收到了GTC的通行證，包括NVIDIA深度學習機構的生成式 AI 和大型語言模型課程的名額；還獲得了一張 GeForce RTX 4090顯示卡，作為未來開發工作的助力。

OutlookLLM 為 Outlook 使用者提供了生成式 AI 功能，例如撰寫電子郵件。透過 TensorRT-LLM 提供的本機大型語言模型，使用者可在 RTX PC 和工作站上，安全隱密地在電子郵件用戶端中寫信。該服務使用透過 TensorRT-LLM 提供的本機大型語言模型。

「Rocket League BotChat」是熱門遊戲《火箭聯盟 （Rocket League) 》的外掛程式，可讓機器人根據遊戲的事件記錄檔，例如得分或救球等，傳送情境式的遊戲內聊天訊息。此外掛程式設計為僅限用於機器人當對手的離線遊戲，可透過設定選單以多種方式設定。

《火箭聯盟》BotChat 開發者 Brian Caffey表示：「由於機器人對手會以近乎即時的速度，透過遊戲內的訊息來回應遊戲事件，因此我發現這讓遊戲增加了全新境界的娛樂性。我很期待能在參加開發者競賽時，跟大家分享我是如何將AI融入遊戲之中。我的專案目標客群是以 RTX 硬體玩《火箭聯盟》的所有玩家。」

CLARA 是「搭載RTX加速的命令列輔助功能（Command Line Assistant with RTX Acceleration）」的簡稱，可將簡單的英文指示轉換成可執行的命令，藉此強化 PowerShell 的命令列介面。此延伸模組可快速在本機執行，讓使用者可以持續處於在 PowerShell 環境中。啟用後，使用者只需輸入英文指示並按下 tab 按鈕，即可呼叫 CLARA，其安裝方式非常簡單明瞭，可選擇使用指令碼形式或者手動設定。

加速生態系

Blackmagic Design 和 Topaz Labs 等頂尖的創作應用程式開發商，已在各自的軟體中整合 RTX AI加速功能。DaVinci Resolve 和 Topaz 應用程式透過 TensorRT，讓轉描、降噪、超解析度和影片穩定等AI效果的速度得以加倍運作。

Blackmagic Design 軟體開發總監 Rohit Gupt表示：「Blackmagic Design 和 NVIDIA 持續合作，以求在 RTX AI PC 上執行AI模型以開創新一波的突破性功能，讓使用者有能力用更快的速度創作出魅力無窮、令人身臨其境的內容。」

TensorRT-LLM 將與熱門的開發者框架和生態系整合，例如 LangChain、LlamaIndex、Oobabooga 和 Jan.AI。開發者和愛好者可透過各種頂尖的大型語言模型框架，輕鬆獲得 TensorRT-LLM 帶來的效能優勢，打造生成式AI應用程式並部署到本機和雲端 GPU。

愛好者也能透過 Oobabooga 和 Jan.AI 的聊天介面，利用RTX 系統上的 TensorRT-LLM 加速技術，嘗試他們愛用的大型語言模型。

NIM 技術帶來靈敏快速的AI

開發者和修補人員都能活用 NIM 微服務的力量。NIM 微服務是預先建置的AI「容器」，採用業界標準 API，可提供最佳化解決方案，有助於將部署時間從數週縮短至數分鐘。可搭配 NVIDIA、Getty Images、Google、Meta、Microsoft、 Shutterstock 等超過 20 種熱門模型使用。

NVIDIA AI Workbench 現已公開發行，可協助開發者在 RTX GPU 上快速建立、測試和客製化預先訓練的生成AI模型和大型語言模型，還能更順暢地存取Hugging Face、GitHub 和NVIDIA NGC 等熱門儲存庫，使用者介面也更為簡化，方便開發者輕鬆複製、協作和移轉專案。

無論是資料中心、公有雲還是NVIDIA DGX Cloud，只要專案需要更多效能，都可以輕鬆擴充專案規模，再將專案帶回PC或工作站上的本機 RTX系統，處理推論和光線自訂工作。AI Workbench 開放免費下載，也提供了範例專案協助開發者快速入門。

所有這些工具，以及在 GTC 上發表和展示的其他工具，都能協助開發者推動AI解決方案的創新。

從推出 Blackwell平台，到建立地球氣候的數位孿生，都讓這場 GTC 令人難忘。對於 RTX PC 和工作站的使用者與開發者而言，這也是一窺生成式AI未來發展的大好機會。