啟動引擎：NVIDIA 和 Google Cloud 合作加速 AI 開發

NVIDIA 和 Google Cloud 宣布開展新合作，幫助世界各地的新創公司加速建立生成式人工智慧（AI）應用程式和服務。

此合作於今天在美國拉斯維加斯舉行的 Google Cloud Next ’24 大會上宣布，將結合針對新創公司的 NVIDIA Inception 計畫和 Google for Startups Cloud 計畫，以擴大獲得雲端積分（cloud credit）、市場推廣支援和技術專業知識，協助新創公司更快地為客戶提供價值。

NVIDIA Inception 是一項支援超過 18,000 家新創公司的全球計劃，其合格會員將能夠加速使用 Google Cloud 基礎設施，並獲得 Google Cloud 積分（credit），專注於 AI 的企業最高可獲得 350,000 美元的積分，並可用於NVIDIA DGX Cloud。

Google for Startups Cloud 計畫成員可以加入 NVIDIA Inception 計畫，並獲得技術專業知識、NVIDIA 深度學習機構課程學分、NVIDIA 硬體和軟體等。Google for Startups Cloud 計畫的合格成員還可以參與 NVIDIA Inception Capital Connect，讓新創公司能夠接觸到對該領域感興趣的創投公司。

參與這兩個計畫的高成長新興軟體製造商也可以獲得加快入駐Google Cloud Marketplace、共同行銷和產品加速支援。

此次合作是兩家公司為幫助降低各種規模企業開發生成式AI應用相關成本和障礙而發布的一系列公告中的最新一項。新創公司尤其受到AI投資相關高成本的限制。

需要全端人工智慧平台

今年 2 月，Google DeepMind 推出了 Gemma，這是一系列最先進的開放式模型。 NVIDIA 與 Google 合作，近期為Gemma在所有 NVIDIA AI 平台上進行了最佳化，有助於降低客戶成本，並加快針對特定領域用例的創新工作。

兩家公司的團隊緊密合作，利用NVIDIA TensorRT-LLM這個用於最佳化大型語言模型推論的開源庫來加速 Gemma 在 NVIDIA GPU 上運行時的效能，Gemma 採用與建立Google DeepMind 迄今為止功能最強大的模型Gemini相同的研究和技術。

NVIDIA NIM微服務是 NVIDIA AI Enterprise 軟體平台的一部分，它與 Google Kubernetes Engine（GKE）一起為開發 AI驅動應用程式以及將最佳化的AI 模型部署到生產環境提供了簡化路徑。NIM 基於 NVIDIA Triton 推論伺服器和 TensorRT-LLM 等推論引擎構建，支援各種領先的 AI 模型，並提供無縫、可擴展的 AI 推論，以加速企業中的生成式 AI 部署。

包括 Gemma 7B、RecurrentGemma 和 CodeGemma在內的Gemma 系列模型可從NVIDIA API 目錄中獲得，使用者可以透過瀏覽器進行試用，使用 API 端點進行原型開發，並使用 NIM 進行自主託管。

透過 GKE 和 Google Cloud HPC 工具套件，Google Cloud讓使用者可以更輕鬆地在其平台上部署 NVIDIA NeMo框架。這使得開發人員能夠自動化和擴展生成式AI模型的訓練和服務，使他們能夠透過可客製化的藍圖快速部署完整的環境，加速開發流程。

作為NVIDIA AI Enterprise 的一部分，NVIDIA NeMo也可在 Google Cloud Marketplace 中取得，為客戶提供了另一種輕鬆存取 NeMo 和其他框架以加速 AI 開發的方式。

為了進一步擴大 NVIDIA 加速的生成式 AI 運算的可用性，Google Cloud 也宣布 A3 Mega 將於下個月全面上市。這些執行個體是其 A3 虛擬機器系列的擴展，由 NVIDIA H100 Tensor核心GPU 驅動。新執行個體將使 A3 虛擬機器的 GPU 到 GPU之間網路頻寬增加一倍。

Google Cloud A3 上的新機密運算虛擬機器還將包括對機密運算的支援，以幫助客戶保護敏感資料的機密性和完整性，並在訓練和推論過程中保護應用程式和AI 工作負載，且使用H100 GPU加速時無需更改程式碼。這些由 GPU 驅動的機密運算虛擬機器將於今年以預覽版的形式提供。

下一步：基於 NVIDIA Blackwell 平台的 GPU

以 NVIDIA Blackwell 平台為基礎的NVIDIA最新 GPU 將於明年初導入 Google Cloud，共有兩種版本：NVIDIA HGX B200 和 NVIDIA GB200 NVL72。

HGX B200 專為最嚴苛的AI、資料分析和高效能運算工作負載而設計，而 GB200 NVL72 專為下一前沿、大規模、兆級參數的模型訓練和即時推論而設計。

NVIDIA GB200 NVL72 連接36 個Grace Blackwell 超級晶片，每個超級晶片配備兩個NVIDIA Blackwell GPU，並透過900GB/s 晶片間互連連接一個NVIDIA Grace CPU，在一個NVIDIA NVLink 域內支援多達72 個Blackwell GPU以及130TB/s 的頻寬。與上一代產品相比，NVIDIA GB200 NVL72 克服了通訊瓶頸，並作為單一 GPU運行，即時大型語言模型的推論速度提高了 30 倍，訓練速度提高了 4 倍。

NVIDIA GB200 NVL72是一款多節點機架規模系統，將與Google Cloud第四代先進液冷系統結合。

NVIDIA 上個月宣布，提供企業開發人員使用、針對生成式 AI 需求進行最佳化的 AI 平台NVIDIA DGX Cloud目前已可在由 H100 GPU 驅動的 A3 虛擬機器上使用。搭載 GB200 NVL72 的 DGX Cloud 也將於 2025 年在 Google Cloud 上提供。