將 AI 視覺化：任何產業現在都能搜尋並摘要大量的視覺資料
全球各地的企業與公部門組織都在開發人工智慧代理（AI agent），以提升工作團隊的能力，這些工作團隊依賴來自攝影機、物聯網感測器與車輛等越來越多裝置所產生的視覺資訊。
適用於視訊搜尋與摘要的全新 NVIDIA AI Blueprint 將可讓幾乎所有產業的開發人員建立可分析視訊與影像內容的視覺 AI 代理，以支援他們進行各項工作。這些代理可以回答使用者的問題、產生摘要，並針對特定情境啟用警示功能。
該藍圖（blueprint）為NVIDIA Metropolis 這套供開發人員用於建置視覺 AI 應用工具的一部分，是一個結合 NVIDIA 電腦視覺與生成式 AI 技術的客製化工作流程。
包括埃森哲（Accenture）、戴爾科技集團（Dell Technologies）與聯想集團（Lenovo）在內的全球系統整合商與技術解決方案供應商，將用於視覺搜尋與摘要的 NVIDIA AI Blueprint 帶給全球企業與城市使用，掀起下一波 AI 應用的浪潮，這些應用可部署於工廠、倉庫、商店、機場、交通路口等，以提升生產效率與安全性。
於智慧城市世界大會（Smart City Expo World Congress）開展前發表的 NVIDIA AI Blueprint為視覺運算開發人員提供一整套最佳化軟體，用於建置與部署生成式 AI 驅動的代理，這些代理可擷取與理解大量即時視訊串流或資料檔案。
使用者可以用自然語言提示，而非死板的軟體程式碼，來客製化這些視覺 AI 代理，降低在各產業和智慧城市應用部署虛擬助理的門檻。
NVIDIA AI Blueprints 利用視覺語言模型
視覺 AI 代理由視覺語言模型（VLM）驅動，VLM 是一種結合電腦視覺與語言理解的生成式 AI 模型，可解釋實體世界與執行推理任務。
適用於視訊搜尋與摘要的 NVIDIA AI Blueprint 可搭配 NVIDIA NIM 微服務來配置如 NVIDIA VILA 的 VLM、如 Meta 的 Llama 3.1 405B 的大型語言模型（LLM），以及適用於 GPU 加速問題解答與語境感知檢索增強生成的 AI 模型。開發人員可以輕鬆交換其他 VLM、LLM 與圖形資料庫，並且使用 NVIDIA NeMo 平台針對其獨特環境與使用個案進行微調。
採用 NVIDIA AI Blueprint 可以為開發人員省去數個月的時間來研究與最佳化智慧城市應用的 AI 模型。透過在邊緣、地端或雲端環境部署 NVIDIA GPU，可以大幅加快梳理視訊檔案以識別重要時刻的過程。
在倉庫環境中，利用這個工作流程建立的 AI 代理可以在工作人員違反安全規範時加以提醒。在繁忙的十字路口，AI代理可以識別交通事故，並且產生報告以協助緊急應變工作。而在公共基礎設施領域，維護人員可以要求 AI 代理檢視空拍畫面，找出老化的道路、火車軌道或橋樑，以支持更主動地維護。
除了智慧空間之外，視覺 AI 代理也可用於為視力受損人士摘要影片、自動產生體育賽事回顧，以及協助標示大量視覺資料集以訓練其他 AI 模型。
視訊搜尋與摘要工作流程加入了一系列 NVIDIA AI Blueprint，可輕鬆創造由 AI 驅動的數位化身、建立虛擬助理以提供個人化的客戶服務，以及從 PDF 資料中擷取企業洞察。
開發人員可以免費體驗與下載 NVIDIA AI Blueprint，且能夠透過 NVIDIA AI Enterprise 在加速資料中心與雲端進行生產部署，NVIDIA AI Enterprise 是一個端對端軟體平台，可加快資料科學管道及簡化生成式 AI 的開發與部署。
AI 代理為倉庫到世界各國首都提供洞察
企業與公部門客戶還能在 NVIDIA 合作夥伴生態系的協助下，利用一整套的 NVIDIA AI Blueprints。
全球專業服務公司埃森哲已將 NVIDIA AI Blueprints 與該公司的Accenture AI Refinery 進行整合，AI Refinery 建立在 NVIDIA AI Foundry 之上，可讓客戶開發以企業資料為訓練基礎的客製化 AI 模型。
馬來西亞的 ITMAX 與越南的 FPT 等東南亞地區的全球系統整合商，正在建置以適用於視訊搜尋與摘要的 NVIDIA AI Blueprint 為基礎的 AI 代理來開發智慧城市與智慧交通應用。
開發人員還能在 NVIDIA AI 平台上建置與部署 NVIDIA AI Blueprint，並且搭配全球伺服器製造商所提供的運算、網路等技術及軟體。
戴爾科技集團將使用 VLM 與代理方法，搭配 Dell 的 NativeEdge 平台，增強現有的邊緣 AI 應用與開發新的邊緣 AI 功能。適用於 Dell AI Factory with NVIDIA 的 Dell Reference Design，以及適用於視訊搜尋與摘要的 NVIDIA AI Blueprint，將支援針對資料中心、邊緣與本地端多模式企業用例專用 AI 工作流程裡的 VLM 功能。
由NVIDIA提供技術支援的 Lenovo Hybrid AI 解決方案中也加入了 NVIDIA AI Blueprint。
NVIDIA Metropolis 生態系中的智慧城市應用供應商 K2K 等公司，將使用全新的 NVIDIA AI Blueprint 建立可分析即時路況攝影機的 AI 代理。此舉將讓城市官員能夠詢問有關路況活動的問題，並且獲得改善營運方式的建議。該公司也正與義大利巴勒莫的城市交通管理單位合作，利用 NIM 微服務與 NVIDIA AI Blueprint 部署視覺 AI 代理。
如欲了解更多有關適用於視訊搜尋與摘要的 NVIDIA AI Blueprint 資訊，歡迎前往在巴塞隆納舉行、預計舉辦至 11 月 7 日的智慧城市世界大會上的 NVIDIA 攤位參觀。
The Author
