0
今早，在美國丹佛舉行的第51屆SIGGRAPH圖形大會上，NVIDIA宣布，將為全球領先的機器人制造商、AI模型開發者和軟件制造商提供一套服務、模型以及計算平臺，以開發、訓練和構建下一代人形機器人。
NVIDIA帶來了適用于OpenUSD語言、幾何體、物理學和材質的生成式AI模型與NIM微服務。這一新服務將加速基于通用場景描述的工作流以及工業數字孿生和機器人的開發。
NVIDIA 創始人兼 CEO 黃仁勛表示，“AI 的下一波浪潮是機器人，其中最令人興奮的發展之一是人形機器人。我們正在推進整個 NVIDIA 機器人堆棧的發展，面向全球人形機器人開發者和公司開放訪問，讓他們能夠使用最符合其需求的平臺、加速庫和 AI 模型。”
值得一提的是，黃仁勛還同 Meta 創始人兼 CEO 馬克·扎克伯格進行了爐邊談話。二人一同探討了基礎研究如何推動AI突破性進展，以及生成式AI和開源技術如何為開發者和創作者賦能。
將生成式AI引入OpenUSD
在本次大會上，NVIDIA發布了通用場景描述（OpenUSD）的重大成果。據介紹，NVIDIA將擴大這一通用3D數據交換框架在機器人、工業設計和工程領域的應用，提高開發者為AI新一輪發展構建高精度虛擬世界的能力。
本次新推出的內容包括，適用于AI模型的NVIDIA NIM?微服務。
這些微服務可生成回答用戶查詢的OpenUSD語言、生成OpenUSD Python代碼、將材質應用于3D物體、理解3D空間和物理學以幫助加快數字孿生的開發等。
此外，還包括可用于機器人和工業仿真數據格式的全新USD連接器，以及各種開發者工具，用戶可通過它們將海量NVIDIA RTX?全光線追蹤數據集傳輸到Apple Vision Pro。
公開資料介紹，NIM 全稱為 Nvidia Inference Microservice，即英偉達推理微服務，是 Nvidia AI Enterprise 的一部分，可以幫助客戶快速部署產品級 AI 大模型應用。
全球首個用于OpenUSD開發的生成式AI模型也將以NVIDIA NIM微服務的形式提供。借助這些模型，開發者能夠將生成式AI copilot和智能體整合到USD工作流中，拓寬3D世界的可能性，幫助加快USD在制造業、汽車行業和機器人等新工業領域的應用。
預覽版中的微服務包括：
· USD Code NIM微服務：回答常識性OpenUSD問題，并基于文本提示自動生成 OpenUSD-Python代碼，然后將其輸入到OpenUSD查看應用程序（例如皮克斯的USDView）或基于NVIDIA Omniverse Kit的應用，以實現相應3D數據的可視化。
· USD Search NIM微服務：使開發者能夠使用自然語言或圖像輸入，在海量OpenUSD、3D和圖像數據庫中進行搜索。
· USD Validate NIM微服務：檢查上傳文件與OpenUSD發布版本的兼容性，并生成完全由NVIDIA Omniverse Cloud API（應用編程接口）驅動的RTX渲染路徑追蹤圖像。
即將提供的新微服務包括：
· USD Layout NIM微服務：使用戶能夠基于空間智能，根據一系列文本提示組裝出基于 OpenUSD的場景。
· USD SmartMaterial NIM微服務：預測并將逼真的材料應用于計算機輔助設計對象。
· fVDB Mesh Generation NIM微服務：根據點云數據生成基于OpenUSD的網絡，并通過 Omniverse Cloud API進行渲染。
· fVDB Physics Super-Res NIM微服務：對幀或幀序列執行AI超分辨率 ，生成基于OpenUSD的高分辨率物理仿真。
· fVDB NeRF-XL NIM微服務：使用 Omniverse Cloud API 在 OpenUSD中生成大規模神經輻射場。
加速人形機器人發展
開發者還可以通過訪問新的 NVIDIA NIM 微服務，用于 Isaac Lab 和 Isaac Sim 中的機器人仿真、OSMO 機器人云計算編排服務和遠程操作數據捕獲工作流等。
NIM 微服務提供了由 NVIDIA 推理軟件提供支持的預構建容器，使開發者能夠將部署時間從數周縮短到幾分鐘。
機器人專家則將能夠通過兩項新的 AI 微服務，在 NVIDIA Isaac Sim?（基于 NVIDIA Omniverse? 平臺構建的機器人仿真參考應用）中增強生成式物理 AI 仿真工作流：
MimicGen NIM 微服務可根據 Apple Vision Pro 等空間計算設備記錄的遠程操作數據，生成合成運動數據。Robocasa NIM 微服務可在 OpenUSD（一個用于在 3D 世界中進行開發和協作的通用框架）中生成機器人任務和仿真就緒環境。
現已推出的 NVIDIA OSMO 是一項云原生托管服務，允許用戶跨分布式計算資源來協調和擴展復雜的機器人開發工作流，無論是在本地還是在云端。
OSMO 大大簡化了機器人訓練和仿真工作流，將部署和開發周期從數月縮短到一周內。用戶可以對各種任務進行可視化管理，包括合成數據生成、模型訓練、強化學習以及大規模的人形機器人、自主移動機器人和工業機械臂軟件在環測試。
同時，NVIDIA 還提供了三個計算平臺來簡化人形機器人的開發，分別是：用于訓練模型的 NVIDIA AI 超級計算機；基于 Omniverse 構建的 NVIDIA Isaac Sim，使機器人可以在仿真世界中學習和完善技能；以及用于運行模型的 NVIDIA Jetson? Thor 人形機器人計算機。開發者可以根據具體需求來訪問和使用全部平臺或其中的任何部分。雷峰網
USD連接器賦能千行百業
多款適用于機器人數據格式和Apple Vision Pro流式傳輸的全新USD連接器將為更多行業帶來 OpenUSD 互操作性與高級創作能力。
據介紹，當前，為幫助更多使用 OpenUSD的工業工作負載，NVIDIA與西門子正在擴大合作，西門子將把OpenUSD 流水線與其Simcenter仿真技術組合集成，以支持基于證據的決策和關鍵利益相關方之間的協作。這一集成可以實現復雜仿真數據的高保真、實時、逼真可視化，讓企業能夠更加深入地了解產品在實際操作環境中的性能。為打好基礎，西門子還將把Omniverse納入到其Teamcenter 產品生命周期管理軟件組合中。
NVIDIA還發布了一個從統一機器人描述格式（Unified Robotics Description Format）到OpenUSD的連接器，讓機器人專家能夠將他們的機器人數據無縫導入到用于設計、仿真和強化學習等用途的各種應用中。
除此之外，為了進一步推動OpenUSD生態系統的擴張，NVIDIA發布了OpenUSD Exchange軟件開發套件，幫助開發者創建出自己的OpenUSD數據連接器。
新的開發者工具和API可通過NVIDIA Graphics Delivery Network（GDN），將大規模OpenUSD場景從基于Omniverse平臺構建的應用流式傳輸到 Apple Vision Pro。目前，這些新工具和API提供搶先體驗版本。
目前，NVIDIA API目錄提供有USD Search、USD Code 和 USD Validate NIM微服務的預覽版，OpenUSD - URDF連接器也已與 NVIDIA Isaac Sim?一起提供。雷峰網(公眾號：雷峰網)雷峰網
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
