視覺世界由許多包含多種數據類型、接口和人工智能模型的移動部件組成。3D界面包含了時間和空間相關屬性的許多數據類型,它們對于捕獲和分析過去趨勢、預測未來發展趨勢非常重要。
這種視覺模擬技術如今已經被應用在一些重要項目中,例如DeepMind的AlphaFold AI研究項目,可以預測2億多種已知蛋白質的3D結構。蛋白質折疊是藥物發現的基礎,AlphaFold被用于治療新冠肺炎的醫學研究。在高性能計算領域,元宇宙為研究人員在虛擬模擬中進行協作提供了條件。
作為元宇宙的最大支持者之一,英偉達通過一款名為Omniverse的產品來宣傳這個概念,它包含一套用于研究和科學建模的人工智能、軟件和視覺技術。
英偉達一直對Omniverse產品的功能含糊其辭,但最近透露了一些信息。該平臺使用了一套復雜的技術來收集、整理、翻譯和關聯數據,這些數據最終被收集成數據集。人工智能模型將分析這些數據集,然后為科學應用提供可視化模型,其中可能包括了解行星運行趨勢或開發藥物等模型。
該平臺的最新一個合作用例是美國國家海洋和大氣管理局將使用Omniverse和洛克希德·馬丁公司的技術來可視化氣候和天氣趨勢數據,然后將這些數據提供給研究人員進行預測和其他研究。
洛克希德·馬丁開發的OR3D平臺收集的信息對于可視化天氣和氣候數據非常重要,其中包括來自衛星、海洋、先前大氣趨勢和傳感器的數據。這些數據是特定的OR3D文件格式,將被構建到“連接器”中,根據通用場景描述(USD)格式將數據轉換為文件類型。
USD文件格式具有操作符,可以將定位、方向、顏色、材質和圖層等數據合并到一個3D文件中。轉換為USD文件格式非常重要,它使可視化文件可以共享,讓多個用戶可以進行協作,這是虛擬世界的一個重要考慮因素。USD文件也是一個轉換器,它將OR3D文件中不同類型的數據分解為人工智能模型的原始輸入。
數據類型可以包括3D圖像中的時間和空間元素,這在可視化氣候和天氣數據中尤為重要。例如,過去的天氣趨勢需要以秒或分鐘為單位捕捉,并且需要根據時間相關性繪制地圖。
英偉達的一個名為Nucleus的工具是Omniverse的主要引擎,它將OR3D文件轉換為USD文件,并處理來自其他文件格式的運行時間、物理模擬和數據映射。
人工智能的數據集可以包括實時更新的天氣數據,然后將其輸入人工智能模型。英偉達將原始圖像數據輸入USD的多步驟過程復雜但可擴展。它可以支持多種數據類型,被認為比API連接器更可行(后者是特定于應用程序的,不能針對單個復雜模型中的不同數據類型進行擴展)。
USD文件格式的優點是可以實時處理從衛星和傳感器收集到的不同類型的數據,這有助于構建更精確的人工智能模型。同時也可以共享,這使得其數據可以擴展到其他應用。