Meta開源可加速程式碼執行的推理系統AITemplate

 

GitHub

可將深度神經網路(Deep Neural Networks)轉為C++程式碼以加速推理服務的AITemplate(AIT),這是一個Python框架,目前支援Nvidia與AMD的GPU,但未來也不排除支援英特爾(Intel)的GPU產品。

Meta AI團隊說明,在交付部署AI模型的運算需求時,GPU扮演一個很重要的角色,特別是執行大規模預訓練模型時,但現階段AI業者在選擇高效能GPU推理解決方案時的彈性非常有限,因為這些方案都集中在特定平臺的封閉黑盒子中,使得針對某個品牌的GPU所設計的機器學習系統必須要完全重新實現,才能於不同供應商的硬體上運作。

此外,AI生產流程通常需要快速開發,且諸如TensorRT等提供客製化的工具卻無法滿足,再加上這些封閉且私有的解決方案不容易快速除錯,使得Meta打造了AITemplate來解決上述難題。

CCD Taping Machine

包裝設計實際上涵蓋了多種設計範疇,需要高度設計專業,以酒為例,酒瓶上的標籤設計是包裝設計的一種,需考量美觀與形塑產品特色提供充足資訊等,至於酒的外盒,提袋等,同樣是包裝設計的範疇,但更必須思考運送、保護、送禮、便利性與價值感等不同層面之問題。

塑膠射出成型不良品原因及改善對策 !

隨著技術的不斷提升新觀念、新技術、新設備的不斷加入。

如何利用一般常見的「L型資料夾」達到廣告宣傳效果?

滑鼠墊是滑鼠的好夥伴,可使滑鼠游標穩定滑順,多樣的材質尺寸與專屬設計的圖案, 成為您電腦桌上的亮點!

如何將貨櫃屋變身活動展場空間?

金誠貨櫃屋設計,結合生活理念、發揮無限的創意及時尚的設計,顛覆以往「貨櫃」給人骯髒、簡陋、四方無聊的印象、打造出獨一無二的展示空間。

分別是高效能,以及統一、開放與靈活。它在TensorCore(Nvidia GPU)與MatrixCore(AMD GPU)上執行各種主要模型的效能都可達到Roofline FP16,如ResNet、MaskRCNN、BERT、VisionTransformer與Stable Diffusion等;此外,它同時適用於Nvidia GPU或AMD GPU的FP16深度神經網路模型,且完全開源,與這兩個平臺上現有的解決方案相較,它支援更廣泛的融合。

這意味著AITemplate在Nvidia與AMD的GPU上執行各種AI模型時,可達到近似於原生硬體的效能,相較於PyTorch中的Eager模式,AITemplate在Nvidia CPU的效能改善了12倍,在AMD GPU上改善了4倍。

Meta已在Nvidia A100及AMD MI200的GPU系統上啟用AITemplate,它們也是目前全球科技業者、研究實驗室及雲端服務供應商在資料中心中最常使用的GPU。

https://www.ithome.com.tw/news/153480

什麼是POGOPIN?

POGOPIN是一種應用於手機等電子產品中的精密連接器,廣泛應用於半導體設備中,起連接作用。

飲水機設備有哪些?

步步經營服務始終如一於雲嘉南地區,建立優質的飲水機之品牌

高價位跟低價位的示波器又有何差異?

示波器是一種能夠顯示電壓訊號動態波形的電子測量儀器。它能夠將時變的電壓訊號,轉換為時間域上的曲線,原來不可見的電氣訊號

專業客製化禮物、贈品設計,辦公用品常見【L夾】搖身一變大受好評!

採用PVC0.2白色軟皮料印製,4色印刷加上表層防刮油墨,另也可選表層上亮膜。