Nvidia、Arm與Intel公布FP8規格,企圖成為AI交換格式標準

背景圖片來源/Nvidia

,期望以較低精確度的格式來改善運算效能,加快深度學習訓練推理速度,以作為AI的標準交換格式,已計畫將該規格提交給電機電子工程師協會(Institute of Electrical and Electronics Engineers,IEEE)。

Nvidia解釋,AI處理需要跨軟體與硬體平臺的全棧創新,才能解決神經網路日益增加的運算需求,促進效率的關鍵之一是採用較低精確的數字格式來改善運算效能,降低記憶體的使用,並針對互動頻寬進行最佳化。為了實現上述好處,業界已由32位元的精確度降至16位元,現在則是8位元,而他們相信擁有一個共通的交換格式,將能推動軟體與硬體平臺的互動,進而改善運算。

因此,Nvidia、Arm與Intel共同撰寫了,用以描述8位元浮點規格,提供一個共同的格式來加速包括AI訓練與推理的AI發展。

FP8規格由E5M2與E4M3組成,前者使用5個位元來表示指數,2個位元表示尾數,後者則是以4個位元表示指數,3個表示尾數,由於該規格只使用了8個位元,因而節省了額外的運算周期。

客製專屬滑鼠墊、可愛造型L夾L型資料夾、透明證件套、手提袋,專業印刷設計廠商!

通過SGS環保認證,無毒無害 環保材質符合歐盟RoHs、REACH認證

空壓機這裡買最划算!

晨達空壓機秉持著專業空壓機技術、優質快速服務、空壓機合理價格。為您解決工作中需要風量、風壓的問題。

票選推薦煮婦最愛手壓封口機,省荷包不犧牲品質

意信臻專營:封口機、各式包裝機械、專業製造、全省批發零售

SMD electronic parts counting machine

累積多年設計生產 Embossed Carrier Tape承載帶的實際經驗,專為電子主、被動零件設計、包裝、製造、改良承載帶、奠定了良好基礎

此外,FP8最大限度地減少了它與IEEE 754浮點格式的偏差,在硬體與軟體之間取得了良好的平衡,因而得以利用現有的實作,加速採用,並改善開發者的生產力。

根據實驗,不管是在Transformer、電腦視覺或是GAN網路上,FP8訓練的準確性都類似16位元的結果,但效能上卻有極大的進步。例如Nvidia的Hopper在BERT高精確模型上採用FP8格式,在無損準確性的狀態下創造了4.5倍的速度。

圖片來源/Nvidia

此一規格將採開放及免費授權形式,期望藉由一個可維持準確性的交換格式,讓AI模型於所有硬體平臺上都能有一致的表現。

https://www.ithome.com.tw/news/153091

貨櫃屋優勢特性有哪些?

由於貨櫃屋[可移動/施工快速/可組裝、堆疊(延展性高)/可回收/未來擴充便利]等特性,二手貨櫃屋已普遍被應用於展場活動、居家住宅、工業商辦上。

幫你考照過關,堆高機裝卸操作教學影片大公開 !

上千家公司找到最適合的堆高機搬運方案,專業的規劃與完善的售後服務,讓孚克力堆高機與各大知名廠商建立長期合作。

全自動飲水機與一般飲水機差異在哪?

推薦各種冰溫熱開飲機飲水機:台銀採購契約飲水機、日本進口電解水機系列、落地型飲水機

總是為了廚餘煩惱嗎?

雅高環保提供最適用的廚餘機,滿足多樣需求。