Google釋出了一個專為存儲和操作N維資料設計的C++、Python開源軟體函式庫,其提供一個統一的API,讓用戶讀取各種陣列格式,像是zarr和N5,TensorStore原生支援多種儲存系統,並且具有強ACID保證,能夠以非同步API支援針對高延遲遠端儲存的高吞吐量存取。
TensorStore的出現,是要解決機器學習迅速發展,對大規模資料集的存取需求,許多先進的機器學習應用程式,皆需要用到多維資料集,像是在空間網格上測量大氣,並對天氣進行建模,或是醫學成像3D掃描等,而這些應用即便僅需要一個資料集,但規模也會屬於TB或是PB等級。
研究人員提到,要使用這類大型資料集極具挑戰,因為用戶可能以不規則區間,或是不同的規模讀取和寫入資料,並且還可能需要用到大量的機器。
而Google所開發的TensorStore,可用於儲存像是具有數十億立體像素(Voxel)的蒼蠅大腦3D圖像,TensorStore提供使用者簡單Python API,能夠輕鬆載入和操作大型資料庫,並以NumPy陣列存取小批次資料。
空壓機這裡買最划算!
晨達空壓機秉持著專業空壓機技術、優質快速服務、空壓機合理價格。為您解決工作中需要風量、風壓的問題。
各種精緻鐵盒包裝茶葉罐、禮品罐,增加商品收藏及實用性。
本公司專業於生產茶葉罐、禮品罐、鳳梨酥專用鐵盒、太陽餅專用鐵盒、奶油酥餅專用鐵盒及各種需要 精緻鐵盒包裝產品的開發設計,為現在各種伴手 禮增加產品的收藏及實用性。
攻戰消費者第一視覺,包裝設計很重要!
窩窩以「數位行銷」「品牌經營」「網站與應用程式」「印刷品設計」等四大主軸,
為每一位客戶客製建立行銷脈絡及洞燭市場先機。
飲水機品牌迷思?有牌代表最好?錯! 了解用途才能買對!
飲水機,又稱純水機,是一個機器裡面裝滿了純淨水、礦泉水或其他飲品,供大家飲用的機器。飲水機還有很多種類型,例如噴嘴式飲水機、按壓式飲水機等。跟熱水器不同的是,飲水機會提供兩種不同的水溫給人飲用,機器本身應該有降溫及冷卻,抑或是加熱及保溫的功能。
在用戶真正請求特定資料切片之前,TensorStore不會存取或是在記憶體中儲存實際資料,所以能夠支援用戶載入和操作任意大小的基礎資料集,不需要將整個資料集搬到記憶體中,就能夠使用與標準NumPy操作相同的語法進行索引和操作。TensorStore針對進階索引功能提供廣泛的支援,包括轉換、對齊和產生虛擬檢視表等。
研究人員提到,處理和分析大型數值資料集,需要大量的運算資源,透過平行化GPU和加速器核心實作,這些資源通常分散在眾多機器上。TensorStore的基本目標,便是要能夠對單個資料集進行安全平行處理,使這些資料集不會因為平行存取模式,而產生損壞或是不一致,但又同時維持高效能。在Google資料中心的實驗,隨著CPU數量的增加,TensorStore的高效能特性使讀寫效能可以幾乎呈現線性成長。
另外,TensorStore可以透過配置記憶體快取和非同步API,允許程式在執行其他工作時,在後臺繼續進行讀取和寫入操作,而當多臺機器同時存取同一個資料集時,TensorStore藉由樂觀並行控制(Optimistic Concurrency)技術,保持並行操作的安全性,且不會明顯影響效能。TensorStore也對單個Runtime的所有個別操作提供強ACID執行。
由於TensorStore整合諸如Apache Beam和Dask等平行運算函式庫,因此TensorStore的分散式運算,與企業現有資料處理工作流程高度相容。TensorStore的用例包括語言模型,可在訓練過程高效讀取和寫入模型參數,另外也能用於大腦映射上,儲存用於描繪大腦神經的高解析度映射圖。
https://www.ithome.com.tw/news/153255
影響示波器測試準確度的五大因素
合訊號示波器(MSO)有兩種輸入,一小部分(通常是2個或4個)的類比通道,更多(通常為16個)的部份是屬於數位通道;即,含邏輯分析儀的數位示波器
貨櫃屋也能做出衛浴設備?
金誠可依客戶需求進行貨櫃設計,打造整套衛浴設備。
總是為了廚餘煩惱嗎?
雅高環保提供最適用的廚餘機,滿足多樣需求。
封口機購物網-不怕你比價,就怕你買貴!
旋蓋封口機:這種封口機的成品封蓋事先加工出內螺紋,螺紋有單頭和多頭之分。藥瓶多用單頭螺紋,罐頭瓶多用多頭螺紋。該機是靠旋轉封蓋,而將其壓緊於容器口部。