SambaNova DataScale

最快的AI模型訓練、微調和推理硬體平台

SambaNova DataScale 是唯一完全整合的硬體軟體系統，使組織能夠訓練、微調和部署最苛刻的 AI 工作負載，並透過最大和最具挑戰性的模型實現世界紀錄的推理性能。

助力於 SambaNova SN40L 可重組資料流單元 (RDU) ，SambaNova DataScale SN40L 在各種模型規模下提供前所未有的性能，使政府機構、研究機構和企業能夠快速部署更多且更大型的模型，並且具備更高的準確性，同時占用比 GPU 更小的空間。

Sambanova Chip SN40

最快的 AI 推理平台

提供全球紀錄的性能和準確性，適用於最新的大型和小型模型。

降低功耗

具備數 TB 可定址記憶體，能夠運行所有運算模型，在僅消耗 11kW 的單一機架上運行數十個模型，並在微秒內進行切換。

提供最高準確性

快速、輕鬆且安全地使用私有數據微調模型，以達到最高的準確性。

DataScale 系統利用獨特的 SambaNova SN40L 可重組資料流單元 (RDU)，在小型化設計中提供卓越的性能。SN40L 之所以能夠實現這種極高的性能，是因為其革命性資料流架構和大容量記憶體設計。

資料流架構

SN40L 專為 AI 而打造，打破了傳統技術的限制。SN40L 採用資料流架構和創新的軟體堆疊，將 AI 演算法映射到處理器，並動態地重新配置處理器以實現最佳性能。這一設計消除了 GPU 圖形處理單元架構中固有的冗餘，大幅提升了性能，同時只需佔用極少的硬體資源。

三層記憶體架構

為了支援最大的 AI 模型，SN40L 採用了三層記憶體架構，包括超大記憶體、高帶寬記憶體和超高速記憶體。這使得單一系統節點可以支援多達 5 trillion (兆)參數的運算，涵蓋多達數百個不同模型。憑藉數 TB (terabytes)等級的可尋址記憶體，SN40L 非常適合自訂和串聯模型作業，並且可以在微秒內快速切換模型，這比傳統 GPU 運算上快數個等級。

業界最先進的軟體堆疊

SambaNova DataScale 擁有完整的軟體堆疊，專為支援標準機器學習框架（如 PyTorch）的輸入而設計。無需進行底層調整，即可編譯、優化並執行您的模型。

最快的推理系統

DataScale SN40L 提供今日及未來推理工作負載所需的性能、靈活性、擴展性和效率。它在 Llama 3 的 8B、70B 和 405B 模型上實現了全球紀錄的性能和準確性。SN40L 是唯一能夠為 405B 模型提供高性能的系統。其他系統要麼無法支援如此龐大的模型，或是在使用 GPU 的情況下，SN40L 的速度比GPU快 5 倍。

最靈活的微調系統

經過全球最苛刻的客戶環境驗證，DataScale SN40L 在模型訓練方面提供了卓越的性能，並且消除了對底層模型調整的需求。使用者可以導入自訂模型或 Llama 3 的檢查點，並使用私有數據安全地微調這些模型。

DataScale SN30

專為最嚴苛的 AI 和深度學習工作負載而設計，DataScale SN30 是一個完全整合的軟硬體系統，採用資料流架構，能夠幫助各類組織訓練和部署最複雜的基礎模型及 AI 科學工作負載，並在最大和最具挑戰性的模型上實現世界紀錄級的性能。

聯繫威雲科技
Read more…