Skip to content Skip to sidebar Skip to footer

AI 革命的幕後功臣:MIT 新創如何打破數據儲存樽頸,釋放 GPU 全部潛力?

AI 革命的幕後功臣:MIT 新創如何打破數據儲存樽頸,釋放 GPU 全部潛力?

AI 革命的幕後功臣:MIT 新創如何打破數據儲存樽頸,釋放 GPU 全部潛力?

引言

人工智能(AI)的發展日新月異,其背後依賴海量的數據進行模型訓練與運算。然而,當所有焦點都集中在 AI 模型與算法的突破時,一個關鍵的「隱形樽頸」正限制著其潛力的完全發揮——那就是數據儲存。傳統儲存系統的設計已無法滿足 AI 時代的需求,導致運算效率低下。為此,由麻省理工學院(MIT)校友共同創辦的公司 Cloudian,正致力於提供創新的儲存解決方案,幫助企業跟上這場 AI 革命的步伐。

AI 發展面臨的儲存挑戰

傳統的數據儲存系統在設計上,主要應對來自少數用戶的簡單指令,但在 AI 時代,數以百萬計的 AI 代理(agents)需要持續、並行地存取和處理大量數據。這暴露了傳統架構的根本性問題:

  • 數據流動緩慢: 數據在到達作為 AI 大腦的圖形處理器(GPU)之前,必須經過多個層級的傳輸,這過程產生了嚴重的延遲,拖慢了整個 AI 系統的運作速度。
  • 數據需求巨大: Cloudian 共同創辦人 Michael Tso 指出,AI 性能的提升與數據量並非線性關係。要獲得 10% 的性能提升,可能需要 1,000 倍的數據量,這對儲存系統的管理和存取效率提出了極高的要求。

Cloudian 的解決方案:為 AI 而設的新一代儲存架構

Cloudian 開發了一個可擴展的儲存系統,透過將平行運算(parallel computing)的理念應用於數據儲存,成功解決了上述難題。其核心優勢在於:

  • 簡化數據通路: 該系統將 AI 功能和數據整合在單一的平行處理平台上,實現了儲存與 GPU 之間的直接、高速傳輸,徹底移除了中間的瓶頸層。
  • 創新的物件儲存(Object Storage): Cloudian 的系統能將文件、影片、感測器數據等各種類型的資料儲存為帶有元數據的獨特「物件」,這種扁平化的文件結構非常適合管理 AI 所需的非結構化數據。
  • 內建向量數據庫: 今年七月,Cloudian 宣布在其系統中擴展了向量數據庫功能。這意味著數據在被儲存的同時,會被即時運算成 AI 模型可直接使用的向量形式,極大地加速了推薦引擎、搜尋和 AI 助理等工具的反應速度。
  • 與 NVIDIA 的深度合作: Cloudian 已和頂尖 AI 公司 NVIDIA 達成合作,使其儲存系統能與 NVIDIA 的 GPU 直接協同工作,進一步降低運算成本並提升 AI 操作的效率。

實際應用與深遠影響

目前,全球約有 1,000 家企業正在使用 Cloudian 的平台,從其數據中獲取更大價值。

  • 智慧製造: 一家大型汽車製造商正利用該平台,透過 AI 分析來預測其生產線上每一台機械人需要維修保養的時間。
  • 醫療與科研: 美國國家醫學圖書館(National Library of Medicine)用它來儲存研究文章和專利;國家癌症數據庫(National Cancer Database)則用它來儲存腫瘤的 DNA 序列。這些豐富的數據集為 AI 模型開發新療法或獲得新見解提供了基礎。
  • 核心理念轉變: Cloudian 的成功印證了一個新趨勢:「將 AI 帶到數據端,而不是將數據帶到雲端」。由於移動龐大數據集的成本高昂且耗時,在數據的收集和儲存地附近進行 AI 的預處理和後處理,成為了更高效的策略。

結論

GPU 的出現極大地加速了 AI 的發展,但若要使其發揮最大效能,就必須以同樣驚人的速度為其提供數據。Cloudian 的創新證明,解決數據儲存這一基礎設施層面的問題,是釋放 AI 全部潛力的關鍵。隨著 AI 應用日益普及,這種專為 AI 設計、能與運算單元無縫對接的儲存架構,預計將成為未來企業不可或缺的基石,為這場技術革命提供最堅實的動力。