導語：打開購物軟件，搜索早已經“種草”的商品并下單，這是我們再也習慣不過的生活方式。但在輕松愉快的購物旅程的背后，海量小文件的讀寫，成為存儲系統(tǒng)“難題”。為了幫助電商、交通、廣電等行業(yè)化解海量小文件的存儲壓力，浪潮AS13000 進行了廣泛創(chuàng)新，能夠提升30%以上的小文件讀寫性能，將業(yè)務處理速度增加數(shù)倍。

  面對千億量級的小文件，存儲系統(tǒng)壓力山大

所謂小文件，指的是存儲占用空間相對較小的文件，一般來說低于64MB的文件就可以被認定為小文件，而大量的小文件大小則在幾KB到幾十KB之間。在云計算、大數(shù)據業(yè)務中，文本、圖片、音樂等是典型的小文件應用場景。

隨著數(shù)字化創(chuàng)新的加速，組織內部的數(shù)據呈現(xiàn)出指數(shù)級增長的趨勢，特別是小文件更是隨著業(yè)務增長到一個巨大的量級。與大文件的存儲不同的是，大量磁盤在小文件存儲場景中的性能極低，單塊企業(yè)級SATA磁盤如果全部存儲4KB左右的小文件，帶寬只有520KB/s，遠遠小于應有的120MB/s的帶寬標準值，很容易因為存儲系統(tǒng)的性能不足造成上層應用“卡頓”。把磁盤全部換成固態(tài)盤固然可以解決問題，但是，固態(tài)盤的價格數(shù)倍于SATA磁盤，對于很多用戶來說，全面的應用固態(tài)盤在成本上仍然不現(xiàn)實。

百億 ~ 萬億量級的小文件對存儲性能提出挑戰(zhàn)

而且，每個應用場景對于存儲系統(tǒng)的性能往往有著不同的要求。例如，某領先電商平臺已經存儲了數(shù)量以百億計算的圖片文件，這些圖片平均大小在15KB左右，用戶對于這些圖片文件的讀取完全是隨機讀取，一旦大量用戶同時在線訪問網址或者搜索商品，往往就會給存儲系統(tǒng)的隨機讀寫能力帶來巨大的挑戰(zhàn);在交警系統(tǒng)中，路口的抓拍攝像頭會將違章圖片傳送至區(qū)中心的計算服務器，不僅攝像頭數(shù)量多，而且每臺攝像頭每天都可能生成數(shù)千乃至上萬張照片，某市每天相關圖片寫入甚至超過一億張，要降低存儲系統(tǒng)的壓力，就需要及時刪除正常的圖片，這對存儲系統(tǒng)的寫入、刪除能力要求很高。

浪潮存儲產品經理杜劍表示：“海量小文件的讀寫需求在近幾年來快速增長，特別是在人工智能、高性能計算等應用場景中，往往需要對于海量的數(shù)據集進行隨機讀寫操作，存儲系統(tǒng)的性能不足將會帶來高時延，從而直接影響應用的效果。為了解決海量小文件的讀寫問題，浪潮除了嘗試在硬件上進行重構之外，還致力于通過軟件層面的技術創(chuàng)新來進行改善。”

  解決海量小文件的讀寫難題 浪潮有三板斧

作為了面向云計算、大數(shù)據存儲的高性能集群架構產品，浪潮軟件定義存儲 AS13000 可以幫助用戶搭建存儲資源池，為上端應用提供其所需的存儲資源。為了提升海量小文件的讀寫性能，浪潮 AS13000 從云數(shù)據集群、小文件聚合、文件分層三個層面進行了創(chuàng)新。

浪潮軟件定義存儲 A S13000

  首先 ， 云數(shù)據集群技術創(chuàng)新 。AS13000 可以根據系統(tǒng)規(guī)模統(tǒng)一規(guī)劃，保證元數(shù)據服務散布于每個存儲節(jié)點，使系統(tǒng)能夠通過多個元數(shù)據服務器提供元數(shù)據服務，實現(xiàn)元數(shù)據并發(fā)操作，有效的提升處理海量小文件的能力。而且，AS13000 還提供了目錄負載平衡特性。將目錄自動分配到系統(tǒng)中的所有元數(shù)據服務，減少相關元數(shù)據的通信壓力。

  其次 ， 小文件聚合技術創(chuàng)新 。在前面我們也提到過，磁盤讀寫大文件的速度往往要顯著高于小文件。為了利用這一特性，AS13000 中的小文件并非直接落盤，而是合并為64MB之后再進行落盤操作，從而有效降低小文件寫入磁盤次數(shù)、減輕寫數(shù)據壓力，同時還提高讀取命中率并縮短讀 I/O 路徑。

  最后 ， 文件分級計算創(chuàng)新 。 AS13000 會根據集群系統(tǒng)中文件的大小、類型、存放時間等元數(shù)據屬性，將滿足用戶所設置分級策略的文件分別遷移到不同性能存儲介質上的存儲池中。其中，在線存儲使用高速存儲介質，應用于文件讀寫頻繁且對性能要求較高的場景，近線存儲使用低價、低速的存儲介質，應用于對文件讀寫帶寬和存儲容量要求較高的高帶寬、大容量場景，這樣有利于實現(xiàn)速度與成本的平衡。

經過驗證，在應用了這些技術創(chuàng)新之后，浪潮 AS13000 在海量小文件的讀寫性能方面有了顯著的提升，理論測試中的提升幅度超過30%。

浪潮軟件定義存儲服務交通 、 廣電 、 通信等行業(yè)用戶

  電商 、 交通卡口等場景 提升數(shù)倍處理效率

在電商、交通、機器學習、高性能計算等實際客戶的存儲系統(tǒng)應用實踐中，浪潮 AS13000 顯著的提升了海量小文件的讀寫性能。在某工業(yè)技術研究院的高性能計算應用中，浪潮 AS13000 通過小文件讀寫性能的優(yōu)化將作業(yè)耗時降低了20%;在某警務云的搭建實踐中，浪潮 AS13000 在應對8KB-64KB 小000，比預期值提升了30% 左右。

海量文件讀寫時，整體集群 IOPS 高達110小文件讀寫速度的提升對于上層應用效率的提升可謂“立竿見影”。例如，在某市骨架路網的視頻監(jiān)測中，浪潮 軟件定義存儲AS13000 將圖片檢索用時從十幾秒降低到3秒以下，交通監(jiān)控圖片取證實現(xiàn)“秒開秒解”，交通執(zhí)法取證的速度更是提升幾倍。除了極高的性能表現(xiàn)之外，浪潮AS13000還具備極高的可用性、安全性，是搭建面向云計算、大數(shù)據存儲的高性能集群架構的優(yōu)先選擇。

(新媒體責編：shang080503)