過(guò)去幾十年中，高性能計(jì)算(High Performance Computing，HPC)在石油、生物、氣象、科研等計(jì)算密集型應(yīng)用中得到長(zhǎng)足發(fā)展。早期的HPC系統(tǒng)主要以IBM、Cray、SGI等廠商的大型機(jī)或并行機(jī)作為硬件平臺(tái)。近幾年來(lái)，由于CPU能力的迅速提高，標(biāo)準(zhǔn)化硬件成本的迅速降低，相對(duì)廉價(jià)的Linux并行集群系統(tǒng)漸漸成為HPC的主流，并使HPC進(jìn)入更廣闊的工業(yè)和商業(yè)應(yīng)用市場(chǎng)。與此同時(shí)，強(qiáng)大的HPC系統(tǒng)需要技術(shù)先進(jìn)、性能卓越的存儲(chǔ)系統(tǒng)作支撐。并行化計(jì)算的發(fā)展帶來(lái)了更大的系統(tǒng)規(guī)模和復(fù)雜性，從而推動(dòng)了HPC存儲(chǔ)技術(shù)和銷(xiāo)售的爆炸性成長(zhǎng)。IDC預(yù)計(jì)，全球HPC在服務(wù)器銷(xiāo)售方面已超過(guò)每年90億美元，而與HPC相關(guān)的存儲(chǔ)市場(chǎng)也達(dá)到32億美元。
　　HPC存儲(chǔ)的I/O瓶頸
　　當(dāng)一個(gè)計(jì)算任務(wù)被加載到Linux集群系統(tǒng)時(shí)，各服務(wù)器計(jì)算節(jié)點(diǎn)首先從存儲(chǔ)系統(tǒng)中通過(guò)NFS協(xié)議獲取數(shù)據(jù)，然后進(jìn)行計(jì)算處理，最后將計(jì)算結(jié)果寫(xiě)入存儲(chǔ)系統(tǒng)。在此過(guò)程中，計(jì)算任務(wù)的開(kāi)始和結(jié)束階段數(shù)據(jù)讀寫(xiě)的I/O負(fù)載非常大，而在計(jì)算過(guò)程中幾乎沒(méi)有任何負(fù)載。當(dāng)今的Linux并行集群系統(tǒng)處理能力越來(lái)越強(qiáng)，動(dòng)輒達(dá)到幾十甚至上百個(gè)TFLOPS(一個(gè)TFLOPS等于每秒1兆次的浮點(diǎn)運(yùn)算)，于是用于計(jì)算處理的時(shí)間越來(lái)越短。經(jīng)驗(yàn)表明，集群系統(tǒng)中每TFLOPS的計(jì)算能力大約需要10TB的存儲(chǔ)空間和1GB/s的持續(xù)帶寬相匹配。雖然存儲(chǔ)系統(tǒng)容量提升和單位成本下降都很快，但傳統(tǒng)存儲(chǔ)技術(shù)架構(gòu)對(duì)帶寬和I/O能力的提高卻非常困難且成本高昂。這造成了當(dāng)原始數(shù)據(jù)量較大時(shí)，I/O讀寫(xiě)所占的整體時(shí)間就相當(dāng)可觀，成為HPC集群系統(tǒng)的性能瓶頸。
　　除了對(duì)存儲(chǔ)系統(tǒng)I/O能力的苛刻要求外，HPC對(duì)其管理、擴(kuò)展、可靠和共享訪問(wèn)等各方面的指標(biāo)也絲毫不妥協(xié)。由于管理維護(hù)的復(fù)雜性，傳統(tǒng)存儲(chǔ)系統(tǒng)的管理成本加起來(lái)往往數(shù)倍于其采購(gòu)成本。管理任務(wù)包括安裝和配置新硬件，為用戶或應(yīng)用分配容量，在各子系統(tǒng)間遷移數(shù)據(jù)以均衡負(fù)載和容量，備份和恢復(fù)數(shù)據(jù)，故障排除和系統(tǒng)重建，解決用戶對(duì)性能和容量等各方面提出的新需求等。同時(shí)，與集中式的大型機(jī)不同，Linux集群系統(tǒng)本身有許多子系統(tǒng)需要管理維護(hù)。算法通常被細(xì)化成上百萬(wàn)個(gè)子任務(wù)，在各計(jì)算節(jié)點(diǎn)獨(dú)立運(yùn)行。這樣會(huì)造成大量的數(shù)據(jù)切片和副本的產(chǎn)生，給服務(wù)器集群均衡、快速的共享訪問(wèn)帶來(lái)極大的挑戰(zhàn)。在大型項(xiàng)目中，當(dāng)不同用戶和部門(mén)需要共享，而核心數(shù)據(jù)集又經(jīng)常改變的情況下，這種問(wèn)題尤為棘手。
　　總結(jié)而言，高性能計(jì)算對(duì)存儲(chǔ)架構(gòu)提出了極高的要求：帶寬性能達(dá)到幾個(gè)甚至幾十個(gè)GB/s，容量能擴(kuò)展至PB級(jí)；完全透明的訪問(wèn)和數(shù)據(jù)共享；與生俱來(lái)的高可靠性和高可用性；集中式的智能化管理，不因容量和設(shè)備數(shù)增加而顯著增加管理成本；無(wú)縫整合其他存儲(chǔ)系統(tǒng)，輕松獲取與交換數(shù)據(jù)；集成的數(shù)據(jù)服務(wù)，包括備份、遠(yuǎn)程復(fù)制和生命周期管理；可按需獨(dú)立擴(kuò)展容量和性能，保護(hù)投資。
　　傳統(tǒng)存儲(chǔ)架構(gòu)的缺陷
　　傳統(tǒng)存儲(chǔ)架構(gòu)主要包括直連存儲(chǔ)(DAS)、存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)、網(wǎng)絡(luò)附加存儲(chǔ)(NAS)以及在他們基礎(chǔ)上衍生的一些新技術(shù)。存儲(chǔ)架構(gòu)最根本的區(qū)別在于：存儲(chǔ)格式，如塊數(shù)據(jù)或文件；存儲(chǔ)與應(yīng)用之間的控制流和數(shù)據(jù)流方式。存儲(chǔ)格式定義了訪問(wèn)方式，以及訪問(wèn)共享數(shù)據(jù)時(shí)的鎖機(jī)制、同步和安全。控制/數(shù)據(jù)流方式則定義了為帶寬準(zhǔn)備的并發(fā)機(jī)制。這兩個(gè)存儲(chǔ)特性如何實(shí)現(xiàn)最終決定了存儲(chǔ)系統(tǒng)的性能和擴(kuò)展性。
　　DAS和SAN使用塊數(shù)據(jù)存儲(chǔ)，并利用分離的文件系統(tǒng)或數(shù)據(jù)庫(kù)管理。當(dāng)系統(tǒng)規(guī)模(客戶端數(shù)量)較小時(shí)性能較好，但規(guī)模增加時(shí)瓶頸就慢慢顯現(xiàn)出來(lái)了。而且，DAS在不同客戶端的數(shù)據(jù)共享比較困難，需要經(jīng)常性的數(shù)據(jù)拷貝來(lái)完成，從而影響系統(tǒng)性能。而SAN是以應(yīng)用而非數(shù)據(jù)訪問(wèn)為中心的技術(shù)，無(wú)法完全滿足HPC環(huán)境對(duì)信息透明訪問(wèn)的需求。傳統(tǒng)DAS廠商包括許多提供RAID陣列的公司，而SAN的代表性廠商有EMC和HDS。
　　通過(guò)文件訪問(wèn)協(xié)議NFS和CIFS，NAS能高效地滿足來(lái)自不同環(huán)境的用戶請(qǐng)求，從而很好地解決了DAS和SAN面臨的數(shù)據(jù)共享問(wèn)題。同時(shí)高層的文件格式能提供安全權(quán)限，并在底層進(jìn)行性能優(yōu)化(比如預(yù)緩存數(shù)據(jù))，如圖1所示。然而，傳統(tǒng)的NAS使所有數(shù)據(jù)都從其控制器出入，造成了性能和擴(kuò)展性瓶頸。傳統(tǒng)NAS代表廠商主要是NetApp。 #p#page_title#e#
　　由于NAS的缺陷，應(yīng)運(yùn)而生了元數(shù)據(jù)流和數(shù)據(jù)流分離的架構(gòu)及SAN共享文件系統(tǒng)。客戶端從元數(shù)據(jù)服務(wù)器通過(guò)以太網(wǎng)獲取訪問(wèn)數(shù)據(jù)的地址信息(元數(shù)據(jù))后，直接通過(guò)塊數(shù)據(jù)的形式從共享的磁盤(pán)陣列獲取數(shù)據(jù)，從而避免單控制器的性能瓶頸。但這種架構(gòu)要實(shí)現(xiàn)異構(gòu)環(huán)境的數(shù)據(jù)完全共享，或大規(guī)模系統(tǒng)的持續(xù)性能增長(zhǎng)是非常困難的。
　　滿足HPC的新架構(gòu)
　　隨著HPC市場(chǎng)的迅速成長(zhǎng)和HPC應(yīng)用的普及,專門(mén)針對(duì)HPC應(yīng)用需求而開(kāi)發(fā)的新型存儲(chǔ)架構(gòu)和產(chǎn)品也開(kāi)始陸續(xù)推向市場(chǎng)。有趣的是，與集群架構(gòu)占據(jù)HPC計(jì)算系統(tǒng)主流的趨勢(shì)類(lèi)似，新型的HPC存儲(chǔ)架構(gòu)大多以集群存儲(chǔ)為主，通過(guò)分布式或集群文件系統(tǒng)將幾臺(tái)到幾百臺(tái)服務(wù)器結(jié)構(gòu)的存儲(chǔ)節(jié)點(diǎn)管理起來(lái)，并通過(guò)IP千兆網(wǎng)和聚合帶寬技術(shù)向客戶端提供高帶寬、高可靠的存儲(chǔ)系統(tǒng)。隨著萬(wàn)兆以太網(wǎng)絡(luò)的普及，將進(jìn)一步強(qiáng)化IP網(wǎng)絡(luò)高聚合帶寬的優(yōu)勢(shì)。
　　以Panasas和谷數(shù)科技(CeresData)為代表的公司推出的面向?qū)ο蟮拇鎯?chǔ)集群打破傳統(tǒng)的塊數(shù)據(jù)和文件形式的存儲(chǔ)，把數(shù)據(jù)儲(chǔ)存為對(duì)象，即一群無(wú)序排列的、無(wú)固定長(zhǎng)度的字節(jié)組。每個(gè)對(duì)象擁有內(nèi)嵌的屬性、完整的訪問(wèn)控制和封裝的數(shù)據(jù)分布與位置。對(duì)象格式比DAS和SAN的塊數(shù)據(jù)格式更高級(jí)，但沒(méi)有NAS的文件格式復(fù)雜。這種方式使面向?qū)ο蟮拇鎯?chǔ)集群除具有很好的安全性外，還有比NAS和SAN都大得多的擴(kuò)展性。集群架構(gòu)的本身保證了在擴(kuò)展容量的同時(shí)，性能得到近似線性地增長(zhǎng)，因此在存儲(chǔ)節(jié)點(diǎn)數(shù)量足夠大時(shí)，系統(tǒng)能輕松達(dá)到傳統(tǒng)存儲(chǔ)系統(tǒng)不可高攀的數(shù)GB/s的持續(xù)帶寬。
　　Panasas面向?qū)ο蟠鎯?chǔ)的架構(gòu)包含了針對(duì)I/O的數(shù)據(jù)對(duì)象和與之分離的、比傳統(tǒng)SAN/DAS簡(jiǎn)化的元數(shù)據(jù)對(duì)象。元數(shù)據(jù)管理節(jié)點(diǎn)比數(shù)據(jù)節(jié)點(diǎn)少得多，而數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)之間是直接的通路，保證了系統(tǒng)性能和擴(kuò)展性。
　　另一類(lèi)解決方案通過(guò)高性能的分布式集群文件系統(tǒng)，把幾個(gè)到幾十個(gè)控制器集群起來(lái)，通過(guò)全局命名空間算法、性能聚合算法、訪問(wèn)負(fù)載均衡等各種先進(jìn)技術(shù)，把傳統(tǒng)NAS存儲(chǔ)系統(tǒng)的性能提高幾倍到幾十倍，從而在保留NAS原有的數(shù)據(jù)共享、安全和管理優(yōu)勢(shì)的基礎(chǔ)上，輕松滿足了HPC對(duì)性能和擴(kuò)展性的苛刻要求。
　　推出此類(lèi)產(chǎn)品的公司主要有ExaNet、OnStor和谷數(shù)科技(CeresData)。圖2是谷數(shù)科技的HPC存儲(chǔ)系統(tǒng)示意圖。該系統(tǒng)可配置2~16個(gè)節(jié)點(diǎn)，容量可從4TB平滑擴(kuò)展至512TB,帶寬能從800MB/s增加到3GB/s，并能達(dá)到每秒80萬(wàn)個(gè)處理能力(OPS)。通過(guò)快照和故障轉(zhuǎn)移技術(shù)，完全消除單點(diǎn)故障，確保系統(tǒng)的高可用。系統(tǒng)集成了本地備份、遠(yuǎn)程鏡像和生命周期管理，滿足HPC對(duì)海量數(shù)據(jù)集成服務(wù)的需求。最獨(dú)特的是，用戶可以靈活設(shè)置文件塊大小，讓同一個(gè)存儲(chǔ)系統(tǒng)為各種不同的HPC應(yīng)用提供最優(yōu)化的性能。
　　
　　圖1 網(wǎng)絡(luò)附加存儲(chǔ) (NAS)
　　
　　圖2 谷數(shù)科技公司的HPC集群存儲(chǔ)體