綠生活資訊站

0愛的鼓勵 0訂閱站台

多倫多大學打造省電的超級電腦

文/林文彬 (記者) 2009-10-06

SciNet Consortium高速電腦中心，今年打造出第16強的超級電腦，為了降低耗電量，則是採用節能伺服器、水冷背板與自然冷卻的方式，創下PUE值僅1.16的記錄

加拿大多倫多大學轄下的SciNet Consortium高速電腦中心，於今年初打造出每秒可執行360萬億個計算的超級電腦，多倫多大學共採購了7座IBM Power 6與42座英特爾Nehalem伺服器機櫃，並在6月底發布的全球超級電腦500強排行榜（Top 500）分別登上第80名與第16名，特別的是，這座機房PUE值僅1.16。目前臺灣企業機房的PUE值平均為2.5，歐美國家的PUE值為2，號稱節 能的Google機房平均為1.21。PUE值越低，代表著機房空調冷卻所需的電力就會更少，SciNet幾乎做到高標準的機房節能目標。 多倫多大學是綜合性的研究型大學，為了滿足各式各樣的運算需求，SciNet則是擁有3,780個x86運算節點與104個Power 6運算節點，運算量分別達306 TFlops與60 TFlops。 從伺服器與機房環境下手，打造節能機房 SciNet能打造出PUE值僅1.16的機房環境，主要從伺服器與機房環境兩個方面著手。針對數量龐大的x86伺服器，SciNet則是採購42座IBM於去年推出的iDataPlex節能伺服器，降低耗電量。 iDataPlex 機櫃外觀就與以往的機櫃不同，一般機櫃是較深、較窄，但iDataPlex機櫃的深度則是減少一半，寬度則加長1倍，形成一個 扁長型的機櫃，由於深度減少一半，散熱風扇只需花費較少的電力就能有效降溫。此外，iDataPlex還採用模組化設計，以2U伺服器模組為例，可容納2 臺2路伺服器，並如同刀鋒伺服器一樣共用電源供應器與風扇，達到省電的目的。 SciNet針對iDataPlex機櫃還採用水冷背板，透過機櫃後方增加1片5吋長的冷卻門，就如同冰箱後方的冷卻導管，藉由這些導管將單一機櫃所排放的熱能直接與冷卻水交換，讓伺服器排放的熱量直接被帶走，減少室內的熱能。 不只iDataPlex採用水冷背板，Power 6超級電腦群同樣也採用水冷系統，但Power 6機櫃的水冷系統更延伸到伺服器內的處理器上，IBM表示，如此將可以帶走伺服器7成的熱量。 由 於SciNet位在高緯度地區，夏天時可以透過水冷系統將機房內的熱量水帶到冷卻裝置進行降溫，到了冬天，由於氣溫較低，SciNet則是採用 自然冷卻法，這也是SciNet能達到PUE值1.16的關鍵。美國IBM商業發展經理Dominic Lam則是負責SciNet建置專案，他說：「因為地理資源的關係，SciNet能達到PUE值僅1.16，是位在亞熱帶的臺灣難以做到的地方。」 InfiniBand並非是超級電腦的萬靈丹 SciNet 將這套x86超級電腦命名為Tightly-coupled Capability System（TCS），因為不同性質的研究，需要的運算與網路資源也就會不同，也因此，SciNet並非全部採用超高速匯流排 （InfiniBand），還採用10GbE等級的乙太網路。「只有23％的運算節點採用InfiniBand。」Dominic Lam說。 Dominic Lam表示，有些學術研究並非全然是平行運算架構，每個運算單元並非完全獨立，運算結果仍會影響下一個運算單元，這個時候就需要較高的網路頻寬，於是，針對這些類型的研究就可以採用InfiniBand。 當然有些研究所需的網路資源並非相當大，只用10GbE等級網路就能滿足需求，如果採用昂貴的InfiniBand，就造成浪費。 不過，Power 6超級電腦是針對氣候研究，需要的網路頻寬較大，因此SciNet針對每個Power 6運算節點分配4個InfiniBand，強化整體運算效能的表現。 為 了讓每臺伺服器都能充分利用，SciNet則是透過開放原始碼的xCAT 2.0與Moab管理軟體來執行工作的分配，比方來說，透過Moab會根據不同性質的研究去分配到合適的電腦資源，然後透過xCAT會調查整體運算資源的 運作狀況，將工作分配到閒置的伺服器中，如果工作分配完畢後還有閒置的伺服器，系統就會自動關閉那些伺服器，降低整體耗電量。 不 只如此，透過xCAT可以讓伺服器沒有本機硬碟，Dominic Lam表示，SciNet的超級電腦群擁有數量龐大的伺服器，如果每臺伺服器都安裝本機硬碟，部分伺服器難免會發生硬碟故障的狀況，這也會影響整體運算的 效率。xCAT會根據不同的應用分配適合的作業系統，然後送到合適的伺服器進行運算，這麼一來，就可以讓伺服器不用本機硬碟。文⊙林文彬