隨著網絡安全、金融監管、大數據、光通信技術、云服務、物聯網的蓬勃發展，需要大量的數據中心作為支撐。截至2017年底，全球IDC行業市場規模達到721億美元，根據中國IDC圈有關預測，國內近3年來IDC市場增速將穩定在35%以上，到2018年中國IDC 市場規模將達1 400億元，增速將接近39.6%。數據中心是能耗大戶，美國環境保護署的報告顯示，2011年數據中心能源消耗占到了美國電網總量的2%，并且還將呈現每5年翻一番態勢。據統計，2012我國數據中心能耗高達664.5億千萬時，占當年全國工業用電量的1.8%；而2015年我國數據中心能耗高達1 000億千萬時，相當于整個三峽水電站一年的發電量。ICT Research預計到2020年，中國數據中心保有量將超過8萬個，年耗電量將超過400億千瓦時。所以，提高數據中心的用電效率（PUE）對于節能減排將大有裨益。而在數據中心的用電中，空調制冷作為數據中心的第二能耗大戶，提高空調制冷效率降低其能耗無論是對新建數據中心還是既有數據中心都勢在必行。數據中心另一個發展趨勢是服務器的發熱密度越來越高，業界對如何有效快速地驅散高熱密度服務器熱量的探索也從未止步，高密度服務器散熱的技術發展經過強制定點送風、通道封閉、行級空調、水冷背板等歷程。隨著芯片冷板及冷卻液強化換熱的技術發展完善，芯片液冷成為業界新一輪的熱點。
1 液冷
傳統的芯片冷卻技術——風扇加熱沉是目前芯片冷卻使用得最普遍的形式。風扇散熱器的結構簡單，使用方便，因而受到了廣大用戶的青睞。隨著電子元器件發熱功率的迅速增長，風扇散熱器也隨之進行了改進，常規的方法是提高風扇的轉速和增大翅片的尺寸。但是這兩種方法都不能無限增加風扇散熱器的散熱能力，風冷技術已不能滿足芯片日益增長的散熱要求。液冷技術應運而生。液冷是指通過液體來替代空氣，把CPU、內存條、芯片組、擴展卡等器件在運行時所產生的熱量帶走。根據目前技術研究的進程，將液冷分類為了水冷和其他介質冷卻，可用的其他介質包括、礦物油、電子氟化液等。按照冷卻原理，又將液冷分為了冷板式液冷（間接式冷卻）和浸沒式液冷（直接式冷卻）兩種系統模式。
浸泡式液冷系統是由機柜和液冷機組成，機柜里采用特殊的工程液體為熱傳遞介質。通常這類工程液體擁有幾大物理特性：沸點低、與水不相容、無毒、透明、無味、絕緣、阻燃、表面張力低、粘度低。只有具有這些特性才適合作為浸泡式液冷系統的熱傳遞介質。這種系統使用不需要風扇和散熱器的新架構服務器，或者把目前風冷散熱為主的服務器里所有風扇拆下來，浸沒在工程液體里，服務器里面所有硬件直接跟工程液體接觸，吸熱后達到液體飽和溫度（40 ℃～60 ℃）自動蒸發，利用液體汽化潛熱將熱量帶出，通過液冷機循環系統將氣體冷凝變回液體，實現自循環將熱量散發。這樣的機房環境溫度基本上不需要機械制冷散熱系統，可大幅度降低機房耗電量。
冷板式液冷通用的方法是采用泵驅動冷卻液流過芯片背部的通道，冷卻液在通道內通過板壁與芯片進行熱交換，帶走芯片上的熱量。含有熱量的冷卻液通過散熱器把熱量散失到外界環境中。冷板式液冷通常分為槽道冷卻、微槽道冷卻、液體噴射冷卻等。目前穩定性及可靠性較高的運用是槽道冷卻及微槽道冷卻，由于槽道冷卻的冷板面積通常較大，無法大面積使用在數據中心的服務器中；而微槽道冷卻在分流技術及換熱效率上取得了長足的進步，在數據中心中的運用越來越廣泛。
2 二次側集中循環直接接觸冷板式液冷系統簡述
二次側集中循環直接接觸冷板式液冷系統由室內側設備及室外側設備組成。室外側設備主要包括室外散熱設備及一次側循環泵，室外散熱設備通常是干冷器及閉式冷卻塔。而室內側設備主要由換熱模塊（含二次側集中循環泵）、分歧管模塊及芯片散熱冷板。由于二次側循環采用安裝在換熱模塊中的冷卻液泵集中驅動，從而取消了安裝在液冷板上的單個微型泵，故稱二次側集中循環直接接觸冷板式液冷系統。其系統架構圖及系統原理示意圖分別如圖1及圖2所示。
換熱模塊最基本的功能是實現一次側及二次側的換熱，同時實現冷卻液溫度的精準控制，機架式換熱模塊的基本結構如圖3所示。主要由板式換熱器、電動比例閥、二次側循環泵、膨脹罐、安全閥、進出水管專用接頭、控制器及其面板等組成。二次側循環泵配置雙泵增加系統冗余性，采用一次側三通流量調節閥精確控制板式換熱器的換熱量以適應不斷變化的末端服務器的散熱需求。依據散熱量的差異，高度上可以有多種規格。
為了實現良好的散熱性能，芯片散熱冷板通常采用銅板，采用微通道架構實現獨特的分流設計來降低壓降，增大冷卻液流量，確保低溫的冷卻液首先冷卻芯片最熱區域。冷板可以集成到非常緊湊的刀片架構，如規格為15.6 mm高的冷板就非常合適高密度的服務器，其獨特的結構設計最大可實現每英寸含130個散熱翅片。為了滿足不同芯片的散熱要求，也可以依照芯片差異如CPU、專用集成電路、RAM、圖形處理器、芯片組、加速器卡及硬盤驅動器等定制不同的散熱冷板。作為散熱冷板本身無任何運動部件，可靠性極高。
分歧管分配經過熱交換模塊冷卻的冷卻液均勻有序地進入芯片散熱冷板，防止不同路徑的芯片散熱冷板出現欠流或者過流情況。分歧管通常由不銹鋼本體及干斷快速接頭組成，分歧管強度高，可靠性好，做到100%無滴漏。干斷快速接頭內置雙切斷閥，金屬接口確保長期穩定可靠運行。而芯片散熱板與分歧管通常通過內徑為6mm的氯化丁基橡膠（CIIR）管或者氟化乙丙烯（FEP）管連接。
3 二次側集中循環直接接觸冷板液冷系統的設計分析
由于采用直接接觸冷板式液冷服務器的散熱方式存在差異，而且在負荷選取的就存在明顯差異，所以系統的設計流程也不盡一致。其設計流程如圖4所示。
其他電子散熱指的是服務器中除了芯片集中散熱以外的其他電子元器件的散熱，通常需要考慮服務器15%~30%左右的整體散熱量。在選擇換熱模塊時應考慮進水溫度對于換熱模塊換熱能力的影響，依據室外散熱設備的設計出水溫度對換熱模塊的換熱量進行修正，通常換熱模塊的換熱量是一次側循環液進口溫度在30 ℃，額定流量下的標稱能力，應依據不同一次側進口溫度及一次側流量對換熱量的進行修正。如圖5所示是典型換熱模塊的冷量曲線圖。
另外，冷板在不同的二次側冷卻液流量下其冷卻能力也會發生變化，圖6是典型冷板的熱阻與流量之間性能曲線。在設計過程中需要考慮散熱能力修正。
液冷系統的冷卻介質為水溶液，防止水患對于保證數據中心的安全生產十分重要。該系統主要從如下3方面來防范泄漏帶來的危害：首先是管路材料的選擇，二次側部分的中間連接管路應采用氯化丁基橡膠（CIIR）管或者氟化乙丙烯（FEP）管連接，而管路之間連接接頭均應采用內置雙切斷閥的快速干斷接頭防止接頭漏水，一次側管路宜采用無縫鋼管保證足夠耐壓強度；其次，選擇合適的管路安裝位置，為了防止一次側水系統的單點故障，主管路通常是環狀設計，可將主管路沿機房墻邊布置，且安裝在配有應急地漏的專用套槽內防止管路泄露水直接噴射至服務器區域，每路一次側支管上均安裝電磁閥可實現快速手動及電動切斷；最后，在服務器機柜底部及主管管路套槽內加裝漏水報警，漏水報警除發出聲光報警外，服務器機柜底部的漏水報警信號既用于切斷其對應的換熱模塊中二次側水泵的運行同時用于關閉對應一次側支管的電磁閥，而套槽內加裝的漏水報警則與機房內主管電磁閥聯動。
我國氣候差異大，若項目所在地冬季最低室外溫度低于0 ℃則應在循環液中添加乙二醇抗凍劑防止室外管路凍裂。乙二醇本身對普通金屬的腐蝕性比水低，但使用過程中被氧化成弱酸性，有弱腐蝕性，故管道不能用鍍鋅材料；同時無論是閉式冷卻塔還是干冷器都是通過銅管管壁進行換熱，質量濃度為20%以下的乙二醇溶液對銅管具有較強的腐蝕性，所以應按照項目當地室外溫度選擇對應質量濃度的乙二醇溶液，但不宜低于20%。另外在計算乙二醇溶液循環泵的流量與揚程時應在常規算法的基礎上依據濃度的不同乘上對應的修正系數。
4 二次側集中循環直接接觸冷板式液冷系統工程應用的節能分析
由于液冷冷板直接接觸發熱芯片吸熱，而芯片的耐熱溫度高達65 ℃，所以液冷系統適用的溫度非常高，按照美國供熱、制冷及空調工程師學會（ASHARE）2011年發布的液冷白皮書的分類推薦，換熱模塊的進口溫度甚至可以高達45 ℃。正因如此，該系統就可以直接使用室外干冷器或閉式冷卻塔散熱，而不需要任何機械制冷來散熱。由于不需要任何機械制冷，可以完全使用自然冷卻，該系統的耗電設備僅有室外干冷器（或閉式冷卻塔）、一次側循環泵及二次側循環泵，系統的耗電功率將大大降低。
現以上海某數據機房為例作該液冷系統節能分析，該機房為典型的高密度機房，機房面積為60 m2左右，配置6個服務器機柜，每個機柜服務的發熱量為11 kW，采用熱通道封閉方式實現機房高效節能。按照全部服務器采用傳統風冷服務器，50%機柜采用冷板液冷服務器搭配50%機柜服務器采用傳統風冷服務器及全部采用冷板液冷服務器3種不同方案進行比較，所有方案的風冷散熱均采用變頻渦旋式壓縮機風冷行間空調來實現。
根據《實用供熱空調設計手冊》中的上海氣象參數作為設計依據，詳見表1所示。
根據GB 50174—2017《數據中心設計規范》對A級機房對環境要求：冷通道或機柜進風區域的溫度18 ℃～27 ℃，冷通道或機柜進風區域的相對濕度和露點溫度要求露點溫度為5.5 ℃～15 ℃，同時相對濕度不大于60%。依據《數據中心設計規范》給定的參考值范圍，同時結合楊彥霞等的推薦參數本項目采用23 ℃的出風溫度作為空調設備的選型設計依據。
設計空調系統夏季冷負荷包括數據中心內設備的散熱、建筑圍護結構得熱、通過外窗進入的太陽輻射熱、人體散熱、照明裝置散熱、新風負荷及伴隨各種散濕過程產生的潛熱。經過精確計算，本機房的總制冷負荷為75 kW，其中服務器散熱負荷為66 kW，其他負荷為9 kW。由于冷板冷卻主要在芯片部分，但是服務器尚有其他電子元器件散熱，一般占整個服務器散熱的15%～30%，本文按照服務器30%的散熱仍需常規風冷冷卻處理。
液冷系統中按照上海的室外參數，采用干冷器作為室外散熱機組，一次側設計溫度進口溫度為39 ℃，換熱量參照換熱模塊的性能曲線進行修正。
經過對比分析發現：在夏季室外設計溫度點，全部采用液冷服務器方案中液冷系統可全部采用自然冷卻，僅30%的散熱采用風冷機械制冷，整個制冷系統的總耗電功率僅為全部采用風冷服務器方案的46%，此時機房制冷系統的pPUE值僅有1.18，系統能效非常高。具體對比參數詳見表2。
以上對比基于風冷機組部分負載下EER值不變，風冷耗電功率僅作線性變化，而事實上變頻壓縮機風冷行間空調機組在部分負載下，其機組EER值也會提高，耗電功率也會進一步降低。以業界某款典型EC渦旋式壓縮機風冷行間空調機組的性能為例，其試驗室實測部分負載功率表如表3所示。機組制冷總功率就是壓縮機、室內風機及室外風機功率之和，而EER值則是制冷量與機組制冷總功率的比值。圖7與圖8是匯總計算后典型EC渦旋式壓縮機風冷行間空調部分負載下的整機耗電功率曲線及整機EER值曲線。
從上述曲線可以判斷，若是配置了變頻壓縮機風冷空調機組的既有項目，保持之前的風冷空調機組繼續運行，則機房制冷系統的pPUE值相對于新建項目將進一步降低，以本項目為例，將既有機房中的服務器全部更新為液冷服務器，保持之前變頻壓縮機風冷行間空調繼續運行，則該機房制冷系統的pPUE可進一步降低至1.13。所以無論是新建項目還是改造項目采用冷板液冷方式都將大幅降低機房制冷功耗。
5 二次側集中循環直接接觸冷板式液冷系統性能分析
微通道熱沉的概念在20世紀80年代年提出，經過幾十年的發展，技術日趨成熟，擁有許多優異的性能：如散熱性能優越，體積小重量輕，無噪聲，性能穩定，可靠性高，壽命長及與芯片的集成性好等。本文介紹的二次側集中循環直接接觸冷板式液冷系統除了上述傳統優勢外，即使與其他的液冷技術相比，也是技術領先，性能可靠。表4及表5是該系統分別與浸沒式液冷系統及二次側分散循環泵直接接觸冷板式液冷系統的性能對比，可以看出：該系統無論是從初投資、可靠性、維護便利性及使用壽命等方面均具有巨大優勢。
6 結論與展望
二次側集中循環直接接觸冷板式液冷系統同傳統風冷服務器制冷系統相比節能效果明顯，在系統可靠性、維護便利性等綜合性能上也優于其他液冷系統。無論是改造既有項目還是新建數據中心采用該液冷系統都將有利于打造綠色數據中心。在節能減排的大背景下，該系統的應用前景光明，將成為數據中心的新選擇。
|
