上一期文章中我們以小型數(shù)據(jù)中心(40kW)為例探討了一種創(chuàng)新的空間和功率密度設(shè)定方法。本期我們將以大型數(shù)據(jù)中心(2MW)為例，進(jìn)一步探討不同的成長(zhǎng)計(jì)劃、模塊化設(shè)計(jì)下如何設(shè)定功率密度。
一、大型數(shù)據(jù)中心功率設(shè)定流程
以2MW的數(shù)據(jù)中心為例，數(shù)據(jù)中心采用以下層級(jí)結(jié)構(gòu)：
制定大型數(shù)據(jù)中心規(guī)格有兩種基本方法：
1. 從機(jī)柜或IT區(qū)域?qū)用骈_始制定規(guī)格，再上升至設(shè)施規(guī)格
2. 從設(shè)施層面開始制定規(guī)格，再分解為機(jī)房，然后是IT區(qū)域，再是機(jī)柜規(guī)格
理想情況下，應(yīng)使用第一種方法。然而，大多數(shù)情況下，第一種方法并不現(xiàn)實(shí)，因?yàn)樵O(shè)施層面的限制條件起初就已經(jīng)界定，比如可用的主要電源或建筑的物理尺寸。在設(shè)施功率要求已知的情況下，規(guī)格參數(shù)必須分解為機(jī)房和IT區(qū)域，然后再整合到設(shè)施層面，流程如下：
1. 確定設(shè)施的機(jī)房數(shù)量，設(shè)定機(jī)房功率
2. 確定每個(gè)機(jī)房?jī)?nèi)的IT區(qū)域數(shù)量，設(shè)定IT區(qū)域功率
3. 確定每個(gè)IT區(qū)域中的機(jī)柜數(shù)量，設(shè)定機(jī)柜功率
4. 設(shè)定設(shè)施、IT區(qū)域和機(jī)房空間使用參數(shù)
5. 確定剩余的功率密度參數(shù)
6. 整合總體規(guī)格，對(duì)照設(shè)計(jì)約束進(jìn)行驗(yàn)證
7. 不斷調(diào)整、重復(fù)計(jì)算直至設(shè)計(jì)滿足要求
為簡(jiǎn)化起見，該范例假設(shè)所有機(jī)房的規(guī)格參數(shù)均相同，所有的IT區(qū)域都一樣，且變化僅存在于機(jī)柜層面。這種假設(shè)對(duì)許多情況而言均是恰當(dāng)?shù)脑O(shè)計(jì)假設(shè)。下圖所示為用于該范例2MW規(guī)格設(shè)定的工作表。
該工作表簡(jiǎn)明扼要，包含了大量的設(shè)計(jì)信息。工作表分為三個(gè)輸入列：左列表示設(shè)施的機(jī)房組成方式，中列表示機(jī)房的IT區(qū)域組成方式，右列表示IT區(qū)域的機(jī)柜組成方式。工作表定義了2MW數(shù)據(jù)中心范例的各種屬性，具體如下：
- 一個(gè)IT區(qū)域由12個(gè)IT機(jī)柜和4個(gè)預(yù)留機(jī)柜位置組成，旨在提供配電和行級(jí)制冷，IT區(qū)域占地面積為6m x 4m。
- 每個(gè)機(jī)柜的設(shè)計(jì)目標(biāo)平均功率為5kW。
- 只要所有12個(gè)機(jī)柜的IT區(qū)域功率不超過50kW，則任一機(jī)柜的容許峰值功率為12.5kW。
- 該設(shè)計(jì)所需要的室內(nèi)空間總面積為2,352㎡。
- 如果采用IT機(jī)房層面的W/㎡常規(guī)單位表示，則該數(shù)據(jù)中心的功率密度為1,206W/㎡。
- 每個(gè)IT區(qū)域內(nèi)均提供2個(gè)預(yù)留機(jī)柜位置，如果已部署的平均功率低于規(guī)定的5kW每機(jī)柜，則可充分利用IT區(qū)域供電和制冷。
- 每個(gè)機(jī)房均預(yù)留2個(gè)IT區(qū)域位置，一個(gè)是為了在不中斷現(xiàn)有IT區(qū)域的前提下對(duì)新IT區(qū)域進(jìn)行暫存，另一個(gè)是在已部署的平均功率低于5kW每機(jī)柜時(shí)充分利用機(jī)房供電和制冷。
相比于先前介紹的單一機(jī)房范例，該工作表更為復(fù)雜，因?yàn)樗鞔_記錄了為應(yīng)對(duì)功率密度不確定性而預(yù)留的空間。由于已在單個(gè)機(jī)柜的IT層面預(yù)見并考慮不確定性，用戶不需要進(jìn)入IT區(qū)域或機(jī)房層面；這些層面都是由較低層面累加而成。然而，在設(shè)計(jì)中，用戶可預(yù)留空間，以應(yīng)對(duì)不同層面上的不確定性。用戶可通過在IT區(qū)域中預(yù)留額外的機(jī)柜位置，或通過在機(jī)房中預(yù)留更多IT區(qū)域位置，或通過在設(shè)施中預(yù)留額外的機(jī)房空間，或通過三種方式的組合，為應(yīng)對(duì)功率密度不確定性預(yù)留空間。哪種預(yù)留空間方式最受青睞通常取決于機(jī)房的幾何形狀或其他因素。該工作表記錄了整體空間要求，使用戶能夠使用額外機(jī)柜、IT區(qū)域或機(jī)房的任一組合預(yù)留空間。
二、將該方法擴(kuò)展至配備不同IT區(qū)域和機(jī)房的數(shù)據(jù)中心
理想情況下，設(shè)施應(yīng)具備整齊劃一的IT區(qū)域和機(jī)房設(shè)計(jì)。這種統(tǒng)一設(shè)計(jì)具有不少設(shè)計(jì)優(yōu)勢(shì)，包括：
- 管理工具、方法和流程可以實(shí)現(xiàn)標(biāo)準(zhǔn)化
- 簡(jiǎn)化規(guī)劃和設(shè)計(jì)過程
然而，統(tǒng)一設(shè)計(jì)并非總是適合或可行，原因如下：
- 已知將要部署的是不同類型的IT設(shè)備，且要求大不相同
- 機(jī)房尺寸已經(jīng)確定，且無法進(jìn)行標(biāo)準(zhǔn)化
- 不同區(qū)域具有不同的可用性要求，這些要求將影響冗余的供電和制冷設(shè)備所占據(jù)的空間
我們?yōu)榇送扑]的最佳實(shí)踐是，確定最小合集 的標(biāo)準(zhǔn)機(jī)柜、標(biāo)準(zhǔn)IT區(qū)域以及（在大型數(shù)據(jù)中心中）標(biāo)準(zhǔn)機(jī)房。例如，大型數(shù)據(jù)中心可以界定三個(gè)不同標(biāo)準(zhǔn)的IT區(qū)域，占地面積相同，用于低功率密度、高功率密度和存儲(chǔ)。按照IT區(qū)域的預(yù)期組合，進(jìn)行數(shù)據(jù)中心設(shè)計(jì)，但也應(yīng)保持靈活性，以便在長(zhǎng)期部署過程中調(diào)整組合情況。
上圖所示的工作表使用了統(tǒng)計(jì)學(xué)上的一般機(jī)柜，部署在標(biāo)準(zhǔn)IT區(qū)域內(nèi)，安裝在標(biāo)準(zhǔn)機(jī)房里。如IT區(qū)域和機(jī)房的類型組合實(shí)際上已確定，要采用這種方法則需要完善這個(gè)工作表。
三、選擇功率密度參數(shù)值
既然功率密度參數(shù)能大幅拉動(dòng)成本，該章節(jié)將為數(shù)值選擇提供指南。遵循此處的建議，是為任何類型設(shè)施制定功率密度規(guī)格的良好開端。這些建議值可原樣照搬，或酌情調(diào)整以滿足特殊要求。
單元數(shù)量
對(duì)于簡(jiǎn)單的小型機(jī)房，“單元”數(shù)量即機(jī)房?jī)?nèi)的IT機(jī)柜數(shù)量。對(duì)于大型數(shù)據(jù)中心，即為三個(gè)數(shù)值：IT區(qū)域中的IT機(jī)柜數(shù)量、機(jī)房中的IT區(qū)域數(shù)量以及設(shè)施機(jī)房數(shù)量。這三個(gè)數(shù)值在大多數(shù)情況下取決于設(shè)施約束。然而，一個(gè)關(guān)鍵設(shè)計(jì)值是IT區(qū)域中的機(jī)柜數(shù)量，這個(gè)值影響著設(shè)計(jì)的許多方面。這就帶來了問題，即IT區(qū)域的機(jī)柜數(shù)量是否具有推薦的選用值？
按照定義，IT區(qū)域通常包括配電和制冷系統(tǒng)，因此，部署低于20 kW（取決于具體功率密度，相當(dāng)于2至6個(gè)機(jī)柜）的IT區(qū)域通常不切實(shí)際。IT區(qū)域通常視作相鄰機(jī)柜的組合，而且IT區(qū)域周圍按照法規(guī)要求應(yīng)設(shè)置人員通道，因此，機(jī)柜最大數(shù)量應(yīng)約為24，即相當(dāng)于75至500 kW（取決于具體功率密度）。確定IT區(qū)域尺寸的一個(gè)最佳實(shí)踐是，按該IT區(qū)域進(jìn)行不斷的IT區(qū)域翻新和更換（而不是按機(jī)柜進(jìn)行翻新）。較小的IT區(qū)域尺寸允許較小規(guī)模的翻新。一個(gè)500 kW的IT區(qū)域大致相當(dāng)于1000臺(tái)服務(wù)器，只適合大型云服務(wù)提供商使用。對(duì)于多數(shù)客戶，介于50-100 kW范圍的IT區(qū)域，相當(dāng)于100至200個(gè)服務(wù)器，更加實(shí)際。
IT區(qū)域中IT機(jī)柜推薦數(shù)量為8至24個(gè)。具體而言，大型數(shù)據(jù)中心和低功率密度建議配備較多IT機(jī)柜，而小型數(shù)據(jù)中心和高功率密度建議配備較少IT機(jī)柜。
每單元設(shè)計(jì)目標(biāo)平均功率
每機(jī)柜設(shè)計(jì)目標(biāo)平均功率的選擇令人困惑，且飽受爭(zhēng)議。這對(duì)數(shù)據(jù)中心設(shè)計(jì)和成本有著非常大的影響，而且一直以來有關(guān)這方面的建議并未達(dá)成一致。首先，重要的是要注意，一直以來的大多數(shù)討論沒有正確區(qū)分不確定性和峰值這兩個(gè)概念，而這兩個(gè)概念對(duì)功率密度規(guī)格的制定至關(guān)重要。
回想一下，設(shè)計(jì)目標(biāo)平均值是所有機(jī)柜平均得出的目標(biāo)平均（額定）機(jī)柜功率。如果規(guī)定了5 kW的設(shè)計(jì)目標(biāo)平均機(jī)柜功率，只要峰值功率參數(shù)容許，仍然可以使用20 kW的機(jī)柜。數(shù)據(jù)中心一般傾向于設(shè)定較大的每機(jī)柜設(shè)計(jì)目標(biāo)平均功率，以容納未來的IT設(shè)備（普遍認(rèn)為未來IT設(shè)備有著更高的功率需求）或提供充足的安全余量。因此，選擇較高數(shù)值似乎是謹(jǐn)慎穩(wěn)妥。然而，正如專題（一）所討論的，情況并非如此。事實(shí)上，若設(shè)定的規(guī)格比實(shí)際最終部署更大，將導(dǎo)致極度浪費(fèi)和低效。不少設(shè)定較高設(shè)計(jì)目標(biāo)平均機(jī)柜功率值的數(shù)據(jù)中心運(yùn)營(yíng)商都深陷這一困境，而他們?cè)詾樽约涸O(shè)計(jì)的數(shù)據(jù)中心能滿足未來需求。更好的方式是，為數(shù)據(jù)中心選擇一個(gè)總功率 （kW），然后再選擇一個(gè)預(yù)期機(jī)柜功率的最佳估算值。要應(yīng)對(duì)不同于設(shè)計(jì)值的未來功率密度需求，可采用下面所介紹的基于不確定性和峰值參數(shù)的方法。
現(xiàn)今，實(shí)際數(shù)據(jù)中心的每機(jī)柜功率密度范圍在每機(jī)柜2 kW至30 kW之間。然而，平均值超過12 kW的非常稀少，且主要存在于高性能計(jì)算（HPC）或高功率密度云計(jì)算應(yīng)用中。企業(yè)單位內(nèi)絕大多數(shù)混合用途的數(shù)據(jù)中心，其平均值在每機(jī)柜4 kW至8 kW范圍內(nèi)。然而，一般而言，數(shù)據(jù)中心的現(xiàn)有平均值并不能準(zhǔn)確預(yù)測(cè)其未來值。整合、標(biāo)準(zhǔn)化、新服務(wù)器技術(shù)和虛擬化正在推高每機(jī)柜功率密度。一般來說，專為混合IT用途而設(shè)計(jì)的新數(shù)據(jù)中心，其設(shè)計(jì)目標(biāo)平均機(jī)柜功率應(yīng)至少比企業(yè)單位現(xiàn)在運(yùn)行的功率高50%。
單元功率不確定性
行之有效的功率密度規(guī)格通常都設(shè)置了應(yīng)對(duì)單元功率不穩(wěn)定性的非零值。唯一例外可能存在于HTP應(yīng)用中，在HTP應(yīng)用中，存在明確的標(biāo)準(zhǔn)IT部署，IT設(shè)備的功率要求也是已知的，因而可基于這些已知信息構(gòu)建設(shè)施。
務(wù)必謹(jǐn)記，不確定值是用來描述已部署的所有機(jī)柜平均功率密度如何偏離設(shè)計(jì)目標(biāo)平均值，以合理應(yīng)對(duì)突發(fā)需求。該值不是用來處理獨(dú)立單元之間（機(jī)柜、機(jī)房之間等）的差異情況。
例如，如果提前知道IT負(fù)載的組成為：4 kW機(jī)柜占80%，20 kW機(jī)柜占20%，那么我們就能確切地知道設(shè)計(jì)目標(biāo)平均功率為7.2 kW/機(jī)柜（加權(quán)平均數(shù)）。即使本例中混合使用了功率范圍為4 kW至20 kW的機(jī)柜，這組機(jī)柜的單元功率不確定性仍為零。如果4 kW機(jī)柜的比例不是確切的80%，而是70%至90%之間，且其余機(jī)柜的功率均為20 kW，那么單元功率不確定性則變?yōu)?/-1.6 kW，即22%。
為確定單元功率不確定性，假設(shè)數(shù)據(jù)中心已被設(shè)備占滿，分別取得導(dǎo)致每機(jī)柜最低平均功率和每機(jī)柜最高平均功率的IT部署假設(shè)數(shù)據(jù)，然后取兩者差值的中間數(shù)。因?yàn)樵O(shè)計(jì)不確定性將產(chǎn)生成本，不推薦采用極高或極低的功率密度值這種最壞情況下的絕對(duì)假設(shè)，而是應(yīng)考慮可建立80%信心值的功率密度范圍假設(shè)。
每單元峰值功率
幾乎每個(gè)數(shù)據(jù)中心的機(jī)柜之間都有功率變化。機(jī)柜的運(yùn)行功率在50瓦特（帶接線板的網(wǎng)絡(luò)交換機(jī)）至30 kW（全負(fù)載高性能刀片式服務(wù)器）再尋常不過，這實(shí)際上表示60:1的能耗比。
如果要求數(shù)據(jù)中心能應(yīng)對(duì)機(jī)柜之間的功率變化，那么配電和氣流分配系統(tǒng)必須能支持單個(gè)機(jī)柜的峰值功率值。因此，配電和氣流分配系統(tǒng)必須大于設(shè)計(jì)目標(biāo)平均機(jī)柜功率預(yù)期可提供的性能。設(shè)計(jì)目標(biāo)平均機(jī)柜功率決定了大容量電力和制冷裝置的額定值，但峰值機(jī)柜功率則要求更高性能的配電和氣流分配系統(tǒng)。配電和氣流分配系統(tǒng)的過度規(guī)劃可導(dǎo)致成本浪費(fèi)，但卻能應(yīng)對(duì)機(jī)柜間的功率變化問題。峰值機(jī)柜功率和設(shè)計(jì)目標(biāo)平均機(jī)柜功率的比值為3X或更多時(shí)，通過減小該比值來管理成本不失為可取的方法。優(yōu)化峰值與設(shè)計(jì)目標(biāo)平均功率比值的兩個(gè)技巧介紹如下：
1. 將功率相似的機(jī)柜組合到一個(gè)IT區(qū)域內(nèi)，并為IT區(qū)域定義不同功率密度。IT區(qū)域之間的每機(jī)柜設(shè)計(jì)目標(biāo)平均功率將會(huì)不同，但單個(gè)IT區(qū)域峰值與設(shè)計(jì)目標(biāo)平均值的比值將會(huì)下降。
2. 通過策略控制每機(jī)柜最大功率。比如，在一定的機(jī)柜功率密度之上進(jìn)行IT部署時(shí)，要拆分機(jī)柜間設(shè)備。通過限制峰值功率，可不必配備極端供電或氣流分配設(shè)備。這點(diǎn)在數(shù)據(jù)中心有一小部分刀片式服務(wù)器機(jī)柜時(shí)非常有效。
管理功率比
得益于現(xiàn)代IT系統(tǒng)的功率管理功能，隨時(shí)間推移消耗的平均功率往往低于全計(jì)算負(fù)荷下的數(shù)值。出于容量考慮，供電和制冷系統(tǒng)的設(shè)計(jì)必須面向全計(jì)算負(fù)荷下的IT功率。然而，要確定電能效率，平均功率是更重要的數(shù)字，因?yàn)槠骄β蕸Q定供電和制冷系統(tǒng)的平均預(yù)期運(yùn)行功率水平。
功率比越小，就越需要供電和制冷系統(tǒng)在輕負(fù)荷條件下運(yùn)行，而輕負(fù)荷條件下一般會(huì)降低能效?，F(xiàn)今，典型數(shù)據(jù)中心的管理功率比約為95%，但未來幾年內(nèi)，不少應(yīng)用的管理功率會(huì)降至40%和80%之間。
請(qǐng)注意，管理功率比不會(huì)具體改變數(shù)據(jù)中心面積，或大容量電力和制冷系統(tǒng)的額定值，或配電和氣流分配系統(tǒng)的性能。然而，管理功率比會(huì)對(duì)效率或數(shù)據(jù)中心的PUE產(chǎn)生影響，從而對(duì)系統(tǒng)架構(gòu)的選擇造成影響。較低的管理功率比建議數(shù)據(jù)中心應(yīng)采用模塊化、可擴(kuò)展的設(shè)計(jì)，或即使在輕負(fù)載下能效也出色，最終可幫助節(jié)約生命周期的能源成本。在沒有考慮管理功率比的情況下建?；蛴?jì)算的預(yù)期數(shù)據(jù)中心能源效率，將會(huì)導(dǎo)致對(duì)結(jié)果過度樂觀，其計(jì)算結(jié)果本身也值得懷疑。
四、IT 功率密度策略
在許多情況下，數(shù)據(jù)中心運(yùn)營(yíng)人員對(duì)機(jī)柜功率密度掌握定奪權(quán)。例如，當(dāng)部署機(jī)架式服務(wù)器時(shí)，僅需在機(jī)柜中留出空白區(qū)，即可限制機(jī)柜功率密度。此外，運(yùn)營(yíng)人員也可自行決定單個(gè)設(shè)備的部署，還可以在機(jī)柜內(nèi)組合搭配高低功率密度設(shè)備，從而控制每機(jī)柜的功率。這些決策取決于數(shù)據(jù)中心運(yùn)營(yíng)人員，或由用戶或其他方左右。
每個(gè)數(shù)據(jù)中心應(yīng)該制定相應(yīng)的功率密度策略。峰值機(jī)柜功率不應(yīng)該通過對(duì)最糟情況下未來IT設(shè)備最大功率的揣測(cè)進(jìn)行設(shè)定，而是應(yīng)該設(shè)計(jì)合理的限制，并強(qiáng)制將部署維持在該限制內(nèi)。機(jī)柜運(yùn)行功率范圍寬廣的數(shù)據(jù)中心受益于以下舉措：由IT區(qū)域設(shè)定機(jī)柜功率限制，針對(duì)高低功率密度設(shè)定特定的IT區(qū)域，以及根據(jù)IT區(qū)域類型制定策略。
許多現(xiàn)有數(shù)據(jù)中心存在的一個(gè)通病是，部分或大多數(shù)IT部署處于平均或峰值功率密度時(shí)，超出了數(shù)據(jù)中心容量。這種情況會(huì)由于配電或供冷能力緊張而導(dǎo)致過載和過熱，最終耗盡設(shè)施的供電容量或制冷容量。這種問題顯而易見。然而，正如我們先前所指出，低容量部署也是一個(gè)問題，因?yàn)殡S著數(shù)據(jù)中心逐漸由單元占據(jù)，低容量部署可能會(huì)導(dǎo)致供電和制冷容量擱淺。機(jī)柜中U空間利用不佳本可避免，也是導(dǎo)致低容量的普遍因素。因此，應(yīng)該監(jiān)測(cè)最小和最大機(jī)柜部署功率，且根據(jù)策略進(jìn)行部署。
五、結(jié)論
當(dāng)數(shù)據(jù)中心的功率密度由單一數(shù)據(jù)確定時(shí)，如W/㎡，許多重要的性能特點(diǎn)未能說明。 這樣一來，為規(guī)格制定、設(shè)計(jì)和調(diào)試過程帶來大量困惑，也限制了運(yùn)營(yíng)人員對(duì)數(shù)據(jù)中心容量的全面理解。
制定數(shù)據(jù)中心規(guī)格的方式，應(yīng)該考慮到關(guān)鍵的設(shè)計(jì)制約因素，同時(shí)還要為設(shè)計(jì)具體細(xì)節(jié)的工程師和承包商提供明確指導(dǎo)。規(guī)格應(yīng)該明確提供必要的信息，幫助數(shù)據(jù)中心運(yùn)營(yíng)人員制定運(yùn)行策略和流程，使他們對(duì)數(shù)據(jù)中心可預(yù)測(cè)的性能抱有信心。
即便數(shù)據(jù)中心的信息不完整，計(jì)劃不確定，也可以使用本專題介紹的方法。為幫助嘗試自行制定功率密度規(guī)格的用戶，我們提供了典型的設(shè)計(jì)值供參考選用。標(biāo)準(zhǔn)化、預(yù)定制、模塊化的IT區(qū)域、機(jī)房和設(shè)施也可使用本專題介紹的方法制定功率密度規(guī)格，從而簡(jiǎn)化數(shù)據(jù)中心設(shè)計(jì)。
專題（一）至專題（三）介紹了一種簡(jiǎn)單快速、符合邏輯的方法，幫助記錄數(shù)據(jù)中心空間和功率密度需求，為確保性能可預(yù)測(cè)和避免偶然事故提供了充足的細(xì)節(jié)信息。采用該方法為數(shù)據(jù)中心制定規(guī)格，相比于歷史方法而言，能對(duì)數(shù)據(jù)中心具體化設(shè)計(jì)提供更加全面清晰的指導(dǎo)。那么數(shù)據(jù)中心功率密度的真實(shí)變化趨勢(shì)到底是怎么樣呢？敬請(qǐng)關(guān)注下一期：施耐德數(shù)據(jù)中心論壇 | 功率密度專題（四）數(shù)據(jù)中心功率密度的真實(shí)變化趨勢(shì)。
文章摘自施耐德電氣信息技術(shù)
歡迎聯(lián)系寶通集團(tuán)咨詢施耐德產(chǎn)品信息
寶通集團(tuán)聯(lián)系方式
咨詢熱線：400-830-0107
寶通官網(wǎng)：www.bjshst.cn
客戶垂詢郵箱：Customer@ex-channel.com
客戶垂詢QQ：1305742380
地址：深圳市福田區(qū)深南大道1006號(hào)國(guó)際創(chuàng)新中心C座11樓
郵編：518026
?
當(dāng)前位置：
粵公網(wǎng)安備 44030402001885號(hào)
友情鏈接： 金沙古酒 | 中青寶 | 寶德控股 | 寶德計(jì)算 |