Мен бұл жазбаны сертификатта өтірік айтқан адамдарға арнаймын, соның кесірінен залдарымызға от шашатын шамдарды орнатып үлгердік.
Әңгіме төрт жастан асты, бірақ мен оны қазір жариялап жатырмын, себебі NDA мерзімі өтіп кеткен. Содан кейін біз деректер орталығының (біз жалға беретін) толықтай дерлік жүктелгенін және оның энергия тиімділігінің айтарлықтай жақсармағанын түсіндік. Бұрын гипотеза біз оны неғұрлым көп толтырсақ, соғұрлым жақсы, өйткені инженер барлығына бөлінеді. Бірақ бұл тұрғыда өзімізді-өзіміз алдап жүргеніміз, жүк жақсы болғанымен, бір жерде шығын болғаны белгілі болды. Біз көптеген салаларда жұмыс істедік, бірақ біздің батыл командамыз салқындатуға назар аударды.
Дата орталығының нақты өмірі жобадағыдан біршама ерекшеленеді. Тиімділікті арттыру және жаңа тапсырмалар үшін параметрлерді оңтайландыру үшін операциялық қызметтің тұрақты түзетулері. Мифтік B бағанасын алыңыз. Іс жүзінде бұл болмайды, жүктемені бөлу біркелкі емес, бір жерде тығыз, бір жерде бос. Сондықтан энергия тиімділігін арттыру үшін кейбір нәрселерді қайта конфигурациялауға тура келді.
Біздің деректер орталығының компрессоры әртүрлі тұтынушылар үшін қажет. Сондықтан, әдеттегі екі-төрт киловатт тартпалардың арасында 23 киловатт немесе одан да көп болуы мүмкін. Тиісінше, кондиционерлер оларды салқындату үшін орнатылды, ал ауа әлсіз қуатты сөрелерден өтіп кетті.
Екінші гипотеза жылы және суық дәліздер араласпайды. Өлшеулерден кейін мен бұл иллюзия деп айта аламын және нақты аэродинамика модельден барлық жағынан дерлік ерекшеленеді.
Емтихан
Алдымен біз залдардағы ауа ағындарын қарастыра бастадық. Олар ол жаққа не үшін барды? Өйткені олар деректер орталығы бір тірекке бес-алты кВт-қа есептелгенін түсінді, бірақ олар шын мәнінде 0-ден 25 кВт-қа дейін екенін білді. Мұның бәрін плиткамен реттеу мүмкін емес: ең алғашқы өлшеулер олардың бірдей дерлік өткізетінін көрсетті. Бірақ 25 кВт плиткалар мүлдем жоқ, олар бос емес, сұйық вакууммен болуы керек.
Біз анемометрді сатып алдық және тіректер арасындағы және сөрелердің үстіндегі ағындарды өлшеуді бастадық. Тұтастай алғанда, сіз онымен ГОСТ және турбиналық залды жаппастан жүзеге асыру қиын болатын бірқатар стандарттарға сәйкес жұмыс істеуіңіз керек. Бізді дәлдік емес, негізгі сурет қызықтырды. Яғни, олар шамамен өлшенген.
Өлшемдерге сәйкес, плиткалардан шыққан 100 пайыз ауаның 60 пайызы сөрелерге түседі, қалғаны ұшып кетеді. Бұл салқындату салынған ауыр 15-25 кВт тіректер бар екеніне байланысты.
Біз кондиционерлерді өшіре алмаймыз, өйткені ол жоғарғы серверлер аймағындағы жылы сөрелерде өте жылы болады. Осы сәтте ауа қатардан қатарға секірмеуі үшін және блокта жылу алмасу әлі де орын алуы үшін бір нәрсені басқа нәрседен оқшаулау керек екенін түсінеміз.
Бұл ретте біз өзімізден бұл қаржылық тұрғыдан мүмкін бе деп сұраймыз.
Бізде жалпы деректер орталығының энергия тұтынуы бар екенін білгенімізге таң қалдық, бірақ біз белгілі бір бөлме үшін желдеткіш катушкаларын санай алмаймыз. Яғни, біз аналитикалық түрде аламыз, бірақ іс жүзінде мүмкін емес. Ал үнемделген қаржыны есептей алмай отырмыз. Тапсырма барған сайын қызықты бола түседі. Егер біз ауаны кондиционерлеу қуатының 10% үнемдесек, оқшаулауға қанша ақша бөле аламыз? Қалай санау керек?
Мониторинг жүйесін аяқтап жатқан автоматика мамандарына бардық. Жігіттерге рахмет: оларда барлық сенсорлар болды, тек кодты қосу керек болды. Олар салқындатқыштарды, UPS және жарықтандыруды бөлек орнатуды бастады. Жаңа гаджет арқылы жүйенің элементтері арасында жағдайдың қалай өзгеретінін көруге мүмкіндік туды.
Перделермен эксперименттер
Сонымен бірге біз перделермен (қоршаулармен) тәжірибелерді бастаймыз. Біз оларды кабельдік науалардың түйреуіштеріне орнатуды шештік (бәрібір басқа ештеңе қажет емес), өйткені олар жеңіл болуы керек. Біз шатырлар немесе тарақтар туралы тез шешім қабылдадық.
Бір қызығы, біз бұған дейін бірнеше сатушылармен жұмыс істедік. Әркімнің компаниялардың жеке деректер орталықтары үшін шешімдері бар, бірақ коммерциялық деректер орталығы үшін іс жүзінде дайын шешімдер жоқ. Біздің клиенттер үнемі келіп-кетеді. Біз 25 кВт-қа дейінгі тегістеуіш серверлерін орналастыру мүмкіндігі бар тірек еніне шектеусіз бірнеше «ауыр» деректер орталықтарының бірі. Инфрақұрылымды алдын ала жоспарлау жоқ. Яғни, сатушылардан модульдік торлау жүйелерін алатын болсақ, онда екі ай бойы әрқашан тесіктер болады. Яғни, турбиналық зал ешқашан энергияны үнемдемейді.
Біздің инженерлеріміз болғандықтан, біз мұны өзіміз жасауды шештік.
Ең бірінші олар өнеркәсіптік тоңазытқыштардан таспалар алды. Бұл сіз соғуға болатын икемді полиэтилен сноты. Сіз оларды ірі азық-түлік дүкендерінің ет бөліміне кіре берісте бір жерден көрген шығарсыз. Олар улы емес және жанбайтын материалдарды іздей бастады. Біз оны тауып, екі қатарға сатып алдық. Біз оны қойып, не болғанын көре бастадық.
Бұл өте жақсы болмайтынын түсіндік. Бірақ жалпы алғанда бұл өте жақсы емес. Олар макарон сияқты ағындарда дірілдей бастайды. Біз тоңазытқыш магниттері сияқты магниттік таспаларды таптық. Біз оларды осы жолақтарға жабыстырдық, бір-біріне жабыстырдық, қабырға жеткілікті монолитті болып шықты.
Біз аудиторияны не күтіп тұрғанын анықтай бастадық.
Құрылысшыларға барып, жобамызды көрсетейік. Олар қарап: сенің перделерің өте ауыр дейді. Турбиналық залда 700 килограмм. Тозаққа кет, жақсы адамдар дейді. Дәлірек айтсақ, SKS командасына. Науаларда қанша кеспе бар екенін есептесін, өйткені бір шаршы метрге 120 кг ең көп.
SKS айтады: есіңде ме, бізге бір үлкен тұтынушы келді? Оның бір бөлмеде ондаған мың порттары бар. Турбина бөлмесінің шетінде бәрі жақсы, бірақ оны көлденең бөлмеге жақындату мүмкін емес: науалар құлап кетеді.
Құрылысшылар да материалға сертификат сұраған. Бұған дейін біз жеткізушінің құрметті сөзі бойынша жұмыс істегенімізді ескертемін, өйткені бұл жай ғана сынақ болды. Біз бұл жеткізушіге хабарласып, былай дедік: Жарайды, біз бета нұсқасына өтуге дайынбыз, бізге барлық құжаттарды беріңіз. Олар өте қалыптасқан үлгіде емес нәрсені жібереді.
Біз: тыңда, мына қағазды қайдан алдың? Олар: біздің қытайлық өндірушіміз мұны бізге сұраныстарға жауап ретінде жіберді. Қағазға қарағанда, бұл зат мүлде жанбайды.
Осы кезде біз тоқтап, фактілерді тексерудің уақыты келгенін түсіндік. Дата орталығының өрт қауіпсіздігі бөлімінің қыздарына барамыз, олар жанғыштығын тексеретін зертхананы айтады. Жердегі ақшалар мен мерзімдер (бірақ біз қағаздың қажетті санын жинап жатқанда бәрін қарғадық). Ондағы ғалымдар: материалды әкел, сынақ жасаймыз дейді.
Қорытындылай келе, бір килограмм заттан шамамен 50 грамм күл қалады деп жазылған. Қалғандары жарқырап жанып, төмен ағып, лужда жануды өте жақсы сақтайды.
Біз түсінеміз - оны сатып алмағанымыз жақсы. Біз басқа материалды іздей бастадық.
Біз поликарбонатты таптық. Ол қатал болып шықты. Мөлдір парақ екі мм, есіктер төрт мм-ден жасалған. Негізінде, бұл плексигласс. Өндірушімен бірге біз өрт қауіпсіздігі туралы әңгімені бастаймыз: бізге сертификат беріңіз. Олар жібереді. Сол институт қол қойған. Біз сонда телефон соғып: жақсы, балалар, мынаны тексердіңдер ме?
Олар айтады: иә, олар тексерді. Алдымен олар оны үйде өртеп жіберді, содан кейін тек тексеру үшін әкелді. Онда бір килограмм материалдан шамамен 930 грамм күл қалады (егер сіз оны оттықпен жағыңыз). Ол ериді, тамшылайды, бірақ шалшық жанбайды.
Біз магниттерімізді дереу тексереміз (олар полимерлі төсемде). Бір қызығы, олар нашар күйеді.
Ассамблея
Осыдан бастап біз жинауды бастаймыз. Поликарбонат өте жақсы, өйткені ол полиэтиленнен жеңілірек және оңай иілмейді. Рас, олар 2,5-тен 3 метрге дейінгі парақтарды әкеледі, ал жеткізуші онымен не істеу керектігін ойламайды. Бірақ бізге ені 2,8-20 сантиметр болатын 25 қажет. Есіктер қажет болған жағдайда парақтарды кесетін кеңселерге жіберілді. Ал ламелаларды өзіміз кесеміз. Кесу процесінің өзі параққа қарағанда екі есе қымбат тұрады.
Міне, не болды:
Нәтижесі – торлы жүйе бір жылдан аз уақыт ішінде өзін-өзі ақтайды. Осылайша біз желдеткіш катушкасының қуатын үнемі 200–250 кВт үнемдедік. Салқындатқыштарда әлі қанша, нақты қанша екенін білмейміз. Серверлер тұрақты жылдамдықпен сорып алады, желдеткіш катушкалар соғады. Ал салқындатқыштар тарақпен қосылады және өшіріледі: одан деректерді алу қиын. Турбиналық залды сынақтар үшін тоқтату мүмкін емес.
Бір кездері модульдерге 5х5 тіректерді орнату ережесі болғанына қуаныштымыз, осылайша олардың орташа тұтынуы максималды алты кВт болды. Яғни, жылылық аралда шоғырланбайды, бірақ турбиналық бөлменің бүкіл аумағына таратылады. Бірақ бір-бірінің қасында 10 дана 15 киловатт тартпалар бар, бірақ олардың қарама-қарсы стектері бар жағдай бар. Ол суық. Теңдестірілген.
Есептегіш жоқ жерде еденге дейінгі қоршау керек.
Ал кейбір тұтынушыларымыз тормен оқшауланған. Олардың да бірнеше ерекшеліктері болды.
Олар ламелаларды кесіп тастайды, өйткені тіректердің ені бекітілмеген және бекітпелердің тарақтарының жиілігі анықталады: үш немесе төрт см оңға немесе солға әрқашан болады. Егер сізде сөре кеңістігі үшін 600 блок болса, онда оның сәйкес келмеу ықтималдығы 85%. Ал қысқа және ұзын ламельдер қатар өмір сүріп, бір-біріне жабысады. Кейде біз сөрелердің контуры бойынша G әрпі бар ламельді кесеміз.
Датчиктер
Желдеткіш катушкалардың қуатын төмендетпес бұрын, тосынсый болмас үшін залдың әртүрлі нүктелерінде өте дәл температура бақылауын орнату қажет болды. Осылайша сымсыз сенсорлар пайда болды. Сымды - әр қатарда осы сенсорларды және кейде ұзартқыш сымдарды айқастыру үшін өз затыңызды ілу керек. Бұл гирляндаға айналады. Өте жаман. Ал бұл сымдар тұтынушылардың торына кіргенде, күзетшілер бірден қобалжып, осы сымдардың бойынан не алынып жатқанын анықтамамен түсіндіруді сұрайды. Күзетшілердің жүйкесі қорғалуы керек. Қандай да бір себептермен олар сымсыз сенсорларға қол тигізбейді.
Және тағы да стендтер келеді және кетеді. Датчикті магнитке қайта орнату оңайырақ, себебі оны әр жолы жоғары немесе төмен іліп қою керек. Егер серверлер сөренің төменгі үштен бір бөлігінде болса, оларды суық дәліздегі тірек есігіндегі стандартқа сәйкес еденнен бір жарым метр қашықтықта емес, төмен қарай іліп қою керек. Онда өлшеудің пайдасы жоқ, үтікте не бар екенін өлшеу керек.
Үш сөреге арналған бір сенсор - көбінесе оны іліп қоюдың қажеті жоқ. Температура айырмашылығы жоқ. Біз тіреулер арқылы ауа тартылады деп қорқатынбыз, бірақ олай болмады. Бірақ біз әлі де есептелген мәндерден сәл көбірек суық ауаны береміз. Біз 3, 7 және 12 тақталардағы терезелерді жасадық және тіреуіштен жоғары тесік жасадық. Айналып бара жатқанда, біз оған анемометрді саламыз: біз ағынның керек жерде жүретінін көреміз.
Содан кейін олар жарқын жіптерді іліп қойды: мергендер үшін ескі тәжірибе. Бұл біртүрлі көрінеді, бірақ мүмкін болатын мәселені тезірек анықтауға мүмкіндік береді.
күлкілі
Осының бәрін үнсіз істеп жатқанымызда, деректер орталықтары үшін инженерлік жабдықты шығаратын сатушы келді. Ол: келіңіз, энергия үнемдеу туралы айтып берейік, дейді. Олар келіп, оңтайлы емес зал мен ауа ағындары туралы айта бастайды. Біз түсіністікпен бас иземіз. Өйткені құрылғанымызға үш жыл уақытымыз бар.
Олар әр тірекке үш сенсорды іліп қояды. Мониторинг суреттері керемет және әдемі. Бұл шешім бағасының жартысынан көбі бағдарламалық жасақтама болып табылады. Zabbix ескерту деңгейінде, бірақ меншікті және өте қымбат. Мәселе мынада, оларда сенсорлар, бағдарламалық қамтамасыз ету бар, содан кейін олар сайттан мердігерді іздейді: олардың торға арналған жеке жеткізушілері жоқ.
Олардың қолдары біз жасағаннан бес-жеті есе қымбат екен.
сілтемелер
- .
- .
- .
- .
- .
- Менің почтам: [электрондық пошта қорғалған]
Ақпарат көзі: www.habr.com