Хабр коомчулугуна салам! Мен жакында биздин кластердик тактабыздын биринчи версиясы жөнүндө жаздым []. Ал эми бүгүн мен версиянын үстүндө кантип иштегенибизди айткым келет RAM.
Биз жергиликтүү өнүгүү үчүн да, жергиликтүү хостинг үчүн да колдонула турган мини серверлерди жакшы көрөбүз. Стольный компьютерлерден же ноутбуктардан айырмаланып, биздин серверлер 24/7 иштөө үчүн иштелип чыккан, алар тез федеративдүү болушу мүмкүн, мисалы, бир кластерде 4 процессор болгон, ал эми 5 мүнөттөн кийин 16 процессор (кошумча тармак жабдуулары жок) жана мунун баары үнсүз жана энергияны үнөмдүү компакт формасында.
Биздин серверлердин архитектурасы курулуштун кластердик принцибине негизделген, б.а. биз тактадагы Ethernet тармагын колдонуп, бир нече эсептөө модулдарын (процессорлорду) туташтырган кластердик такталарды жасайбыз. Жөнөкөйлөтүү үчүн, биз өзүбүздүн эсептөө модулдарыбызды азырынча жасай элекпиз, бирок Raspberry Pi Compute модулдарын колдонобуз жана биз чындап эле жаңы CM4 модулуна үмүттөнгөнбүз. Бирок, баары жаңы форма фактору менен пландарга каршы чыкты жана мен көптөрдүн көңүлүн калтырды деп ойлойм.
Кыскача, биз V1ден V2ге кантип өттүк жана жаңы Raspberry Pi CM4 форма фактору менен кантип чыгышыбыз керек болчу.
Ошентип, 7 түйүн үчүн кластер түзүлгөндөн кийин, суроолор туулат - мындан ары эмне болот? Продукциянын наркын кантип жогорулатуу керек? 8, 10 же 16 түйүндөрбү? Кайсы модуль өндүрүүчүлөр? Бүтүндөй продукту жөнүндө ойлонуп, биз бул жерде негизги нерсе түйүндөрдүн саны же өндүрүүчүсү эмес, курулуш материалы катары кластерлердин маңызы экенин түшүндүк. Биз минимум курулуш блок издешибиз керек
биринчи, кластер болот жана ошол эле учурда дисктерди жана кеңейтүү такталарын туташтыра алат. Кластердик блок өзүн-өзү камсыз кылуучу базалык түйүн жана кеңейүү варианттарынын кеңири спектри болушу керек.
экинчи, минималдуу кластер блоктору чоңураак өлчөмдөгү кластерлерди куруу аркылуу бири-бирине туташып, бюджет жана масштабдоо ылдамдыгы жагынан эффективдүү болушу үчүн. Масштабдоо ылдамдыгы кадимки компьютерлерди тармакка туташтыргандан тезирээк жана сервердик жабдыкка караганда алда канча арзан болушу керек.
үчүнчү, минималдуу кластердик бирдиктер жетишерлик компакттуу, мобилдүү, энергияны үнөмдүү, үнөмдүү жана эксплуатация шарттарында талапты талап кылбашы керек. Бул сервердик текчелерден жана алар менен байланышкан бардык нерселерден негизги айырмачылыктардын бири.
Биз түйүндөрдүн санын аныктоо менен баштадык.
Түйүндөрдүн саны
Жөнөкөй логикалык чечимдер менен биз 4 түйүн минималдуу кластердик блок үчүн эң жакшы вариант экенин түшүндүк. 1 түйүн кластер эмес, 2 түйүн жетишсиз (1 мастер 1 жумушчу, блоктун ичинде масштабдоо мүмкүнчүлүгү жок, өзгөчө гетерогендик варианттар үчүн), 3 түйүн жакшы көрүнөт, бирок 2ге көп эмес жана масштабда блок чектелген, 6 түйүн дээрлик 7 түйүн сыяктуу баада келет (биздин тажрыйбабыз боюнча бул чоң чыгым), 8 көп, mini ITX форма факторуна туура келбейт жана андан да кымбатыраак PoC чечими.
Блоктун төрт түйүнү алтын орточо болуп эсептелет:
- кластердик тактага азыраак материалдар, демек, өндүрүү арзаныраак
- 4 эсе көп, жалпы 4 блок 16 физикалык процессорду берет
- туруктуу схема 1 мастер жана 3 жумушчу
- көбүрөөк гетерогендүү вариациялар, жалпы-эсептөө + тездетилген-эсептөө модулдары
- SSD дисктери жана кеңейтүү карталары менен mini ITX форма фактору
Эсептөө модулдары
Экинчи версия CM4 негизделген, биз ал SODIMM форма факторунда чыгарылат деп ойлогонбуз. Бирок…
Колдонуучулар CM4 жөнүндө ойлонбоосу үчүн SODIMM кошумча тактасын жасап, CM4 түз модулдарга чогултууну чечтик.
Raspberry Pi CM4 колдогон Turing Pi эсептөө модулу
Жалпысынан модулдарды издөөдө 128 МБ оперативдүү эс тутуму бар чакан модулдардан 8 ГБ оперативдик эстутумга чейин эсептөө модулдарынын бүтүндөй рыногу ачылган. Алдыда 16 ГБ оперативдик эс тутуму бар модулдар жана андан көп. Булуттун оригиналдуу технологияларына негизделген четки тиркемелердин хостинги үчүн 1 ГБ оперативдик эс жетиштүү эмес жана 2, 4 жана ал тургай 8 ГБ оперативдүү эстутум үчүн модулдардын жакында пайда болушу өсүү үчүн жакшы орун берет. Алар атүгүл машина үйрөнүү тиркемелери үчүн FPGA модулдары менен варианттарды карап чыгышкан, бирок программалык камсыздоонун экосистемасы өнүкпөгөндүктөн, аларды колдоо кечиктирилген. Модуль рыногун изилдеп жатып, биз модулдар үчүн универсалдуу интерфейсти түзүү идеясына келдик жана V2де биз эсептөө модулдарынын интерфейсин унификациялай баштайбыз. Бул V2 версиясынын ээлерине башка өндүрүүчүлөрдүн модулдарын туташтырууга жана аларды конкреттүү тапшырмалар үчүн аралаштырууга мүмкүндүк берет.
V2 Lite версияларын жана 4 ГБ оперативдүү эс модулдарын кошкондо, бүт Raspberry Pi 4 эсептөө модулунун (CM8) линиясын колдойт.
Периферия
Модулдардын сатуучусун жана түйүндөрдүн санын аныктагандан кийин, биз перифериялык түзүлүштөр жайгашкан PCI шинасына жакындадык. PCI шинасы перифериялык түзүлүштөр үчүн стандарт жана дээрлик бардык эсептөө модулдарында кездешет. Бизде бир нече түйүн бар жана идеалдуу түрдө ар бир түйүн PCI түзмөктөрүн параллелдүү суроо режиминде бөлүшө алышы керек. Мисалы, ал автобуска туташтырылган диск болсо, анда ал бардык түйүндөр үчүн жеткиликтүү. Биз көп түйүндүү колдоосу менен PCI которгучтарын издей баштадык жана алардын бири да биздин талаптарга туура келбейт. Бул чечимдердин баары негизинен 1 хост же көп хост менен чектелген, бирок акыркы чекиттерге бир эле учурда суроо-талаптар режими жок. Экинчи көйгөй - бир чиптин баасы 50 доллар же андан жогору. V2де биз PCI которгучтары менен эксперименттерди кийинкиге калтырууну чечтик (иштеп чыкканда аларга кийинчерээк кайрылабыз) жана ар бир түйүн үчүн роль ыйгаруу жолу менен кеттик: биринчи эки түйүн бир түйүнгө мини PCI экспресс портун ачып, үчүнчү түйүн ачык 2-порттор 6 Gbps SATA контроллери. Башка түйүндөрдөн дисктерге жетүү үчүн, сиз кластердин ичиндеги тармактык файл системасын колдоно аласыз. Эмне үчүн жок?
Sneakpeek
Биз минималдуу кластердик блоктун талкуу жана ой жүгүртүү аркылуу убакыттын өтүшү менен кандайча өзгөргөндүгү тууралуу айрым эскиздер менен бөлүшүүнү чечтик.
Натыйжада, биз 4 260-пин түйүндөрү, 2 мини PCIe (Gen 2) порттору, 2 SATA (Gen 3) порттору бар кластердик бирдикке келдик. Башкармалыкта VLAN колдоосу менен Layer-2 башкарылуучу которгуч бар. Биринчи түйүндөн мини PCIe порту алынып салынды, ага сиз тармак картасын орнотуп, башка Ethernet портун же 5G модемди алып, кластерде тармак үчүн роутерди жана биринчи түйүндөн Ethernet портторун жасай аласыз.
Кластердик автобус көбүрөөк мүмкүнчүлүктөргө ээ, анын ичинде модулдарды түз бардык уячалар аркылуу жаркылдоо мүмкүнчүлүгү жана, албетте, ылдамдыкты көзөмөлдөө менен ар бир түйүндөгү FAN туташтыргычтары.
арыз
Өз алдынча жайгаштырылган тиркемелер жана кызматтар үчүн Edge инфраструктурасы
Биз V2ди керектөөчү/коммерциялык деңгээлдеги четки инфраструктура үчүн минималдуу курулуш материалы катары иштеп чыктык. V2 менен, концепциянын далилин жана масштабын баштоо арзан, сиз өскөн сайын, акырындык менен үнөмдүү жана четинде жайгаштыруу үчүн практикалык колдонмолорду көчүрүү. Чоңураак кластерлерди куруу үчүн кластердик блокторду бириктирсе болот. Бул көп коркунуч жок акырындык менен ишке ашырылышы мүмкүн
процесстер. Азыртадан эле бизнес үчүн арыздардын көп саны бар, .
ARM Workstation
Бир кластерге 32 ГБ оперативдүү эс тутум менен, биринчи түйүн ОСтун рабочий версиясы үчүн (мисалы, Ubuntu Desktop 20.04 LTS) жана калган 3 түйүн компиляция, тестирлөө жана мүчүлүштүктөрдү оңдоо тапшырмалары, ARM үчүн булуттун жергиликтүү чечимдерин иштеп чыгуу үчүн колдонулушу мүмкүн. кластерлер. Продукциядагы ARM четинин инфраструктурасында CI / CD үчүн түйүн катары.
CM2 модулдары менен Turing V4 кластери архитектуралык жактан дээрлик окшош (ARMv8дин кичине версияларындагы айырма) AWS Graviton инстанцияларына негизделген кластерге. CM4 модулунун процессору ARMv8 архитектурасын колдонот, андыктан сиз AWS Graviton 1 жана 2 инстанциялары үчүн сүрөттөрдү жана тиркемелерди кура аласыз, алар x86 инстанцияларына караганда алда канча арзаныраак.
Source: www.habr.com