Habr jamoasiga salom! Men yaqinda bizning birinchi versiya klasterimiz haqida yozgan edim []. Va bugun men sizga versiyada qanday ishlaganimizni aytib bermoqchiman tasodifiy kirish xotirasi.
Biz mahalliy rivojlanish va mahalliy xosting uchun ishlatilishi mumkin bo'lgan mini serverlarga ishtiyoqimiz bor. Statsionar kompyuterlar yoki noutbuklardan farqli o'laroq, bizning serverlarimiz 24/7 ishlashga mo'ljallangan, ular tezda federatsiyaga ulanishi mumkin, masalan, klasterda 4 ta protsessor va 5 daqiqadan so'ng 16 protsessor (qo'shimcha tarmoq uskunalarisiz) mavjud edi. va bularning barchasi ixcham shaklda, jim va energiya tejamkor.
Bizning serverlarimiz arxitekturasi qurilishning klaster printsipiga asoslanadi, ya'ni. Biz doskadagi Ethernet tarmog'idan foydalangan holda bir nechta hisoblash modullarini (protsessorlarini) bog'laydigan klaster platalarini qilamiz. Ishlarni soddalashtirish uchun biz hali o'z hisoblash modullarimizni yaratmayapmiz, lekin Raspberry Pi hisoblash modullaridan foydalanmoqdamiz va biz haqiqatan ham yangi CM4 moduliga umid qilgan edik. Ammo hamma narsa rejalarga zid bo'ldi va menimcha, ko'pchilik hafsalasi pir bo'ldi.
Quyida biz V1 dan V2 ga qanday o'tganimiz va Raspberry Pi CM4 ning yangi shakl faktoriga qanday dosh berishimiz kerakligi ko'rsatilgan.
Shunday qilib, 7 ta tugunli klaster yaratgandan so'ng, savollar tug'iladi: keyin nima bo'ladi? Mahsulot qiymatini qanday oshirish mumkin? 8, 10 yoki 16 tugunmi? Qaysi modul ishlab chiqaruvchilari? Butun mahsulot haqida o'ylab, biz bu erda asosiy narsa tugunlar soni yoki ishlab chiqaruvchi kim ekanligi emas, balki qurilish bloki sifatida klasterlarning mohiyati ekanligini angladik. Biz minimal qurilish blokini izlashimiz kerak
birinchi, klaster bo'ladi va bir vaqtning o'zida disklar va kengaytirish kartalarini ulash qobiliyatiga ega. Klaster birligi keng kengaytirish imkoniyatlariga ega bo'lgan o'zini o'zi ta'minlaydigan asosiy tugun bo'lishi kerak.
ikkinchi, shuning uchun minimal klaster bloklari kattaroq klasterlarni qurish orqali bir-biriga ulanishi mumkin va bu byudjet va masshtab tezligi jihatidan samarali bo'ladi. Masshtablash tezligi oddiy kompyuterlarni tarmoqqa ulashdan yuqori va server uskunasidan ancha arzon bo'lishi kerak.
uchinchi, minimal klaster birliklari juda ixcham, harakatchan, energiya tejamkor, tejamkor va ish sharoitlariga talabchan bo'lmasligi kerak. Bu server raflari va ular bilan bog'liq bo'lgan barcha narsalardan asosiy farqlardan biridir.
Biz tugunlar sonini aniqlashdan boshladik.
Tugunlar soni
Oddiy mantiqiy mulohazalar yordamida biz 4 ta tugun minimal klaster bloki uchun eng yaxshi variant ekanligini tushundik. 1 ta tugun klaster emas, 2 ta tugun yetarli emas (1 ta usta 1 ishchi, blok ichida masshtablash imkoniyati yo'q, ayniqsa heterojen variantlar uchun), 3 ta tugun yaxshi ko'rinadi, lekin 2 ning ko'paytmasi emas va ichida masshtablash blok cheklangan, 6 tugun deyarli 7 tugunga o'xshaydi (bizning tajribamizdan bu allaqachon yuqori narx), 8 ta juda ko'p, mini ITX forma faktoriga mos kelmaydi va PoC uchun undan ham qimmatroq echim.
Biz har bir blok uchun to'rtta tugunni oltin o'rtacha deb hisoblaymiz:
- klaster taxtasi uchun kamroq materiallar, shuning uchun arzonroq ishlab chiqarish
- 4 ga bo'linadigan, faqat 4 ta blok 16 ta jismoniy protsessorni beradi
- barqaror sxema 1 usta va 3 ishchi
- ko'proq heterojen o'zgarishlar, umumiy-hisoblash + tezlashtirilgan-hisoblash modullari
- SSD drayvlar va kengaytirish kartalari bilan mini ITX forma faktor
Hisoblash modullari
Ikkinchi versiya CM4-ga asoslangan, biz u SODIMM forma faktorida chiqariladi deb o'ylagandik. Lekin…
Foydalanuvchilar CM4 haqida o‘ylamasliklari uchun biz SODIMM qo‘shimcha platasini yaratishga va CM4 ni to‘g‘ridan-to‘g‘ri modullarga yig‘ishga qaror qildik.
Raspberry Pi CM4 ni qo'llab-quvvatlaydigan Turing Pi hisoblash moduli
Umuman olganda, modullarni qidirishda 128 MB RAMga ega kichik modullardan 8 Gb tezkor xotiragacha bo'lgan hisoblash modullarining butun bozori ochildi. Oldinda 16 GB RAM yoki undan ko'p bo'lgan modullar turibdi. Bulutli mahalliy texnologiyalarga asoslangan chekka xosting ilovalari uchun 1 GB operativ xotira endi etarli emas va yaqinda paydo bo'lgan 2, 4 va hatto 8 GB RAMga ega modullar o'sish uchun yaxshi joy beradi. Biz hatto mashinani o'rganish ilovalari uchun FPGA modullari bilan variantlarni ko'rib chiqdik, ammo dasturiy ta'minot ekotizimi ishlab chiqilmagani uchun ularni qo'llab-quvvatlash qoldirildi. Modullar bozorini o'rganish jarayonida biz modullar uchun universal interfeys yaratish g'oyasiga keldik va V2 da biz hisoblash modullari interfeysini birlashtirishni boshlaymiz. Bu V2 versiyasi egalariga boshqa ishlab chiqaruvchilarning modullarini ulash va ularni muayyan vazifalar uchun aralashtirish imkonini beradi.
V2 Raspberry Pi 4 Compute Module (CM4) ning butun qatorini, shu jumladan Lite versiyalari va 8 GB operativ xotiraga ega modullarni qo‘llab-quvvatlaydi.
Periferiya
Modullarning sotuvchisi va tugunlar sonini aniqlagandan so'ng, biz tashqi qurilmalar joylashgan PCI avtobusiga yaqinlashdik. PCI shinasi periferik qurilmalar uchun standart bo'lib, deyarli barcha hisoblash modullarida mavjud. Bizda bir nechta tugunlar mavjud va ideal holda, har bir tugun PCI qurilmalarini raqobatbardosh so'rov rejimida baham ko'rishi mumkin. Misol uchun, agar bu avtobusga ulangan disk bo'lsa, u barcha tugunlar uchun mavjud. Biz ko'p xostlarni qo'llab-quvvatlaydigan PCI kalitlarini izlay boshladik va ularning hech biri bizning talablarimizga javob bermasligini aniqladik. Bu yechimlarning barchasi asosan 1 ta xost yoki koʻp xostlar bilan cheklangan, ammo oxirgi nuqtalarga bir vaqtda soʻrovlar rejimisiz. Ikkinchi muammo - har bir chip uchun 50 dollar yoki undan yuqori narx. V2-da biz PCI kalitlari bilan tajribalarni keyinga qoldirishga qaror qildik (ishlab chiqqach, ularga keyinroq qaytamiz) va har bir tugun uchun rol belgilash yo'lini oldik: birinchi ikkita tugun har bir tugunga mini PCI ekspress portini ochdi, uchinchi tugun esa ochildi. 2 portli 6 Gbit/s SATA kontrolleri. Boshqa tugunlardan disklarga kirish uchun siz klaster ichidagi tarmoq fayl tizimidan foydalanishingiz mumkin. Nega yo'q?
Qo'rqoq qaramoq
Biz minimal klaster blokining vaqt o'tishi bilan muhokama va mulohaza yuritish orqali qanday rivojlanganligi haqidagi ba'zi eskizlarni baham ko'rishga qaror qildik.
Natijada, biz 4 ta 260 pinli tugunlar, 2 ta mini PCIe (Gen 2) portlari, 2 ta SATA (Gen 3) portlari bo'lgan klaster qurilmasiga keldik. Kengashda VLAN-ni qo'llab-quvvatlaydigan Layer-2 boshqariladigan kalit mavjud. Birinchi tugun mini PCIe portiga ega bo'lib, unga tarmoq kartasini o'rnatishingiz va boshqa chekilgan port yoki 5G modemni olishingiz va birinchi tugunni klaster va Ethernet portlaridagi tarmoq uchun routerga aylantirishingiz mumkin.
Klaster avtobusi ko'proq funktsiyalarga ega, jumladan, modullarni barcha uyalar orqali to'g'ridan-to'g'ri o'chirish qobiliyati va, albatta, tezlikni boshqarish bilan har bir tugundagi FAN ulagichlari.
ariza
O'z-o'zidan joylashtirilgan ilovalar va xizmatlar uchun Edge infratuzilmasi
Biz V2 ni iste'molchi/tijoriy darajadagi chekka infratuzilma uchun minimal qurilish bloki sifatida ishlatish maqsadida ishlab chiqdik. V2 bilan kontseptsiya va miqyosni isbotlashni boshlash arzon bo'lib, o'sib ulg'aygan sayin, ilovalarni asta-sekin migratsiya qilish tejamkor va amaliy ma'noga ega. Kattaroq klasterlarni yaratish uchun klaster bloklari bir-biriga ulanishi mumkin. Buni o'rnatish uchun hech qanday xavf-xatarsiz bosqichma-bosqich amalga oshirish mumkin
jarayonlar. Bugungi kunda biznes uchun juda ko'p sonli ilovalar mavjud, .
ARM ish stantsiyasi
Klaster uchun 32 Gb gacha operativ xotira bilan birinchi tugun OTning ish stoli versiyasi uchun (masalan, Ubuntu Desktop 20.04 LTS) va qolgan 3 ta tugun kompilyatsiya, sinov va disk raskadrovka vazifalari hamda bulutli mahalliyni ishlab chiqish uchun ishlatilishi mumkin. ARM klasterlari uchun yechimlar. Ishlab chiqarishda ARM periferik infratuzilmasida CI/CD uchun tugun sifatida.
CM2 modulli Turing V4 klasteri arxitekturada (farq ARMv8 ning kichik versiyalarida) AWS Graviton misollariga asoslangan klaster bilan deyarli bir xil. CM4 modul protsessori ARMv8 arxitekturasidan foydalanadi; siz AWS Graviton 1 va 2 nusxalari uchun tasvir va ilovalarni to'plashingiz mumkin, ular x86 nusxalariga qaraganda ancha arzonroq.
Manba: www.habr.com