Turing Pi — klastrialus self-hosted rakendustele ja teenustele

Turing Pi on lahendus iseteenindavate rakenduste jaoks, mis on ehitatud rack-riiulite põhimõttel andmekeskuses, kuid kompaktsel emaplaadil. Lahendus on suunatud kohaliku infrastruktuuri loomisele lokaalsete rakenduste ja teenuste arendamiseks ja hostimiseks. Ühesõnaga, see on nagu AWS EC2, aga edge'i jaoks.

Meie väike arendajate meeskond otsustas luua lahenduse bare-metal-klastrite ehitamiseks edge'is ja nimetasime projekti Turing Pi. Toode alustas algselt «kolle» tasemel, kuid nüüd on selle kontseptsioonide testimiseks tellinud arendusosakonnad Red Hatis, Rancheris (SUSE), Toyota Connectedis, Sony, Electroluxis, Facebookis ja 10 000 arendaja on liitumas.

Aga kõik algas avastamisest.

Toote avamine

Kunagi tegin avastuse, et me ei loo midagi uut. Kõik, mis selles maailmas eksisteerib, on avatud. Me avame, et mõned osad saavad koos kombineeritud, luues uusi toote omadusi, või avame seadusi ja seejärel kombineerime neid jälle. Ei saa midagi välja mõelda, aga võib avastada uurimise käigus. Minu arvates on leiutamine pideva vaatlemise, katsete ja otsingu + teadmiste kombinatsiooni tulemus.

Viimase kümnendi jooksul olen jälginud, kuidas hobi-homelab liikumine (ressurss subreddit), iseteenindamine (ressursid subreddit ja awesome-selfhosted), ühekplatsilised arvutid, kuidas kasvab huvi konteinerite käitamise vastu ühekplatsilistel arvutitel nagu Raspberry Pi, ja kasvab liikumine, mis kogub klastreid ühekplatsilistest arvutitest. Aja jooksul on sinna joonud ka Kubernetes'i idee. Juba on ilmunud kerge versioon k3s, mis on suunatud Edge/IOT-le. Suur kiirtoidu restoranide kett Chick-fil-A oli üks esimesi maailmas, kes paigaldas Kubernetes'e klastrid oma köökidesse. kubectl tee mulle võileib.

Ma näen seda nagu lumehelbe, kuidas üks tehnoloogia ümbritseb teist, luues keerukama süsteemi. Samuti ei ole siin mingit kaost, pigem sarnaneb see fraktaliga tehnoloogiatest. Ühel keerulisemal hetkel oma elus avastasin väärtuse klastrites, mis on kokku pandud ühekplatsilistest arvutitest hobi arendajate poolt, ja hakkasin töötama klastriplaadi loomise nimel.

Täna on meie klastriplaat väga lihtne ja suunatud peamiselt neile, kes armastavad pilvepõhiseid tehnoloogiaid, uute asjade õppimist ja katsetamist.

Ehitusplokid (Building Blocks)

Nii, mis asi see lahendus on, milles see seisneb. Sisu seisneb selles, et anda konstruktor, ehitusplokid (Building Blocks), millest saab koostada edge infrastruktuuri odavamalt kui klassikaliste serverite puhul, mobiilsena ilma mahukate metallkastideta, mitte eriti nõudlikuna spetsiaalsete kasutustingimuste suhtes nagu serveriruumid, energiatõhusana, standardiseeritult moodulite osas ja võimalusega kiiresti skaleerida kümnete ja sadade arvutussõlmede (protsessorite) ulatuses.

Klasterplaat (Clusterboard)

Mini ITX plaat ühendab mitu arvutusmoduuli plaadi peal oleva võrgu kaudu, võimaldades perifeerseid liideseid ja moodulite juhtimist.

Arvutusmodul (Compute Module)

Plaadi SO-DIMM vormifaktor, mis sisaldab protsessorit ja operatiivmälu, valikuliselt ka välkmälu operatsioonisüsteemi salvestamiseks.

Üks kavandatavatest versiooni Turing V2 konfiguratsioonidest

Kombineerides klasterplaadi ja arvutusmodulid, on lihtne luua infrastruktuur näiteks 20+ protsessoriga (näidatud allpool), vaiksena ja madala energiatarbimisega. Ise klasterplaat suurendab kasutatava mahu efektiivsust. Näited klastritest võrdlemiseks.

SBC põhine*

24 CPU-d
Autor Afkham Azeez

Turing Pi põhine

21 CPU-d
Autor th3st0rmtr00p3r

* SBC — Üheplaadi arvuti

Rancher Labs'i kaasasutaja ja k3s autori selline lähenemine ei jätnud külmaks.

Edasi rohkem ehitusplokkidest.

Arvutusmodul (Compute Module)

Kontseptsiooni kontrollimiseks valisime Raspberry Pi Compute Module, mis on ideaalne konfiguratsioon alguseks. RPi kogukond on aktiivne, tarkvara probleemidega ei ole, ise moodul on SO-DIMM formaadis (6 x 3 cm), soodsalt kättesaadav, sisaldab laeva 4-tuumalist protsessorit, 1 GB RAM-i ja valikuliselt välkmälu 8, 16 või 32 GB operatsioonisüsteemile ja muudele süsteemsetele vajadustele. Sarnast vormifaktorit kasutatakse sageli tööstuslikes IoT lahendustes.

Raspberry Pi 1/3/3+ Arvutusmodul

Kuid mudelil CM3 on ka tõsised piirangud — max. 1 GB RAM ja Ethernet läbi USB HUB maksimaalne kiirus kuni 100 Mbps. Seetõttu toetab teine versioon Turing Raspberry Pi 4 ja kuni 8 GB operatiivmälu mooduli kohta. Allpool on näide Nvidia Jetson moodulitest kiirendatud arvutamise ülesannete jaoks. Võimalik, et nende toetus tuleb teise versiooniga, kui suudame lahendada mõned tehnilised probleemid, siis saab mooduleid segada.

Nvidia Jetson Arvutusmodulid

Modulites peitub endas kõige olulisem võimalus, mis esmapilgul pole ilmne. Võime luua teisi mooduleid sarnase vormifaktoriga erineva CPU, RAM ja eMMC konfiguratsiooniga, erinevate ülesannete jaoks, alates üldarvutamisest kuni masin õppimise intensiivsete arvutusteni. See on väga sarnane AWS EC2 instantsidele, kuid vaid edge'ile. Samas jääb klasterplaadi struktuur muutumatuks või toimub minimaalne muutus.

Klasterplaat (Clusterboard)

Seda võib samuti nimetada emaplaadiks või baasplaadiks, see on piisavalt uus suund ja selliste lahenduste tootjaid on praegu vähe ning need on endiselt üsna alguses, nende seas on Pine64, MiniNodes, Clover Pi, Bitscope Blade, PicoCluster (SBC klastrid). Klasterplaat ühendab moodulid võrgu kaudu, tagades toite ja andes klastrihalduse bussi (Cluster Management Bus), vähemalt oleme selle bussi otsustanud lisada ja see on näib olevat hästi vastu võetud.

Esiplaan

Tagaplaan

Tagaplaadi läbilaskevõime 12 Gbps
SD-sisendipesad moodulitele ilma eMMC-ta, näiteks võib hoida paar moodulit SD-dega andmete kiireks juurdepääsuks nodile

Klasterplaadi aluseks on lüliti mikrokiip moodulite võrguühenduse ja välise võrgu ühendamise tagamiseks. Praeguses versioonis kasutame unmanaged lülitit, kuna ei olnud aega põhjalikuks R&D-ks, kuid teises versioonis valisime hea managed lüliti. On võimalik konfigureerida 'master node kui ruuter' režiimis, et jagada võrku plaadi peale, kui on vajalik kõrgem turvalisuse tase ja tööde isoleerimine välisest juurdepääsust, sellisel juhul on master nodil samuti vajalik hoida DHCP-server.

Rakendamine

Praegune versioon on eksperimentaalne ja me positsioneerime selle algtaseme lahendusena, et uurida, mis on klastrid, töötada tarkvara kallal või testida hüpoteese organisatsioonides, leida uusi ideid, üldiselt on see selline Lite versioon.

Alustamiseks soovitame suurepärast seeriat Jeff Geerlingilt, kes kuulis meist Y Combinatoris, ta on parima müügi raamat "Ansible for DevOps" autor. Ta oli nii inspireeritud, et tegi kuueosalist ülevaadet, alates klasterdamise ideest üldiselt kuni praktiliste näidete ja Kubernetesega töötamise ning mida tarkvara saab installida.

Seeria k3s installimisest klastrisse

Soovitan alustada esimesest, seal räägitakse klasterdamisest ja Kubernetesest arusaadavas keeles. Ja veidi pilte ka kogukonnalt.

Mis edasi?

Esiteks, loodan väga, et see oli huvitav. See on täiesti originaalne sisu, katses vaadata kaugemale. Teiseks, plaanin kirjutada teise osa Turing V2 projekteerimisest. Kuidas toimus tooteotsing, loogilised järeldused, põhijoonte otsimine, mis on olulised. Artikkel sisaldab toote eskiiside lugu algusest kuni lõpuni. Teine artikkel on eriti huvitav toodete arendajatele, kes vastutavad toodete ja nende arengu eest ettevõtetes.

Ja tõenäoliselt on seal tõeliselt pikk lugemine.

Allikas: habr.com