2 જીબી રેમ સાથે મીની ITX ક્લસ્ટર ટ્યુરિંગ પી 32

હેબર સમુદાયને શુભેચ્છાઓ! મેં તાજેતરમાં અમારા પ્રથમ સંસ્કરણ ક્લસ્ટર બોર્ડ વિશે લખ્યું છે [V1]. અને આજે હું તમને કહેવા માંગુ છું કે અમે સંસ્કરણ પર કેવી રીતે કામ કર્યું 2 જીબી સાથે ટ્યુરિંગ V32 રેન્ડમ ઍક્સેસ મેમરી.

અમે મિની સર્વર્સના શોખીન છીએ જેનો ઉપયોગ સ્થાનિક વિકાસ અને સ્થાનિક હોસ્ટિંગ બંને માટે થઈ શકે છે. ડેસ્કટોપ કમ્પ્યુટર અથવા લેપટોપથી વિપરીત, અમારા સર્વર્સ 24/7 કામ કરવા માટે રચાયેલ છે, તેઓ ઝડપથી ફેડરેશન કરી શકાય છે, ઉદાહરણ તરીકે, ક્લસ્ટરમાં 4 પ્રોસેસર હતા, અને 5 મિનિટ પછી ત્યાં 16 પ્રોસેસર હતા (કોઈ વધારાના નેટવર્ક સાધનો નથી) અને આ બધું કોમ્પેક્ટ ફોર્મ ફેક્ટર શાંત અને ઊર્જા કાર્યક્ષમ.

અમારા સર્વર્સનું આર્કિટેક્ચર બાંધકામના ક્લસ્ટર સિદ્ધાંત પર આધારિત છે, એટલે કે. અમે ક્લસ્ટર બોર્ડ બનાવીએ છીએ જે, બોર્ડ પરના ઇથરનેટ નેટવર્કનો ઉપયોગ કરીને, ઘણા કમ્પ્યુટિંગ મોડ્યુલો (પ્રોસેસર) ને જોડે છે. સરળ બનાવવા માટે, અમે હજી સુધી અમારા પોતાના કમ્પ્યુટિંગ મોડ્યુલ બનાવતા નથી, પરંતુ રાસ્પબેરી પી કોમ્પ્યુટ મોડ્યુલ્સનો ઉપયોગ કરીએ છીએ અને અમે ખરેખર નવા CM4 મોડ્યુલની આશા રાખીએ છીએ. પરંતુ, તેમના નવા ફોર્મ ફેક્ટર સાથે બધું જ યોજનાની વિરુદ્ધ ગયું અને મને લાગે છે કે ઘણા નિરાશ થયા છે.

કટ હેઠળ, અમે કેવી રીતે V1 થી V2 સુધી ગયા અને અમે નવા રાસ્પબેરી Pi CM4 ફોર્મ ફેક્ટર સાથે કેવી રીતે બહાર નીકળવું પડ્યું.

તેથી, 7 નોડ્સ માટે ક્લસ્ટર બનાવ્યા પછી, પ્રશ્નો છે - આગળ શું છે? ઉત્પાદનની કિંમત કેવી રીતે વધારવી? 8, 10 અથવા 16 ગાંઠો? કયા મોડ્યુલ ઉત્પાદકો? સમગ્ર ઉત્પાદન વિશે વિચારતા, અમને સમજાયું કે અહીં મુખ્ય વસ્તુ ગાંઠોની સંખ્યા અથવા ઉત્પાદક કોણ છે તે નથી, પરંતુ બિલ્ડિંગ બ્લોક તરીકે ક્લસ્ટરોનો સાર છે. અમારે તે ન્યૂનતમ બિલ્ડિંગ બ્લોક જોવાની જરૂર છે

પ્રથમ, એક ક્લસ્ટર હશે અને તે જ સમયે ડિસ્ક અને વિસ્તરણ બોર્ડને કનેક્ટ કરવામાં સક્ષમ હશે. ક્લસ્ટર બ્લોક સ્વ-પર્યાપ્ત આધાર નોડ અને વિસ્તરણ વિકલ્પોની વિશાળ શ્રેણી સાથે હોવો જોઈએ.

બીજું, જેથી લઘુત્તમ ક્લસ્ટર બ્લોક્સને મોટા કદના ક્લસ્ટરો બનાવીને એકબીજા સાથે જોડી શકાય અને જેથી તે બજેટ અને સ્કેલિંગ ઝડપની દ્રષ્ટિએ કાર્યક્ષમ હોય. સ્કેલિંગ સ્પીડ સામાન્ય કોમ્પ્યુટરને નેટવર્ક સાથે જોડવા કરતાં વધુ ઝડપી અને સર્વર હાર્ડવેર કરતાં ઘણી સસ્તી હોવી જોઈએ.

ત્રીજો, લઘુત્તમ ક્લસ્ટર એકમો પૂરતા પ્રમાણમાં કોમ્પેક્ટ, મોબાઈલ, ઉર્જા કાર્યક્ષમ, ખર્ચ-અસરકારક અને ઓપરેટિંગ શરતો પર માંગ ન કરતા હોવા જોઈએ. સર્વર રેક્સ અને તેમની સાથે જોડાયેલ દરેક વસ્તુમાંથી આ એક મુખ્ય તફાવત છે.

અમે ગાંઠોની સંખ્યા નક્કી કરીને શરૂ કર્યું.

નોડ્સની સંખ્યા

સરળ તાર્કિક ચુકાદાઓ સાથે, અમને સમજાયું કે ન્યૂનતમ ક્લસ્ટર બ્લોક માટે 4 નોડ્સ શ્રેષ્ઠ વિકલ્પ છે. 1 નોડ એ ક્લસ્ટર નથી, 2 નોડ્સ પર્યાપ્ત નથી (1 માસ્ટર 1 વર્કર, બ્લોકની અંદર સ્કેલિંગની કોઈ શક્યતા નથી, ખાસ કરીને વિજાતીય વિકલ્પો માટે), 3 નોડ ઠીક લાગે છે, પરંતુ 2 ની શક્તિનો બહુવિધ નથી અને અંદર સ્કેલિંગ એક બ્લોક મર્યાદિત છે, 6 નોડ્સ લગભગ 7 નોડ્સ જેવી કિંમતે આવે છે (અમારા અનુભવ મુજબ આ પહેલેથી જ એક મોટી કિંમત છે), 8 ઘણો છે, મિની ITX ફોર્મ ફેક્ટરમાં ફિટ થતો નથી અને તેનાથી પણ વધુ ખર્ચાળ PoC સોલ્યુશન.

બ્લોક દીઠ ચાર ગાંઠોને સુવર્ણ સરેરાશ ગણવામાં આવે છે:

• ક્લસ્ટર બોર્ડ દીઠ ઓછી સામગ્રી, તેથી ઉત્પાદન સસ્તું છે
• 4 ના બહુવિધ, કુલ 4 બ્લોક 16 ભૌતિક પ્રોસેસર આપે છે
• સ્થિર સર્કિટ 1 માસ્ટર અને 3 કામદારો
• વધુ વિજાતીય ભિન્નતા, સામાન્ય-કમ્પ્યુટ + એક્સિલરેટેડ-કમ્પ્યુટ મોડ્યુલો
• SSD ડ્રાઇવ્સ અને વિસ્તરણ કાર્ડ્સ સાથે મિની ITX ફોર્મ ફેક્ટર

મોડ્યુલોની ગણતરી કરો

બીજું સંસ્કરણ CM4 પર આધારિત છે, અમે વિચાર્યું કે તે SODIMM ફોર્મ ફેક્ટરમાં રિલીઝ થશે. પણ…
અમે SODIMM પુત્રીબોર્ડ બનાવવા અને CM4 ને સીધા મોડ્યુલમાં એસેમ્બલ કરવાનો નિર્ણય લીધો છે જેથી વપરાશકર્તાઓને CM4 વિશે વિચારવું ન પડે.

રાસ્પબેરી પી CM4 ને સપોર્ટ કરતું ટ્યુરિંગ પી કોમ્પ્યુટ મોડ્યુલ

સામાન્ય રીતે, મોડ્યુલોની શોધમાં, 128 MB RAM થી 8 GB RAM સુધીના નાના મોડ્યુલોમાંથી કમ્પ્યુટિંગ મોડ્યુલોનું આખું બજાર ખોલવામાં આવ્યું હતું. 16 GB RAM અને વધુ સાથે મોડ્યુલ્સ આગળ છે. ક્લાઉડ નેટિવ ટેક્નોલોજી પર આધારિત એજ એપ્લીકેશન હોસ્ટિંગ માટે, 1 GB RAM પહેલાથી જ પર્યાપ્ત નથી, અને 2, 4 અને 8 GB RAM માટે મોડ્યુલોનો તાજેતરનો દેખાવ વૃદ્ધિ માટે સારી જગ્યા પૂરી પાડે છે. તેઓએ મશીન લર્નિંગ એપ્લીકેશન માટે FPGA મોડ્યુલ સાથેના વિકલ્પોને પણ ધ્યાનમાં લીધા હતા, પરંતુ સોફ્ટવેર ઇકોસિસ્ટમ વિકસિત ન હોવાને કારણે તેમના સમર્થનમાં વિલંબ થયો છે. મોડ્યુલ માર્કેટનો અભ્યાસ કરતી વખતે, અમે મોડ્યુલો માટે સાર્વત્રિક ઈન્ટરફેસ બનાવવાનો વિચાર લઈને આવ્યા, અને V2 માં અમે કમ્પ્યુટિંગ મોડ્યુલોના ઈન્ટરફેસને એકીકૃત કરવાનું શરૂ કર્યું. આ V2 સંસ્કરણના માલિકોને અન્ય ઉત્પાદકોના મોડ્યુલોને કનેક્ટ કરવાની અને ચોક્કસ કાર્યો માટે તેમને મિશ્રિત કરવાની મંજૂરી આપશે.

V2 સમગ્ર Raspberry Pi 4 Compute Module (CM4) લાઇનને સપોર્ટ કરે છે, જેમાં લાઇટ વર્ઝન અને 8 GB RAM મોડ્યુલનો સમાવેશ થાય છે

પરિઘ

મોડ્યુલોના વિક્રેતા અને નોડ્સની સંખ્યા નક્કી કર્યા પછી, અમે PCI બસનો સંપર્ક કર્યો કે જેના પર પેરિફેરલ્સ સ્થિત છે. PCI બસ એ પેરિફેરલ્સ માટેનું પ્રમાણભૂત છે અને લગભગ તમામ કમ્પ્યુટિંગ મોડ્યુલમાં જોવા મળે છે. અમારી પાસે ઘણા ગાંઠો છે, અને આદર્શ રીતે, દરેક નોડ પીસીઆઈ ઉપકરણોને સહવર્તી વિનંતી મોડમાં શેર કરવા સક્ષમ હોવા જોઈએ. ઉદાહરણ તરીકે, જો તે બસ સાથે જોડાયેલ ડિસ્ક છે, તો તે બધા નોડ્સ માટે ઉપલબ્ધ છે. અમે મલ્ટિ-હોસ્ટ સપોર્ટ સાથે PCI સ્વીચો શોધવાનું શરૂ કર્યું અને જાણવા મળ્યું કે તેમાંથી કોઈ પણ અમારી જરૂરિયાતોને અનુરૂપ નથી. આ તમામ સોલ્યુશન્સ મોટે ભાગે 1 હોસ્ટ અથવા મલ્ટિ હોસ્ટ્સ સુધી મર્યાદિત હતા, પરંતુ એન્ડપોઈન્ટને સમવર્તી વિનંતીઓના મોડ વિના. બીજી સમસ્યા ચિપ દીઠ $50 અથવા વધુની ઊંચી કિંમત છે. V2 માં, અમે PCI સ્વીચો સાથેના પ્રયોગો મુલતવી રાખવાનું નક્કી કર્યું (જેમ જેમ આપણે વિકાસ કરીશું તેમ અમે તેમના પર પાછા આવીશું) અને દરેક નોડ માટે ભૂમિકા સોંપવાના માર્ગ સાથે આગળ વધ્યા: પ્રથમ બે ગાંઠોએ નોડ દીઠ મીની PCI એક્સપ્રેસ પોર્ટ, ત્રીજો નોડ ખુલ્લા 2-પોર્ટ્સ 6 Gbps SATA નિયંત્રક. અન્ય નોડ્સમાંથી ડિસ્કને ઍક્સેસ કરવા માટે, તમે ક્લસ્ટરની અંદર નેટવર્ક ફાઇલ સિસ્ટમનો ઉપયોગ કરી શકો છો. કેમ નહિ?

જલક જુઓ

અમે ચર્ચા અને પ્રતિબિંબ દ્વારા સમય જતાં ન્યૂનતમ ક્લસ્ટર બ્લોક કેવી રીતે વિકસિત થયો છે તેના કેટલાક સ્કેચ શેર કરવાનું નક્કી કર્યું છે.

પરિણામે, અમે 4 260-પિન નોડ્સ, 2 મિની PCIe (Gen 2) પોર્ટ્સ, 2 SATA (Gen 3) પોર્ટ સાથે ક્લસ્ટર યુનિટમાં આવ્યા છીએ. બોર્ડ પાસે VLAN સપોર્ટ સાથે લેયર-2 મેનેજ્ડ સ્વિચ છે. પ્રથમ નોડમાંથી એક મીની PCIe પોર્ટ દૂર કરવામાં આવ્યું છે, જેમાં તમે નેટવર્ક કાર્ડ ઇન્સ્ટોલ કરી શકો છો અને બીજું ઇથરનેટ પોર્ટ અથવા 5G મોડેમ મેળવી શકો છો અને પ્રથમ નોડમાંથી ક્લસ્ટર અને ઇથરનેટ પોર્ટ પર નેટવર્ક માટે રાઉટર બનાવી શકો છો.

ક્લસ્ટર બસમાં સ્પીડ કંટ્રોલ સાથે દરેક નોડ પર તમામ સ્લોટ અને અલબત્ત FAN કનેક્ટર્સ દ્વારા સીધા મોડ્યુલને ફ્લેશ કરવાની ક્ષમતા સહિત વધુ સુવિધાઓ છે.

અરજી

સ્વ-હોસ્ટેડ એપ્લિકેશન્સ અને સેવાઓ માટે એજ ઇન્ફ્રાસ્ટ્રક્ચર

અમે V2 ને ગ્રાહક/વાણિજ્ય-ગ્રેડ એજ ઈન્ફ્રાસ્ટ્રક્ચર માટે ન્યૂનતમ બિલ્ડિંગ બ્લોક તરીકે ડિઝાઇન કર્યું છે. V2 સાથે, તમે જેમ જેમ વધતા જાઓ તેમ તેમ પ્રૂફ-ઓફ-કન્સેપ્ટ અને સ્કેલ શરૂ કરવાનું સસ્તું છે, ધીમે ધીમે એપ્લીકેશનો પોર્ટીંગ કરો કે જે ધાર પર હોસ્ટ કરવા માટે વધુ ખર્ચ-અસરકારક અને વ્યવહારુ હોય. મોટા ક્લસ્ટર બનાવવા માટે ક્લસ્ટર બ્લોક્સને એકસાથે જોડી શકાય છે. આ સ્થાપિત કરવા માટે ખૂબ જોખમ વિના ધીમે ધીમે કરી શકાય છે
પ્રક્રિયાઓ પહેલેથી જ આજે વ્યવસાય માટે મોટી સંખ્યામાં અરજીઓ છે, જે સ્થાનિક રીતે હોસ્ટ કરી શકાય છે.

એઆરએમ વર્કસ્ટેશન

ક્લસ્ટર દીઠ 32 જીબી રેમ સુધી, પ્રથમ નોડનો ઉપયોગ OS ના ડેસ્કટોપ સંસ્કરણ માટે થઈ શકે છે (ઉદાહરણ તરીકે, ઉબુન્ટુ ડેસ્કટોપ 20.04 LTS) અને બાકીના 3 નોડ્સ સંકલન, પરીક્ષણ અને ડીબગીંગ કાર્યો માટે, ARM માટે ક્લાઉડ નેટિવ સોલ્યુશન્સ વિકસાવવા માટે. ક્લસ્ટરો પ્રોડમાં ARM એજ ઈન્ફ્રાસ્ટ્રક્ચર પર CI/CD માટે નોડ તરીકે.

CM2 મોડ્યુલ સાથે V4 ક્લસ્ટરનું ટ્યુરિંગ એ AWS ગ્રેવિટોન ઉદાહરણો પર આધારિત ક્લસ્ટરથી લગભગ સમાન આર્કિટેક્ચરલ (ARMv8 ના નાના સંસ્કરણોમાં તફાવત) છે. CM4 મોડ્યુલ પ્રોસેસર ARMv8 આર્કિટેક્ચરનો ઉપયોગ કરે છે જેથી તમે AWS ગ્રેવિટોન 1 અને 2 ઉદાહરણો માટે ઈમેજો અને એપ્લિકેશન બનાવી શકો, જે x86 ઈન્સ્ટન્સ કરતાં ઘણી સસ્તી હોવાનું જાણીતું છે.

સોર્સ: www.habr.com