Aloha mai e ka hui Habr! Ua kākau wau i kēia manawa e pili ana i kā mākou papa cluster papa mua []. A i kēia lā makemake wau e haʻi iā ʻoe pehea mākou i hana ai i ka mana Hoʻomanaʻo RAM.
Makemake mākou i nā kikowaena mini hiki ke hoʻohana ʻia no ka hoʻomohala kūloko a me ka hoʻokipa kūloko. ʻAʻole like me nā kamepiula papapihi a i ʻole kamepiula, ua hoʻolālā ʻia kā mākou mau kikowaena e hana 24/7, hiki ke hoʻohui koke ʻia, no ka laʻana, aia he 4 mau kaʻina hana i loko o kahi pūʻulu, a ma hope o 5 mau minuke he 16 kaʻina hana (ʻaʻohe mea ʻenehana hou) a me kēia mau mea āpau. i loko o kahi ʻano paʻa paʻa leo leo a me ka ikehu.
Hoʻokumu ʻia ka hoʻolālā o kā mākou mau kikowaena ma ke kumu cluster o ke kūkulu ʻana, ʻo ia hoʻi. hana mākou i nā papa cluster, me ka hoʻohana ʻana i ka pūnaewele ethernet ma ka papa, e hoʻopili i kekahi mau modules computing (processors). No ka maʻalahi, ʻaʻole mākou e hana i kā mākou mau modules computing, akā e hoʻohana i ka Raspberry Pi Compute Modules a ua manaʻolana mākou i ka module CM4 hou. Akā, ua kūʻē nā mea a pau i nā hoʻolālā me kā lākou ʻano kumu hou a manaʻo wau he nui ka poʻe hoka.
Ma lalo o ka ʻoki, pehea mākou i hele ai mai V1 a V2 a pehea mākou e puka ai me ka Raspberry Pi CM4 form factor.
No laila, ma hope o ka hana ʻana i pūʻulu no 7 nodes, ʻo nā nīnau - he aha ka mea aʻe? Pehea e hoʻonui ai i ka waiwai o kahi huahana? 8, 10 a i ʻole 16 node? ʻO wai nā mea hana module? Ke noʻonoʻo nei e pili ana i ka huahana holoʻokoʻa, ʻike mākou ʻo ka mea nui ma aneʻi ʻaʻole ka helu o nā nodes a ʻo wai ka mea hana, akā ʻo ke ʻano maoli o nā puʻupuʻu ma ke ʻano he hale kūkulu. Pono mākou e ʻimi i ka palena liʻiliʻi o kēlā
ʻO ka mua, e lilo i puʻupuʻu a ma ka manawa like hiki ke hoʻohui i nā disks a me nā papa hoʻonui. Pono ka pūʻulu puʻupuʻu i kumu node ponoʻī a me ka laulā o nā koho hoʻonui.
ʻO ka lua, i hiki ke hoʻohui ʻia nā poloka puʻupuʻu liʻiliʻi i kekahi i kekahi ma ke kūkulu ʻana i nā pūʻulu ʻoi aku ka nui a i mea e kūpono ai ma ke ʻano o ke kālā a me ka wikiwiki scaling. Pono e ʻoi aku ka wikiwiki o ka scaling ma mua o ka hoʻopili ʻana i nā kamepiula maʻamau i kahi pūnaewele a ʻoi aku ka liʻiliʻi ma mua o ka lako lako kikowaena.
ʻO ke kolu, Pono e lawa pono nā pūʻulu puʻupuʻu liʻiliʻi, paʻa paʻa, paʻa ka ikehu, kūʻai-pono a ʻaʻole koi i nā kūlana hana. ʻO kēia kekahi o nā ʻokoʻa koʻikoʻi mai nā racks server a me nā mea āpau e pili ana iā lākou.
Hoʻomaka mākou ma ka hoʻoholo ʻana i ka helu o nā nodes.
Ka helu o nā node
Me nā hoʻoholo loiloi maʻalahi, ua ʻike mākou he 4 nodes ka koho maikaʻi loa no ka poloka cluster liʻiliʻi. ʻAʻole ʻo 1 node he pūʻulu, ʻaʻole lawa nā node (2 haku 1 limahana, ʻaʻohe hiki ke hoʻonui i loko o kahi poloka, ʻoi aku hoʻi no nā koho heterogeneous), ʻike maikaʻi nā node 1, akā ʻaʻole ka nui o nā mana o 3 a me ka scaling i loko. Ua kaupalena ʻia kahi poloka, hele mai nā nodes 2 i ke kumukūʻai kokoke e like me nā nodes 6 (mai kā mākou ʻike he kumu kūʻai nui kēia), 7 ka nui, ʻaʻole kūpono i ka helu mini ITX a me kahi hopena PoC ʻoi aku ka maikaʻi.
ʻEhā node no kēlā me kēia poloka i manaʻo ʻia he mean gula:
- liʻiliʻi nā mea no ka papa cluster, no laila ʻoi aku ka maʻalahi o ka hana ʻana
- ka nui o 4, ka huina 4 poloka haawi 16 kino processors
- kaapuni paa 1 haku a me 3 limahana
- ʻoi aku nā ʻokoʻa like ʻole, nā modules general-compute + accelerated-compute modules
- mini ITX puka kumu me nā SSD drive a me nā kāleka hoʻonui
E helu i nā modules
Hoʻokumu ʻia ka lua o ka mana ma CM4, ua manaʻo mākou e hoʻokuʻu ʻia ma SODIMM form factor. Akā…
Ua hoʻoholo mākou e hana i kahi papa kaikamahine SODIMM a hōʻuluʻulu pololei iā CM4 i loko o nā modula i ʻole pono nā mea hoʻohana e noʻonoʻo e pili ana iā CM4.
ʻO Turing Pi Compute Module e kākoʻo ana i ka Raspberry Pi CM4
Ma keʻano laulā, i ka ʻimi ʻana i nā modules, ua wehe ʻia kahi mākeke holoʻokoʻa o nā modules computing mai nā modules liʻiliʻi me 128 MB RAM a i 8 GB RAM. ʻO nā modula me 16 GB RAM a me nā mea hou aʻe i mua. No ka hoʻolaha ʻana i ka noi edge e pili ana i nā ʻenehana ʻōiwi maoli, ʻaʻole lawa ka 1 GB o RAM, a ʻo ke ʻano hou o nā modules no 2, 4 a me 8 GB o RAM e hāʻawi i kahi lumi maikaʻi no ka ulu ʻana. Ua noʻonoʻo lākou i nā koho me nā modula FPGA no nā noi aʻo mīkini, akā ua lohi kā lākou kākoʻo no ka mea ʻaʻole i hoʻomohala ʻia ka kaiaola polokalamu. ʻOiai ke aʻo ʻana i ka mākeke module, ua loaʻa iā mākou ka manaʻo o ka hana ʻana i kahi kikowaena honua no nā modules, a ma V2 hoʻomaka mākou e hoʻohui i ka interface o nā modules computing. E ʻae kēia i nā mea nona ka mana V2 e hoʻopili i nā modula mai nā mea hana ʻē aʻe a hui pū iā lākou no nā hana kikoʻī.
Kākoʻo ʻo V2 i ka laina holoʻokoʻa Raspberry Pi 4 Compute Module (CM4), me nā mana Lite a me nā modula 8 GB RAM.
Pilipili
Ma hope o ka hoʻoholo ʻana i ka mea kūʻai aku o nā modula a me ka helu o nā nodes, ua hoʻokokoke mākou i ka pahi PCI kahi i loaʻa ai nā peripheral. ʻO ka pahi kaʻa PCI ka mea maʻamau no nā peripheral a loaʻa ma kahi kokoke i nā modules computing. Loaʻa iā mākou kekahi mau node, a ʻo ka mea kūpono, hiki i kēlā me kēia node ke kaʻana like i nā polokalamu PCI ma ke ʻano noi like. No ka laʻana, inā he disk i pili i ke kaʻa, a laila hiki ke loaʻa i nā nodes a pau. Ua hoʻomaka mākou e ʻimi i nā hoʻololi PCI me ke kākoʻo multi-host a ʻike ʻaʻole kūpono kekahi o lākou i kā mākou koi. ʻO kēia mau hoʻonā āpau i kaupalena ʻia i ka 1 host a i ʻole multi host, akā me ke ʻano ʻole o ke ʻano o nā noi like ʻole i nā hopena. ʻO ka pilikia ʻelua, ʻo ia ke kumukūʻai kiʻekiʻe o $50 a ʻoi aʻe paha i kēlā me kēia chip. Ma V2, ua hoʻoholo mākou e hoʻopanee i nā hoʻokolohua me nā hoʻololi PCI (e hoʻi mākou iā lākou ma hope i ko mākou hoʻomohala ʻana) a hele ma ke ala o ka hāʻawi ʻana i kahi kuleana no kēlā me kēia node: ʻo nā node ʻelua i hōʻike ʻia i ka mini PCI express port ma kēlā me kēia node, ʻo ke kolu o ka node. hōʻike ʻia 2-puka 6 Gbps SATA kaohi. No ke kiʻi ʻana i nā disks mai nā node ʻē aʻe, hiki iā ʻoe ke hoʻohana i ka ʻōnaehana faila pūnaewele i loko o ka pūʻulu. Kainō?
Sneakpeek
Ua hoʻoholo mākou e kaʻana like i kekahi mau kiʻi kiʻi o ka ulu ʻana o ka pahu hui liʻiliʻi i ka manawa ma o ke kūkākūkā a me ka noʻonoʻo ʻana.
ʻO ka hopena, ua hele mākou i kahi hui pūʻulu me 4 260-pin nodes, 2 mini PCIe (Gen 2) awa, 2 SATA (Gen 3) awa. Loaʻa i ka papa kahi Layer-2 Managed Switch me ke kākoʻo VLAN. Ua wehe ʻia kahi awa liʻiliʻi PCIe mai ka node mua, kahi e hiki ai iā ʻoe ke hoʻokomo i kahi kāleka pūnaewele a loaʻa i kahi port Ethernet ʻē aʻe a i ʻole modem 5G a hana i kahi alalai no ka pūnaewele ma ka cluster a me nā awa Ethernet mai ka node mua.
ʻOi aku ka nui o nā hiʻohiʻona o ke kaʻa kaʻa puʻupuʻu, ʻo ia hoʻi ka hiki ke hoʻolohi i nā modula ma o nā slot āpau a ʻoiaʻiʻo hoʻi nā mea hoʻohui FAN ma kēlā me kēia node me ka mana wikiwiki.
Ka hoʻohana
ʻO ka ʻōnaehana Edge no nā noi a me nā lawelawe i mālama pono ʻia
Ua hoʻolālā mākou i ka V2 e lilo i mea haʻahaʻa haʻahaʻa loa no ka mea kūʻai aku / ʻoihana ʻoihana. Me V2, maʻalahi ka hoʻomaka ʻana i ka hōʻoia-o-manaʻo a me ka pālākiō i kou ulu ʻana, e hoʻoneʻe mālie i nā noi i ʻoi aku ka maikaʻi a kūpono hoʻi e hoʻokipa ma ka lihi. Hiki ke hoʻohui pū ʻia nā poloka puʻupuʻu e kūkulu i nā pūʻulu nui aʻe. Hiki ke hana lohi i keia me ka nui ole o ka pilikia e kukuluia
kaʻina hana. I kēia lā, aia ka nui o nā noi no ka ʻoihana, .
Hale Hana ARM
Me ka 32 GB RAM no kēlā me kēia pūʻulu, hiki ke hoʻohana ʻia ka node mua no ka mana desktop o ka OS (no ka laʻana, ʻo Ubuntu Desktop 20.04 LTS) a me nā node 3 i koe no ka hoʻohui ʻana, hoʻāʻo a me ka hoʻopau ʻana i nā hana, e hoʻomohala ana i nā hoʻonā kūlohelohe no ARM. pūʻulu. Ma ke ʻano he node no CI / CD ma ka ʻaoʻao o ka ARM i ka prod.
ʻO ka hui ʻo Turing V2 me nā modula CM4 he ʻano like like me ka hoʻolālā ʻana (ka ʻokoʻa o nā mana liʻiliʻi o ARMv8) i ka hui ʻana e pili ana i nā manawa AWS Graviton. Ke hoʻohana nei ka papa hana module CM4 i ka hoʻolālā ARMv8 no laila hiki iā ʻoe ke kūkulu i nā kiʻi a me nā noi no AWS Graviton 1 a me 2 mau manawa, i ʻike ʻia he ʻoi aku ka liʻiliʻi ma mua o nā manawa x86.
Source: www.habr.com