Nidaamyada falanqaynta server-ka

Tani waa qaybtii labaad ee maqaallo taxane ah oo ku saabsan hababka falanqayntaku xidhnow qaybta 1aad).

Maanta shaki kuma jiro in habaynta xogta taxadarka leh iyo tarjumaada natiijooyinka ay caawin karto ku dhawaad ​​nooc kasta oo ganacsi. Marka tan la eego, nidaamyada falanqaynta ayaa si sii kordheysa ugu dhejinaya xuduudaha, iyo tirada kiciyeyaasha iyo dhacdooyinka isticmaalaha ee codsiyada ayaa sii kordhaya.
Sababtaas awgeed, shirkaduhu waxay siinayaan falanqeeyayaashooda macluumaad badan oo cayriin ah si ay u falanqeeyaan oo ay u noqdaan go'aano sax ah. Muhiimadda nidaamka falanqaynta ee shirkaddu waa in aan la dhayalsan karin, nidaamka laftiisana waa inuu noqdaa mid la isku halleyn karo oo deggan.

Falanqeeyayaasha macmiilka

Falanqaynta macmiilku waa adeeg ay shirkaddu ku xidho degelkeeda ama codsigeeda SDK-ga rasmiga ah, oo ay ku biirto codebase-keeda oo ay doorato kiciyeyaasha dhacdada. Waxa jirta hab-dhaqann hoos-u-dhac muuqda: dhammaan xogta la ururiyey waxa laga yaabaa inaan si sax ah loogu hawlgelin sidaad rabto sababtoo ah xaddidnaanta adeeg kasta oo aad doorato. Tusaale ahaan, hal nidaam ma fududa in lagu socodsiiyo hawlaha MapReduce, mid kalena ma awoodid inaad ku socodsiiso moodelkaaga. Khasaaro kale ayaa noqon doonta biilka caadiga ah (cajiibka leh) ee adeegyada.
Waxaa jira xalal badan oo macaamiisha ah oo lagu xalliyo suuqa, laakiin hadhow ama hadhow falanqeeyayaasha ayaa la kulmaya xaqiiqda ah in aysan jirin hal adeeg oo caalami ah oo ku habboon hawl kasta (halka qiimaha dhammaan adeegyadani ay kor u kacayaan mar kasta). Xaaladdan oo kale, shirkaduhu waxay inta badan go'aansadaan inay abuuraan nidaamkooda falanqaynta oo leh dhammaan goobaha caadooyinka lagama maarmaanka ah iyo kartida.

Falanqeeyayaasha server-ka

Falanqaynta dhinaca Server-ku waa adeeg la geyn karo shirkad dhexdeeda server-keeda iyo (sida caadiga ah) dadaalkeeda. Qaabkan, dhammaan dhacdooyinka isticmaaleyaashu waxay ku kaydsan yihiin server-yada gudaha, taasoo u oggolaanaysa horumariyeyaasha inay isku dayaan kaydinta kaydinta kala duwan oo ay doortaan qaab-dhismeedka ugu habboon. Xitaa haddii aad weli rabto inaad u isticmaasho falanqaynta macmiilka dhinac saddexaad hawlaha qaarkood, weli way suurtogal noqon doontaa.
Falanqaynta dhinaca server-ka waxa loo geyn karaa laba siyaabood. Marka hore: dooro qaar ka mid ah yutiilitiyada il furan, ku dheji mishiinnadaada oo samee caqli-gal ganacsi.

Maqaallo
Minusa

Waxaad astaysto wax kasta oo aad rabto
Tani inta badan aad ayay u adag tahay waxayna u baahan tahay horumariyayaal gaar ah

Marka labaad: qaado adeegyada SaaS (Amazon, Google, Azure) intii aad adigu geyn lahayd. Waxaan uga hadli doonaa SaaS si faahfaahsan qaybta saddexaad.

Maqaallo
Minusa

Waxaa laga yaabaa inay ka jaban tahay mugga dhexdhexaadka ah, laakiin kobaca ballaaran waxay weli noqon doontaa mid aad qaali u ah
Suurtagal ma noqon doonto in la xakameeyo dhammaan xuduudaha

Maamulka gabi ahaanba waxaa lagu wareejiyaa garbaha bixiyaha adeegga
Had iyo jeer lama yaqaan waxa gudaha adeega ku jira (waxaa laga yaabaa inaan loo baahnayn)

Sida loo ururiyo falanqaynta server-ka

Haddii aan rabno inaan ka guurno isticmaalka falanqaynta macmiilka oo aan dhisno annaga, marka ugu horeysa waxaan u baahanahay inaan ka fikirno qaab dhismeedka nidaamka cusub. Hoos waxaan kuu sheegi doonaa talaabo talaabo waxa aad u baahan tahay inaad tixgeliso, sababta tallaabo kasta loogu baahan yahay iyo qalabka aad isticmaali karto.

1. Helitaanka xogta

Sida kiiska falanqaynta macaamiisha, marka ugu horeysa, falanqeeyayaasha shirkaduhu waxay doortaan noocyada dhacdooyinka ay rabaan inay bartaan mustaqbalka oo ay ku ururiyaan liis. Caadi ahaan, dhacdooyinkani waxay u dhacaan nidaam gaar ah, oo loo yaqaan "qaabka dhacdada."
Marka xigta, qiyaas in codsiga moobiilka (website) uu leeyahay isticmaaleyaal joogto ah (qalab) iyo adeegayaal badan. Si aad dhacdooyinka uga wareejiso aaladaha una wareejiso server, lakab dhexdhexaad ah ayaa loo baahan yahay. Iyadoo ku xiran qaab dhismeedka, waxaa jiri kara dhowr saf oo kala duwan.
Apache Kafka Waa pub/sub saf, kaas oo loo isticmaalo sidii saf loogu ururin lahaa dhacdooyinka.

Sida laga soo xigtay ku dheji Quora 2014, abuuraha Apache Kafka ayaa go'aansaday inuu magacaabo software ka dib Franz Kafka sababtoo ah "waa nidaam loo habeeyay qorista" iyo sababtoo ah wuxuu jecel yahay shaqooyinka Kafka. - Wikipedia

Tusaalahayaga, waxaa jira soosaarayaal badan oo xog ah iyo macaamiisha xogta (qalab iyo adeegayaal), Kafka waxay ka caawisaa inay isku xiraan midba midka kale. Macaamiisha waxaa si faahfaahsan loogu sharxi doonaa tillaabooyinka soo socda, halkaasoo ay noqon doonaan maadooyinka ugu muhiimsan. Hadda waxaan tixgelin doonaa kaliya soo saarayaasha xogta (dhacdooyinka).
Kafka waxa ay koobaysaa fikradaha safka iyo qaybinta; waxa fiican in aad wax badan ka akhrido arrintan meel kale (tusaale ahaan, in dukumentiyo). Anagoon tafaasiil ka bixin, aan qiyaasno in moobilka loo furay laba OS oo kala duwan. Markaa nooc kastaa wuxuu abuuraa qulqulka dhacdada gaarka ah. Soosaarayaashu waxay u diraan dhacdooyinka Kafka, waxay ku duuban yihiin saf ku habboon.

(sawirka halkan)

Isla mar ahaantaana, Kafka waxay kuu oggolaaneysaa inaad si jajab ah wax u akhrido oo aad ka shaqeyso qulqulka dhacdooyinka ee dufcadaha yaryar. Kafka waa qalab aad u habboon oo si fiican u miisaama baahiyaha sii kordhaya (tusaale ahaan, goobta juqraafi ee dhacdooyinka).
Caadi ahaan hal jeex ayaa ku filan, laakiin arrimuhu way sii adkaadaan marka la isku miiro (sida ay had iyo jeer sameeyaan). Malaha qofna ma rabi doono inuu isticmaalo hal jeex oo jirka ah oo kaliya ee wax soo saarka, maadaama dhismuhu uu yahay mid u dulqaadan kara qaladka. Kafka ka sokow, waxaa jira xal kale oo si fiican loo yaqaan - RabbitMQ. Uma aan isticmaalin wax soo saarka sidii saf loogu talagalay falanqaynta dhacdooyinka (haddii aad leedahay waayo-aragnimo caynkaas ah, wax nooga sheeg faallooyinka!). Si kastaba ha ahaatee, waxaan isticmaalnay AWS Kinesis.

Kahor intaadan u dhaqaaqin tallaabada xigta, waxaan u baahannahay inaan xusno hal lakab oo dheeri ah oo nidaamka - kaydinta kaydinta ceeriin. Tani maaha lakab loo baahan yahay, laakiin waxay noqon doontaa mid waxtar leh haddii ay wax qaldamaan oo safafka dhacdada ee Kafka dib loo dejiyo. Kaydinta logyada cayriin uma baahna xal adag oo qaali ah, waxaad si fudud ugu qori kartaa meel si sax ah (xitaa darawal adag).

2. Habaynta durdurrada dhacdada

Ka dib markii aan diyaarinay dhammaan dhacdooyinka oo aan dhignay safafka ku habboon, waxaan u gudubnaa tallaabada habraaca. Halkan waxaan kaaga sheegi doonaa labada doorasho ee ugu caansan.
Doorashada ugu horeysa waa in la awood siiyo Spark Streaming nidaamka Apache. Dhammaan alaabooyinka Apache waxay ku nool yihiin HDFS, nidaam faylal ammaan ah oo leh nuqullo faylal ah. Spark Streaming waa qalab si sahlan loo isticmaali karo oo si fiican u maamula xogta baahinta iyo miisaanka. Si kastaba ha ahaatee, way adkaan kartaa in la sii hayo.
Doorasho kale ayaa ah inaad dhisto maamulahaaga dhacdada. Si tan loo sameeyo, waxaad u baahan tahay, tusaale ahaan, inaad qorto arjiga Python, ku dhisto Docker oo aad iska diiwaan geliso safka Kafka. Marka kiciyeyaasha ay yimaadaan kuwa gacanta ku haya, habaynta ayaa bilaaban doonta. Habkan, waxaad u baahan tahay inaad codsiyada sii socoto mar walba.
Aynu ka soo qaadno in aan dooranay mid ka mid ah xulashooyinka kor lagu sharaxay oo aan u gudubno habaynta lafteeda. Soo-saareyaashu waa inay ku bilaabaan inay hubiyaan sax ahaanshaha xogta, shaandhaynta qashinka iyo dhacdooyinka "jaray". Xaqiijinta waxaan badiyaa isticmaalnaa Cerberus. Taas ka dib, waxaad samayn kartaa khariidad xogta: xogta laga helay ilo kala duwan waa mid caadi ah oo la habeeyey si loogu daro miis guud.

3. Database

Talaabada saddexaad waa in la joogteeyo dhacdooyinka caadiga ah. Markaad la shaqeyneyso nidaam gorfeyn oo diyaarsan, waa inaan marin u heli doonaa marar badan, markaa waxaa muhiim ah in la doorto xog ku habboon.
Haddii xogtu si fiican ugu habboonaato nidaam go'an, waad dooran kartaa clickhouse ama xog kale oo columnar ah. Sidan isku-darka ayaa si dhakhso leh u shaqayn doona. Dhinaca hoose ayaa ah in nidaamku uu si adag u go'an yahay, sidaas darteedna aysan suurtagal ahayn in lagu daro walxo aan macquul ahayn iyada oo aan wax laga beddelin (tusaale ahaan, marka dhacdo aan caadi ahayn dhacdo). Laakiin si dhakhso leh ayaad u tirin kartaa.
Xogta aan habaysanayn, waxaad qaadan kartaa NoSQL, tusaale ahaan, Apache cassandra. Waxay ku shaqeysaa HDFS, si fiican ayey u koobi kartaa, waxaad kor u qaadi kartaa tusaalooyin badan, waana u dulqaadan karaa qaladka.
Waxa kale oo aad kor u qaadi kartaa wax ka fudud, tusaale ahaan, MongoDB. Aad bay u gaabis u tahay oo mugga yar. Laakiin dheeraadka ah ayaa ah in ay tahay mid aad u fudud oo sidaas darteed ku habboon in la bilaabo.

4. Isku-darka

Anagoo si taxadar leh u keydsanay dhammaan dhacdooyinka, waxaan rabnaa inaan ka aruurinno dhammaan macluumaadka muhiimka ah dufcaddii timi oo aan cusbooneysiinno xogta xogta. Caalam ahaan, waxaan rabnaa inaan helno dashboards iyo cabbiro khuseeya. Tusaale ahaan, ka soo ururi astaanta isticmaalaha dhacdooyinka oo si uun u cabbir dabeecadda. Dhacdooyinka waa la isku geeyaa, la ururiyaa, oo haddana la kaydiyaa (miiska isticmaalayaasha). Isla mar ahaantaana, waxaad dhisi kartaa nidaam si aad sidoo kale ugu xirto shaandhada isku-duwaha-isku-duwaha: ka soo ururi isticmaalayaasha kaliya nooc dhacdo gaar ah.
Taas ka dib, haddii qof kooxda ka tirsan uu kaliya u baahan yahay falanqayn heer sare ah, nidaamyada falanqaynta dibadda ayaa la isku xiri karaa. Waxaad mar kale qaadan kartaa Mixpanel. Laakiin maadaama ay aad qaali u tahay, dhammaan dhacdooyinka isticmaalaha looma diro halkaas, laakiin kaliya waxa loo baahan yahay. Si tan loo sameeyo, waxaan u baahanahay inaan abuurno iskuduwaha oo wareejin doona qaar ka mid ah dhacdooyinka cayriinka ah ama shay anaga lafteena hore isugu geynay nidaamyada dibadda, API-yada ama goobaha xayeysiinta.

5. Hore

Waxaad u baahan tahay inaad ku xidhid afka hore ee nidaamka la abuuray. Tusaale wanaagsan waa adeeg casaan, waa GUI xog-ururin ka caawisa dhismaha dashboards. Sida isdhexgalka u shaqeeyo:

1. Isticmaaluhu wuxuu sameeyaa weydiinta SQL.
2. Isagoo u jawaabaya wuxuu helay calaamad.
3. Waxay u abuurtaa 'muuqaal cusub' waxayna helaysaa garaaf qurux badan oo aad naftaada kaydsan karto.

Muuqaallada adeegga ayaa si toos ah loo cusbooneysiiyaa, waad habeyn kartaa oo aad la socon kartaa kormeerkaaga. Redash waa bilaash haddii iskeed isu martigeliso, laakiin SaaS ahaan waxay ku kici doontaa $50 bishii.

gunaanad

Ka dib markaad dhammaystirto dhammaan tallaabooyinka kor ku xusan, waxaad abuuri doontaa falanqaynta serverkaaga. Fadlan ogow in tani aysan ahayn mid fudud sida isku xirka falanqaynta macaamiisha, sababtoo ah wax walba waxay u baahan yihiin in la isku habeeyo. Sidaa darteed, ka hor inta aanad abuurin nidaamkaaga, waxaa habboon in la barbardhigo baahida nidaamka falanqaynta muhiimka ah iyo ilaha aad diyaar u tahay inaad u qoondayso.
Haddii aad samaysay xisaabta oo aad ogaato in kharashyadu aad u badan yihiin, qaybta xigta waxaan ka hadli doonaa sida loo sameeyo nuqul ka jaban oo ah falanqaynta dhinaca server-ka.

Waad ku mahadsan tahay akhrinta! Waan ku farxi doonaa inaan su'aalo ku weydiiyo faallooyinka.

Source: www.habr.com