Ilaa lixdii bilood ee la soo dhaafay, waxaan abuurayay nidaam lagula dagaalamayo khayaanada (wax-is-daba-marinta, wax-is-daba-marinnada, iwm.) iyada oo aan wax kaabayaal bilow ah u lahayn tan. Fikradaha maanta ee aan helnay oo aan ku hirgelinay nidaamkeena ayaa naga caawiya in aan ogaano oo aan falanqeyno waxqabadyo badan oo been abuur ah. Maqaalkan, waxaan jeclaan lahaa inaan ka hadlo mabaadi'dii aan raacnay iyo wixii aan sameynay si aan u gaadhno heerka uu maanta marayo nidaamkayaga, annagoo aan u daadegin qaybta farsamada.
Mabaadi'da nidaamkeena
Markaad maqasho ereyada sida "otomaatigga ah" iyo "khiyaanada" waxay u badan tahay inaad bilowdo inaad ka fikirto barashada mashiinka, Apache Spark, Hadoop, Python, Airflow, iyo tiknoolajiyada kale ee nidaamka deegaanka Apache Foundation iyo goobta Sayniska Xogta. Waxaan u maleynayaa inay jirto hal dhinac oo ah isticmaalka qalabkan oo aan inta badan la xusin: waxay u baahan yihiin shuruudo gaar ah si ay ugu jiraan nidaamka ganacsigaaga ka hor intaadan bilaabin isticmaalkooda. Marka la soo koobo, waxaad u baahan tahay madal xogta ganacsiga oo ay ku jirto harada xogta iyo kaydinta. Laakiin maxaa dhacaya haddii aadan haysan madal noocaas ah oo aad weli u baahan tahay inaad horumariso dhaqankan? Mabaadi'da soo socota, oo aan hoos ku tilmaamo, ayaa naga caawiyay inaan gaadhno heerka aan diiradda saari karno hagaajinta fikradaheena, halkii aan heli lahayn mid shaqeynaya. Si kastaba ha ahaatee, tani maaha "plateau" ee mashruuca. Waxaa jira waxyaabo badan oo badan oo ku jira qorshaha marka laga eego dhinaca tignoolajiyada iyo wax soo saarka.
Mabda'a 1: Qiimaha Ganacsiga Marka hore
Waxaan dhignay "qiimaha ganacsiga" safka hore ee dhammaan dadaalladayada. Guud ahaan, nidaam kasta oo falanqeyn toos ah ayaa iska leh kooxda nidaamyada adag oo leh heer sare oo otomaatig ah iyo kakanaanta farsamada. Abuuritaanka xal dhamaystiran waxay qaadan doontaa wakhti badan haddii aad ka abuurto xoqan. Waxaan go'aansanay in aan marka hore gelino qiimaha ganacsiga iyo biseylka tignoolajiyada labaad. Nolosha dhabta ah, tani waxay la macno tahay in aynaan aqbalin tignoolajiyada horumarsan ee dogma ahaan. Waxaan dooranaa tignoolajiyada sida ugu fiican noogu shaqaynaysa xilligan. Waqti ka dib, waxay u muuqan kartaa inaan dib u hirgelineyno cutubyada qaarkood. Tani waa tanaasulkii aan aqbalnay.
Mabda'a 2: Caqliga la kordhiyay
Waxaan sharad ku leeyahay badi dadka aan si qoto dheer ugu lug lahayn horumarinta xallinta barashada mashiinka inay u malayn karaan in beddelka aadanaha uu yahay yoolka. Dhab ahaantii, xalalka barashada mashiinka ayaa aad uga fog kuwa qumman oo kaliya meelaha qaarkood ayaa suurtagal ah in la beddelo. Waxaan uga tagnay fikradan bilawgii sababo dhowr ah dartood: xogta aan dheelli tirnayn ee ku saabsan waxqabadka been abuurka ah iyo awood la'aanta in la bixiyo liiska dhammaystiran ee qaababka barashada mashiinka. Taas beddelkeeda, waxaanu dooranay ikhtiyaarka sirdoonka ee la kordhiyay. Tani waa fikrad kale oo ah sirdoonka macmal ah oo diiradda saaraya doorka taageerada ee AI, isagoo xoogga saaraya xaqiiqda ah in tignoolajiyada garashada loogu talagalay in lagu wanaajiyo sirdoonka aadanaha, oo aan bedelin. [1]
Iyadoo tan maskaxda lagu hayo, horumarinta xallinta barashada mashiinka dhammaystiran ee bilawga waxay u baahan doontaa dadaal aad u badan oo dib u dhigi doona abuurista qiimaha ganacsigeenna. Waxaan go'aansanay inaan dhisno nidaam leh dhinac si isdaba joog ah u koraya oo ah barashada mashiinka iyadoo ay hagayaan khubarada goobaheena. Qaybta khiyaanada leh ee horumarinta nidaamkan oo kale waa in ay siiso falanqeeyayaashayada daraasado kiis oo keliya maaha in tani ay tahay waxqabad been abuur ah iyo in kale. Guud ahaan, cillad kasta oo ku timaada hab-dhaqanka macaamiishu waa kiis shaki leh oo khubarada takhasuska leh u baahan yihiin inay baaraan oo si uun uga jawaabaan. Kaliya dhawr ka mid ah kiisaskan la duubay ayaa runtii loo kala saari karaa inay yihiin khiyaano.
Mabda'a 3: Platform Falanqaynta Qani
Qaybta ugu adag ee nidaamkeenu waa xaqiijinta dhamaadka-ilaa-dhamaadka ee socodka shaqada nidaamka. Falanqeeyayaasha iyo horumariyayaashu waa inay si fudud u helaan xog-ururin taariikhi ah oo leh dhammaan cabbirada loo isticmaalay falanqaynta. Intaa waxaa dheer, goobta xogta waa in ay bixiso hab sahlan oo lagu kabo jaantusyada jira mid cusub. Nidaamyada aan abuurno, oo kuwani maaha kaliya hababka software, waa inay fududeeyaan dib u xisaabinta xilliyadii hore, ku daraan cabbirro cusub oo beddelaan saadaasha xogta. Waxaan taas ku gaari karnaa innaga oo uruurinayna dhammaan xogta uu soo saaro nidaamkayaga wax-soo-saarka. Xaaladdan oo kale, xogta ayaa si tartiib tartiib ah u noqon doonta caqabad. Waxaan u baahanahay inaan kaydino tirada sii kordheysa ee xogta aynaan isticmaalin oo aan ilaalino. Xaaladdan oo kale, xogtu waxay noqon doontaa mid aad iyo aad u badan oo aan khusayn waqti ka dib, laakiin wali waxay u baahan tahay dadaalkeena si aan u maareyno. Annaga, kaydinta xogtu macno may samayn, waxaanan go'aansannay inaan isticmaalno hab ka duwan. Waxaan go'aansanay inaan abaabulno bakhaarrada xogta waqtiga-dhabta ah ee agagaarka hay'adaha bartilmaameedka ah ee aan rabno inaan kala saarno, oo aan kaydinno oo keliya xogta noo oggolaanaysa inaan hubinno xilliyadii ugu dambeeyay iyo kuwii ugu dambeeyay. Caqabadda dadaalkani waa in nidaamkeenu yahay mid kala duwan oo leh kayd xog badan iyo qaybo software kuwaas oo u baahan qorshe taxaddar leh si loogu shaqeeyo si joogto ah.
Fikradaha naqshadeynta nidaamkayaga
Waxaan ku leenahay afar qaybood oo waaweyn oo ka mid ah nidaamkayaga: habka wax-qaadista, habka xisaabinta, falanqaynta BI, iyo nidaamka dabagalka. Waxay u adeegaan ujeeddooyin gooni-gooni ah, waxaanan ku haynaa go'doon annagoo raacayna habab horumarineed oo gaar ah.
Naqshad ku salaysan heshiis
Ugu horreyntii, waxaan ku heshiinnay in qaybaha ay ku tiirsanaadaan oo keliya qaab-dhismeedka xogta qaarkood (qandaraasyada) ee dhexdooda la mariyo. Tani waxay fududaynaysaa in la dhexgalo dhexdooda oo aan la soo rogin halabuur gaar ah (iyo nidaam) qaybaha. Tusaale ahaan, xaaladaha qaarkood tani waxay noo ogolaanaysaa inaan si toos ah u dhexgelino nidaamka helitaanka iyo nidaamka raadraaca feejignaanta. Xaaladdan oo kale, tan waxaa loo samayn doonaa si waafaqsan qandaraaska wargelinta ee lagu heshiiyey. Tani waxay ka dhigan tahay in labada qayboodba la isku dari doono iyada oo la adeegsanayo heshiis ay qayb kasta oo kale isticmaali karto. Kuma darin doono qandaraas dheeri ah si aan ugu darno digniinaha nidaamka raadraaca ee nidaamka gelinta. Habkani wuxuu u baahan yahay isticmaalka tirada ugu yar ee qandaraasyada ee hore loo go'aamiyay waxayna fududaynaysaa nidaamka iyo isgaarsiinta. Asal ahaan, waxaan qaadaynaa hab la yiraahdo "Heshiiska Koowaad Naqshad" oo aan u adeegsaneyno qandaraasyada qulqulka. [2]
Streaming Meelkasta
Badbaadinta iyo maareynta dawladnimada ee nidaamka waxay si lama huraan ah u horseedi doontaa dhibaatooyin xagga dhaqangelintiisa. Guud ahaan, gobolku waa inuu noqdaa mid laga heli karo qayb kasta, waa inuu ahaadaa mid joogto ah oo bixiya qiimihii ugu dambeeyay ee dhammaan qaybaha, waana inuu ahaadaa mid lagu kalsoonaan karo oo leh qiyamka saxda ah. Intaa waxaa dheer, haysashada wicitaanada kaydinta joogtada ah si aad u hesho gobolkii ugu dambeeyay waxay kordhin doontaa qadarka I/O iyo kakanaanta algorithms ee loo isticmaalo dhuumahayada wakhtiga dhabta ah. Sababtan awgeed, waxaan go'aansanay inaan ka saarno kaydinta gobolka, haddii ay suurtagal tahay, gebi ahaanba nidaamkayaga. Habkani wuxuu u baahan yahay in dhammaan xogta lagama maarmaanka ah lagu daro unugga xogta la gudbiyo (fariinta). Tusaale ahaan, haddii aan u baahannahay inaan xisaabino tirada guud ee qaar ka mid ah indha-indheynta (tirada hawlgallada ama kiisaska leh sifooyin gaar ah), waxaan ku xisaabineynaa xusuusta waxaana soo saareynaa qulqulka qiimahaas. Qaybaha ku tiirsan ayaa isticmaali doona qaybin iyo dufcad si ay u kala qaybiyaan qulqulka qaybaha oo ay ku shaqeeyaan qiyamkii ugu dambeeyay. Habkani wuxuu meesha ka saaray baahida loo qabo kaydinta saxanka joogtada ah ee xogtaas. Nidaamkeenu wuxuu u isticmaalaa Kafka sida dillaalka fariinta waxaana loo isticmaali karaa xog kayd ah oo leh KSQL. [3] Laakiin isticmaalkeeda waxay si adag u xidhi doontaa xalkeena Kafka, waxaana go'aansanay inaanan isticmaalin. Habka aan dooranay wuxuu noo ogolaanayaa inaan ku bedelno Kafka oo leh fariin kale oo fariin ah iyada oo aan isbeddel weyn oo gudaha ah lagu samayn nidaamka.
Fikradani macnaheedu maaha in aynaan isticmaalin kaydinta diskka iyo kaydinta xogta. Si loo tijaabiyo loona falanqeeyo waxqabadka nidaamka, waxaan u baahanahay inaan kaydinno xog aad u badan oo ku saabsan diskka, taas oo u taagan tilmaamayaasha iyo gobolada kala duwan. Qodobka muhiimka ah ee halkan waa in algorithm-yada-waqtiga-dhabta ah aysan ku xirneyn xogtaas. Xaaladaha intooda badan, waxaan u isticmaalnaa xogta la keydiyay ee falanqaynta offline, ka saarista, iyo dabagalka kiisaska gaarka ah iyo natiijooyinka uu nidaamku soo saaro.
Dhibaatooyinka nidaamkayaga
Waxaa jira dhibaatooyin gaar ah oo aan xalinay ilaa heer gaar ah, laakiin waxay u baahan yihiin xalal ka fiirsasho leh. Hadda, waxaan jeclaan lahaa inaan halkan ku xuso, sababtoo ah shay kastaa wuxuu u qalmaa maqaalkiisa.
- Waxaan weli u baahanahay inaan qeexno hababka iyo siyaasadaha ka caawinaya soo saarista xog macno leh oo laxiriirta falanqaynta, daahfurka iyo sahaminta xogtayada tooska ah.
- Soo bandhigida natiijooyinka falanqaynta ee qof ee habka si toos ah u habeynaya nidaamka si uu u cusbooneysiiyo xogtii ugu dambeysay. Kani ma aha oo kaliya cusboonaysiinta qaabkeena, laakiin sidoo kale cusboonaysiinta habraacyadayada iyo fahamka wanaagsan ee xogtayada.
- Helitaanka dheelitirka u dhexeeya habka go'aaminta ee IF-ELSE iyo ML. Qof ayaa yiri: "ML waa qalab loogu talagalay kuwa quusta." Tani waxay ka dhigan tahay inaad rabto inaad isticmaasho ML marka aadan fahmin sida loo hagaajiyo loona hagaajiyo algoorithms-yadaada. Dhanka kale, habka go'aaminta ma ogola in la ogaado cilladaha aan la sii saadaalin.
- Waxaan u baahanahay hab sahlan oo aan ku tijaabinno mala-awaalkayaga ama xidhiidhka ka dhexeeya cabbirada xogta.
- Nidaamku waa inuu lahaadaa heerar badan oo natiijooyin wanaagsan oo run ah. Kiisaska khayaanada waa qayb ka mid ah kiisaska oo dhan oo loo tixgelin karo inay u wanaagsan yihiin nidaamka. Tusaale ahaan, falanqeeyayaasha waxay rabaan inay helaan dhammaan kiisaska laga shakiyo si dib loogu eego, oo kaliya qayb yar oo iyaga ka mid ah waa khiyaano. Nidaamku waa inuu si wax ku ool ah u siiyaa falanqeeyayaasha kiisaska oo dhan, hadday tahay khiyaano dhab ah ama dhaqan laga shakiyo.
- Barta xogta waa in ay awood u leedahay in ay dib u soo ceshato kaydka xogta taariikhiga ah oo leh xisaabin la sameeyay laguna xisaabiyay duullimaad.
- Gelin fudud oo toos ah mid kasta oo ka mid ah qaybaha nidaamka ugu yaraan saddex deegaan oo kala duwan: wax soo saar, tijaabo (beta), iyo kuwa horumariya.
- Iyo ugu dambayn laakiin ugu yaraan. Waxaan u baahanahay inaan abuurno madal bar-tilmaameed ballaaran oo aan ku falanqeyn karno moodelladayada. [4]
tixraacyada
Source: www.habr.com