Nandritra ny enim-bolana teo ho eo aho dia namorona rafitra hiadiana amin'ny hosoka (asa hosoka, hosoka, sns.) tsy misy fotodrafitrasa voalohany amin'izany. Ny hevitra androany izay hitanay sy nampiharinay tao amin'ny rafitray dia manampy anay hamantatra sy hamakafaka ireo hetsika hosoka maro. Amin'ity lahatsoratra ity dia tiako ny hiresaka momba ny fitsipika narahinay sy ny zavatra nataontsika mba hahatratrarana ny toetry ny rafitra misy antsika ankehitriny, nefa tsy miditra lalina amin'ny ampahany ara-teknika.
Fitsipiky ny rafitra misy antsika
Rehefa mandre teny toy ny βautomatiqueβ sy βhosokaβ ianao dia mety manomboka mieritreritra momba ny fianarana milina, Apache Spark, Hadoop, Python, Airflow, ary teknolojia hafa avy amin'ny ecosystem Apache Foundation sy ny sehatry ny Data Science. Heveriko fa misy lafiny iray amin'ny fampiasana ireo fitaovana ireo izay tsy voatonona matetika: mitaky fepetra sasany ao amin'ny rafitry ny orinasanao izy ireo vao afaka manomboka mampiasa azy ireo. Raha fintinina dia mila sehatra angon-drakitra momba ny orinasa ianao izay misy farihy data sy trano fanatobiana entana. Ahoana anefa raha tsy manana sehatra toy izany ianao ary mbola mila mampivelatra io fomba fanao io? Ireto fitsipika manaraka ireto izay zaraiko etsy ambany dia nanampy antsika hahatratra ny toerana ahafahantsika mifantoka amin'ny fanatsarana ny hevitsika fa tsy ny fitadiavana izay mety. Na izany aza, tsy lembalemba amin'ny tetikasa izany. Mbola betsaka ny zavatra ao anatin'ilay drafitra raha jerena ny lafiny teknolojia sy vokatra.
Fitsipika 1: Ny lanjan'ny fandraharahana aloha
Apetrakay ho lohalaharana amin'ny ezaka rehetra ataonay ny "lanja ara-barotra". Amin'ny ankapobeny, ny rafitra famakafakana mandeha ho azy dia ao anatin'ny vondron'ireo rafitra sarotra manana haavo automatique sy fahasarotana ara-teknika. Mila fotoana be ny famoronana vahaolana feno raha toa ka mamorona azy hatrany am-boalohany. Nanapa-kevitra izahay fa hametraka ny lanjan'ny orinasa ho voalohany ary ny fahafenoan'ny teknolojia faharoa. Amin'ny tena fiainana dia midika izany fa tsy ekentsika ho dogma ny teknolojia avo lenta. Mifidy ny teknolojia izay mety indrindra ho antsika amin'izao fotoana izao. Rehefa mandeha ny fotoana, dia mety ho toa tsy maintsy hamerina ny sasany Modules. Io no marimaritra iraisana nekenay.
Fitsipika 2: Faharanitan-tsaina mitombo
Azoko antoka fa ny ankamaroan'ny olona izay tsy tafiditra lalina amin'ny famolavolana vahaolana amin'ny fianarana milina dia mety hieritreritra fa ny fanoloana olona no tanjona. Raha ny marina, ny vahaolana amin'ny fianarana milina dia tsy tonga lafatra ary amin'ny faritra sasany ihany no azo atao ny manolo. Nolavinay hatrany am-boalohany io hevitra io noho ny antony maro: angon-drakitra tsy voalanjalanja momba ny hetsika hosoka sy ny tsy fahafahana manome lisitry ny endri-javatra feno ho an'ny maodely fianarana milina. Mifanohitra amin'izany kosa, nisafidy ny safidy faharanitan-tsaina nohatsaraina izahay. Ity dia hevitra hafa momba ny faharanitan-tsaina artifisialy izay mifantoka amin'ny andraikitry ny AI manohana, ary manantitrantitra ny zava-misy fa ny teknolojia kognita dia natao hanatsara ny faharanitan-tsain'olombelona fa tsy hanolo azy. [1]
Raha jerena izany, ny famolavolana vahaolana fianarana milina feno hatrany am-piandohana dia mitaky ezaka goavana, izay hanemotra ny famoronana sanda ho an'ny orinasantsika. Nanapa-kevitra ny hanangana rafitra miaraka amin'ny lafiny fianarana milina mitombo hatrany izahay eo ambany fitarihan'ireo manam-pahaizana momba ny sehatra. Ny ampahany sarotra amin'ny famolavolana rafitra toy izany dia ny fanomezana ireo mpandinika antsika amin'ny tranga tsy amin'ny resaka hosoka na tsia. Amin'ny ankapobeny, izay tsy mety amin'ny fitondran-tenan'ny mpanjifa dia tranga mampiahiahy izay ilain'ny manam-pahaizana manokana hanadihady sy hamaly. Ampahany amin'ireo tranga voalaza ireo ihany no azo sokajiana ho hosoka.
Fitsipika 3: Sehatry ny Rich Analytics
Ny ampahany sarotra indrindra amin'ny rafitray dia ny fanamarinana farany amin'ny fizotran'ny rafitra. Ny mpandinika sy ny mpamorona dia tokony hahazo mora foana ny fitambaran'ny angona ara-tantara miaraka amin'ireo metrika rehetra ampiasaina amin'ny famakafakana. Fanampin'izany, ny sehatra angon-drakitra dia tokony hanome fomba mora hamenoana ireo metrika efa misy amin'ny vaovao. Ireo dingana noforoninay, ary tsy ireo dingana rindrambaiko ihany, dia tokony hamela antsika hamerina amin'ny laoniny ny vanim-potoana teo aloha, hanampy metrika vaovao ary hanova ny vinavinan'ny data. Azontsika atao izany amin'ny alalan'ny fanangonana ny angona rehetra ateraky ny rafitra famokarana. Amin'ity tranga ity, ny angon-drakitra dia ho lasa fanelingelenana tsikelikely. Mila mitahiry angon-drakitra mitombo be izay tsy ampiasainay sy miaro azy izahay. Amin'ny toe-javatra toy izany, ny angona dia ho lasa tsy manan-danja kokoa rehefa mandeha ny fotoana, saingy mbola mitaky ny ezaka ataontsika amin'ny fitantanana izany. Ho anay, tsy mitombina ny fitahirizana angon-drakitra, ka nanapa-kevitra ny handray fomba hafa izahay. Nanapa-kevitra ny handamina fitehirizana angon-drakitra amin'ny fotoana tena izy manodidina ireo sampan-draharaha lasibatra izay tiana hosokajiana, ary tsy hitahiry afa-tsy ny angon-drakitra ahafahantsika manamarina ny vanim-potoana farany sy mifandraika amin'izany. Ny fanamby amin'ity ezaka ity dia ny rafitra misy antsika dia tsy mitovy, miaraka amin'ny fivarotana angon-drakitra maro sy maody rindrambaiko izay mitaky drafitra tsara mba hiasa amin'ny fomba tsy miovaova.
Hevitra famolavolana ny rafitray
Manana singa efatra lehibe ao amin'ny rafitra misy anay izahay: rafitra fandevonan-kanina, computational, famakafakana BI ary rafitra fanaraha-maso. Izy ireo dia manana tanjona manokana, mitoka-monina, ary ataontsika mitoka-monina izy ireo amin'ny fanarahana ny fomba famolavolana manokana.
Famolavolana mifototra amin'ny fifanarahana
Voalohany indrindra, nanaiky izahay fa ny singa dia tokony hiantehitra amin'ny rafitra angon-drakitra sasany (fifanarahana) izay ampitaina eo anelanelan'izy ireo. Izany dia manamora ny fampidirana azy ireo ary tsy mametraka singa manokana (sy filaharana). Ohatra, amin'ny toe-javatra sasany dia ahafahantsika mampiditra mivantana ny rafitra fidirana amin'ny rafitra fanaraha-maso fanairana. Aminβny toe-javatra tahaka izao, araka ny fifanarahana fanairana nifanarahana no hanaovana izany. Midika izany fa ireo singa roa ireo dia hatambatra amin'ny fampiasana fifanarahana izay azon'ny singa hafa ampiasaina. Tsy hanampy fifanarahana fanampiny izahay mba hanampiana fanairana amin'ny rafitra fanaraha-maso avy amin'ny rafitra fampidirana. Ity fomba fiasa ity dia mitaky ny fampiasana ny isan'ny fifanarahana farany ambany indrindra ary manatsotra ny rafitra sy ny fifandraisana. Amin'ny ankapobeny, maka fomba antsoina hoe "Contract First Design" izahay ary mampihatra izany amin'ny fifanarahana mivantana. [2]
Mivezivezy eny rehetra eny
Ny fitahirizana sy ny fitantanana fanjakana amin'ny rafitra iray dia tsy maintsy miteraka fahasarotana amin'ny fampiharana azy. Amin'ny ankapobeny, ny fanjakana dia tokony ho azo idirana amin'ny singa rehetra, tokony hifanaraka ary hanome ny sanda farany indrindra amin'ny singa rehetra, ary tokony ho azo ianteherana amin'ny sanda marina. Fanampin'izany, ny fananana antso amin'ny fitehirizana maharitra mba haka ny fanjakana farany dia hampitombo ny isan'ny fiasan'ny I/O sy ny fahasarotan'ny algorithm ampiasaina amin'ny fantsona tena misy antsika. Noho izany, nanapa-kevitra ny hanaisotra tanteraka ny fitahirizana fanjakana izahay, raha azo atao, ao amin'ny rafitray. Ity fomba fiasa ity dia mitaky ny hampidirana ny angona ilaina rehetra ao amin'ny sakana (hafatra) alefa. Ohatra, raha mila kajy ny totalin'ny fandinihana sasany (ny isan'ny asa na tranga misy toetra sasany), dia manao kajy izany ao amin'ny fitadidiana ary mamorona sanda toy izany. Ny maodely miankina dia hampiasa fisarahana sy batching mba hanasarahana ny stream ho enti-manana ary hiasa amin'ny soatoavina farany. Io fomba fiasa io dia nanafoana ny filΓ na fitahirizana kapila maharitra ho an'ny angona toy izany. Ny rafitray dia mampiasa ny Kafka ho mpizara hafatra ary azo ampiasaina ho angon-drakitra miaraka amin'ny KSQL. [3] Saingy ny fampiasana azy dia mety hamatotra mafy ny vahaolanay amin'ny Kafka, ary nanapa-kevitra ny tsy hampiasa izany izahay. Ny fomba nofidianay dia ahafahantsika manolo an'i Kafka amin'ny mpizara hafatra hafa tsy misy fiovana lehibe anatiny amin'ny rafitra.
Ity hevitra ity dia tsy midika fa tsy mampiasa fitahirizana kapila sy angon-drakitra izahay. Mba hitsapana sy hamakafaka ny fahombiazan'ny rafitra dia mila mitahiry angon-drakitra be dia be amin'ny kapila izay maneho metrika sy fanjakana isan-karazany. Ny teboka manan-danja eto dia ny algorithm amin'ny fotoana tena izy dia tsy miankina amin'ny data toy izany. Amin'ny ankamaroan'ny toe-javatra, mampiasa ny angona voatahiry izahay ho an'ny famakafakana ivelan'ny aterineto, ny debugging ary ny fanaraha-maso ireo tranga manokana sy valiny avoakan'ny rafitra.
Olan'ny rafitra misy antsika
Misy olana sasantsasany izay efa novahantsika hatramin'ny ambaratonga iray, saingy mila vahaolana matotra kokoa. Izao fotsiny no tiako hanonona azy ireo eto satria ny teboka tsirairay dia mendrika ny lahatsorany manokana.
- Mbola mila mamaritra ny dingana sy ny politika izay manohana ny fanangonana angon-drakitra manan-danja sy manan-danja ho an'ny famakafakana, fikarohana ary fikarohana momba ny angona mandeha ho azy izahay.
- Ny fampidirana ny famakafakana olombelona dia vokatry ny dingan'ny fametrahana ho azy ny rafitra hanavao izany amin'ny angona farany. Izany dia tsy ny fanavaozana ny maodely ihany, fa koa ny fanavaozana ny fizotranay sy ny fanatsarana ny fahatakaranay ny angonay.
- Mitadiava fifandanjana eo amin'ny fomba fiasa voafaritra amin'ny IF-ELSE sy ML. Nisy olona nilaza hoe: βFitaovana ho an'ny very fanantenana ny ML.β Midika izany fa te hampiasa ML ianao rehefa tsy azonao intsony ny fomba hanatsarana sy hanatsarana ny algorithm anao. Amin'ny lafiny iray, ny fomba fiasa deterministika dia tsy mamela ny fahitana ny anomalia izay tsy nampoizina.
- Mila fomba tsotra hitsapana ny hevitsika na ny fifamatorana misy eo amin'ny metrika ao amin'ny angona isika.
- Ny rafitra dia tsy maintsy manana ambaratonga maromaro ahitana vokatra tsara marina. Ny tranga hosoka dia ampahany kely amin'ny tranga rehetra azo raisina ho tsara ho an'ny rafitra. Ohatra, ny mpandinika dia te-hahazo ny tranga rehetra mampiahiahy ho fanamarinana, ary ampahany kely amin'izy ireo no hosoka. Ny rafitra dia tsy maintsy manolotra amin'ny fomba mahomby ny tranga rehetra amin'ny mpandinika, na inona na inona hosoka tena izy na fihetsika mampiahiahy fotsiny.
- Ny sehatra angon-drakitra dia tokony ho afaka maka ny angon-drakitra ara-tantara miaraka amin'ny kajikajy novokarina sy kajy an-tongotra.
- Apetraho mora sy ho azy ny singa rehetra amin'ny rafitra ao anatin'ny tontolo telo farafahakeliny: famokarana, andrana (beta) ary ho an'ny mpamorona.
- Ary farany fa tsy ny kely indrindra. Mila manangana sehatra fanaovana fitiliana mahomby izay ahafahantsika mamakafaka ny modely. [4]
soratra masina
Source: www.habr.com