Fun bii oṣu mẹfa ti o kẹhin Mo ti n ṣẹda eto lati koju jibiti (iṣẹ arekereke, jegudujera, ati bẹbẹ lọ) laisi eyikeyi amayederun ibẹrẹ fun eyi. Awọn imọran oni ti a ti rii ati imuse ninu eto wa ṣe iranlọwọ fun wa lati ṣawari ati ṣe itupalẹ ọpọlọpọ awọn iṣẹ arekereke. Ninu àpilẹkọ yii, Emi yoo fẹ lati sọrọ nipa awọn ilana ti a tẹle ati ohun ti a ṣe lati ṣe aṣeyọri ipo ti o wa lọwọlọwọ ti eto wa, laisi lilọ sinu apakan imọ-ẹrọ.
Awọn ilana ti eto wa
Nigbati o ba gbọ awọn ofin bii “aifọwọyi” ati “jegudujera,” o ṣeese julọ bẹrẹ ironu nipa kikọ ẹrọ, Apache Spark, Hadoop, Python, Airflow, ati awọn imọ-ẹrọ miiran lati ilolupo Apache Foundation ati aaye Imọ-jinlẹ data. Mo ro pe abala kan wa ti lilo awọn irinṣẹ wọnyi ti a ko mẹnuba nigbagbogbo: wọn nilo awọn ohun pataki kan ninu eto ile-iṣẹ rẹ ṣaaju ki o to bẹrẹ lilo wọn. Ni kukuru, o nilo pẹpẹ data ile-iṣẹ kan ti o pẹlu adagun data ati ile itaja. Ṣugbọn kini ti o ko ba ni iru pẹpẹ kan ati pe o tun nilo lati dagbasoke iṣe yii? Awọn ilana atẹle ti Mo pin ni isalẹ ti ṣe iranlọwọ fun wa lati de aaye kan nibiti a ti le dojukọ lori imudarasi awọn imọran wa dipo wiwa ọkan ti o ṣiṣẹ. Sibẹsibẹ, eyi kii ṣe Plateau iṣẹ akanṣe kan. Awọn ohun pupọ tun wa ninu ero lati oju-ọna imọ-ẹrọ ati oju-ọna ọja.
Ilana 1: Iye Iṣowo Akọkọ
A fi “iye iṣowo” si iwaju ti gbogbo awọn akitiyan wa. Ni gbogbogbo, eyikeyi eto itupalẹ aifọwọyi jẹ ti ẹgbẹ ti awọn eto eka pẹlu ipele giga ti adaṣe ati eka imọ-ẹrọ. Ṣiṣẹda ojutu pipe yoo gba akoko pupọ ti o ba ṣẹda rẹ lati ibere. A pinnu lati fi iye iṣowo akọkọ ati pipe imọ-ẹrọ ni keji. Ni igbesi aye gidi, eyi tumọ si pe a ko gba imọ-ẹrọ to ti ni ilọsiwaju bi dogma. A yan imọ-ẹrọ ti o ṣiṣẹ julọ fun wa ni akoko yii. Ni akoko pupọ, o le dabi pe a yoo ni lati tun ṣe diẹ ninu awọn modulu. Eyi ni adehun ti a gba.
Ilana 2: Augmented oye
Mo tẹtẹ pupọ julọ eniyan ti ko ni ipa jinna ni idagbasoke awọn ojutu ikẹkọ ẹrọ le ro pe rirọpo eniyan ni ibi-afẹde naa. Ni otitọ, awọn solusan ikẹkọ ẹrọ ko jina si pipe ati pe ni awọn agbegbe kan nikan ni o ṣee ṣe rirọpo. A kọ imọran yii lati ibẹrẹ fun awọn idi pupọ: data aipin lori iṣẹ ṣiṣe arekereke ati ailagbara lati pese atokọ akojọpọ awọn ẹya fun awọn awoṣe ikẹkọ ẹrọ. Ni idakeji, a yan aṣayan itetisi imudara. Eyi jẹ ero miiran ti itetisi atọwọda ti o dojukọ ipa atilẹyin ti AI, tẹnumọ otitọ pe awọn imọ-ẹrọ imọ ni ipinnu lati mu oye oye eniyan dara ju dipo rọpo rẹ. [1]
Fun eyi, idagbasoke ojutu ikẹkọ ẹrọ pipe lati ibẹrẹ yoo nilo igbiyanju nla, eyiti yoo ṣe idaduro ẹda ti iye fun iṣowo wa. A pinnu lati kọ eto kan pẹlu abala ikẹkọ ẹrọ ti n dagba ni igbagbogbo labẹ itọsọna ti awọn amoye agbegbe wa. Apakan ti o nira ti idagbasoke iru eto ni pe o ni lati pese awọn atunnkanka wa pẹlu awọn ọran kii ṣe ni awọn ofin ti boya o jẹ iṣẹ arekereke tabi rara. Ni gbogbogbo, eyikeyi anomaly ni ihuwasi alabara jẹ ọran ifura ti awọn alamọja nilo lati ṣe iwadii ati dahun ni ọna kan. Nikan ida kan ninu awọn ọran ti o royin le jẹ nitootọ bi jegudujera.
Ilana 3: Platform Atupale Ọlọrọ
Apa ti o nija julọ ti eto wa ni ijẹrisi ipari-si-opin ti ṣiṣiṣẹsẹhin eto naa. Awọn atunnkanka ati awọn olupilẹṣẹ yẹ ki o ni irọrun gba awọn eto data itan pẹlu gbogbo awọn metiriki ti a lo fun itupalẹ. Ni afikun, pẹpẹ data yẹ ki o pese ọna ti o rọrun lati ṣe iranlowo eto awọn metiriki ti o wa pẹlu awọn tuntun. Awọn ilana ti a ṣẹda, ati pe iwọnyi kii ṣe awọn ilana sọfitiwia nikan, o yẹ ki o gba wa laaye lati ni irọrun tun awọn akoko iṣaaju, ṣafikun awọn metiriki tuntun ati yi asọtẹlẹ data pada. A le ṣaṣeyọri eyi nipa ikojọpọ gbogbo data ti eto iṣelọpọ wa. Ni ọran yii, data naa yoo di iparun. A yoo nilo lati tọju iye data ti ndagba ti a ko lo ati daabobo rẹ. Ni iru oju iṣẹlẹ yii, data yoo di pupọ ati siwaju sii ko ṣe pataki ni akoko pupọ, ṣugbọn tun nilo awọn akitiyan wa lati ṣakoso rẹ. Fun wa, fifipamọ data ko ni oye, nitorinaa a pinnu lati mu ọna ti o yatọ. A pinnu lati ṣeto awọn ile itaja data gidi-akoko ni ayika awọn ibi-afẹde ti a fẹ lati ṣe iyasọtọ, ati tọju data nikan ti o fun wa laaye lati ṣayẹwo awọn akoko to ṣẹṣẹ julọ ati ti o yẹ. Ipenija si igbiyanju yii ni pe eto wa jẹ oriṣiriṣi, pẹlu ọpọlọpọ awọn ile itaja data ati awọn modulu sọfitiwia ti o nilo eto iṣọra lati ṣiṣẹ ni ọna deede.
Awọn imọran apẹrẹ ti eto wa
A ni awọn paati akọkọ mẹrin ninu eto wa: eto ingestion, iṣiro, itupalẹ BI ati eto ipasẹ. Wọn ṣiṣẹ ni pato, awọn idi ti o ya sọtọ, ati pe a jẹ ki wọn ya sọtọ nipasẹ titẹle awọn isunmọ apẹrẹ kan pato.
Apẹrẹ ti o da lori adehun
Ni akọkọ, a gba pe awọn paati yẹ ki o gbẹkẹle awọn ẹya data kan nikan (awọn adehun) ti o kọja laarin wọn. Eyi jẹ ki o rọrun lati ṣepọ laarin wọn ati ki o ma ṣe fa akojọpọ kan pato (ati aṣẹ) ti awọn paati. Fun apẹẹrẹ, ni awọn igba miiran eyi gba wa laaye lati ṣepọ taara eto gbigbemi pẹlu eto ipasẹ gbigbọn. Ni iru ọran bẹẹ, eyi yoo ṣee ṣe ni ibamu pẹlu adehun titaniji ti a gba. Eyi tumọ si pe awọn paati mejeeji yoo ṣepọ nipa lilo adehun ti eyikeyi paati miiran le lo. A kii yoo ṣe afikun adehun afikun lati ṣafikun awọn titaniji si eto ipasẹ lati inu eto titẹ sii. Ọna yii nilo lilo nọmba ti o kere ju ti a ti pinnu tẹlẹ ti awọn adehun ati ṣe irọrun eto ati awọn ibaraẹnisọrọ. Ni pataki, a gba ọna kan ti a pe ni “Apẹrẹ Àdéhùn Àkọkọ” ati lo si awọn adehun ṣiṣanwọle. [2]
Sisanwọle nibi gbogbo
Fifipamọ ati iṣakoso ipo ni eto kan yoo ja si awọn ilolu ninu imuse rẹ. Ni gbogbogbo, ipinle yẹ ki o wa lati eyikeyi paati, o yẹ ki o wa ni ibamu ati pese iye ti o wa julọ julọ ni gbogbo awọn irinše, ati pe o yẹ ki o jẹ igbẹkẹle pẹlu awọn iye to tọ. Ni afikun, nini awọn ipe si ibi ipamọ itẹramọṣẹ lati gba ipinlẹ tuntun yoo mu nọmba awọn iṣẹ I/O pọ si ati idiju ti awọn algoridimu ti a lo ninu awọn opo gigun ti akoko gidi wa. Nitori eyi, a pinnu lati yọ ibi ipamọ ipinle kuro, ti o ba ṣeeṣe, patapata lati inu eto wa. Ọna yii nilo pe gbogbo data pataki wa ninu bulọki data ti a firanṣẹ (ifiranṣẹ). Fun apẹẹrẹ, ti a ba nilo lati ṣe iṣiro nọmba lapapọ ti diẹ ninu awọn akiyesi (nọmba awọn iṣẹ tabi awọn ọran pẹlu awọn abuda kan), a ṣe iṣiro rẹ ni iranti ati ṣe ina ṣiṣan ti iru awọn iye. Awọn modulu ti o gbẹkẹle yoo lo ipin ati batching lati pin ṣiṣan si awọn nkan ati ṣiṣẹ lori awọn iye tuntun. Ọna yii yọkuro iwulo lati ni ibi ipamọ disk ti o tẹpẹlẹ fun iru data bẹẹ. Eto wa nlo Kafka bi alagbata ifiranṣẹ ati pe o le ṣee lo bi ibi ipamọ data pẹlu KSQL. [3] Ṣugbọn lilo rẹ yoo ti so ojutu wa pọ si Kafka, ati pe a pinnu lati ma lo. Ọna ti a yan jẹ ki a rọpo Kafka pẹlu alagbata ifiranṣẹ miiran laisi awọn ayipada inu inu pataki si eto naa.
Erongba yii ko tumọ si pe a ko lo ibi ipamọ disk ati awọn apoti isura data. Lati ṣe idanwo ati itupalẹ iṣẹ ṣiṣe eto, a nilo lati tọju iye pataki ti data lori disiki ti o ṣojuuṣe awọn metiriki ati awọn ipinlẹ. Koko pataki nibi ni pe awọn algoridimu akoko gidi ko da lori iru data bẹẹ. Ni ọpọlọpọ awọn ọran, a lo data ti o fipamọ fun itupalẹ aisinipo, n ṣatunṣe aṣiṣe ati ipasẹ awọn ọran kan pato ati awọn abajade ti eto naa gbejade.
Awọn iṣoro ti eto wa
Awọn iṣoro kan wa ti a ti yanju si ipele kan, ṣugbọn wọn nilo awọn ojutu ironu diẹ sii. Bayi Emi yoo fẹ lati darukọ wọn nibi nitori aaye kọọkan tọ nkan tirẹ.
- A tun nilo lati ṣalaye awọn ilana ati awọn eto imulo ti o ṣe atilẹyin ikojọpọ ti awọn alaye ti o nilari ati ti o yẹ fun itupalẹ data adaṣiṣẹ wa, iṣawari, ati iṣawari.
- Ijọpọ awọn abajade itupalẹ eniyan sinu ilana ti iṣeto eto laifọwọyi lati ṣe imudojuiwọn pẹlu data tuntun. Eyi kii ṣe imudojuiwọn awoṣe wa nikan, ṣugbọn tun ṣe imudojuiwọn awọn ilana wa ati imudarasi oye wa ti data wa.
- Wiwa iwọntunwọnsi laarin ọna ipinnu ti IF-ELSE ati ML. Ẹnikan sọ pe, “ML jẹ ohun elo fun ainireti.” Eyi tumọ si pe iwọ yoo fẹ lati lo ML nigbati o ko ba loye bi o ṣe le mu ki o mu awọn algoridimu rẹ dara si. Ni apa keji, ọna ipinnu ipinnu ko gba laaye wiwa awọn aiṣedeede ti ko ni ifojusọna.
- A nilo ọna ti o rọrun lati ṣe idanwo awọn idawọle tabi awọn ibamu laarin awọn metiriki ninu data naa.
- Eto naa gbọdọ ni awọn ipele pupọ ti awọn abajade rere otitọ. Awọn ọran jegudujera jẹ ida kan ti gbogbo awọn ọran ti a le gbero ni rere fun eto naa. Fun apẹẹrẹ, awọn atunnkanka fẹ lati gba gbogbo awọn ọran ifura fun ijẹrisi, ati pe apakan kekere kan ninu wọn jẹ awọn arekereke. Eto naa gbọdọ ṣafihan gbogbo awọn ọran daradara si awọn atunnkanka, laibikita boya o jẹ jibiti gidi tabi ihuwasi ifura nikan.
- Syeed data yẹ ki o ni anfani lati gba awọn eto data itan pada pẹlu awọn iṣiro ti ipilẹṣẹ ati iṣiro lori fo.
- Ni irọrun ati laifọwọyi ran eyikeyi awọn paati eto ni o kere ju awọn agbegbe oriṣiriṣi mẹta: iṣelọpọ, esiperimenta (beta) ati fun awọn olupolowo.
- Ati ki o kẹhin sugbon ko kere. A nilo lati kọ pẹpẹ idanwo iṣẹ ṣiṣe ọlọrọ lori eyiti a le ṣe itupalẹ awọn awoṣe wa. [4]
jo
orisun: www.habr.com