Pandan anviwon sis mwa ki sot pase yo mwen te kreye yon sistèm pou konbat fwod (aktivite fwod, fwod, elatriye) san okenn premye enfrastrikti pou sa. Lide jodi a ke nou jwenn ak aplike nan sistèm nou an ede nou detekte ak analize anpil aktivite fwod. Nan atik sa a, mwen ta renmen pale sou prensip nou te swiv ak sa nou te fè pou reyalize eta aktyèl sistèm nou an, san yo pa antre nan pati teknik la.
Prensip sistèm nou an
Lè ou tande tèm tankou "otomatik" ak "fwod," ou gen plis chans kòmanse panse sou aprantisaj machin, Apache Spark, Hadoop, Python, Airflow, ak lòt teknoloji ki soti nan ekosistèm Fondasyon Apache ak domèn Syans Done. Mwen panse ke gen yon aspè nan sèvi ak zouti sa yo ki pa anjeneral jwenn mansyone: yo mande pou sèten kondisyon nan sistèm antrepriz ou anvan ou ka kòmanse sèvi ak yo. Nan ti bout tan, ou bezwen yon platfòm done antrepriz ki gen ladan yon lak done ak depo. Men, e si ou pa gen yon platfòm konsa epi ou toujou bezwen devlope pratik sa a? Prensip sa yo ke mwen pataje anba a te ede nou rive nan yon pwen kote nou ka konsantre sou amelyore lide nou olye ke jwenn youn ki mache. Sepandan, sa a se pa yon plato pwojè. Genyen toujou anpil bagay nan plan an nan yon pwen de vi teknoloji ak pwodwi.
Prensip 1: Valè biznis an premye
Nou mete "valè biznis" nan devan tout efò nou yo. An jeneral, nenpòt sistèm analiz otomatik ki dwe nan gwoup la nan sistèm konplèks ak yon wo nivo de automatisation ak konpleksite teknik. Kreye yon solisyon konplè pral pran anpil tan si ou kreye li nan grate. Nou deside mete valè biznis an premye ak konplè teknolojik dezyèm. Nan lavi reyèl, sa vle di ke nou pa aksepte teknoloji avanse kòm dogmatik. Nou chwazi teknoloji ki pi bon pou nou nan moman sa a. Apre yon sèten tan, li ka sanble ke nou pral gen re-aplike kèk modil. Sa a se konpwomi nou te aksepte.
Prensip 2: Ogmante entèlijans
Mwen parye pifò moun ki pa pwofondman patisipe nan devlope solisyon aprantisaj machin yo ta ka panse ke ranplase moun se objektif la. An reyalite, solisyon aprantisaj machin yo byen lwen pafè epi sèlman nan sèten zòn ranplasman posib. Nou rejte lide sa a depi nan kòmansman an pou plizyè rezon: done dezekilib sou aktivite fwod ak enkapasite pou bay yon lis konplè nan karakteristik pou modèl aprantisaj machin. Kontrèman, nou te chwazi opsyon entèlijans amelyore. Sa a se yon konsèp altènatif nan entèlijans atifisyèl ki konsantre sou wòl sipò AI, mete aksan sou lefèt ke teknoloji mantal yo gen entansyon amelyore entèlijans imen olye ke ranplase li. [1]
Etandone sa, devlope yon solisyon aprantisaj machin konplè depi nan kòmansman an ta mande yon gwo efò, ki ta retade kreyasyon valè pou biznis nou an. Nou te deside bati yon sistèm ak yon aspè aprantisaj machin ki ap grandi iterativman anba gidans ekspè domèn nou yo. Pati nan defi nan devlope yon sistèm konsa se ke li te bay analis nou yo ak ka pa sèlman an tèm de si li se aktivite fwod oswa ou pa. An jeneral, nenpòt anomali nan konpòtman kliyan se yon ka sispèk ke espesyalis bezwen envestige epi reponn yon jan kanmenm. Se sèlman yon fraksyon nan ka sa yo rapòte ka vrèman klase kòm fwod.
Prensip 3: Rich Analytics platfòm
Pati ki pi difisil nan sistèm nou an se verifikasyon bout-a-fen nan workflow sistèm nan. Analis ak devlopè yo ta dwe fasilman jwenn seri done istorik ak tout mezi yo itilize pou analiz. Anplis de sa, platfòm done a ta dwe bay yon fason fasil pou konplete yon seri metrik ki deja egziste ak nouvo. Pwosesis nou kreye yo, epi sa yo se pa sèlman pwosesis lojisyèl, ta dwe pèmèt nou fasilman rekalkile peryòd anvan yo, ajoute nouvo mezi ak chanje previzyon done yo. Nou te kapab reyalize sa lè nou akimile tout done ke sistèm pwodiksyon nou an jenere. Nan ka sa a, done yo ta piti piti vin yon nwuizans. Nou ta bezwen estoke yon kantite k ap grandi nan done ke nou pa itilize epi pwoteje li. Nan yon senaryo konsa, done yo pral vin pi plis ak plis petinan sou tan, men yo toujou mande efò nou yo jere li. Pou nou, data hoarding pa t 'fè sans, se konsa nou deside pran yon apwòch diferan. Nou deside òganize magazen done an tan reyèl alantou antite sib yo ke nou vle klasifye, epi estoke sèlman done yo ki pèmèt nou tcheke peryòd ki pi resan ak enpòtan yo. Defi nan efò sa a se ke sistèm nou an se etewojèn, ak plizyè magazen done ak modil lojisyèl ki mande pou planifikasyon atansyon pou opere nan yon fason ki konsistan.
Konsèp konsepsyon sistèm nou an
Nou gen kat eleman prensipal nan sistèm nou an: sistèm enjèstyon, enfòmatik, analiz BI ak sistèm swiv. Yo sèvi espesifik, rezon izole, epi nou kenbe yo izole nan swiv apwòch espesifik konsepsyon.
Konsepsyon ki baze sou kontra
Premye a tout, nou te dakò ke eleman yo ta dwe sèlman konte sou estrikti done sèten (kontra) ki pase ant yo. Sa fè li fasil pou entegre ant yo epi yo pa enpoze yon konpozisyon espesifik (ak lòd) nan eleman yo. Pou egzanp, nan kèk ka, sa a pèmèt nou dirèkteman entegre sistèm nan konsomasyon ak sistèm nan swiv alèt. Nan yon ka konsa, sa a pral fèt an akò ak kontra alèt yo te dakò. Sa vle di ke tou de eleman yo pral entegre lè l sèvi avèk yon kontra ke nenpòt lòt eleman ka itilize. Nou pa pral ajoute yon kontra adisyonèl pou ajoute alèt nan sistèm nan swiv soti nan sistèm nan opinyon. Apwòch sa a mande pou itilize yon kantite minimòm predetèmine nan kontra epi senplifye sistèm nan ak kominikasyon. Esansyèlman, nou pran yon apwòch ki rele "Contract First Design" epi aplike li nan kontra difizyon. [2]
Difizyon tout kote
Ekonomize ak jere eta nan yon sistèm pral inevitableman mennen nan konplikasyon nan aplikasyon li. An jeneral, eta ta dwe aksesib a nan nenpòt eleman, li ta dwe konsistan epi bay valè ki pi aktyèl la atravè tout eleman, epi li ta dwe serye ak valè ki kòrèk yo. Anplis de sa, gen apèl nan depo ki pèsistan pou rekipere dènye eta a ap ogmante kantite operasyon I/O ak konpleksite algorithm yo itilize nan tiyo an tan reyèl nou an. Poutèt sa, nou deside retire depo leta, si sa posib, nèt nan sistèm nou an. Apwòch sa a mande pou tout done ki nesesè yo dwe enkli nan blòk done transmèt (mesaj). Pou egzanp, si nou bezwen kalkile kantite total kèk obsèvasyon (kantite operasyon oswa ka ki gen sèten karakteristik), nou kalkile li nan memwa epi jenere yon kouran nan valè sa yo. Modil depandan yo pral sèvi ak patisyon ak pakèt pou divize kouran an nan antite epi opere sou dènye valè yo. Apwòch sa a elimine nesesite pou gen depo ki pèsistan disk pou done sa yo. Sistèm nou an sèvi ak Kafka kòm yon koutye mesaj epi li ka itilize kòm yon baz done ak KSQL. [3] Men, lè l sèvi avèk li t ap mare solisyon nou an lou ak Kafka, epi nou deside pa sèvi ak li. Apwòch nou te chwazi a pèmèt nou ranplase Kafka ak yon lòt koutye mesaj san gwo chanjman entèn nan sistèm nan.
Konsèp sa a pa vle di ke nou pa sèvi ak depo disk ak baz done. Pou teste ak analize pèfòmans sistèm, nou bezwen sere yon kantite siyifikatif done sou disk ki reprezante divès kalite mezi ak eta. Pwen enpòtan isit la se ke algorithm an tan reyèl pa depann de done sa yo. Nan pifò ka yo, nou itilize done yo ki estoke pou analiz offline, debogaj ak swiv ka espesifik ak rezilta ke sistèm nan pwodui.
Pwoblèm sistèm nou an
Gen sèten pwoblèm ke nou te rezoud nan yon sèten nivo, men yo mande pou plis solisyon reflechi. Koulye a, mwen ta jis renmen mansyone yo isit la paske chak pwen vo atik pwòp li yo.
- Nou toujou bezwen defini pwosesis ak politik ki sipòte akimilasyon done ki gen sans ak enpòtan pou analiz done otomatik nou yo, dekouvèt, ak eksplorasyon.
- Enkòporasyon rezilta analiz imen yo nan pwosesis otomatikman mete sistèm nan mete ajou li ak dènye done yo. Sa a se pa sèlman mete ajou modèl nou an, men tou, mete ajou pwosesis nou yo ak amelyore konpreyansyon nou sou done nou yo.
- Jwenn yon balans ant apwòch detèminist IF-ELSE ak ML. Yon moun te di, "ML se yon zouti pou dezespere yo." Sa vle di ke ou pral vle sèvi ak ML lè ou pa konprann ankò ki jan yo optimize ak amelyore algoritm ou yo. Nan lòt men an, apwòch la detèminist pa pèmèt deteksyon an nan anomali ki pa te antisipe.
- Nou bezwen yon fason ki senp pou teste ipotèz nou yo oswa korelasyon ant metrik nan done yo.
- Sistèm nan dwe gen plizyè nivo rezilta pozitif vre. Ka fwod yo se sèlman yon fraksyon nan tout ka ki ka konsidere kòm pozitif pou sistèm nan. Pou egzanp, analis yo vle resevwa tout ka sispèk pou verifikasyon, epi sèlman yon ti pati nan yo se fwod. Sistèm nan dwe byen prezante tout ka yo bay analis yo, kèlkeswa si se vrè fwod oswa si se yon konpòtman ki sispèk.
- Platfòm done a ta dwe kapab rekipere done istorik ansanm ak kalkil ki te pwodwi ak kalkile sou vole.
- Fasil ak otomatikman deplwaye nenpòt nan eleman sistèm yo nan omwen twa anviwònman diferan: pwodiksyon, eksperimantal (beta) ak pou devlopè.
- Ak dènye men pa pi piti. Nou bezwen bati yon platfòm tès pèfòmans rich sou ki nou ka analize modèl nou yo. [4]
Referans
Sous: www.habr.com