Kimanin watanni shida na ƙarshe ina ƙirƙirar tsarin yaƙi da zamba (ayyukan zamba, zamba, da sauransu) ba tare da wani kayan aikin farko na wannan ba. Ra'ayoyin yau da muka samo kuma muka aiwatar a cikin tsarinmu suna taimaka mana ganowa da kuma nazarin ayyukan zamba da yawa. A cikin wannan labarin, Ina so in yi magana game da ka'idodin da muka bi da kuma abin da muka yi don cimma halin yanzu na tsarinmu, ba tare da shiga cikin fasaha ba.
Ka'idodin tsarin mu
Lokacin da kuka ji kalmomi kamar "atomatik" da "zamba," za ku iya fara tunanin koyon inji, Apache Spark, Hadoop, Python, Airflow, da sauran fasahohi daga tsarin halittu na Apache Foundation da filin Kimiyyar Bayanai. Ina tsammanin akwai wani fanni guda ɗaya na amfani da waɗannan kayan aikin waɗanda galibi ba a ambata ba: suna buƙatar wasu buƙatu a cikin tsarin kasuwancin ku kafin fara amfani da su. A takaice, kuna buƙatar dandamalin bayanan kasuwanci wanda ya haɗa da tafkin bayanai da sito. Amma idan ba ku da irin wannan dandamali kuma kuna buƙatar haɓaka wannan aikin fa? Ka'idoji masu zuwa da na raba a ƙasa sun taimaka mana mu kai ga matakin da za mu iya mai da hankali kan inganta ra'ayoyinmu maimakon gano wanda ke aiki. Duk da haka, wannan ba filin aikin ba ne. Har yanzu akwai abubuwa da yawa a cikin shirin daga mahangar fasaha da samfurin.
Ka'ida ta 1: Ƙimar Kasuwanci ta Farko
Mun sanya "ƙimar kasuwanci" a kan gaba a duk ƙoƙarinmu. Gabaɗaya, duk wani tsarin bincike na atomatik yana cikin rukunin hadaddun tsarin tare da babban matakin sarrafa kansa da ƙwarewar fasaha. Ƙirƙirar cikakken bayani zai ɗauki lokaci mai yawa idan kun ƙirƙiri shi daga karce. Mun yanke shawarar sanya darajar kasuwanci a farko kuma cikar fasaha ta biyu. A rayuwa ta gaske, wannan yana nufin cewa ba mu yarda da ci-gaba da fasaha a matsayin akida ba. Muna zabar fasahar da ta fi dacewa da mu a halin yanzu. Bayan lokaci, yana iya zama kamar dole ne mu sake aiwatar da wasu kayayyaki. Wannan shi ne sulhun da muka yarda.
Ƙa'ida ta 2: Ƙarfafa hankali
Na ci amanar yawancin mutanen da ba su da hannu sosai wajen haɓaka hanyoyin koyo na inji na iya tunanin cewa maye gurbin mutane shine manufa. A gaskiya ma, hanyoyin ilmantarwa na inji ba su da cikakke kuma a wasu yankuna ne kawai zai yiwu a maye gurbinsu. Mun ƙi wannan ra'ayin tun daga farko saboda dalilai da yawa: bayanai marasa daidaituwa akan ayyukan zamba da rashin iya samar da cikakkun jerin fasalulluka don ƙirar koyon injin. Sabanin haka, mun zaɓi ingantaccen zaɓin hankali. Wannan wata madaidaicin ra'ayi ne na hankali na wucin gadi wanda ke mayar da hankali kan rawar tallafi na AI, yana mai da hankali kan gaskiyar cewa fasahar fahimi an yi niyya don haɓaka hankalin ɗan adam maimakon maye gurbinsa. [1]
Ganin wannan, haɓaka cikakken bayani na koyon inji daga farkon yana buƙatar ƙoƙari mai yawa, wanda zai jinkirta ƙirƙirar ƙima ga kasuwancinmu. Mun yanke shawarar gina tsari tare da yanayin koyon inji mai girma a ƙarƙashin jagorancin masana yankin mu. Babban kalubalen da ke tattare da bunkasa irin wannan tsarin shi ne ya samar wa manazartan mu da shari’o’i ba wai kawai a kan ko zamba ne ko a’a ba. Gabaɗaya, duk wani abu mara kyau a cikin halayen abokin ciniki lamari ne na tuhuma wanda ƙwararrun ke buƙatar bincike da amsa ko ta yaya. Kadan daga cikin waɗannan shari'o'in da aka ruwaito kawai za'a iya rarraba su azaman zamba.
Ƙa'ida ta 3: Platform na Tattalin Arziki
Babban ɓangaren ƙalubale na tsarinmu shine tabbatarwa daga ƙarshe zuwa ƙarshen aikin tsarin. Masu nazari da masu haɓakawa yakamata su sami sauƙin tsarin bayanan tarihi tare da duk ma'aunin da aka yi amfani da su don bincike. Bugu da ƙari, dandalin bayanai ya kamata ya samar da hanya mai sauƙi don daidaita saitin awo na data kasance tare da sababbi. Hanyoyin da muke ƙirƙira, kuma waɗannan ba tsarin software ba ne kawai, yakamata mu ba mu damar sake ƙididdige lokutan da suka gabata cikin sauƙi, ƙara sabbin ma'auni da canza hasashen bayanan. Za mu iya cimma wannan ta hanyar tara duk bayanan da tsarin samar da mu ke samarwa. A wannan yanayin, bayanan za su zama abin damuwa a hankali. Muna buƙatar adana adadin bayanai da ba mu amfani da su kuma mu kare su. A cikin irin wannan yanayin, bayanai za su ƙara zama marasa mahimmanci a cikin lokaci, amma har yanzu yana buƙatar ƙoƙarinmu don sarrafa shi. A gare mu, tattara bayanai bai yi ma'ana ba, don haka mun yanke shawarar ɗaukar wata hanya ta dabam. Mun yanke shawarar tsara ma'ajin bayanai na ainihin-lokaci a kusa da abubuwan da muke son rarrabawa, da adana bayanan da ke ba mu damar bincika mafi kwanan nan da lokutan da suka dace. Kalubale ga wannan ƙoƙarin shine tsarinmu yana da nau'i daban-daban, tare da ma'ajin bayanai da yawa da kayan aikin software waɗanda ke buƙatar yin shiri mai kyau don aiki daidai.
Zane Concepts na mu tsarin
Muna da manyan abubuwa guda huɗu a cikin tsarin mu: tsarin ingestion, lissafi, nazarin BI da tsarin bin diddigi. Suna ba da takamaiman dalilai, keɓantacce, kuma muna ware su ta hanyar bin takamaiman hanyoyin ƙira.
Tsarin kwangilar kwangila
Da farko, mun yarda cewa sassan ya kamata su dogara ne kawai akan wasu tsarin bayanai (kwagiloli) da aka shiga tsakanin su. Wannan yana sauƙaƙe haɗawa tsakanin su kuma ba sanya takamaiman abun da ke ciki (da tsari) na abubuwan haɗin gwiwa ba. Misali, a wasu lokuta wannan yana ba mu damar haɗa tsarin ci gaba kai tsaye tare da tsarin sa ido na faɗakarwa. A irin wannan yanayin, za a yi hakan daidai da yarjejeniyar faɗakarwa da aka amince. Wannan yana nufin cewa duka bangarorin biyu za a haɗa su ta amfani da kwangilar da kowane bangare zai iya amfani da shi. Ba za mu ƙara ƙarin kwangila don ƙara faɗakarwa zuwa tsarin sa ido daga tsarin shigarwa ba. Wannan hanya tana buƙatar amfani da ƙayyadaddun ƙayyadaddun adadin kwangila da sauƙaƙa tsarin da sadarwa. Mahimmanci, muna ɗaukar hanyar da ake kira "Contract First Design" kuma mu yi amfani da ita ga kwangilolin yawo. [2]
Yawo ko'ina
Ajiye da sarrafa yanayi a cikin tsarin babu makawa zai haifar da rikitarwa wajen aiwatar da shi. Gabaɗaya, ya kamata jihar ta kasance mai isa ga kowane ɓangaren, ya kamata ya kasance daidai da samar da mafi ƙimar halin yanzu a duk abubuwan da aka gyara, kuma yakamata ya zama abin dogaro tare da madaidaitan dabi'u. Bugu da ƙari, samun kira zuwa ma'ajiya na dindindin don dawo da sabuwar jihar zai ƙara yawan ayyukan I/O da sarƙaƙƙiyar algorithms da ake amfani da su a cikin bututunmu na ainihi. Saboda wannan, mun yanke shawarar cire ajiyar jihar, idan zai yiwu, gaba daya daga tsarin mu. Wannan hanyar tana buƙatar haɗa duk mahimman bayanai a cikin toshe bayanan da aka watsa (saƙon). Misali, idan muna buƙatar ƙididdige adadin adadin wasu abubuwan lura (yawan ayyuka ko lokuta tare da wasu halaye), muna ƙididdige shi a cikin ƙwaƙwalwar ajiya kuma muna samar da rafi na irin waɗannan ƙimar. Dogaro da kayayyaki za su yi amfani da rarrabuwa da batching don raba rafi zuwa ƙungiyoyi da aiki akan sabbin dabi'u. Wannan hanyar ta kawar da buƙatar samun ma'ajiyar faifai na dindindin don irin waɗannan bayanai. Tsarin mu yana amfani da Kafka azaman dillalin saƙo kuma ana iya amfani dashi azaman ma'ajin bayanai tare da KSQL. [3] Amma yin amfani da shi zai daure maganinmu sosai ga Kafka, kuma mun yanke shawarar ba za mu yi amfani da shi ba. Hanyar da muka zaɓa ta ba mu damar maye gurbin Kafka tare da wani dillalin saƙo ba tare da manyan canje-canje na ciki ga tsarin ba.
Wannan ra'ayi baya nufin cewa ba ma amfani da ma'ajiyar faifai da ma'ajin bayanai ba. Don gwadawa da nazarin aikin tsarin, muna buƙatar adana adadi mai yawa akan faifai wanda ke wakiltar ma'auni da jihohi daban-daban. Muhimmin batu a nan shi ne cewa ainihin-lokaci algorithms ba su dogara da irin wannan bayanai. A mafi yawan lokuta, muna amfani da bayanan da aka adana don bincike na layi, gyarawa da bin takamaiman lokuta da sakamakon da tsarin ke samarwa.
Matsalolin tsarin mu
Akwai wasu matsalolin da muka warware su zuwa wani matakin, amma suna buƙatar ƙarin mafita na tunani. Yanzu zan so in ambace su a nan saboda kowane batu yana da darajar labarinsa.
- Har yanzu muna buƙatar ayyana matakai da manufofin da ke goyan bayan tara bayanai masu ma'ana kuma masu dacewa don bincike, ganowa, da binciken bayanan mu mai sarrafa kansa.
- Shigar da binciken ɗan adam yana haifar da tsarin kafa tsarin ta atomatik don sabunta shi da sabbin bayanai. Wannan ba kawai sabunta tsarin mu ba ne, har ma da sabunta hanyoyinmu da inganta fahimtarmu game da bayananmu.
- Neman ma'auni tsakanin tsarin ƙaddara na IF-ELSE da ML. Wani ya ce, "ML kayan aiki ne ga masu matsananciyar wahala." Wannan yana nufin cewa za ku so kuyi amfani da ML lokacin da kuka daina fahimtar yadda ake haɓakawa da haɓaka algorithms ɗin ku. A gefe guda, tsarin ƙaddara ba ya ƙyale gano abubuwan da ba a yi tsammani ba.
- Muna buƙatar hanya mai sauƙi don gwada hasashenmu ko alaƙa tsakanin awo a cikin bayanai.
- Dole ne tsarin ya sami matakai da yawa na sakamako mai kyau na gaskiya. Laifukan zamba kaɗan ne kawai na duk shari'o'in da za a iya ɗauka masu kyau ga tsarin. Misali, manazarta suna so su karɓi duk abubuwan da ake tuhuma don tabbatarwa, kuma kaɗan ne kawai daga cikinsu zamba ne. Dole ne tsarin ya gabatar da dukkan shari'o'i da kyau ga manazarta, ba tare da la'akari da ko ha'inci na ainihi ba ne ko kuma hali na tuhuma kawai.
- Ya kamata dandamalin bayanan ya sami damar dawo da bayanan bayanan tarihi tare da ƙididdigar ƙididdiga da ƙididdige su akan tashi.
- A sauƙaƙe kuma ta atomatik tura kowane ɓangaren tsarin a cikin aƙalla mahalli daban-daban guda uku: samarwa, gwaji (beta) da na masu haɓakawa.
- Kuma na ƙarshe amma ba kalla ba. Muna buƙatar gina ingantaccen dandali na gwaji na ayyuka wanda a kai za mu iya bincika samfuran mu. [4]
nassoshi
source: www.habr.com