Дар давоми тақрибан шаш моҳи охир ман як системаи мубориза бо қаллобӣ (фаъолияти қаллобӣ, қаллобӣ ва ғайра) бидуни ҳеҷ гуна инфрасохтори ибтидоӣ барои ин таъсис додам. Идеяхои имруза, ки мо дар системам худ пайдо карда, ба амал баровардаем, ба мо ёрй мерасонанд, ки бисьёр амалхои каллобиро ошкор ва тахлил кунем. Дар ин мақола ман мехостам дар бораи принсипҳое, ки мо риоя кардем ва барои ноил шудан ба ҳолати кунунии системаамон чӣ кор кардем, бидуни ворид шудан ба қисми техникӣ сухан гӯям.
Принсипхои системаи мо
Вақте ки шумо истилоҳҳои "автоматӣ" ва "қаллобӣ" -ро мешунавед, шумо эҳтимолан дар бораи омӯзиши мошинсозӣ, Apache Spark, Hadoop, Python, Airflow ва дигар технологияҳо аз экосистемаи Бунёди Apache ва соҳаи Data Science фикр мекунед. Ман фикр мекунам, ки як ҷанбаи истифодаи ин асбобҳо вуҷуд дорад, ки одатан зикр намешаванд: онҳо пеш аз оғози истифодаи онҳо дар системаи корхонаи шумо шартҳои муайянро талаб мекунанд. Хулоса, ба шумо платформаи додаҳои корпоративӣ лозим аст, ки кӯли маълумот ва анбори маълумотро дар бар мегирад. Аммо чӣ мешавад, агар шумо чунин платформа надошта бошед ва то ҳол бояд ин таҷрибаро таҳия кунед? Принсипҳои зерине, ки ман дар зер нақл мекунам, ба мо кӯмак карданд, ки ба ҷое бирасем, ки мо метавонем ба беҳтар кардани ғояҳои худ диққат диҳем, на пайдо кардани идеяи мувофиқ. Аммо, ин як платои лоиҳа нест. Дар план аз чихати технологй ва махсулотбарорй хануз бисьёр чизхо мавчуданд.
Принсипи 1: Аввалан арзиши тиҷорат
Мо «арзиши тичоратй»-ро дар мадди аввал мегузорем. Умуман, ҳама гуна системаи таҳлили автоматӣ ба гурӯҳи системаҳои мураккаби дорои дараҷаи баланди автоматизатсия ва мураккабии техникӣ мансуб аст. Эҷоди ҳалли мукаммал, агар шумо онро аз сифр эҷод кунед, вақти зиёдро мегирад. Мо тасмим гирифтем, ки арзиши тиҷоратро дар ҷои аввал ва мукаммалии технологӣ дар ҷои дуюм гузорем. Дар ҳаёти воқеӣ ин маънои онро дорад, ки мо технологияи пешрафтаро ҳамчун догма қабул намекунем. Мо технологияеро интихоб мекунем, ки дар айни замон барои мо беҳтар кор мекунад. Бо мурури замон, ба назар чунин мерасад, ки мо бояд баъзе модулҳоро аз нав татбиқ кунем. Ин созишест, ки мо қабул кардем.
Принсипи 2: иктишофи афзоянда
Ман боварӣ дорам, ки аксари одамоне, ки дар таҳияи қарорҳои омӯзиши мошинсозӣ амиқ иштирок намекунанд, шояд фикр кунанд, ки иваз кардани одамон ҳадаф аст. Дар асл, қарорҳои омӯзиши мошинсозӣ аз комилият дуранд ва танҳо дар баъзе соҳаҳо иваз кардан мумкин аст. Мо ин идеяро аз аввал бо якчанд сабаб рад кардем: маълумоти нобаробар дар бораи фаъолияти қаллобӣ ва имконнопазирии пешниҳод кардани рӯйхати ҳамаҷонибаи хусусиятҳо барои моделҳои омӯзиши мошин. Баръакси ин, мо варианти мукаммали иктишофиро интихоб кардем. Ин як консепсияи алтернативии зеҳни сунъӣ аст, ки ба нақши пуштибони AI тамаркуз мекунад ва таъкид мекунад, ки технологияҳои маърифатӣ барои такмил додани зеҳни инсон, на иваз кардани он. [1]
Бо дарназардошти ин, таҳияи як ҳалли мукаммали омӯзиши мошинсозӣ аз ибтидо кӯшиши зиёдро талаб мекунад, ки эҷоди арзишро барои тиҷорати моро ба таъхир меандозад. Мо тасмим гирифтем, ки бо роҳнамоии коршиносони домени худ системаеро бо ҷанбаи омӯзиши мошинсозӣ такроран афзоянда созем. Қисми душвори таҳияи чунин система дар он аст, ки он бояд ба таҳлилгарони мо парвандаҳоро на танҳо дар робита ба он, ки фаъолияти қаллобӣ аст ё не. Умуман, ҳама гуна аномалия дар рафтори муштарӣ як ҳолати шубҳанокест, ки мутахассисон бояд бо кадом роҳе ба онҳо посух диҳанд. Танҳо як қисми ин парвандаҳои гузоришшуда метавонанд воқеан ҳамчун қаллобӣ тасниф карда шаванд.
Принсипи 3: Платформаи Rich Analytics
Қисми душвортарини системаи мо ин санҷиши ҳамаҷонибаи ҷараёни кории система мебошад. Таҳлилгарон ва таҳиягарон бояд ба осонӣ маҷмӯи маълумоти таърихиро бо тамоми ченакҳое, ки барои таҳлил истифода мешаванд, ба даст оранд. Илова бар ин, платформаи додаҳо бояд роҳи осони мукаммал кардани маҷмӯи ченакҳои мавҷударо бо ченакҳои нав таъмин намояд. Равандҳое, ки мо эҷод мекунем ва ин танҳо равандҳои нармафзор нестанд, бояд ба мо имкон диҳанд, ки давраҳои қаблиро ба осонӣ аз нав ҳисоб кунем, ченакҳои нав илова кунем ва пешгӯии маълумотро тағир диҳем. Мо метавонем ба ин тавассути ҷамъ овардани тамоми маълумоте, ки системаи истеҳсолии мо тавлид мекунад, ноил шавем. Дар ин ҳолат, маълумот тадриҷан боиси ташвиш мегардад. Мо бояд миқдори афзояндаи маълумотеро, ки мо истифода намебарем, нигоҳ дорем ва онҳоро ҳифз кунем. Дар чунин сенария, маълумот бо мурури замон номувофиқтар мешавад, аммо ба ҳар ҳол кӯшишҳои моро барои идора кардани он талаб мекунад. Барои мо, ҷамъоварии маълумот маъно надошт, аз ин рӯ мо тасмим гирифтем, ки равиши дигарро пеш гирем. Мо тасмим гирифтем, ки мағозаҳои воқеии маълумотро дар атрофи объектҳои мавриди ҳадаф, ки мо мехоҳем тасниф кунем, ташкил кунем ва танҳо маълумотеро нигоҳ дорем, ки ба мо имкон медиҳад, ки давраҳои охирин ва мувофиқро тафтиш кунем. Мушкилоти ин кӯшиш дар он аст, ки системаи мо гетерогенӣ буда, дорои захираҳои сершумори додаҳо ва модулҳои нармафзор аст, ки банақшагирии бодиққат барои ба таври муттасил кор карданро талаб мекунанд.
Консепсияҳои тарҳрезии системаи мо
Мо дар системаи мо чор ҷузъи асосӣ дорем: системаи воридшавӣ, ҳисобкунӣ, таҳлили BI ва системаи пайгирӣ. Онҳо ба мақсадҳои мушаххас ва ҷудогона хизмат мекунанд ва мо онҳоро бо риояи равишҳои мушаххаси тарроҳӣ ҷудо нигоҳ медорем.
Тарҳрезӣ дар асоси шартнома
Пеш аз ҳама, мо ба мувофиқа расидем, ки ҷузъҳо бояд танҳо ба сохторҳои муайяни додаҳо (шартномаҳо) такя кунанд, ки байни онҳо дода мешаванд. Ин ҳамгироиро дар байни онҳо осон мекунад ва таркиби мушаххаси (ва тартиби) ҷузъҳоро муқаррар намекунад. Масалан, дар баъзе мавридҳо ин ба мо имкон медиҳад, ки системаи қабулро бо системаи пайгирии огоҳӣ мустақиман муттаҳид созем. Дар ин ҳолат, ин мувофиқи шартномаи огоҳии мувофиқашуда анҷом дода мешавад. Ин маънои онро дорад, ки ҳарду ҷузъҳо бо истифода аз шартномае, ки ҳама ҷузъҳои дигар метавонанд истифода баранд, муттаҳид карда мешаванд. Мо барои илова кардани огоҳиҳо ба системаи пайгирӣ аз системаи вуруд шартномаи иловагӣ илова намекунем. Ин равиш истифодаи миқдори ҳадди ақали шартномаҳои пешакӣ муайяншударо талаб мекунад ва система ва алоқаро содда мекунад. Аслан, мо равишеро бо номи "Тарҳи аввалияи шартнома" қабул мекунем ва онро ба шартномаҳои ҷараёнӣ татбиқ мекунем. [2]
Ҷараён дар ҳама ҷо
Нигоҳдорӣ ва идоракунии давлат дар система ногузир боиси мушкилот дар татбиқи он мегардад. Умуман, ҳолат бояд аз ҳама ҷузъҳо дастрас бошад, он бояд мувофиқ бошад ва арзиши кунуниро дар тамоми ҷузъҳо таъмин кунад ва бо арзишҳои дуруст боэътимод бошад. Илова бар ин, доштани зангҳо ба нигаҳдории доимӣ барои дарёфти ҳолати охирин шумораи амалиёти I/O ва мураккабии алгоритмҳои дар лӯлаҳои вақти воқеии мо истифодашавандаро зиёд мекунад. Бинобар ин, мо тасмим гирифтем, ки захираи давлатиро, агар имконпазир бошад, аз системаи худ комилан хориҷ кунем. Ин равиш талаб мекунад, ки тамоми маълумоти зарурӣ ба блоки додаҳои (паём) интиқолшаванда дохил карда шаванд. Масалан, агар ба мо лозим меояд, ки шумораи умумии баъзе мушоњидањоро (шумораи амалњо ё њолатњои дорои хусусиятњои муайян) њисоб кунем, мо онро дар хотира њисоб мекунем ва љараёни чунин арзишњоро тавлид мекунем. Модулҳои вобаста барои тақсим кардани ҷараён ба объектҳо ва аз рӯи арзишҳои охирин кор кардан тақсимот ва бастабандӣ истифода хоҳанд кард. Ин равиш зарурати доштани нигаҳдории доимии диск барои чунин маълумотро аз байн бурд. Системаи мо Кафкаро ҳамчун брокери паём истифода мебарад ва он метавонад ҳамчун пойгоҳи додаҳо бо KSQL истифода шавад. [3] Аммо истифодаи он ҳалли моро сахт ба Кафка мепайвандад ва мо тасмим гирифтем, ки онро истифода набарем. Равиши интихобкардаи мо ба мо имкон медиҳад, ки Кафкаро бо брокери паёми дигар бидуни тағироти ҷиддии дохилӣ дар система иваз кунем.
Ин консепсия маънои онро надорад, ки мо нигоҳдории диск ва пойгоҳи додаҳоро истифода набарем. Барои санҷиш ва таҳлили кори система, мо бояд миқдори зиёди маълумотро дар диск нигоҳ дорем, ки нишондиҳандаҳо ва ҳолати гуногунро ифода мекунанд. Нуктаи муҳим дар ин ҷо он аст, ки алгоритмҳои вақти воқеӣ аз чунин маълумот вобаста нестанд. Дар аксари ҳолатҳо, мо маълумоти захирашударо барои таҳлили офлайнӣ, ислоҳ ва пайгирии ҳолатҳо ва натиҷаҳои мушаххасе, ки система истеҳсол мекунад, истифода мебарем.
Проблемахои системаи мо
Проблемахои муайяне хастанд, ки мо онхоро ба дарачаи муайян хал кардаем, вале онхо халли мулохиза-коронатарро талаб мекунанд. Ҳоло мехоҳам онҳоро дар ин ҷо зикр намоям, зеро ҳар як нукта арзишманди мақолаи худро дорад.
- Мо ҳоло ҳам бояд равандҳо ва сиёсатҳоеро муайян кунем, ки ҷамъоварии маълумоти пурмазмун ва мувофиқро барои таҳлили автоматии додаҳо, кашф ва иктишофи мо дастгирӣ мекунанд.
- Ворид намудани натиҷаҳои таҳлили инсон ба раванди ба таври худкор насб кардани система барои навсозии он бо маълумоти охирин. Ин на танҳо модели моро навсозӣ мекунад, балки равандҳои моро навсозӣ мекунад ва фаҳмиши мо дар бораи маълумоти моро беҳтар мекунад.
- Ҷустуҷӯи мувозинат байни равиши детерминистии IF-ELSE ва ML. Касе гуфт, ки "ML як абзорест барои ноумедиҳо." Ин маънои онро дорад, ки шумо мехоҳед ML-ро истифода баред, вақте ки шумо дигар намефаҳмед, ки чӣ гуна алгоритмҳои худро оптимизатсия ва такмил диҳед. Аз тарафи дигар, равиши детерминистӣ имкон намедиҳад, ки аномалияҳое, ки пешгӯинашаванда буданд, ошкор карда шаванд.
- Ба мо як роҳи оддии санҷиши гипотезаҳо ё таносуби байни ченакҳо дар додаҳо лозим аст.
- Система бояд якчанд сатҳҳои натиҷаҳои мусбии ҳақиқӣ дошта бошад. Ҳодисаҳои қаллобӣ танҳо як қисми ҳамаи парвандаҳое мебошанд, ки барои система мусбат ҳисобида мешаванд. Масалан, таҳлилгарон мехоҳанд, ки ҳама парвандаҳои шубҳанокро барои тафтиш бигиранд ва танҳо як қисми ками онҳо қаллобӣ мебошанд. Система бояд ҳама ҳолатҳоро ба таҳлилгарон, новобаста аз он ки ин қаллобӣ ё танҳо рафтори шубҳанок аст, ба таври муассир пешниҳод кунад.
- Платформаи додаҳо бояд қодир бошад, ки маҷмӯи маълумотҳои таърихиро бо ҳисобҳои дар парвоз тавлидшуда ва ҳисобшуда дарёфт кунад.
- Ҳама гуна ҷузъҳои системаро ба осонӣ ва ба таври худкор дар ҳадди аққал се муҳити гуногун ҷойгир кунед: истеҳсолӣ, таҷрибавӣ (бета) ва барои таҳиягарон.
- Ва дар охир, вале на камтар аз он. Мо бояд як платформаи бойи санҷиши самаранокиро созем, ки дар он мо моделҳои худро таҳлил карда метавонем. [4]
мурожиат
Манбаъ: will.com