Aikace-aikacen ƙananan lambar a cikin dandamali na nazari

Ya ku masu karatu, barka da rana!

Ayyukan gina dandamali na IT don tattarawa da nazarin bayanai ba dade ko ba dade ya taso ga kowane kamfani wanda kasuwancinsa ya dogara ne akan samfurin isar da sabis na hankali ko ƙirƙirar samfuran fasaha masu rikitarwa. Gina dandamali na nazari aiki ne mai rikitarwa kuma mai ɗaukar lokaci. Duk da haka, ana iya sauƙaƙe kowane aiki. A cikin wannan labarin Ina so in raba gwaninta ta yin amfani da ƙananan kayan aiki don taimakawa ƙirƙirar mafita na nazari. An samu wannan ƙwarewar a yayin aiwatar da ayyuka da yawa a cikin babban jagorar Maganganun Bayanai na Kamfanin Neoflex. Tun da 2005, Babban Jagoran Maganganun Bayanan Neoflex yana magance batutuwan gina ɗakunan ajiya da tafkuna, magance matsalolin inganta saurin sarrafa bayanai da kuma yin aiki a kan hanya don sarrafa ingancin bayanai.

Ba wanda zai iya guje wa tarawar hankali na raunana da/ko ingantaccen tsarin bayanai. Wataƙila ko da muna magana ne game da ƙananan kasuwanci. Bayan haka, lokacin da ake haɓaka kasuwanci, ɗan kasuwa mai ban sha'awa zai fuskanci batutuwan haɓaka shirin aminci, zai so ya bincika tasirin wuraren siyarwa, yayi tunani game da tallan da aka yi niyya, kuma zai yi mamakin buƙatun samfuran rakiyar. . Zuwa kusantar farko, ana iya magance matsalar "a kan gwiwa". Amma yayin da kasuwancin ke girma, zuwan dandalin nazari har yanzu ba makawa.

Koyaya, a cikin wane yanayi ayyukan nazarin bayanai zasu iya haɓaka zuwa matsalolin aji "Kimiyyar Rocket"? Wataƙila a lokacin da muke magana game da ainihin manyan bayanai.
Don sauƙaƙe Kimiyyar Rocket, za ku iya cin giwar gabaɗaya.

Yayin da aikace-aikacenku/sabis ɗinku/kananan sabis ɗinku ke da hankali da ƙwazo, zai kasance da sauƙi gare ku, abokan aikinku da duk kasuwancin ku narkar da giwayen.

Kusan duk abokan cinikinmu sun zo wannan postulate, bayan sun sake gina shimfidar wuri bisa ayyukan injiniya na ƙungiyoyin DevOps.

Amma ko da tare da abincin "raba, giwa", muna da kyakkyawar dama ta "oversaturation" na yanayin IT. A wannan lokacin yana da daraja tsayawa, fitar da numfashi da kallon gefe dandamalin injiniya na ƙananan code.

Yawancin masu haɓakawa suna tsoratar da tsammanin ƙarshen matattu a cikin aikinsu lokacin da suke ƙaura daga rubuta lambar kai tsaye zuwa "jawo" kibau a cikin mu'amalar UI na ƙananan tsarin. Amma zuwan kayan aikin injin bai kai ga bacewar injiniyoyi ba, amma sun kawo aikinsu zuwa wani sabon matakin!

Bari mu gano dalilin.

Binciken bayanai a fagen dabaru, masana'antar sadarwa, binciken kafofin watsa labarai, bangaren kudi ana danganta su da tambayoyi masu zuwa:

• Gudun bincike na atomatik;
• Ikon gudanar da gwaje-gwajen ba tare da shafar babban aikin samar da bayanai ba;
• Amincewar bayanan da aka shirya;
• Canza bin diddigi da siga;
• Tabbatar da bayanan, layin bayanai, CDC;
• Saurin isar da sabbin abubuwa zuwa yanayin samarwa;
• Kuma sananne: farashin ci gaba da tallafi.

Wato, injiniyoyi suna da adadi mai yawa na ayyuka masu girma, waɗanda za a iya kammala su tare da isassun inganci kawai ta hanyar kawar da hankalinsu na ayyukan haɓaka ƙananan matakai.

Abubuwan da ake buƙata don masu haɓakawa don matsawa zuwa sabon matakin shine haɓakawa da ƙididdigewar kasuwanci. Darajar mai haɓakawa kuma tana canzawa: akwai ƙarancin masu haɓakawa waɗanda za su iya nutsar da kansu cikin tunanin kasuwancin da ake sarrafa su ta atomatik.

Bari mu zana kwatanci tare da ƙananan matakai da manyan harsunan shirye-shirye. Canji daga ƙananan harsuna zuwa manyan matakai shine sauyi daga rubuta "umarni kai tsaye a cikin harshen kayan aiki" zuwa "umarni a cikin harshen mutane". Wato, ƙara wani Layer na abstraction. A wannan yanayin, sauye-sauye zuwa dandamali masu ƙarancin ƙima daga manyan yarukan shirye-shirye shine sauyi daga "umarni a cikin harshen mutane" zuwa "umarni a cikin harshen kasuwanci." Idan akwai masu haɓakawa waɗanda suka yi baƙin ciki da wannan gaskiyar, to sun kasance cikin baƙin ciki, watakila, tun lokacin da aka haifi Rubutun Java, wanda ke amfani da ayyukan daidaitawa. Kuma waɗannan ayyuka, ba shakka, suna da aiwatar da software a ƙarƙashin hood ta wasu hanyoyin shirye-shirye masu girma iri ɗaya.

Don haka, ƙananan code shine kawai bayyanar wani matakin abstraction.

Ƙwarewar da aka yi amfani da ita ta amfani da ƙananan lamba

Batun ƙananan lambar yana da faɗi sosai, amma yanzu ina so in yi magana game da aikace-aikacen aikace-aikacen "ƙananan ra'ayi" ta amfani da misalin ɗayan ayyukanmu.

Babban Sashen Magani na Babban Bayanai na Neoflex ya ƙware sosai a fannin kuɗi na kasuwanci, gina ɗakunan ajiya da tafkuna da sarrafa rahotanni daban-daban. A cikin wannan alkuki, amfani da ƙananan lambar ya daɗe ya zama ma'auni. Daga cikin wasu ƙananan kayan aiki, za mu iya ambaci kayan aiki don tsara tsarin ETL: Cibiyar Wuta ta Informatica, IBM Datastage, Pentaho Data Integration. Ko Oracle Apex, wanda ke aiki azaman yanayi don saurin haɓaka hanyoyin sadarwa don samun dama da gyara bayanai. Koyaya, yin amfani da ƙananan kayan aikin haɓaka lambar ba koyaushe yana haɗawa da gina aikace-aikacen da aka yi niyya sosai akan tarin fasahar kasuwanci tare da ingantaccen dogaro ga mai siyarwa ba.

Yin amfani da ƙananan dandamali, zaku iya tsara ƙungiyar magudanan bayanai, ƙirƙirar dandamalin kimiyyar bayanai ko, misali, ƙirar ƙira don bincika ingancin bayanai.

Ɗaya daga cikin misalan da aka yi amfani da su na ƙwarewa wajen yin amfani da ƙananan kayan aikin haɓakawa shine haɗin gwiwa tsakanin Neoflex da Mediascope, ɗaya daga cikin jagorori a kasuwar binciken kafofin watsa labaru na Rasha. Ɗaya daga cikin manufofin kasuwanci na wannan kamfani shine samar da bayanai a kan abin da masu tallace-tallace, dandalin Intanet, tashoshin TV, gidajen rediyo, hukumomin tallace-tallace da kamfanoni ke yanke shawara game da sayen tallace-tallace da tsara hanyoyin sadarwar su.

Binciken kafofin watsa labarai yanki ne na fasaha da aka ɗora kayan kasuwanci. Gane jerin bidiyo, tattara bayanai daga na'urorin da ke nazarin kallo, auna ayyuka akan albarkatun yanar gizo - duk wannan yana nuna cewa kamfani yana da manyan ma'aikatan IT da kuma gogewa mai yawa wajen gina hanyoyin bincike. Amma girman girma a cikin adadin bayanai, lamba da iri-iri na tushen sa yana tilasta masana'antar bayanan IT ta ci gaba koyaushe. Mafi sauƙaƙan mafita don daidaita dandamalin nazari na Mediascope wanda ya riga ya yi aiki zai iya zama haɓaka ma'aikatan IT. Amma mafita mafi inganci ita ce hanzarta aiwatar da ayyukan ci gaba. Ɗaya daga cikin matakan da ke jagorantar wannan hanya na iya zama yin amfani da dandamali marasa ƙima.

A lokacin da aka fara aikin, kamfanin ya riga ya sami maganin samfurin aiki. Duk da haka, aiwatar da mafita a cikin MSSQL ba zai iya cika cikar tsammanin aikin haɓaka aiki ba yayin da yake riƙe ƙimar ci gaba mai karɓuwa.

Aikin da ke gabanmu ya kasance mai kishi da gaske - Neoflex da Mediascope dole ne su haifar da mafita na masana'antu a cikin ƙasa da shekara guda, dangane da sakin MVP a cikin kwata na farko na ranar farawa.

An zaɓi tarin fasahar Hadoop a matsayin tushe don gina sabon dandamalin bayanai dangane da ƙananan ƙididdiga. HDFS ya zama ma'auni don ajiyar bayanai ta amfani da fayilolin parquet. Don samun damar bayanan da ke cikin dandamali, an yi amfani da Hive, wanda a ciki ake gabatar da duk wuraren da ake da su a cikin kantin sayar da kayayyaki ta hanyar tebur na waje. An aiwatar da loda bayanai cikin ma'ajiyar ta amfani da Kafka da Apache NiFi.

An yi amfani da kayan aiki na Lowe-code a cikin wannan ra'ayi don inganta aikin mafi yawan aiki a gina dandalin nazari - aikin lissafin bayanai.

An zaɓi kayan aikin Datagram mara ƙarancin lamba azaman babban hanyar yin taswirar bayanai. Neoflex Datagram kayan aiki ne don haɓaka canje-canje da kwararar bayanai.
Amfani da wannan kayan aikin, zaku iya yin ba tare da rubuta lambar Scala da hannu ba. Ana ƙirƙira lambar Scala ta atomatik ta amfani da tsarin Tsarin Gine-ginen Model.

Babban fa'idar wannan hanyar ita ce hanzarta aiwatar da ayyukan ci gaba. Koyaya, ban da saurin gudu, akwai kuma fa'idodi masu zuwa:

• Duban abun ciki da tsarin tushen / masu karɓa;
• Binciko asalin abubuwan gudanawar bayanai zuwa fagage guda ɗaya (tsari);
• Kisa na ɓangarorin sauye-sauye tare da duba sakamakon matsakaici;
• Yin bita lambar tushe da daidaita shi kafin aiwatarwa;
• Tabbatarwa ta atomatik na canje-canje;
• Zazzage bayanai ta atomatik 1 cikin 1.

Matsala don shiga cikin ƙananan hanyoyin samar da sauye-sauye yana da ƙasa kaɗan: mai haɓakawa yana buƙatar sanin SQL kuma yana da ƙwarewar aiki tare da kayan aikin ETL. Yana da kyau a faɗi cewa masu samar da canji na code ba kayan aikin ETL ba ne a cikin ma'anar kalmar. Ƙananan kayan aikin ƙila ba su da yanayin aiwatar da lambar su. Wato, za a aiwatar da lambar da aka ƙirƙira a cikin yanayin da ya wanzu akan gungu ko da kafin shigar da ƙaramin lambar. Kuma wannan watakila wani ƙari ne don ƙananan karma. Tun da, a cikin layi daya tare da ƙungiyar ƙananan lambar, ƙungiyar "classic" na iya aiki wanda ke aiwatar da ayyuka, alal misali, a cikin lambar Scala mai tsabta. Samar da haɓakawa daga ƙungiyoyin biyu zuwa samarwa zai zama mai sauƙi kuma maras kyau.

Yana da ƙila ya kamata a lura cewa ban da ƙananan lambar, akwai kuma hanyoyin ba-kodi. Kuma a cikin ainihin su, waɗannan abubuwa ne daban-daban. Low-code yana ba mai haɓaka damar ƙara yin kutse tare da lambar da aka ƙirƙira. A cikin yanayin Datagram, yana yiwuwa a duba da gyara lambar Scala da aka samar; no-code bazai samar da irin wannan dama ba. Wannan bambanci yana da matukar muhimmanci ba kawai dangane da sassaucin bayani ba, har ma game da jin dadi da kuma karfafawa a cikin aikin injiniyoyin bayanai.

Magani gine-gine

Bari mu yi ƙoƙari mu gano ainihin yadda ƙananan kayan aiki ke taimakawa wajen magance matsalar inganta saurin haɓaka ayyukan lissafin bayanai. Da farko, bari mu dubi aikin gine-ginen tsarin. Misali a cikin wannan yanayin shine samfurin samar da bayanai don binciken kafofin watsa labarai.

Tushen bayanai a cikin yanayinmu suna da yawa iri-iri kuma sun bambanta:

• Mitar mutane (mitoci na TV) software ne da na'urorin hardware waɗanda ke karanta halayen masu amfani daga masu ba da amsa ta talabijin - waɗanda, lokacin da kuma wane tashar TV aka kalli a cikin gidan da ke shiga cikin binciken. Bayanin da aka kawo shi ne rafi na tazara na kallon watsa shirye-shirye da ke da alaƙa da fakitin kafofin watsa labarai da samfurin watsa labarai. Bayanai a matakin lodawa cikin tafkin Data ana iya wadatar da su tare da halayen alƙaluma, tsarin ƙasa, yankin lokaci da sauran bayanan da suka wajaba don nazarin kallon talabijin na wani samfurin watsa labarai. Ana iya amfani da ma'aunin da aka ɗauka don nazari ko tsara yakin talla, tantance ayyuka da abubuwan da ake so na masu sauraro, da kuma tattara hanyar sadarwar watsa shirye-shirye;
• Bayanan na iya fitowa daga tsarin sa ido don watsa shirye-shiryen talabijin da kuma auna kallon abubuwan albarkatun bidiyo akan Intanet;
• Kayan aikin aunawa a cikin mahallin gidan yanar gizon, gami da duka-tsakiyar-tsakiyar-tsakiyar-tsakiyar-tsakiyar-tsakiyar-tsakiyar-tsakiyar-tsakiyar-tsakiyar-tsaro-tsakiyar-tsaro-tsakiyar-tsaro-tsakiyar-tsaro-tsakiyar-tsaro) da kuma mitoci-mai amfani-mai amfani. Mai ba da bayanai don tafkin Data na iya zama ƙarar mashaya bincike da aikace-aikacen hannu tare da ginanniyar VPN.
• Hakanan bayanai na iya fitowa daga rukunin yanar gizon da ke haɓaka sakamakon cike tambayoyin kan layi da sakamakon tambayoyin tarho a cikin binciken kamfanoni;
• Ƙarin wadatar tafkin bayanai na iya faruwa ta hanyar zazzage bayanai daga rajistan ayyukan kamfanonin abokan hulɗa.

Ana iya tsara aiwatar da yadda ake lodawa daga tsarin tushen zuwa matakin farko na albarkatun danyen bayanai ta hanyoyi daban-daban. Idan ana amfani da ƙananan lambar don waɗannan dalilai, ƙirƙira ta atomatik na rubutun lodi bisa metadata yana yiwuwa. A wannan yanayin, babu buƙatar sauka zuwa matakin haɓaka tushen don yin taswira. Don aiwatar da lodi ta atomatik, muna buƙatar kafa haɗin kai zuwa tushen, sa'an nan kuma ayyana a cikin ma'amalar loading jerin abubuwan da za a ɗora. Za a ƙirƙiri tsarin kundin adireshi a HDFS ta atomatik kuma zai dace da tsarin ajiyar bayanai akan tsarin tushen.

Duk da haka, a cikin mahallin wannan aikin, mun yanke shawarar kada mu yi amfani da wannan fasalin na dandamali na ƙananan lambar saboda gaskiyar cewa kamfanin Mediascope ya riga ya fara aiki da kansa kan samar da irin wannan sabis ta amfani da haɗin Nifi + Kafka.

Yana da daraja nan da nan ya nuna cewa waɗannan kayan aikin ba su da musanyawa, amma ƙari. Nifi da Kafka suna iya aiki duka a kai tsaye (Nifi -> Kafka) kuma a baya (Kafka -> Nifi). Don dandalin bincike na kafofin watsa labaru, an yi amfani da sigar farko na tarin.

A cikin yanayinmu, NayFi yana buƙatar aiwatar da nau'ikan bayanai daban-daban daga tsarin tushe kuma aika su zuwa dillalin Kafka. A wannan yanayin, an aika saƙonni zuwa takamaiman batun Kafka ta amfani da PublishKafka Nifi processor. Ana gudanar da aikin kade-kade da kula da wadannan bututun a cikin hanyar gani. Kayan aikin Nifi da kuma amfani da haɗin Nifi + Kafka kuma ana iya kiran su da ƙananan ƙididdiga don haɓakawa, wanda ke da ƙananan shinge don shiga cikin fasahar Big Data kuma yana hanzarta aiwatar da ci gaban aikace-aikacen.

Mataki na gaba a cikin aiwatar da aikin shi ne kawo cikakkun bayanai zuwa tsarin ma'auni guda ɗaya. Idan mahalli yana da halayen tarihi, ana yin lissafin ne a cikin mahallin ɓangaren da ake tambaya. Idan mahallin ba ta tarihi ba ne, to yana yiwuwa a zaɓi ko dai a sake ƙididdige abubuwan da ke cikin abun gaba ɗaya, ko kuma gaba ɗaya ƙin sake lissafin wannan abu (saboda rashin canje-canje). A wannan mataki, ana ƙirƙira maɓallai don duk mahaɗan. Ana adana maɓallan a cikin kundayen adireshi na Hbase masu dacewa da manyan abubuwa, waɗanda ke ƙunshe da rubutu tsakanin maɓallan a dandalin nazari da maɓallan daga tsarin tushen. Haɓaka abubuwan atom ɗin suna tare da haɓakawa tare da sakamakon ƙididdigar farko na bayanan nazari. Tsarin lissafin bayanai shine Spark. Hakanan an aiwatar da aikin da aka kwatanta don kawo bayanai zuwa ma'ana guda ɗaya bisa taswira daga ƙananan kayan aikin Datagram.

Tsarin gine-ginen da aka yi niyya ya buƙaci samun damar SQL zuwa bayanai don masu amfani da kasuwanci. An yi amfani da hive don wannan zaɓi. Ana yin rajistar abubuwa a cikin Hive ta atomatik lokacin da kuka kunna zaɓin "Table Hive Rejista" a cikin ƙananan kayan aiki.

Kula da kwararar lissafi

Datagram yana da hanyar sadarwa don ƙirƙirar ƙira mai gudanawar aiki. Za a iya ƙaddamar da taswirori ta amfani da tsarin Oozie. A cikin mahaɗar rafi, yana yiwuwa a ƙirƙiri tsare-tsare don daidaitawa, jeri, ko sauye-sauyen bayanan da suka dogara da aiwatarwa. Akwai tallafi don rubutun harsashi da shirye-shiryen java. Hakanan yana yiwuwa a yi amfani da uwar garken Apache Livy. Ana amfani da Apache Livy don gudanar da aikace-aikace kai tsaye daga yanayin ci gaba.

Idan kamfani ya riga yana da nasa mawaƙan tsari, yana yiwuwa a yi amfani da REST API don shigar da taswira cikin kwararar data kasance. Misali, mun sami kyakkyawan gogewa na shigar da taswira a cikin Scala cikin mawaƙa da aka rubuta a cikin PLSQL da Kotlin. API ɗin REST na ƙananan kayan aiki ya haɗa da ayyuka kamar samar da shekara mai aiwatarwa dangane da ƙirar taswira, kiran taswira, kiran jerin taswira, kuma, ba shakka, wuce sigogi zuwa URL don gudanar da taswira.

Tare da Oozie, yana yiwuwa a tsara jigilar lissafi ta amfani da Airflow. Wataƙila ba zan daɗe ba a kan kwatancen da ke tsakanin Oozie da Airflow, amma kawai in faɗi cewa a cikin mahallin aiki a kan aikin binciken kafofin watsa labaru, zaɓin ya faɗi cikin goyon bayan Airflow. Manyan gardama a wannan lokacin sun kasance al'umma mafi ƙwazo wajen haɓaka samfurin da ƙarin haɓakar keɓancewa + API.

Hakanan iska yana da kyau saboda yana amfani da ƙaunataccen Python don bayyana hanyoyin lissafi. Kuma gabaɗaya, babu buɗaɗɗen dandamali sarrafa kwararar aiki. Ƙaddamarwa da saka idanu kan aiwatar da matakai (ciki har da taswirar Gantt) kawai yana ƙara maki zuwa karma na Airflow.

Tsarin fayil ɗin daidaitawa don ƙaddamar da taswirar mafita mara ƙarancin lamba ya zama ƙaddamar da walƙiya. Wannan ya faru ne saboda dalilai biyu. Da farko, ƙaddamar da walƙiya yana ba ku damar gudanar da fayil ɗin jar kai tsaye daga na'ura wasan bidiyo. Abu na biyu, yana iya ƙunsar duk mahimman bayanan da ake buƙata don daidaita tsarin aiki (wanda ke sauƙaƙa rubuta rubutun da ke haifar da Dag).
Mafi yawan abubuwan da aka fi sani da aikin iska a cikin yanayinmu shine SparkSubmitOperator.

SparkSubmitOperator yana ba ku damar gudanar da tulu - fakitin taswirar Datagram tare da sigogin shigarwa da aka riga aka ƙirƙira don su.

Yana da kyau a faɗi cewa kowane aikin Airflow yana gudana ne a cikin zaren daban kuma bai san komai game da wasu ayyuka ba. Don haka, ana yin hulɗa tsakanin ɗawainiya ta amfani da masu sarrafawa, kamar DummyOperator ko BranchPythonOperator.

A hade tare, amfani da Datagram low-code bayani tare da haɗin gwiwar duniya na fayilolin daidaitawa (ƙirƙirar Dag) ya haifar da gagarumin haɓakawa da sauƙi na aiwatar da haɓaka abubuwan da ke gudana.

Nuna lissafin

Wataƙila matakin da ya fi ɗorawa hankali hankali wajen samar da bayanan nazari shine matakin ginin nunin. A cikin mahallin ɗayan ƙididdigar bayanan kamfanin bincike yana gudana, a wannan mataki, an rage bayanan zuwa watsa shirye-shiryen watsa shirye-shirye, yin la'akari da gyare-gyare don yankunan lokaci kuma an haɗa su da grid na watsa shirye-shirye. Hakanan yana yiwuwa a daidaita don cibiyar sadarwar watsa shirye-shiryen gida (labaran gida da talla). Daga cikin wasu abubuwa, wannan matakin ya rushe tazara na ci gaba da kallon kayayyakin watsa labarai dangane da nazarin lokutan kallo. Nan da nan, dabi'un kallo suna "nauyin nauyi" dangane da bayanin mahimmancin su (ƙididdigar ma'aunin gyara).

Wani mataki na daban na shirya abubuwan nuni shine tabbatar da bayanai. Algorithm na tabbatarwa ya ƙunshi amfani da ƙididdiga na kimiyyar lissafi. Koyaya, yin amfani da dandamali mara ƙima yana ba ku damar karya hadadden algorithm zuwa adadin taswirorin gani da za a iya karantawa. Kowane taswirorin yana yin ƙaramin aiki. A sakamakon haka, tsaka-tsakin ɓarna, shiga da hangen nesa na matakan shirye-shiryen bayanai yana yiwuwa.

An yanke shawarar ɓata ingantaccen algorithm cikin matakai masu zuwa:

• Gina koma baya na abubuwan dogaro na kallon hanyar sadarwar TV a cikin yanki tare da kallon duk hanyoyin sadarwa a yankin na kwanaki 60.
• Ƙididdigar abubuwan da aka ƙididdige ɗalibi (bangare na ainihin dabi'u daga waɗanda aka annabta ta hanyar regression model) don duk maki koma baya da kuma ranar ƙididdigewa.
• Zaɓin nau'i-nau'i-nau'i-nau'i-nau'i-nau'i-naunar hanyar sadarwar yanki, inda ma'auni na ɗalibi na ranar sasantawa ya zarce na yau da kullun (akayyade ta saitunan aiki).
• Sake ƙididdige ragowar ɗalibi da aka gyara don nau'ikan hanyoyin sadarwa na yanki-TV ga kowane mai amsa wanda ya kalli hanyar sadarwar a yankin, yana ƙayyade gudummawar wannan mai amsa (yawan canjin saura dalibi) lokacin ban da kallon wannan mai amsa daga samfurin. .
• Nemo ƴan takara waɗanda keɓancewa ya kawo ma'auni na ɗalibi na ranar biya zuwa al'ada.

Misalin da ke sama yana tabbatar da hasashen cewa injiniyan bayanai ya riga ya yi yawa a cikin zuciyarsa ... Kuma, idan wannan shi ne ainihin "injiniya" kuma ba "coder ba," to, tsoron lalacewar sana'a lokacin amfani da ƙananan kayan aiki. dole a karshe ya ja da baya.

Menene kuma ƙananan code zai iya yi?

Iyalin aikace-aikacen ƙananan kayan aiki don tsari da sarrafa bayanai ba tare da buƙatar rubuta lamba da hannu a cikin Scala ba ya ƙare a can.

Amfani da ƙananan code a cikin ci gaban datalake ya riga ya zama ma'auni a gare mu. Wataƙila za mu iya cewa mafita dangane da tarin Hadoop suna bin hanyar ci gaba na DWHs na yau da kullun bisa RDBMS. Kayan aikin ƙananan lambar akan tarin Hadoop na iya magance ayyukan sarrafa bayanai da aikin gina mu'amalar BI na ƙarshe. Bugu da ƙari, ya kamata a lura cewa BI na iya nufin ba kawai wakilcin bayanai ba, har ma da gyara ta masu amfani da kasuwanci. Sau da yawa muna amfani da wannan aikin yayin gina dandamali na nazari don ɓangaren kuɗi.

Daga cikin wasu abubuwa, ta yin amfani da ƙananan code da, musamman, Datagram, yana yiwuwa a magance matsalar bin diddigin abubuwan da ke gudana tare da atomity zuwa fagage guda ɗaya (jinin layi). Don yin wannan, ƙananan kayan aiki na kayan aiki yana aiwatar da dubawa tare da Apache Atlas da Cloudera Navigator. Mahimmanci, mai haɓakawa yana buƙatar yin rijistar saitin abubuwa a cikin ƙamus na Atlas da yin la'akari da abubuwan da aka yi rajista lokacin gina taswira. Hanya don bin diddigin asalin bayanai ko nazarin abubuwan dogaro da abubuwa suna adana lokaci mai yawa lokacin da ya zama dole don inganta algorithms na lissafin. Misali, lokacin shirya bayanan kuɗi, wannan fasalin yana ba ku damar tsira cikin kwanciyar hankali lokacin canje-canjen majalisa. Bayan haka, mafi kyawun fahimtar dogara tsakanin nau'i a cikin mahallin abubuwa na cikakken Layer, ƙananan za mu haɗu da lahani na "kwatsam" kuma rage yawan sake yin aiki.

Ingancin Bayanai & Low-code

Wani aikin da ƙananan kayan aiki na kayan aiki na Mediascope ya aiwatar shine aikin ajin ingancin Bayanai. Wani fasali na musamman na aiwatar da bututun tabbatar da bayanan don aikin kamfanin bincike shine rashin tasiri akan aiki da saurin babban adadin lissafin bayanai. Don samun damar tsara hanyoyin tabbatar da bayanai masu zaman kansu, an yi amfani da abin da aka saba da shi na Apache Airflow. Yayin da kowane mataki na samar da bayanai ke shirye, an ƙaddamar da wani ɓangare na bututun DQ a layi daya.

Ana la'akari da kyakkyawan aiki don saka idanu akan ingancin bayanai tun lokacin da aka fara a cikin dandalin nazari. Samun bayanai game da metadata, zamu iya bincika yarda da ƙa'idodin asali daga lokacin da bayanin ya shiga matakin farko - ba maras kyau ba, ƙuntatawa, maɓallan ƙasashen waje. Ana aiwatar da wannan aikin bisa tushen taswira ta atomatik na ingancin iyali a cikin Datagram. Ƙirƙirar lamba a wannan yanayin kuma ya dogara ne akan metadata samfurin. A kan aikin Mediascope, an gudanar da keɓancewa tare da metadata na samfur Architect Enterprise.

Ta hanyar haɗa ƙananan kayan aiki tare da Architect Enterprise, waɗannan cak ɗin an ƙirƙira su ta atomatik:

• Dubawa don kasancewar ƙimar "rasa" a cikin filayen tare da mai gyara "ba mara amfani" ba;
• Dubawa kasancewar kwafi na maɓalli na farko;
• Duba maɓallin ketare na wani mahaluži;
• Duba keɓantacce na kirtani dangane da saitin filayen.

Don ƙarin hadaddun bincike na samuwar bayanai da dogaro, an ƙirƙiri taswira tare da Scala Expression, wanda ke ɗaukar azaman shigar da lambar rajistan Spark SQL na waje wanda manazarta a Zeppelin suka shirya.

Tabbas, dole ne a sami ci gaban ƙirƙira ta atomatik a hankali a hankali. A cikin tsarin aikin da aka siffanta, an riga an gabatar da wannan da matakai masu zuwa:

• DQ da aka aiwatar a cikin littattafan rubutu na Zeppelin;
• DQ da aka gina cikin taswira;
• DQ a cikin nau'i daban-daban na taswirar taswira mai ƙunshe da dukan saitin cak don wani mahaluƙi daban;
• Taswirar taswirar DQ na duniya waɗanda ke karɓar bayanai game da metadata da duban kasuwanci azaman shigarwa.

Wataƙila babban fa'ida na ƙirƙirar sabis ɗin duba madaidaicin shine raguwar lokacin da ake ɗauka don sadar da ayyuka zuwa yanayin samarwa. Sabbin ingantattun abubuwan dubawa na iya ƙetare ƙa'idodin isar da lamba a kaikaice ta hanyar haɓakawa da wuraren gwaji:

• Ana samar da duk ƙididdigar metadata ta atomatik lokacin da aka gyara samfurin a cikin EA;
• Ana iya samar da bayanan samun bayanan (ƙayyade kasancewar kowane bayanai a lokaci guda) bisa ga kundin adireshi wanda ke adana lokacin da ake tsammanin bayyanar yanki na gaba a cikin mahallin abubuwa;
• Manazarta ne suka ƙirƙira cak ɗin tabbatar da bayanan kasuwanci a cikin littattafan rubutu na Zeppelin. Daga can ana aika su kai tsaye zuwa teburin saitin tsarin DQ a cikin yanayin samarwa.

Babu haɗarin rubutun jigilar kai tsaye zuwa samarwa. Ko da tare da kuskuren syntax, matsakaicin abin da ke barazanar mu shine rashin yin rajistan guda ɗaya, saboda ƙaddamarwar lissafin bayanai da ƙaddamar da ƙaddamar da inganci da juna.

Ainihin, sabis na DQ yana gudana har abada a cikin yanayin samarwa kuma yana shirye don fara aikinsa lokacin da yanki na gaba ya bayyana.

Maimakon a ƙarshe

Amfanin amfani da ƙananan code a bayyane yake. Masu haɓakawa ba sa buƙatar haɓaka aikace-aikacen daga karce. Kuma mai shirye-shiryen da aka 'yanta daga ƙarin ayyuka yana samar da sakamako cikin sauri. Gudun, bi da bi, yana ba da ƙarin lokaci don warware matsalolin ingantawa. Sabili da haka, a cikin wannan yanayin, zaku iya dogaro da mafi kyawun mafita da sauri.

Tabbas, ƙananan code ba panacea ba ne, kuma sihiri ba zai faru da kansa ba:

• Masana'antar ƙananan lambar tana tafiya ta hanyar "ƙarfafa ƙarfi", kuma babu daidaitattun ka'idodin masana'antu tukuna;
• Yawancin hanyoyin magance ƙananan ƙananan ba su da kyauta, kuma sayen su ya kamata ya zama mataki mai hankali, wanda ya kamata a yi tare da cikakkiyar amincewa ga amfanin kudi na amfani da su;
• Yawancin mafita marasa lambar ba koyaushe suna aiki da kyau tare da GIT/SVN. Ko kuma ba su da amfani don amfani idan an ɓoye lambar da aka ƙirƙira;
• Lokacin fadada gine-ginen, yana iya zama dole don tsaftace ƙananan code bayani - wanda, bi da bi, yana haifar da tasirin "haɗe-haɗe da dogaro" ga mai samar da ƙananan lambar.
• Kyakkyawan matakin tsaro yana yiwuwa, amma yana da matukar aiki da wuyar aiwatarwa a cikin injunan tsarin ƙima. Ya kamata a zaɓi dandamali masu ƙarancin ƙima ba kawai akan ƙa'idar neman fa'ida daga amfani da su ba. Lokacin zabar, yana da daraja yin tambayoyi game da samuwar ayyuka don ikon samun dama da wakilai / haɓaka bayanan ganowa zuwa matakin gabaɗayan yanayin IT na ƙungiyar.

Duk da haka, idan duk gazawar tsarin da aka zaɓa an san ku, kuma amfanin da ake amfani da shi, duk da haka, yana cikin mafi rinjaye, to, ku matsa zuwa ƙananan lambar ba tare da tsoro ba. Bugu da ƙari, canzawa zuwa gare shi ba makawa - kamar yadda kowane juyin halitta ba makawa.

Idan wani mai haɓakawa a kan dandamali mai ƙarancin ƙima ya yi aikinsa da sauri fiye da masu haɓakawa biyu ba tare da ƙaramin lambar ba, to wannan yana ba kamfanin gaba ta kowane fanni. Matsakaicin shiga cikin hanyoyin magance ƙananan lambar ya fi ƙasa da fasahar "gargajiya", kuma wannan yana da tasiri mai kyau akan batun ƙarancin ma'aikata. Lokacin amfani da ƙananan kayan aiki, yana yiwuwa a hanzarta hulɗar tsakanin ƙungiyoyi masu aiki da kuma yanke shawara da sauri game da daidaitattun hanyar da aka zaɓa na binciken kimiyyar bayanai. Ƙananan dandamali na iya fitar da canjin dijital na ƙungiya saboda mafita da aka samar za a iya fahimtar ƙwararrun ƙwararrun masu fasaha (musamman masu amfani da kasuwanci).

Idan kuna da ƙayyadaddun ƙayyadaddun ƙayyadaddun ƙayyadaddun ƙayyadaddun tsarin kasuwanci, ƙarancin ƙwarewar fasaha, kuma kuna buƙatar hanzarta lokacinku don kasuwa, to ƙananan lambar hanya ɗaya ce don biyan bukatun ku.

Babu musun mahimmancin kayan aikin ci gaba na gargajiya, amma a yawancin lokuta, yin amfani da ƙananan hanyoyin warware matsalar ita ce hanya mafi kyau don ƙara haɓaka ayyukan da ake warwarewa.

source: www.habr.com