Te hanga i tetahi punaha aunoa mo te patu i nga kaipahua i runga i te waahi (tinihanga)

Mo nga marama e ono kua pahure ake nei i hanga e au he punaha ki te patu i te mahi tinihanga (mahi tinihanga, tinihanga, aha atu) kaore he hanganga tuatahi mo tenei. Ko nga whakaaro o tenei ra kua kitea e matou, kua whakatinanahia i roto i ta maatau punaha ka awhina i a maatau ki te kite me te tātari i te maha o nga mahi tinihanga. I roto i tenei tuhinga, e hiahia ana ahau ki te korero mo nga kaupapa i whaia e matou me nga mea i mahia e matou ki te whakatutuki i te ahuatanga o to maatau punaha, me te kore e uru ki te waahanga hangarau.

Nga tikanga o to tatou punaha

Ka rongo koe i nga kupu penei i te "aunoa" me te "tinihanga," ka timata pea koe ki te whakaaro mo te ako miihini, Apache Spark, Hadoop, Python, Airflow, me etahi atu hangarau mai i te punaha rauropi Apache Foundation me te mara Pūtaiao Raraunga. Ki taku whakaaro ko tetahi ahuatanga o te whakamahi i enei taputapu kaore i te whakahuahia i te nuinga o te waa: me hiahia etahi tikanga i roto i to punaha hinonga i mua i to tiimata ki te whakamahi. I roto i te poto, me hiahia koe ki tetahi papaa raraunga hinonga kei roto he roto raraunga me te whare putunga. Engari me pehea mena karekau he turanga penei me te hiahia tonu ki te whakawhanake i tenei mahi? Ko nga maataapono e whai ake nei ka tohatohahia e ahau i raro nei i awhina i a maatau ki te eke ki tetahi waahi ka taea e taatau te aro ki te whakapai ake i o maatau whakaaro, kaua ki te rapu i tetahi e pai ana. Heoi, ehara tenei i te papaahi kaupapa. He maha tonu nga mea kei roto i te mahere mai i te tirohanga hangarau me te hua.

Kaupapa 1: Te Uara Pakihi Tuatahi

Ka waiho e matou "te uara pakihi" ki mua i a maatau mahi katoa. I te nuinga o te waa, ko tetahi punaha tātari aunoa no te roopu o nga punaha uaua me te taumata teitei o te automation me te uaua hangarau. Ko te hanga otinga oti ka roa te wa mena ka hangaia e koe mai i te wahanga. I whakatau matou ki te tuu i te uara pakihi ki te tuatahi me te whakaotinga hangarau tuarua. I roto i te ora tonu, ko te tikanga kaore matou e whakaae ki nga hangarau matatau hei dogma. Ka whiriwhiria e matou te hangarau e pai ana mo matou i tenei wa. Ka roa te wa, te ahua nei me mahi ano tatou i etahi waahanga. Koinei te taupatupatu i whakaaetia e matou.

Kaupapa 2: Whakanuia te matauranga

Ka whakaaro ahau ko te nuinga o nga tangata kaore i tino whai waahi ki te whakawhanake i nga otinga ako miihini ka whakaaro ko te whakakapi i te tangata te whainga. Inaa, ko nga otinga ako miihini kei tawhiti atu i te tino tika, a, i etahi waahi anake ka taea te whakakapi. I paopao matou i tenei whakaaro mai i te timatanga mo etahi take: nga raraunga kore taurite mo nga mahi tinihanga me te kore e kaha ki te whakarato i te rarangi matawhānui o nga ahuatanga mo nga tauira ako miihini. He rereke, i whiriwhiria e matou te kowhiringa mohiotanga whakarei ake. He kaupapa rerekee tenei mo te matauranga hangai e aro ana ki te mahi tautoko a AI, me te whakanui i te meka ko nga hangarau hinengaro e kii ana ki te whakarei ake i te mohiotanga o te tangata, kaua ki te whakakapi. [1]

I runga i tenei, ko te whakawhanake i tetahi otinga ako miihini katoa mai i te tiimatanga me whakapau kaha, ka whakaroa te hanga wariu mo a maatau pakihi. I whakatau matou ki te hanga i tetahi punaha me tetahi waahanga ako miihini e tipu haere tonu ana i raro i te arahi a o maatau tohunga rohe. Ko te wahanga uaua o te whakawhanake i taua punaha ko te whakarato ki o tatou kaitätari he take ehara i te mea he mahi tinihanga, ehara ranei. I te nuinga o te waa, ko nga ahuatanga kino o te whanonga a nga kaihoko he keehi hihira e tika ana kia tirotirohia e nga tohunga me te whakautu. Ko te hautanga anake o enei keehi kua panuitia ka taea te kiia he tinihanga.

Maapono 3: Paerewa Taonga Taonga

Ko te waahanga tino wero o ta maatau punaha ko te manatoko mutunga-ki-mutunga o te rerengamahi o te punaha. Ko nga kaitätari me nga kaiwhakawhanake me ngawari te tiki i nga huinga raraunga o mua me nga inenga katoa e whakamahia ana mo te tātari. I tua atu, me whakarato e te papanga raraunga he huarahi ngawari ki te whakakii i tetahi huinga inenga o mua me nga mea hou. Ko nga tukanga ka hangaia e matou, a ehara enei i nga tikanga rorohiko anake, me tuku maatau ki te tatau ano i nga waa o mua, te taapiri i nga inenga hou me te whakarereke i te matapae raraunga. Ka taea e tatou te whakatutuki i tenei ma te whakaemi i nga raraunga katoa ka mahia e to maatau punaha whakaputa. I roto i tenei take, ka huri haere nga raraunga hei whakararuraru. Me rokiroki e matou te nui haere o nga raraunga karekau e whakamahia me te tiaki. I roto i tenei ahuatanga, ka nui ake te koretake o nga raraunga i roto i te waa, engari me kaha tonu taatau ki te whakahaere. Ki a matou, karekau he tikanga o te penapena raraunga, no reira ka whakatau matou ki te whai huarahi rereke. I whakatau matou ki te whakarite i nga toa raraunga tuuturu huri noa i nga hinonga whaainga e hiahia ana matou ki te whakarōpū, ka penapena ko nga raraunga anake ka taea e matou te tirotiro i nga waa hou me nga waa e tika ana. Ko te wero ki tenei mahi he rerekee to taatau punaha, me te maha o nga toa raraunga me nga waahanga raupaparorohiko e hiahia ana ki te whakamahere kia rite tonu te mahi.

Nga ariā hoahoa o to tatou punaha

E wha nga waahanga matua kei roto i ta maatau punaha: te punaha whakauru, te rorohiko, te tātari BI me te punaha aroturuki. Ka mahi ratou i nga kaupapa motuhake, motuhake, ka noho motuhake ma te whai i nga huarahi hoahoa motuhake.

Te hanga i tetahi punaha aunoa mo te patu i nga kaipahua i runga i te waahi (tinihanga)

Hoahoa-kirimana

Ko te mea tuatahi, i whakaae matou ko nga waahanga me whakawhirinaki anake ki etahi hanganga raraunga (kirimana) ka tukuna i waenga i a raatau. Ma tenei ka ngawari ki te whakauru i waenga i a raatau me te kore e utaina he hanganga motuhake (me te raupapa) o nga waahanga. Hei tauira, i etahi wa ka taea e tatou te whakauru tika i te punaha whakauru me te punaha aroturuki mataara. I roto i nga ahuatanga penei, ka mahia tenei i runga i te kirimana mataara kua whakaaetia. Ko te tikanga ka whakauruhia nga waahanga e rua ma te whakamahi i tetahi kirimana ka taea e tetahi atu waahanga te whakamahi. Kaore matou e taapiri i tetahi kirimana taapiri hei taapiri i nga matohi ki te punaha aroturuki mai i te punaha whakauru. Ko tenei huarahi me whakamahi i te iti rawa o nga kirimana kua tohua me te whakangawari i te punaha me nga whakawhitinga korero. Ko te tikanga, ka whai tatou i tetahi huarahi e kiia nei ko "Contract First Design" ka whakamahi ki nga kirimana whakawhiti. [2]

Rere ana ki nga waahi katoa

Ko te penapena me te whakahaere i te ahua o te punaha ka kore e kore ka raru te whakatinanatanga. I te nuinga o te waa, me uru mai te kawanatanga mai i tetahi waahanga, me rite tonu me te whakarato i te uara o naianei puta noa i nga waahanga katoa, me te pono me nga uara tika. I tua atu, ma te waea atu ki te rokiroki pumau ki te tiki i nga ahuatanga hou ka piki ake te maha o nga mahi I/O me te uaua o nga algorithm e whakamahia ana i roto i o maatau paipa wa-tūturu. Na tenei, i whakatau matou ki te tango i te rokiroki a te kawanatanga, mena ka taea, i to maatau punaha. Ko tenei huarahi me whakauru nga raraunga katoa e tika ana ki roto i te poraka raraunga tuku (karere). Hei tauira, ki te hiahia taatau ki te tatau i te tapeke o etahi tirohanga (te maha o nga mahi, nga keehi ranei me etahi ahuatanga), ka tatauhia i roto i te mahara ka whakaputahia he awa o aua uara. Ka whakamahi nga waahanga whakawhirinaki ki te wehewehe me te puranga ki te wehe i te awa ki nga hinonga me te mahi i runga i nga uara hou. I whakakorea e tenei huarahi te hiahia kia mau tonu te rokiroki kōpae mo aua raraunga. Ka whakamahia e ta maatau punaha a Kafka hei kaihokohoko karere, ka taea te whakamahi hei paataka korero me te KSQL. [3] Engari ma te whakamahi ka tino herea ta matou otinga ki a Kafka, ka whakatau matou kia kaua e whakamahi. Ko te huarahi i whiriwhiria e maatau ki te whakakapi i a Kafka me tetahi atu kaihokohoko korero kaore he huringa nui o roto ki te punaha.

Ko tenei ariā ehara i te mea kaore matou e whakamahi i te rokiroki kōpae me nga papaa raraunga. Hei whakamatautau me te wetewete i te mahinga o te punaha, me penapena te nui o nga raraunga ki runga kōpae e tohu ana i nga momo inenga me nga ahuatanga. Ko te mea nui i konei ko nga algorithms wa-tūturu kaore e whakawhirinaki ki nga raraunga penei. I te nuinga o nga wa, ka whakamahia e matou nga raraunga rongoa mo te tātari tuimotu, te patuiro me te whai i nga keehi motuhake me nga hua ka puta mai i te punaha.

Nga raru o to maatau punaha

He raruraru kua whakatauhia e matou ki tetahi taumata, engari me whai whakaaro nui ake. Inaianei kei te pirangi au ki te whakahua i a raatau i konei na te mea he utu mo ia tohu tana ake tuhinga.

  • Me tautuhi tonu tatou i nga tukanga me nga kaupapa here e tautoko ana i te whakaemitanga o nga raraunga whai kiko me te whai take mo o taatau wetewete raraunga aunoa, kitea, me te torotoro.
  • Ko te whakaurunga o te tātaritanga tangata ka puta ki te tukanga o te whakatu aunoa i te punaha ki te whakahou me nga raraunga hou. Ehara tenei i te whakahou i to maatau tauira, engari he whakahou ano i a maatau tukanga me te whakapai ake i to maatau mohio ki o maatau raraunga.
  • Te kimi taurite i waenga i te huarahi whakatau o IF-ELSE me ML. I kii tetahi, "He taputapu a ML mo te hunga e mate ana." Ko te tikanga ka hiahia koe ki te whakamahi i te ML ina kore koe e mohio ki te arotau me te whakapai ake i o algorithm. I tetahi atu taha, ko te huarahi whakatau kaore e whakaae ki te kite i nga ahuatanga kaore i whakaarohia.
  • Kei te hiahia maatau he huarahi ngawari ki te whakamatautau i o maatau whakapae me nga hononga i waenga i nga ine i roto i nga raraunga.
  • Me maha nga taumata o nga hua pai o te punaha. Ko nga keehi tinihanga he hautanga noa o nga keehi katoa ka kiia he pai mo te punaha. Hei tauira, e hiahia ana nga kaitätari ki te tango i nga keehi whakapae katoa mo te manatoko, a he iti noa te waahanga o enei he tinihanga. Me whakaatu pai te punaha i nga keehi katoa ki nga kaitätari, ahakoa he mahi tinihanga, he whanonga whakapae noa.
  • Me kaha te papa raraunga ki te tiki i nga huinga raraunga o mua me nga tatauranga i hangaia me te tatau i runga i te rere.
  • He ngawari me te tuku aunoa i tetahi o nga waahanga punaha i roto i nga taiao rereke e toru neke atu: hanga, whakamatautau (beta) me nga kaihanga.
  • A ko te whakamutunga engari ko te iti rawa. Me hanga e tatou he papa whakamatautau mahi nui hei tātari i a tatou tauira. [4]

tohutoro

  1. He aha te Maramatanga Whakanuia?
  2. Te whakatinana i tetahi Tikanga Hoahoa API-Tuatahi
  3. Ka Hurihia a Kafka ki te "Patengi Raraunga Whakawhitinga Takahanga"
  4. Te Maramatanga AUC - ROC Curve

Source: will.com

Tāpiri i te kōrero