Te Ako Miihini Ahumahi: 10 Nga Kaupapa Hoahoa
I enei ra, ka hangaia nga ratonga hou, tono me etahi atu kaupapa nui i ia ra e taea ai te hanga i nga mea whakamiharo: mai i te rorohiko mo te whakahaere i te roketi SpaceX ki te taunekeneke me te kettle i te ruma o muri mai ma te waea atamai.
A, i etahi wa, ko nga kaiwhakatakoto kaupapa hou katoa, ahakoa he kaikawe kaikawe, he Kaitatau Katoa ranei, he Kaiputaiao Raraunga ranei, katahi ka mohio kei reira etahi ture mo te whakahoahoa me te hanga rorohiko e tino ngawari ai te ora.
I roto i tenei tuhinga, ka whakamaarama poto e ahau nga maataapono 10 mo te whakatakoto kaupapa ako miihini ahumahi kia ngawari te whakauru ki roto i tetahi tono/ratonga, i runga i te tikanga 12-Factor App. . Ko taku kaupapa ko te whakanui ake i te mohiotanga ki tenei tikanga, ka awhina i te maha o nga kaiwhakawhanake me nga tangata pūtaiao raraunga.
Ko tenei tuhinga he korero mo te raupapa o nga tuhinga mo te Ako Miihini ahumahi. I roto i a raatau ka korero ano ahau me pehea te hanga tauira ka whakarewahia ki roto i te hanga, te hanga i tetahi API mo taua mea, me nga tauira mai i nga waahi me nga kamupene kua hanga-i roto i te ML ki o raatau punaha.
Kaupapa 1: Kotahi te turanga waehere
Ko etahi o nga kaiwhakatakoto kaupapa i nga wahanga tuatahi, na te mangere ki te whakaaro (me etahi take ranei), ka wareware ki a Git. Ka wareware rawa ratou ki te kupu, ara, ka whiua nga konae ki a ratou ano ki roto i te puku/ ka maka noa i te kupu/ka tukuna e nga kukupa, karekau ranei ratou e whakaaro ki a ratou rerenga mahi, ka tuku ia tangata ki tana ake peka, katahi ki te rangatira.
E kii ana tenei kaupapa: kia kotahi te turanga waehere me te maha o nga whakatakotoranga.
Ka taea te whakamahi a Git i roto i nga mahi whakaputa me te rangahau me te whakawhanaketanga (R&D), kaore i te whakamahia i nga wa maha.
Hei tauira, i roto i te wahanga R&D ka taea e koe te waiho i nga here me nga tikanga tukatuka raraunga rereke me nga tauira, kia taea ai te kowhiri i te mea pai me te ngawari ki te mahi tonu.
Tuarua, i roto i te mahi hanga he mea e kore e taea te whakakapi - me titiro tonu koe ki te whakarereketanga o to waehere me te mohio ko tehea tauira i puta nga hua pai, ko tehea waehere i mahi i te mutunga me te aha i puta i mutu ai te mahi, ka tiimata ranei ki te whakaputa hua he. . Koira te mea commit!
Ka taea hoki e koe te hanga i tetahi kete o to kaupapa, ka tuu, hei tauira, ki runga i a Gemfury, katahi ka kawemai noa i nga mahi mai i a ia mo etahi atu kaupapa, kia kore ai e tuhi ano i nga wa 1000, engari ka nui ake i muri mai.
Mātāpono 2: Mārama te whakapuaki me te wehe i ngā whakawhirinakitanga
Kei ia kaupapa nga whare pukapuka rereke ka kawea mai e koe mai i waho hei tono ki tetahi waahi. Ahakoa he whare pukapuka Python, he whare pukapuka o etahi atu reo mo nga kaupapa rereke, he taputapu punaha ranei - ko to mahi:
- Kia marama te whakaatu i nga whakawhirinakitanga, ara, he konae kei roto katoa nga whare pukapuka, taputapu, me o raatau putanga e whakamahia ana i roto i to kaupapa me te whakauru (hei tauira, ki te Python ka taea tenei ma te whakamahi i te Pipfile or requirements.txt. A hono e pai ai te mohio: )
- Wewetehia nga whakawhirinakitanga mo to hotaka i te wa e whanake ana. Kaore koe e hiahia ki te whakarereke i nga putanga me te whakauru ano, hei tauira, Tensorflow?
Ma tenei ara, ko nga kaiwhakawhanake ka uru atu ki to roopu a meake nei ka mohio wawe ki nga whare pukapuka me o raatau putanga e whakamahia ana i roto i to kaupapa, ka whai waahi ano koe ki te whakahaere i nga putanga me nga whare pukapuka i whakauruhia mo tetahi kaupapa motuhake. kaupapa, hei awhina i a koe ki te karo i te hototahitanga o nga whare pukapuka me o raatau putanga.
Ko to tono kia kaua e whakawhirinaki ki nga taputapu punaha ka whakauruhia ki runga i tetahi OS motuhake. Me whakaatu ano enei taputapu i roto i nga whakaaturanga whakawhirinaki. He mea tika tenei hei karo i nga ahuatanga e kore e rite te putanga o nga taputapu (me te waatea) ki nga taputapu punaha o tetahi OS.
No reira, ahakoa ka taea te whakamahi i te curl ki nga rorohiko katoa, me kii tonu koe i roto i nga whakawhirinakitanga, na te mea ka heke ki tetahi atu papaarangi kaore pea i reira, kaore ranei te putanga i te mea i hiahiatia e koe i te tuatahi.
Hei tauira, penei pea te ahua o to whakaritenga.txt:
# Model Building Requirements
numpy>=1.18.1,<1.19.0
pandas>=0.25.3,<0.26.0
scikit-learn>=0.22.1,<0.23.0
joblib>=0.14.1,<0.15.0
# testing requirements
pytest>=5.3.2,<6.0.0
# packaging
setuptools>=41.4.0,<42.0.0
wheel>=0.33.6,<0.34.0
# fetching datasets
kaggle>=1.5.6,<1.6.0
Kaupapa 3: Whirihoranga
He maha nga tangata kua rongo i nga korero mo nga momo tangata kaiwhakawhanake i te tuku i te waehere ki GitHub ki roto i nga whare pupuri a te iwi me nga kupuhipa me etahi atu taviri mai i te AWS, ka oho ake i te ra i muri mai me te nama $6000, tae noa ki te $50000.
Ko te tikanga, he tino nui enei keehi, engari he tino nui. Mena kei te penapena koe i o tohu tohu me etahi atu raraunga e hiahiatia ana mo te whirihoranga i roto i te waehere, kei te he koe, a ki taku whakaaro kaore he take ki te whakamarama he aha.
He rereke ki tenei ko te penapena whirihoranga i roto i nga taurangi taiao. Ka taea e koe te panui atu mo nga taurangi taiao .
Ko nga tauira o nga raraunga ka rongoa i nga taurangi taiao:
- Nga ingoa rohe
- API URLs/URI's
- Ngā kī tūmatanui me te tūmataiti
- Hoapā (meera, waea, etc.)
Ma tenei ka kore koe e huri tonu i te waehere mena ka huri nga taurangi whirihoranga. Ka awhina tenei ki te whakaora i to wa, to kaha me te moni.
Hei tauira, ki te whakamahi koe i te Kaggle API ki te whakahaere i nga whakamatautau (hei tauira, tango i te rorohiko me te whakahaere i te tauira ki roto hei whakamatautau i te wa e rere ana ka pai te mahi o te tauira), katahi ko nga taviri motuhake mai i Kaggle, penei i KAGGLE_USERNAME me KAGGLE_KEY, me noho. ka rongoa ki nga taurangi taiao.
Kaupapa 4: Ratonga Tuatoru
Ko te whakaaro i konei ko te hanga i te kaupapa kia kore ai he rereketanga i waenga i nga rauemi a-rohe me nga rauemi tuatoru mo te waehere. Hei tauira, ka taea e koe te hono i nga MySQL rohe me nga mea tuatoru. He pera ano mo nga momo API penei i nga Mahere Google, Twitter API ranei.
Hei whakakore i tetahi ratonga tuatoru, hono atu ranei i tetahi atu, me whakarereke noa nga taviri i roto i te whirihoranga i roto i nga taurangi taiao, i korerohia e au i te waahanga o runga.
Na, hei tauira, hei utu mo te tohu i te ara ki nga konae me nga huingararaunga kei roto i te waehere ia wa, he pai ake te whakamahi i te whare pukapuka pathlib me te whakaatu i te ara ki nga huingararaunga i config.py, ahakoa he aha te ratonga ka whakamahia e koe (mo tauira, CircleCI), i taea e te kaupapa te rapu i te huarahi ki nga huingararaunga ma te whakaaro ki te hanganga o te punaha konae hou i roto i te ratonga hou.
Kaupapa 5. Hanga, tuku, wa whakahaere
He maha nga tangata i roto i te Pūtaiao Raraunga e whai hua ana ki te whakapai ake i o raatau pukenga tuhi rorohiko. Mena kei te pirangi matou kia pakaru noa ta matou kaupapa me te mahi me te kore rahua mo te roa e taea ana, me wehe e matou te tikanga tuku putanga hou kia 3 nga waahanga:
- Tuhinga huihuinga. Ka huri koe i to waehere kore me nga rauemi takitahi ki roto i te putea e kiia ana kei roto nga waehere me nga raraunga katoa. Ka kiia tenei kete he huihuinga.
- Tuhinga tuku — i konei ka hono atu ta matou whirihora ki te huihuinga, me te kore e kore e taea e matou te tuku i ta matou kaupapa. Inaianei he tuku tino reri-ki-whakarewa tenei.
- Ka haere mai te atamira whakatutukitanga. I konei ka tukuna e matou te tono ma te whakahaere i nga tikanga e tika ana mai i to maatau tuku.
Ko taua punaha mo te tuku putanga hou o te tauira, te pipeline katoa ranei ka taea e koe te wehe i nga mahi i waenga i nga kaiwhakahaere me nga kaiwhakawhanake, ka taea e koe te whai i nga putanga me te aukati i nga aukati kore o te kaupapa.
Mo te mahi tuku, he maha nga ratonga rereke kua hangaia e taea ai e koe te tuhi i nga tukanga hei whakahaere i a koe i roto i te konae .yml (hei tauira, i CircleCI ko config.yml tenei hei tautoko i te tukanga ake). He rawe a Wheely ki te hanga kete mo nga kaupapa.
Ka taea e koe te hanga i nga kohinga me nga momo momo tauira ako miihini, katahi ka kootia ka tirohia ki nga kohinga e tika ana me o raatau putanga hei whakamahi i nga mahi i tuhia e koe mai i reira. Ma tenei ka awhina koe ki te hanga API mo to tauira, ka taea te manaaki i to kete ki a Gemfury, hei tauira.
Mātāpono 6. Whakahaerehia tō tauira hei tukanga kotahi, neke atu rānei
I tua atu, kia kaua e tohatoha raraunga nga tukanga. Arā, me noho motuhake nga tukanga, me noho motuhake nga momo raraunga katoa, hei tauira, i runga i nga ratonga tuatoru penei i a MySQL me etahi atu, i runga i nga mea e hiahia ana koe.
Arā, karekau he pai ki te penapena i nga raraunga ki roto i te punaha konae, ki te kore tenei ka arai ki te whakakore i enei raraunga i te wa o te tukunga/whakarereketanga o nga whirihoranga, te whakawhiti ranei o te punaha e whakahaere ana te kaupapa.
Engari he rereke: mo nga kaupapa ako miihini, ka taea e koe te penapena i te keteroki o nga whare pukapuka kia kore ai e whakauruhia ano i nga wa katoa ka whakarewahia e koe he putanga hou, mena kaore he whare pukapuka taapiri, he whakarereketanga ranei ki o raatau putanga. Ma tenei ara, ka whakaitihia e koe te waa ki te whakarewa i to tauira ki te umanga.
Hei whakahaere i te tauira kia rite ki te maha o nga tukanga, ka taea e koe te hanga i tetahi konae .yml ka tohua e koe nga tukanga e tika ana me o raatau raupapa.
Mātāpono 7: Tukurua
Ko nga tukanga e whakahaere ana i to tono tauira kia ngawari ki te timata me te whakamutu. Na, ma tenei ka taea e koe te tuku tere i nga huringa waehere, nga huringa whirihoranga, tere me te ngawari te tauine, me te aukati i nga pakaru o te putanga mahi.
Arā, ko to tukanga me te tauira me:
- Whakaitihia te wa whakaoho. Ko te tikanga, ko te wa whakaoho (mai i te wa i tukuna ai te whakahau whakaoho ki te wa ka timata te mahi) kaua e neke ake i etahi hēkona. Ko te keteroki whare pukapuka, kua whakaahuatia i runga ake nei, tetahi tikanga mo te whakaiti i te wa whakaoho.
- Whakamutu tika. Arā, ka whakatārewahia te whakarongo ki te tauranga ratonga, karekau e tukuna nga tono hou kua tukuna ki tenei tauranga. I konei ka hiahia koe ki te whakarite korero pai me nga miihini DevOps, kia mohio ranei koe me pehea e mahi ai koe (he pai ake, ko te mea whakamutunga, engari me mau tonu te whakawhitiwhiti korero, i roto i tetahi kaupapa!)
Kaupapa 8: Te Whakamahinga Tonu/Whakakotahi
He maha nga kamupene e whakamahi ana i te wehewehenga i waenga i te whakawhanaketanga tono me nga roopu whakaurunga (kia waatea te tono ki nga kaiwhakamahi mutunga). Ka taea e tenei te tino whakaroa i te whanaketanga rorohiko me te ahunga whakamua ki te whakapai ake. Ka pahuatia ano te ahurea DevOps, kei reira te whakawhanaketanga me te whakaurunga, te ahua o te korero, te whakakotahi.
No reira, e kii ana tenei maapono me tata to taiao whanaketanga ki to taiao whakaputa.
Ma tenei ka taea:
- Whakaitihia te wa tuku kia tekau nga wa
- Whakaitihia te maha o nga hapa na te kore hototahi o te waehere.
- Ma tenei ka whakaiti i nga mahi a nga kaimahi, na te mea kua kotahi te roopu o nga kaiwhakawhanake me nga tangata e tuku ana i te tono.
Ko nga taputapu ka taea e koe te mahi me tenei ko CircleCI, Travis CI, GitLab CI me etahi atu.
Ka taea e koe te taapiri tere ki te tauira, whakahou me te whakarewa tonu, i te mea ka ngawari, mena he rahua, kia tere te hoki mai ki te putanga mahi, kia kore ai e kitea e te kaiwhakamahi mutunga. Ka taea tenei ma te ngawari me te tere mena he pai nga whakamatautau.
Whakaitihia nga rereketanga!!!
Kaupapa 9. Ō rangitaki
Ko nga Rangitaki (he "Rakau" ranei) he huihuinga, ka tuhia ki te whakatakotoranga kupu, ka puta i roto i te tono (awa takahanga). He tauira ngawari: "2020-02-02 - taumata punaha - ingoa tukanga." I hoahoatia kia taea ai e te kaiwhakawhanake te kite i nga mea e tupu ana i te wa e rere ana te kaupapa. Ka kite ia i te ahunga whakamua o nga tukanga me te mohio mehemea he rite tonu te whakaaro o te kaiwhakawhanake.
E kii ana tenei maataapono kia kaua e penapena o raarangi ki roto i to punaha konae - me "whakaputa" noa koe ki te mata, hei tauira, mahia tenei ki te putanga paerewa o te punaha. Na ma tenei ka taea te aro turuki i te rere o te tauranga i te wa o te whanaketanga.
Ko te tikanga o tenei kaore he take ki te tiaki i nga raarangi? Ko te akoranga kaore. Ko to tono me kaua e mahi i tenei — waiho ma nga ratonga tuatoru. Ka taea anake e to tono te tuku rangitaki ki tetahi konae, ki te tauranga ranei mo te tiro-waahi, ka tuku atu ranei ki tetahi punaha rokiroki raraunga kaupapa whanui (penei i a Hadoop). Ko to tono ake kaua e penapena, e mahi tahi ranei me nga raarangi.
Kaupapa 10. Whakamatau!
Mo te ako miihini ahumahi, he mea tino nui tenei waahanga, na te mea me maarama koe kei te mahi tika te tauira me te whakaputa i nga mea e hiahia ana koe.
Ka taea te hanga i nga whakamatautau ma te whakamahi i te pytest, me te whakamatau ma te whakamahi i tetahi huingararaunga iti mena kei a koe he mahi whakamuri/ whakarōpūtanga.
Kaua e wareware ki te whakatakoto i te kakano kotahi mo nga tauira ako hohonu kia kore ai e puta nga hua rereke i nga wa katoa.
He whakamaarama poto tenei mo nga kaupapa 10, a, he uaua ki te whakamahi me te kore e ngana me te kite me pehea e mahi ai, na ko tenei tuhinga he whakamaarama noa ki te raupapa o nga tuhinga whakamere ka whakaatu ahau me pehea te hanga. tauira ako miihini ahumahi , me pehea te whakauru ki roto i nga punaha, me pehea enei maataapono e ngawari ai te oranga mo tatou katoa.
Ka ngana ano ahau ki te whakamahi i nga maataapono hauhautanga ka taea e tetahi te waiho i roto i nga korero ki te hiahia ratou.
Source: will.com