Ho Ithuta ka Mechini ea Liindasteri: Melao-motheo ea 10 ea Moqapi
Matsatsing ana, lits'ebeletso tse ncha, lits'ebetso le mananeo a mang a bohlokoa a bōptjoa letsatsi le leng le le leng a etsang hore ho khonehe ho etsa lintho tse hlollang: ho tloha ho software bakeng sa ho laola rocket ea SpaceX ho sebelisana le kettle ka kamoreng e latelang ka smartphone.
'Me, ka linako tse ling, moqapi e mong le e mong oa li-novice, ebang ke moqapi ea chesehang kapa ke setsebi se tloaelehileng sa Full Stack kapa Data Scientist, kapele kapa hamorao o tla hlokomela hore ho na le melao e itseng ea ho etsa mananeo le ho theha software e nolofatsang bophelo haholo.
Sehloohong sena, ke tla hlalosa ka bokhutšoanyane melao-motheo ea 10 ea mokhoa oa ho etsa lenaneo la ho ithuta mochine oa indasteri e le hore o ka kopanngoa habonolo ho kopo / tšebeletso, ho latela mokhoa oa 12-factor App. . Bohato ba ka ke ho eketsa tlhokomeliso ea mokhoa ona, o ka thusang bahlahisi ba bangata le batho ba mahlale a data.
Sengoliloeng sena ke selelekela sa letoto la lingoliloeng tse mabapi le ho Ithuta ka Mechini ea indasteri. Ho tsona ke tla tsoela pele ho bua ka mokhoa oa ho etsa mohlala le ho o qala tlhahiso, ho theha API bakeng sa eona, hammoho le mehlala e tsoang libakeng tse sa tšoaneng le lik'hamphani tse hahileng ML tsamaisong ea tsona.
Molao-motheo oa 1: Motheo oa khoutu e le 'ngoe
Baetsi ba bang ba mekhahlelo ea pele, ka lebaka la botsoa ba ho e utloisisa (kapa ka mabaka a bona), lebala ka Git. Ba lebala lentsoe ka ho felletseng, ke hore, ba lahlelana lifaele ka har'a drive / ba lahlela mongolo / rometsoeng ke maeba, kapa ha ba nahane ka mokhoa oa bona oa ho sebetsa, 'me ba itlama ho lekaleng la bona, ebe monghali.
Molao-motheo ona o re: ho ba le codebase e le 'ngoe le li-deployments tse ngata.
Git e ka sebelisoa ka bobeli tlhahisong le lipatlisisong le nts'etsopele (R&D), moo e sa sebelisoeng khafetsa.
Mohlala, mokhahlelong oa R&D o ka tlohela boitlamo ka mekhoa le mefuta e fapaneng ea ts'ebetso ea data, e le hore o ka khetha e ntle ka ho fetisisa mme o tsoelepele ho sebetsa le eona ho ea pele.
Taba ea bobeli, tlhahisong ena ke ntho e ke keng ea lekanngoa - o tla hloka ho lula u sheba hore na khoutu ea hau e fetoha joang le ho tseba hore na ke mohlala ofe o hlahisitseng litholoana tse ntle ka ho fetesisa, hore na ke khoutu efe e ileng ea sebetsa qetellong le se etsahetseng se entseng hore e khaotse ho sebetsa kapa ho qala ho hlahisa litholoana tse fosahetseng. . Ke sona seo boitlamo bo leng sona!
U ka boela ua etsa sephutheloana sa morero oa hau, u se beha, ka mohlala, ho Gemfury, ebe u kenya feela mesebetsi ho eona bakeng sa merero e meng, e le hore u se ke ua e ngola ka makhetlo a 1000, empa ho feta moo hamorao.
Molao-motheo oa 2: Hlalosa ka ho hlaka le ho arola batho ba itšetlehileng ka bona
Morero o mong le o mong o na le lilaebrari tse fapaneng tseo u li rekang kantle ho naha hore u li sebelise kae-kae. Ebang ke lilaebrari tsa Python, kapa lilaeborari tsa lipuo tse ling ka merero e fapaneng, kapa lisebelisoa tsa sistimi - mosebetsi oa hau ke:
- Hlalosa ka ho hlaka hore na lintho li itšetlehile ka eng, ke hore, faele e tla ba le lilaeborari tsohle, lisebelisoa, le liphetolelo tsa tsona tse sebelisoang morerong oa hau le tse lokelang ho kenngoa (mohlala, ho Python sena se ka etsoa ka Pipfile kapa litlhoko.txt. A sehokelo se lumellang hantle ho utloisisa: )
- Ho itšehla thajana ka ho khetheha bakeng sa lenaneo la hau nakong ea nts'etsopele. Ha u batle ho lula u fetola liphetolelo le ho kenya hape, mohlala, Tensorflow?
Ka tsela ena, bahlahisi ba tla kenela sehlopha sa hau nakong e tlang ba tla khona ho tloaelana le lilaebrari le liphetolelo tsa bona tse sebelisoang morerong oa hau, hape o tla ba le monyetla oa ho tsamaisa liphetolelo le lilaebrari ka botsona tse kentsoeng bakeng sa morero o itseng. morero, e tla u thusa ho qoba ho se lumellane ha lilaebrari kapa liphetolelo tsa tsona.
Kopo ea hau hape ha ea lokela ho itšetleha ka lisebelisoa tsa sistimi tse ka kentsoeng ho OS e itseng. Lisebelisoa tsena li boetse li tlameha ho phatlalatsoa ka har'a litšepe tse bonts'ang. Sena sea hlokahala e le ho qoba maemo ao mofuta oa lisebelisoa (hammoho le ho fumaneha ha tsona) o sa lumellaneng le lisebelisoa tsa sistimi ea OS e itseng.
Kahoo, le haeba curl e ka sebelisoa hoo e batlang e le lik'homphieutha tsohle, u ntse u lokela ho e phatlalatsa ka ho itšetleha, kaha ha u fallela sethaleng se seng e ka 'na ea se ke ea e-ba teng kapa phetolelo e ke ke ea e-ba eona eo u neng u e hloka qalong.
Ka mohlala, litlhoko tsa hau.txt li ka shebahala tjena:
# Model Building Requirements
numpy>=1.18.1,<1.19.0
pandas>=0.25.3,<0.26.0
scikit-learn>=0.22.1,<0.23.0
joblib>=0.14.1,<0.15.0
# testing requirements
pytest>=5.3.2,<6.0.0
# packaging
setuptools>=41.4.0,<42.0.0
wheel>=0.33.6,<0.34.0
# fetching datasets
kaggle>=1.5.6,<1.6.0
Molao-motheo oa 3: Litlhophiso
Ba bangata ba utloile lipale tsa bashanyana ba fapaneng ba nts'etsopele ba kenya khoutu ka phoso ho GitHub libakeng tsa polokelo tse bulehileng tse nang le li-password le linotlolo tse ling tse tsoang ho AWS, ba tsoha ka le hlahlamang ka mokoloto oa $ 6000, kapa esita le $50000.
Ehlile, linyeoe tsena li fetelletse, empa li bohlokoa haholo. Haeba u boloka lintlha tsa hau kapa lintlha tse ling tse hlokahalang bakeng sa tlhophiso ka hare ho khoutu, u etsa phoso, 'me ke nahana hore ha ho hlokahale hore u hlalose hore na ke hobane'ng.
Mokhoa o mong ho sena ke ho boloka litlhophiso ho mefuta-futa ea tikoloho. U ka bala haholoanyane ka mefuta-futa ea tikoloho .
Mehlala ea lintlha tse bolokiloeng maemong a fapaneng a tikoloho:
- Mabitso a domain
- API URLs/URI's
- Linotlolo tsa sechaba le tsa lekunutu
- Mabitso (mail, mehala, joalo-joalo)
Ka tsela ena ha ua tlameha ho lula u fetola khoutu haeba mefuta ea hau ea tlhophiso e fetoha. Sena se tla u pholosa nako, matla le chelete.
Mohlala, haeba u sebelisa Kaggle API ho etsa liteko (mohlala, khoasolla software 'me u tsamaise mohlala ka eona ho bona hore na mohlala o sebetsa hantle), joale linotlolo tsa poraefete tse tsoang Kaggle, joalo ka KAGGLE_USERNAME le KAGGLE_KEY, li lokela ho ba teng. bolokoa diphapanong tsa tikoloho.
Molao-motheo oa 4: Litšebeletso tsa Mokha oa Boraro
Maikutlo mona ke ho theha lenaneo ka tsela eo ho seng phapang pakeng tsa lisebelisoa tsa lehae le tsa batho ba boraro ho latela khoutu. Mohlala, o ka hokela MySQL ea lehae le ea motho oa boraro. Ho joalo le ka li-API tse fapaneng tse kang Google Maps kapa Twitter API.
E le hore u thibele tšebeletso ea motho oa boraro kapa u kopanye e 'ngoe, u hloka feela ho fetola linotlolo ho tlhophiso ho mefuta-futa ea tikoloho, eo ke buileng ka eona serapeng se ka holimo.
Kahoo, ho etsa mohlala, ho e-na le ho hlakisa tsela ea lifaele tse nang le li-datasets ka hare ho khoutu nako le nako, ho molemo ho sebelisa laebrari ea pathlib le ho phatlalatsa tsela ea li-datasets ho config.py, e le hore ho sa tsotellehe hore na u sebelisa tšebeletso efe (bakeng sa mohlala, CircleCI), lenaneo le ile la khona ho fumana tsela e eang ho li-dataset ho ela hloko sebopeho sa sistimi e ncha ea faele tšebeletsong e ncha.
Molao-motheo oa 5. Haha, lokolla, nako ea ho sebetsa
Batho ba bangata ho Data Science ba fumana ho le molemo ho ntlafatsa tsebo ea bona ea ho ngola software. Haeba re batla hore lenaneo la rona le senyehe hangata kamoo ho ka khonehang mme le sebetse ntle le liphoso nako e telele kamoo re ka khonang, re hloka ho arola mokhoa oa ho lokolla mofuta o mocha ka mekhahlelo e 3:
- Mothati likopano. U fetola khoutu ea hau e se nang letho ka lisebelisoa tsa motho ka mong hore e be sephutheloana se bitsoang sephutheloana se nang le khoutu le lintlha tsohle tse hlokahalang. Sephutheloana sena se bitsoa kopano.
- Mothati lokolla - mona re hokahanya tlhophiso ea rona kopanong, ntle le eo re neng re ke ke ra khona ho lokolla lenaneo la rona. Hona joale tokollo e se e loketse ho qala.
- Ho latelang ho latela sethala phethahatso. Mona re lokolla kopo ka ho tsamaisa lits'ebetso tse hlokahalang ho tsoa tokollong ea rona.
Mokhoa o joalo oa ho lokolla mefuta e mecha ea mohlala kapa phaephe eohle e u lumella ho arola mesebetsi pakeng tsa batsamaisi le bahlahisi, e u lumella ho latela liphetolelo le ho thibela ho emisa ho sa batleheng ha lenaneo.
Bakeng sa mosebetsi oa tokollo, litšebeletso tse ngata tse fapaneng li bōpiloe moo u ka ngolang mekhoa ea ho iketsetsa faele ea .yml (mohlala, ho CircleCI sena ke config.yml ho tšehetsa ts'ebetso ka boeona). Wheely e ntle ho theha liphutheloana tsa merero.
U ka etsa liphutheloana tse nang le mefuta e fapaneng ea mofuta oa hau oa ho ithuta oa mochini, ebe u li paka 'me u bua ka liphutheloana tse hlokahalang le liphetolelo tsa tsona ho sebelisa mesebetsi eo u e ngotseng ho tloha moo. Sena se tla u thusa ho theha API bakeng sa mohlala oa hau, 'me sephutheloana sa hau se ka amoheloa ho Gemfury, mohlala.
Molao-motheo oa 6. Etsa mohlala oa hau e le mokhoa o le mong kapa ho feta
Ho feta moo, lits'ebetso ha lia lokela ho arolelana data. Ke hore, lits'ebetso li tlameha ho ba teng ka thoko, 'me mefuta eohle ea data e tlameha ho ba teng ka thoko, mohlala, lits'ebeletso tsa mokha oa boraro joalo ka MySQL kapa tse ling, ho latela seo u se hlokang.
Ke hore, ka sebele ha hoa lokela ho boloka data ka hare ho tsamaiso ea faele ea ts'ebetso, ho seng joalo sena se ka lebisa ho hlakoloeng ha data ena nakong ea tokollo e latelang / phetoho ea litlhophiso kapa ho fetisoa ha tsamaiso eo lenaneo le sebetsang ho eona.
Empa ho na le mokhelo: bakeng sa merero ea ho ithuta ka mochini, o ka boloka cache ea lilaebrari e le hore u se ke oa e kenya hape nako le nako ha u qala mofuta o mocha, haeba ho se lilaebrari tse ling kapa liphetoho tse entsoeng liphetolelong tsa tsona. Ka tsela ena, o tla fokotsa nako eo e e nkang ho qala mohlala oa hau indastering.
Ho tsamaisa mohlala joalo ka lits'ebetso tse 'maloa, o ka etsa faele ea .yml eo ho eona u hlakisang lits'ebetso tse hlokahalang le tatellano ea tsona.
Molao-motheo oa 7: Ho sebelisoa hape
Mekhoa e sebetsang ts'ebetsong ea mohlala oa hau e lokela ho ba bonolo ho qala le ho emisa. Ka hona, sena se tla u lumella hore u sebelise liphetoho tsa khoutu ka potlako, liphetoho tsa tlhophiso, ka potlako le ka mokhoa o feto-fetohang, le ho thibela ho senyeha ho ka khonehang ha phetolelo e sebetsang.
Ke hore, ts'ebetso ea hau le mohlala e lokela ho:
- Fokotsa nako ea ho qala. Ha e le hantle, nako ea ho qala (ho tloha ha taelo ea ho qala e fanoa ho fihlela ha ts'ebetso e qala ho sebetsa) ha ea lokela ho feta metsotsoana e seng mekae. Caching ea libuka, e hlalositsoeng ka holimo, ke mokhoa o mong oa ho fokotsa nako ea ho qala.
- Qetella hantle. Ke hore, ho mamela boema-kepe ba litšebeletso ho hlile ho emisitsoe, 'me likopo tse ncha tse rometsoeng boema-kepeng bona li ke ke tsa sebetsoa. Mona o kanna oa hloka ho theha puisano e ntle le baenjiniere ba DevOps, kapa u utloisise hore na e sebetsa joang (ka ho khetheha, ehlile, ea morao-rao, empa puisano e lokela ho lula e bolokoa, morerong ofe kapa ofe!)
Molao-motheo oa 8: Tšebeliso e Tsoelang Pele / Kopanyo
Likhamphani tse ngata li sebelisa karohano lipakeng tsa nts'etsopele ea ts'ebeliso le lihlopha tsa phepelo (ho etsa hore kopo e fumanehe ho basebelisi ba ho qetela). Sena se ka fokotsa haholo nts'etsopele ea software le tsoelo-pele ea ho e ntlafatsa. E boetse e senya setso sa DevOps, moo nts'etsopele le kopanyo li kopantsoeng, ka mokhoa o batlang o lekana.
Ka hona, molao-motheo ona o bolela hore tikoloho ea hau ea ntlafatso e lokela ho ba haufi ka hohle kamoo ho ka khonehang tikolohong ea hau ea tlhahiso.
Sena se tla lumella:
- Fokotsa nako ea ho lokolloa ka makhetlo a mashome
- Fokotsa palo ea liphoso ka lebaka la ho se lumellane ha khoutu.
- Sena se boetse se fokotsa boima ba mosebetsi ho basebetsi, kaha bahlahisi le batho ba sebelisang kopo joale ke sehlopha se le seng.
Lisebelisoa tse u lumellang ho sebetsa le sena ke CircleCI, Travis CI, GitLab CI le tse ling.
U ka etsa litlatsetso ka potlako ho mohlala, oa e ntlafatsa, 'me oa e qala hang-hang, ha ho ntse ho tla ba bonolo, haeba ho ka ba le liphoso, ho khutlela ka potlako phetolelong e sebetsang, e le hore mosebelisi oa ho qetela a se ke a e hlokomela. Sena se ka etsoa ka mokhoa o bonolo le ka potlako haeba u na le liteko tse ntle.
Fokotsa liphapang !!!
Molao-motheo oa 9. Lifate tsa hau
Li-log (kapa "Logs") ke liketsahalo, hangata li rekotiloeng ka mokhoa oa mongolo, tse hlahang ka har'a ts'ebeliso (ketso ea ketsahalo). Mohlala o bonolo: "2020-02-02 - boemo ba tsamaiso - lebitso la ts'ebetso." Li entsoe e le hore moqapi a ka bona se etsahalang ha lenaneo le ntse le sebetsa. O bona tsoelo-pele ea lits'ebetso mme o utloisisa hore na ho joalo ka ha moqapi ka boeena a ne a rerile.
Molao-motheo ona o bolela hore ha oa lokela ho boloka lits'oants'o tsa hau ka har'a sistimi ea hau ea faele - o lokela ho li "hlahisa" skrineng, mohlala, etsa sena ka tlhahiso e tloaelehileng ea sistimi. 'Me ka tsela ena ho tla khonahala ho shebella phallo ho terminal nakong ea nts'etsopele.
Na see se bolela hore ha ho hlokahale hore ho bolokoe lifate ho hang? Che, ho hang. Kopo ea hau ha ea lokela ho etsa sena - e tlohelle lits'ebeletso tsa motho oa boraro. Kopo ea hau e ka fetisetsa feela lifaele faeleng e itseng kapa terminal bakeng sa ho e shebella ka nako ea nnete, kapa ea e fetisetsa ho sistimi ea polokelo ea data ka sepheo se akaretsang (joalo ka Hadoop). Kopo ea hau ka boeona ha ea lokela ho boloka kapa ho sebelisana le li-log.
Molao-motheo oa 10. Teko!
Bakeng sa thuto ea mochini oa indasteri, mohato ona o bohlokoa haholo, hobane o hloka ho utloisisa hore mohlala o sebetsa ka nepo mme o hlahisa seo o se batlang.
Liteko li ka etsoa ho sebelisoa pytest, 'me li lekoa ho sebelisa dataset e nyenyane haeba u na le mosebetsi oa ho fokotsa / oa ho hlophisa.
U se ke ua lebala ho beha peo e tšoanang bakeng sa mehlala ea ho ithuta e tebileng e le hore e se ke ea lula e hlahisa liphello tse fapaneng.
Ena e ne e le tlhaloso e khutšoanyane ea melao-motheo ea 10, 'me, ha e le hantle, ho thata ho e sebelisa ntle le ho leka le ho bona kamoo e sebetsang kateng, kahoo sehlooho sena ke selelekela sa letoto la lihlooho tse thahasellisang tseo ke tla senola mokhoa oa ho bopa. mekhoa ea ho ithuta mechine ea indasteri , mokhoa oa ho li kopanya ho litsamaiso, le hore na melao-motheo ena e ka re nolofaletsa bophelo bohle joang.
Ke tla boela ke leke ho sebelisa melao-motheo e pholileng eo mang kapa mang a ka e sieang litlhalosong haeba a lakatsa.
Source: www.habr.com