Keno ea bobeli ea baithuti ba lenaneo la master ho mahlale a data le bohlale ba khoebo Ozon Masters e se e qalile - le ho etsa hore ho be bonolo ho etsa qeto ea ho tlohela kopo le ho etsa tlhahlobo ea inthanete, re ile ra botsa matichere a lenaneo hore na a ka lebella eng ho ithuta le ho sebetsa. ka data.
Setsebi se ka Sehloohong sa Boitsebiso NVIDIA le mosuoe Pavel Klemenkov o buile ka hore na ke hobane'ng ha litsebi tsa lipalo li hloka ho ngola khoutu le ho ithuta ho Ozon Masters ka lilemo tse peli.
- Na ho na le lik'hamphani tse ngata tse sebelisang li-algorithms tsa mahlale a data?
- Ha e le hantle haholo. Likhamphani tse ngata tse kholo tse nang le data e kholo haholo li qala ho sebetsa le eona ka katleho kapa esale li sebetsa le eona nako e telele. Ho hlakile hore halofo ea 'maraka e sebelisa lintlha tse ka kenang ho Excel spreadsheet kapa li ka baloa ho seva se seholo, empa ho ke ke ha boleloa hore ho na le likhoebo tse seng kae feela tse ka sebetsang ka data.
- Re bolelle hanyenyane ka merero eo saense ea data e sebelisoang ho eona.
- Ka mohlala, ha re ntse re sebetsa Rambler, re ne re etsa tsamaiso ea papatso e sebetsang ho latela melao-motheo ea RTB (Real Time Bidding) - re ne re hloka ho haha mefuta e mengata e neng e tla ntlafatsa theko ea papatso kapa, mohlala, e ka bolela esale pele monyetla. ea ho tobetsa, ho sokoloha, joalo-joalo. Ka nako e ts'oanang, fantisi ea papatso e hlahisa lintlha tse ngata: lits'oants'o tsa likopo tsa sebaka sa marang-rang ho bareki ba ka bang teng ba papatso, lits'oants'o tsa lipapatso, lits'oants'o tsa ho tobetsa - ena ke mashome a li-terabyte tsa data ka letsatsi.
Ho feta moo, bakeng sa mesebetsi ena re hlokometse ketsahalo e khahlisang: ha o fana ka lintlha tse ngata ho koetlisa mohlala, o phahamisa boleng ba eona. Hangata, ka mor'a palo e itseng ea data, boleng ba ponelopele bo khaotsa ho ntlafala, 'me ho ntlafatsa ho nepahala, ho hlokahala hore u sebelise mohlala o fapaneng haholo, mokhoa o fapaneng oa ho lokisetsa lintlha, likarolo, joalo-joalo. Mona re kentse data e eketsehileng mme boleng bo ile ba eketseha.
Ena ke taba e tloaelehileng moo bahlahlobisisi ba neng ba tlameha, pele, ho sebetsa ka lisebelisoa tse kholo tsa data e le hore bonyane ba etse liteko, le moo ho neng ho sa khonehe ho feta ka sampole e nyane e lumellanang le MacBook e monate. Ka nako e tšoanang, re ne re hloka mehlala e abuoang, hobane ho seng joalo e ne e ke ke ea koetlisoa. Ka ho kenyelletsoa ha pono ea k'homphieutha ho hlahisa, mehlala e joalo e ntse e ata haholo, kaha litšoantšo li na le boitsebiso bo bongata, 'me ho koetlisa mohlala o moholo, ho hlokahala litšoantšo tse limilione.
Potso e hlaha hang-hang: mokhoa oa ho boloka tlhahisoleseding ena kaofela, mokhoa oa ho e sebetsana ka katleho, mokhoa oa ho sebelisa li-algorithms tsa ho ithuta tse ajoang - ho tsepamisa maikutlo ho tloha ho lipalo tse hloekileng ho ea ho boenjiniere. Leha o sa ngole khoutu tlhahisong, o hloka ho khona ho sebetsa ka lisebelisoa tsa boenjiniere ho etsa liteko.
- Mokhoa oa ho fumana likheo tsa mahlale a data o fetohile joang lilemong tsa morao tjena?
- Lintlha tse kholo li khaolitse ho ba hype 'me li fetohile ntho ea sebele. Li-drive tse thata li theko e tlaase, ho bolelang hore hoa khoneha ho bokella lintlha tsohle e le hore nakong e tlang ho tla ba le ho lekaneng ho leka likhopolo-taba leha e le life. Ka lebaka leo, tsebo ea lisebelisoa tsa ho sebetsa ka data e kholo e ntse e tsebahala haholo, 'me, ka lebaka leo, likheo tse ngata tsa lienjiniere tsa data li ntse li hlaha.
Ka kutloisiso ea ka, sephetho sa mosebetsi oa rasaense oa data hase teko, empa ke sehlahisoa se fihletseng tlhahiso. 'Me feela ho tloha ntlheng ena ea pono, pele ho hlaha hype ho pota-pota data e kholo, mokhoa ona o ne o le bonolo: baenjiniere ba ne ba kopanela thutong ea mochine ho rarolla mathata a itseng,' me ho ne ho se na mathata a ho tlisa li-algorithms ho hlahisa.
- Ho hloka eng ho lula u le setsebi se batloang?
- Hona joale batho ba bangata ba tlile ho saense ea data ba ithutileng lipalo, khopolo ea ho ithuta mochine, 'me ba kenya letsoho litlhōlisanong tsa tlhahlobo ea data, moo ho fanoang ka lisebelisoa tse lokiselitsoeng: data e hloekisoa, metrics e hlalosoa,' me ha ho na. ditlhoko bakeng sa tharollo hore e ka ikatisa le ho potlaka.
Ka lebaka leo, bashanyana ba tla mosebetsing ba sa itokisetsa hantle linnete tsa khoebo, 'me ho thehoa lekhalo pakeng tsa batho ba bacha le ba ntlafatsang ba nang le phihlelo.
Ka nts'etsopele ea lisebelisoa tse u lumellang ho bokella mohlala oa hau ho tsoa ho li-module tse seng li entsoe - mme Microsoft, Google le ba bang ba bangata ba se ba ntse ba e-na le litharollo tse joalo - le boiketsetso ba ho ithuta ka mochini, lekhalo lena le tla bonahala le ho feta. Nakong e tlang, mosebetsi o tla ba tlhokahalo ea bafuputsi ba tebileng ba tlang le li-algorithms tse ncha, le basebeletsi ba nang le tsebo e tsoetseng pele ea boenjiniere ba tla kenya ts'ebetsong mehlala le mekhoa ea ho iketsetsa. Thupelo ea Ozon Masters ho boenjineri ba data e etselitsoe ho nts'etsapele litsebo tsa boenjiniere le bokhoni ba ho sebelisa li-algorithms tsa ho ithuta ka mochini ho data e kholo. Re leka ho fokotsa lekhalo pakeng tsa seo rasaense oa data a ka se etsang le seo a lokelang ho se etsa ha a ntse a sebetsa.
- Ke hobane'ng ha setsebi sa lipalo se nang le diploma se lokela ho ea ithuta khoebo?
- Sechaba sa Russia sa saense sa data se se se utloisisa hore tsebo le phihlelo li fetoha chelete ka potlako, ka hona, hang ha setsebi se e-na le phihlelo e sebetsang, litšenyehelo tsa hae li qala ho hōla ka potlako haholo, batho ba nang le tsebo ka ho fetisisa ba theko e boima haholo - 'me sena. ke 'nete motsotsong oa hona joale oa' maraka oa nts'etsopele.
Karolo e kholo ea mosebetsi oa rasaense oa data ke ho kena boitsebisong, ho utloisisa hore na ho na le eng moo, ho buisana le batho ba ikarabellang bakeng sa lits'ebetso tsa khoebo le ho hlahisa lintlha tsena - 'me feela li sebelise ho haha mehlala. Ho qala ho sebetsa ka data e kholo, ke habohlokoa haholo ho ba le tsebo ea boenjiniere - sena se nolofalletsa ho qoba likhutlo tse bohale, tseo ho tsona ho nang le tse ngata tsa saense ea data.
Pale e tloaelehileng: u ngotse potso ho SQL e etsoang ho sebelisoa moralo oa Hive o sebetsang ho data e kholo. Kopo e sebetsanoa ka metsotso e leshome, boemong bo bobe ka ho fetisisa - ka hora kapa tse peli, 'me hangata, ha u fumana likopi tsa data ena, u hlokomela hore u lebetse ho ela hloko lintlha tse ling kapa tlhahisoleseding e eketsehileng. U tlameha ho romela kopo hape 'me u eme metsotso le lihora tsena. Haeba u setsebi se sebetsang hantle, u tla etsa mosebetsi o mong, empa, joalo ka ha boikoetliso bo bontša, re na le litsebi tse 'maloa tse sebetsang hantle,' me batho ba emetse feela. Ka hona, lithupelong re tla sebelisa nako e ngata ho sebetsa ka katleho e le hore qalong re ngole lipotso tse sa sebetseng lihora tse peli, empa metsotso e 'maloa. Tsebo ena e atisa tlhahiso, 'me ka eona boleng ba setsebi.
- Ozon Masters e fapana joang le lithuto tse ling?
- Ozon Masters e rutoa ke basebetsi ba Ozon, 'me mesebetsi e itšetlehile ka linyeoe tsa sebele tsa khoebo tse rarolloang lik'hamphaning. Ha e le hantle, ntle le ho hloka tsebo ea boenjiniere, motho ea ithutileng saense ea data univesithing o na le bothata bo bong: mosebetsi oa khoebo o entsoe ka puo ea khoebo, 'me sepheo sa eona se bonolo haholo: ho fumana chelete e ngata. 'Me setsebi sa lipalo se tseba hantle ho ntlafatsa metrics ea lipalo - empa ho thata ho fumana letšoao le tla amahanngoa le metric ea khoebo. Mme o hloka ho utloisisa hore o rarolla bothata ba khoebo, 'me mmoho le khoebo, etsa metrics e ka ntlafatsoang ka lipalo. Tsebo ena e fumanoa ka linyeoe tsa 'nete,' me li fanoa ke Ozon.
'Me le haeba re hlokomoloha linyeoe, sekolo se rutoa ke litsebi tse ngata tse rarollang mathata a khoebo lik'hamphani tsa sebele. Ka lebaka leo, mokhoa oa ho ruta ka boeona o ntse o itloaetsa haholoanyane. Bonyane thutong ea ka, ke tla leka ho lebisa tlhokomelo ho mokhoa oa ho sebelisa lisebelisoa, mekhoa e teng, joalo-joalo. Hammoho le liithuti, re tla utloisisa hore mosebetsi o mong le o mong o na le sesebelisoa sa oona, 'me sesebelisoa ka seng se na le sebaka sa sona sa ho sebetsa.
- Lenaneo le tsebahalang haholo la koetliso ea tlhahlobo ea data, ehlile, ke ShaD - phapang ke efe ho eona?
- Ho hlakile hore ShaD le Ozon Masters, ntle le mosebetsi oa thuto, ba rarolla bothata ba sebaka sa koetliso ea basebetsi. Baithuti ba phahameng ba SHAD ba hiriloe ho Yandex, empa ho ts'oaroa ke hore Yandex, ka lebaka la lintlha tsa eona - mme e kholo ebile e entsoe ha ho ne ho e-na le lisebelisoa tse 'maloa tse ntle tsa ho sebetsa ka data e kholo - e na le lisebelisoa tsa eona le lisebelisoa tsa ho sebetsa ka data. , ho bolelang hore u tla tlameha ho li tseba hantle. Ozon Masters e na le molaetsa o fapaneng - haeba u atlehile ho tseba lenaneo mme Ozon kapa e 'ngoe ea 99% ea lik'hamphani tse ling e u memela ho sebetsa, ho tla ba bonolo haholo ho qala ho ruisa khoebo molemo; tsebo e fumanoeng e le karolo ea Ozon Masters. ho tla lekana ho qala ho sebetsa.
- Thuto e nka lilemo tse peli. Ke hobane'ng ha u hloka ho qeta nako e ngata hakaale tabeng ee?
- Potso e ntle. Ho nka nako e telele, hobane ho latela litaba le boemo ba matichere, lena ke lenaneo la bohlokoa la masters le hlokang nako e ngata ea ho tseba, ho kenyelletsa le mosebetsi oa sekolo o etsetsoang hae.
Ho latela pono ea ka ea thupelo, ho lebelletse hore moithuti a qete lihora tse 2-3 ka beke mesebetsing e tloaelehileng. Taba ea pele, mesebetsi e etsoa sehlopheng sa koetliso, 'me sehlopha sefe kapa sefe se arolelanoang se bolela hore batho ba bangata ba se sebelisa ka nako e le ngoe. Ka mantsoe a mang, u tla tlameha ho emela hore mosebetsi o qale ho etsoa; lisebelisoa tse ling li ka khethoa 'me tsa fetisetsoa lethathamong la maemo a holimo. Ka lehlakoreng le leng, mosebetsi ofe kapa ofe o nang le data e kholo o nka nako e ngata.
Haeba u na le lipotso tse ling mabapi le lenaneo, u sebetsa ka lintlha tse kholo kapa tsebo ea boenjiniere, Ozon Masters e na le letsatsi le bulehileng inthaneteng ka Moqebelo oa la 25 Mmesa ka 12:00. Re kopana le matichere le baithuti ho le ho feta .
Source: www.habr.com