Lebitso la ka ke Pavel Parkhomenko, ke moqapi oa ML. Sehloohong sena, ke rata ho bua ka sebopeho sa tšebeletso ea Yandex.Zen le ho arolelana ntlafatso ea theknoloji, ts'ebetsong ea eona e entseng hore ho khonehe ho eketsa boleng ba litlhahiso. Ho tsoa posong ena u tla ithuta ho fumana tse bohlokoa ka ho fetisisa bakeng sa mosebelisi har'a limilione tsa litokomane ka li-milliseconds tse 'maloa feela; mokhoa oa ho etsa ho senyeha ho tsoelang pele ha matrix e kholo (e nang le litšiea tse limilione le mela e mashome a limilione) e le hore litokomane tse ncha li fumane vector ea tsona ka metsotso e mashome; mokhoa oa ho sebelisa hape ho bola ha sengoloa sa mosebelisi ho fumana setšoantšo se setle sa vector bakeng sa video.
Lintlha tsa rona tsa likhothaletso li na le limilione tsa litokomane tsa lifomate tse fapaneng: lingoliloeng tse entsoeng sethaleng sa rona mme li nkuoe libakeng tsa kantle, livideo, lipale le lipapatso tse khutšoane. Tsoelo-pele ea tšebeletso e joalo e amahanngoa le palo e kholo ea mathata a theknoloji. Tse ling tsa tsona ke tsena:
- Arola mesebetsi ea komporo: etsa lits'ebetso tsohle tse boima ntle le marang-rang, 'me ka nako ea nnete etsa feela ts'ebeliso e potlakileng ea mehlala e le hore u ikarabelle bakeng sa 100-200 ms.
- Ka potlako ela hloko liketso tsa mosebedisi. Ho etsa sena, hoa hlokahala hore liketsahalo tsohle li fetisetsoe hang-hang ho khothaletso le ho susumetsa liphello tsa mehlala.
- Etsa phepelo e le hore bakeng sa basebelisi ba bacha e ikamahanye le boitšoaro ba bona kapele. Batho ba sa tsoa kena tsamaisong ba lokela ho ikutloa hore maikutlo a bona a susumetsa likhothaletso.
- Utloisisa ka potlako hore na u khothaletse sengoloa se secha ho mang.
- Arabela ka potlako ho hlaha kamehla ha litaba tse ncha. Lingoliloeng tse mashome a likete li hatisoa letsatsi le leng le le leng, 'me tse ngata tsa tsona li na le nako e lekanyelitsoeng ea bophelo (e re, litaba). Sena ke sona se ba khethollang ho tloha lifiliming, 'mino le lintho tse ling tsa nako e telele le tse theko e boima ho li etsa.
- Fetisetsa tsebo ho tloha sebakeng se seng sa domain ho ea ho se seng. Haeba sistimi ea likhothaletso e na le mefuta e koetlisitsoeng ea lingoliloeng mme re eketsa video ho eona, re ka sebelisa mefuta e teng hape e le hore mofuta o mocha oa litaba o be betere.
Ke tla u bolella hore na re rarolotse mathata ana joang.
Khetho ea bakhethoa
Joang ho fokotsa palo ea litokomane tse ntseng li nahanoa ka makhetlo a likete ka li-milliseconds tse seng kae, ntle le ho senyeha ha boleng ba boemo?
Ha re re re koetlisitse mefuta e mengata ea ML, ra hlahisa likarolo tse thehiloeng ho tsona, 'me ra koetlisa mofuta o mong o behang litokomane tsa mosebelisi. Ntho e 'ngoe le e' ngoe e ne e tla ba hantle, empa u ke ke ua nka le ho bala matšoao 'ohle bakeng sa litokomane tsohle ka nako ea sebele, haeba ho na le limilione tsa litokomane tsena,' me litlhahiso li lokela ho hahoa ka 100-200 ms. Mosebetsi ke ho khetha karoloana e itseng ho tsoa ho limilione, e tla beoa bakeng sa mosebelisi. Mokhahlelo ona hangata o bitsoa khetho ea mokhethoa. Ho na le litlhoko tse 'maloa bakeng sa eona. Taba ea pele, khetho e tlameha ho etsahala kapele haholo, e le hore nako e ngata kamoo ho ka khonehang e tloheloe bakeng sa boemo ka boeona. Taba ea bobeli, ha re se re fokolitse palo ea litokomane tsa maemo a holimo haholo, re tlameha ho boloka litokomane tse amanang le mosebelisi ka botlalo kamoo ho ka khonehang.
Molao-motheo oa rona oa khetho ea mokhethoa o fetohile, 'me hajoale re fihlile moralong oa mekhahlelo e mengata:
Ntlha ea pele, litokomane tsohle li arotsoe ka lihlopha, 'me litokomane tse ratoang ka ho fetisisa li nkiloe sehlopheng ka seng. Lihlopha e ka ba libaka, lihlooho, lihlopha. Bakeng sa mosebedisi e mong le e mong, ho latela histori ea hae, lihlopha tse haufi le eena li khethiloe 'me litokomane tse molemo ka ho fetisisa li nkiloe ho tsona. Re boetse re sebelisa index ea kNN ho khetha litokomane tse haufi haholo le mosebelisi ka nako ea nnete. Ho na le mekhoa e mengata ea ho theha index ea kNN; ea rona e sebelitse hantle (Li-graph tsa Lefatše le Nyenyane la Hierarchical Navigable Small). Ona ke mofuta oa maemo o u lumellang ho fumana li-vector tse haufi tsa N bakeng sa mosebelisi ho tsoa polokelong ea batho ba limilione ka metsotsoana e seng mekae. Re qala ka lethathamo la litokomane tsa rona kaofela ntle le inthanete. Kaha ho batla ka har'a index ho sebetsa ka potlako, haeba ho na le li-index tse 'maloa tse matla, u ka etsa li-index tse ngata (index e le' ngoe bakeng sa embedding ka 'ngoe) 'me u fihlele e' ngoe le e 'ngoe ea tsona ka nako ea sebele.
Re ntse re na le litokomane tse likete tse mashome bakeng sa mosebelisi e mong le e mong. Sena se ntse se le ngata ho bala likarolo tsohle, kahoo mothating ona re sebelisa boemo bo bobebe - mofuta o bobebe oa boemo bo boima o nang le likarolo tse fokolang. Mosebetsi ke ho bolela esale pele hore na mofuta o boima o tla ba le litokomane life holimo. Litokomane tse nang le ponelopele e phahameng ka ho fetisisa li tla sebelisoa ka mokhoa o boima, ke hore, boemong ba ho qetela ba maemo. Mokhoa ona o u lumella ho fokotsa database ea litokomane tse nkiloeng bakeng sa mosebelisi ho tloha ho limilione ho isa ho likete ho mashome a li-milliseconds.
ALS e nka nako ea ho sebetsa
U ka nka maikutlo a basebelisi joang hang ka mor'a ho tobetsa?
Ntho ea bohlokoa ho likhothaletso ke nako ea karabelo ho maikutlo a basebelisi. Sena ke sa bohlokoa haholo ho basebelisi ba bacha: ha motho a qala ho sebelisa sistimi ea likhothaletso, o fumana phepelo e sa ikemisetseng ea litokomane tsa lihlooho tse fapaneng. Hang ha a qala ho tobetsa, o lokela ho nka sena hang-hang le ho ikamahanya le lithahasello tsa hae. Haeba u bala lintlha tsohle ntle le marang-rang, karabo e potlakileng ea sistimi e ke ke ea khonahala ka lebaka la tieho. Kahoo hoa hlokahala ho sebetsana le liketso tsa basebelisi ka nako ea sebele. Bakeng sa merero ena, re sebelisa mohato oa ALS nakong ea ho sebetsa ho theha setšoantšo sa vector ea mosebelisi.
Ha re nke hore re na le boemeli ba vector bakeng sa litokomane tsohle. Ka mohlala, re ka haha mengolo ntle le marang-rang ho latela mongolo oa sengoloa re sebelisa ELMo, BERT kapa mefuta e meng ea ho ithuta ka mochini. Re ka fumana setšoantšo sa vector joang sa basebelisi sebakeng se le seng ho latela litšebelisano tsa bona tsamaisong?
Molao-motheo o akaretsang oa ho theha le ho bola ha matrix ea tokomane ea mosebelisiA re be le m basebedisi le litokomane tsa n. Bakeng sa basebelisi ba bang, kamano ea bona le litokomane tse itseng e tsejoa. Joale tlhahisoleseding ena e ka emeloa e le matrix a mxn: mela e lumellana le basebelisi, 'me litšiea li lumellana le litokomane. Kaha motho ha a e-s'o bone litokomane tse ngata, boholo ba lisele tsa matrix li tla lula li se na letho, ha tse ling li tla tlatsoa. Ketsahalong e 'ngoe le e' ngoe (joaloka, ho se rate, tobetsa) ho fanoe ka boleng bo itseng ka har'a matrix - empa ha re nahaneng ka mohlala o nolofalitsoeng oo ho tšoana ho lumellanang le 1, le ho se rate ho lumellanang le -1.
Ha re arole matrix ho tse peli: P (mxd) le Q (dxn), moo d e leng boholo ba setšoantšo sa vector (hangata palo e nyane). Joale ntho e 'ngoe le e' ngoe e tla lumellana le d-dimensional vector (bakeng sa mosebedisi - mola o ka har'a matrix P, bakeng sa tokomane - kholomo ea matrix Q). Li-vector tsena e tla ba li-embeddings tsa lintho tse tsamaellanang. Ho bolela esale pele hore na mosebelisi o tla rata tokomane, o ka atisa seo ba se kentseng.
E 'ngoe ea litsela tse ka khonehang tsa ho senya matrix ke ALS (Alternating Bonyenyane Squares). Re tla ntlafatsa ts'ebetso e latelang ea tahlehelo:
Mona rui ke tšebelisano ea mosebelisi u le tokomane ea i, qi ke vector ea tokomane i, pu ke vector ea mosebelisi u.
Ebe vector e nepahetseng ea mosebelisi ho tloha ponong ea phoso e bolelang lisekoere (bakeng sa li-vector tsa litokomane tse tsitsitseng) e fumanoa ka tlhahlobo ka ho rarolla ho fokotseha ha mola o lumellanang.
Sena se bitsoa "mohato oa ALS". 'Me algorithm ea ALS ka boeona ke hore re lokisa e' ngoe ea matrices (basebelisi le lingoliloeng) ka tsela e fapaneng ebe re ntlafatsa e 'ngoe, re fumana tharollo e nepahetseng.
Ka lehlohonolo, ho fumana boemeli ba vector ea mosebelisi ke ts'ebetso e potlakileng e ka etsoang ka nako ea ho sebetsa ho sebelisa litaelo tsa vector. Leqheka lena le u lumella hore hang-hang u nke maikutlo a basebelisi boemong ba maemo. Ho kenyeletsoa ho tšoanang ho ka sebelisoa ho index ea kNN ho ntlafatsa khetho ea mokhethoa.
Sesefa se Kopanetsoeng se Ajoang
U ka etsa joang ho eketsa matrix factorization le ho fumana kapele litšoantšo tsa vector tsa lingoliloeng tse ncha?
Litaba ha se tsona feela mohloli oa matšoao a likhothaletso. Mohloli o mong oa bohlokoa ke boitsebiso bo kopanetsoeng. Likarolo tse ntle tsa maemo li ka fumaneha ka tloaelo ho tsoa ho ho bola ha tokomane ea mosebelisi. Empa ha re leka ho senya joalo, re ile ra kopana le mathata:
1. Re na le limilione tsa litokomane le mashome a limilione a basebelisi. Matrix ha e kenelle ka ho felletseng mochining o le mong, 'me ho bola ho tla nka nako e telele haholo.
2. Boholo ba litaba tsa tsamaiso li na le nako e khutšoanyane ea bophelo: litokomane li lula li le bohlokoa ka lihora tse 'maloa feela. Ka hona, hoa hlokahala ho aha boemeli ba bona ba vector kapele kamoo ho ka khonehang.
3. Haeba u haha ho senyeha hang ka mor'a hore tokomane e hatisoe, palo e lekaneng ea basebelisi e ke ke ea e-ba le nako ea ho e hlahloba. Ka hona, tlhahiso ea eona ea vector e kanna ea se be ntle haholo.
4. Haeba mosebelisi a rata kapa a sa rate, re ke ke ra khona ho nka sena hang-hang ha ho senyeha.
Ho rarolla mathata ana, re kentse ts'ebetsong ho arohanngoa ha tokomane ea basebelisi ka lintlafatso tse ntseng li eketseha khafetsa. Hantle-ntle e sebetsa joang?
Ha re re re na le sehlopha sa mechini ea N (N e ka makholo) 'me re batla ho etsa decomposition e ajoang ea matrix ho eona e sa keneng mochining o le mong. Potso ke mokhoa oa ho etsa ho senyeha hona e le hore, ka lehlakoreng le leng, ho na le data e lekaneng mochine o mong le o mong 'me, ka lehlakoreng le leng, e le hore lipalo li ikemele?
Re tla sebelisa ALS decomposition algorithm e hlalositsoeng ka holimo. Ha re shebeng mokhoa oa ho etsa mohato o le mong oa ALS ka mokhoa o ajoang - mehato e meng kaofela e tla tšoana. Ha re re re na le matrix a tsitsitseng a litokomane mme re batla ho haha matrix ea basebelisi. Ho etsa sena, re tla e arola likarolo tsa N ka mela, karolo ka 'ngoe e tla ba le palo e lekanang ea mela. Re tla romella mochine o mong le o mong lisele tse se nang letho tsa mela e tsamaisanang, hammoho le matrix a ho kenya litokomane (ka ho feletseng). Kaha boholo ba eona ha bo kholo haholo, 'me matrix ea tokomane ea mosebelisi hangata e fokola haholo, data ena e tla lekana mochini o tloaelehileng.
Leqheka lena le ka phetoa ka linako tse 'maloa ho fihlela mohlala o kopana, o fapanyetsana matrix e tsitsitseng ka bonngoe. Empa leha ho le joalo, ho bola ha matrix ho ka nka lihora tse 'maloa. 'Me sena ha se rarolle bothata boo u bo hlokang ho fumana ka potlako ho kenngoa ha litokomane tse ncha le ho ntlafatsa li-embeddings tsa tseo ho neng ho e-na le boitsebiso bo fokolang ha u haha mohlala.
Kenyelletso ea lintlafatso tsa mehlala e potlakileng e re thusitse. Ha re re re na le mohlala o koetlisitsoeng hajoale. Ho tloha thupelong ea hae, ho bile le lihlooho tse ncha tseo basebelisi ba rona ba sebelisaneng le tsona, hammoho le lihlooho tse neng li e-na le tšebelisano e fokolang nakong ea koetliso. Ho fumana likhatiso tsa lingoliloeng tse joalo kapele, re sebelisa tse kentsoeng ke mosebelisi tse fumanoeng thupelong ea pele e kholo ea mohlala mme re etsa mohato o le mong oa ALS ho bala tokomane ea matrix e fuoeng matrix ea mosebelisi e tsitsitseng. Sena se o nolofalletsa ho fumana tse kenyellelitsoeng kapele-pele ka mor'a metsotso e seng mekae ka mor'a hore tokomane e hatisoe - 'me hangata e nchafatsa litokomane tsa morao-rao.
Ho etsa likhothaletso hanghang ho nahanela liketso tsa batho, ka nako ea ts'ebetso ha re sebelise li-embeddings tse fumanoeng kantle ho marang-rang. Sebakeng seo, re etsa mohato oa ALS ebe re fumana vector ea 'nete.
Fetisetsa sebakeng se seng sa domain
U ka sebelisa maikutlo a basebelisi joang ho lingoliloeng tsa mongolo ho theha setšoantšo sa vector ea video?
Qalong, re ne re khothaletsa lingoliloeng feela, kahoo li-algorithms tsa rona tse ngata li etselitsoe mofuta ona oa litaba. Empa ha re eketsa mefuta e meng ea litaba, re ile ra tobana le tlhoko ea ho ikamahanya le mefuta. Re rarolla bothata boo joang ka mohlala oa video? Khetho e 'ngoe ke ho koetlisa mefuta eohle ho tloha qalong. Empa sena se nka nako e telele, 'me ba bang ba dikgatotharabololo batla ka boholo ba sampole koetliso ea, e leng e-s'o fumanehe ka bongata bo hlokahalang bakeng sa mofuta o mocha oa dikahare ka nako ea pele ea bophelo ba eona ka tšebeletso.
Re ile ra ea ka tsela e 'ngoe' me ra sebelisa hape mefuta ea mongolo bakeng sa video. Leqheka le tšoanang la ALS le re thusitse ho theha litšoantšo tsa li-vector tsa livideo. Re nkile tlhahiso ea vector ea basebelisi ho latela lingoliloeng mme ra nka mohato oa ALS re sebelisa tlhaiso-leseling ea pono ea video. Kahoo re fumane setšoantšo sa vector habonolo sa video. 'Me ka nako ea ts'ebetso re bala feela sebaka se pakeng tsa vector ea mosebelisi e fumanoeng ho lingoliloeng tsa mongolo le vector ea video.
fihlela qeto e
Ho theha motheo oa sistimi ea likhothaletso tsa nako ea nnete ho kenyelletsa mathata a mangata. U hloka ho sebetsana le data kapele le ho sebelisa mekhoa ea ML ho sebelisa data ena ka katleho; aha mekhoa e rarahaneng e ajoang e khonang ho sebetsana le matšoao a basebelisi le likarolo tse ncha tsa litaba ka nako e fokolang; le mesebetsi e meng e mengata.
Tsamaisong ea hajoale, moralo oo ke o hlalositseng, boleng ba likhothaletso bakeng sa mosebelisi bo ntse bo hola hammoho le ts'ebetso ea hae le bolelele ba ho lula ts'ebeletso. Empa ha e le hantle, mona ho na le bothata bo ka sehloohong: ho thata hore tsamaiso e utloisise hang-hang lithahasello tsa motho ea nang le tšebelisano e fokolang le litaba. Ho ntlafatsa likhothaletso bakeng sa basebelisi ba bacha ke sepheo sa rona sa mantlha. Re tla tsoelapele ho ntlafatsa li-algorithms e le hore litaba tse amanang le motho li kenelle phepelong ea hae kapele, 'me litaba tse sa hlokahaleng li se ke tsa bontšoa.
Source: www.habr.com