E sa tsoa lokolloa , e bontšang mokhoa o motle oa ho ithuta mochine lilemong tsa morao tjena. Ka bokhutšoanyane: palo ea ho qala ho ithuta ka mochini e theohile lilemong tse peli tse fetileng.
Hantle. A re shebeng "hore na bubble e phatlohile", "mokhoa oa ho tsoela pele ho phela" 'me re bue ka hore na squiggle ena e tsoa hokae pele.
Taba ea pele, a re ke re bue ka hore na matlafatso ea lekhalo lena e ne e le eng. O ne a tsoa hokae? Mohlomong ba tla hopola tsohle ho ithuta ka mochini ka 2012 tlholisanong ea ImageNet. Etsoe ena ke ketsahalo ea pele ea lefatše lohle! Empa bonneteng sena ha se joalo. 'Me kholo ea mothinya e qala hanyane pejana. Ke ne ke tla e arola ka lintlha tse 'maloa.
- 2008 e bone ho hlaha ha lentsoe "data e kholo". Lihlahisoa tsa 'nete li qalile ho tloha ka 2010. Lintlha tse kholo li amana ka kotloloho le ho ithuta ka mochini. Ntle le data e kholo, ts'ebetso e tsitsitseng ea li-algorithms tse neng li le teng ka nako eo ha e khonehe. 'Me ana ha se marang-rang a neural. Ho fihlela 2012, marang-rang a neural e ne e le polokelo ea batho ba fokolang ba fokolang. Empa joale li-algorithms tse fapaneng ka ho felletseng li ile tsa qala ho sebetsa, tse bileng teng ka lilemo, kapa esita le mashome a lilemo: (1963,1993), (1995), (2003)
Ntho e tsoang ho leqhubu lena la pele ke sete ea meralo e kang XGBoost, CatBoost, LightGBM, joalo-joalo.
- Ka 2011-2012 e hapile litlholisano tse ngata tsa ho amohela litšoantšo. Tšebeliso ea bona ea sebele e ile ea lieha ka tsela e itseng. Nka re litharollo tse nang le moelelo o moholo li qalile ho hlaha ka 2014. Ho nkile lilemo tse peli ho cheka hore li-neurone li ntse li sebetsa, ho theha meralo e bonolo e ka kengoang le ho qalisoa ka nako e loketseng, ho hlahisa mekhoa e tla tsitsisa le ho potlakisa nako ea ho kopana.
Marang-rang a Convolutional a entse hore ho khonehe ho rarolla mathata a pono ea komporo: ho hlophisoa ha litšoantšo le lintho tse setšoantšong, ho lemoha lintho, ho lemoha lintho le batho, ntlafatso ea litšoantšo, joalo-joalo, joalo-joalo.
- 2015-2017. Ho eketseha ha li-algorithms le merero e thehiloeng ho marang-rang a tloaelehileng kapa li-analogue tsa tsona (LSTM, GRU, TransformerNet, joalo-joalo). Litaolo tse sebetsang hantle tsa puo-ho-sengolo le litsamaiso tsa phetolelo ka mochini li hlahile. Li ipapisitse le marang-rang a convolutional ho ntša likarolo tsa mantlha. Hanyane ka lebaka la hore re ithutile ho bokella li-database tse kholo le tse ntle.
“Na bubble e phatlohile? Na hype e chesa haholo? Na ba shoele e le blockchain?"
Ho seng joalo! Hosasane Siri e tla khaotsa ho sebetsa fonong ea hau, 'me letsatsing le hlahlamang hosasane Tesla a ke ke a tseba phapang pakeng tsa ho thinya le kangaroo.
Marang-rang a Neural a se a ntse a sebetsa. Li teng ka har'a lisebelisoa tse ngata. Ba hlile ba u lumella ho fumana chelete, ho fetola 'maraka le lefatše le u potolohileng. Hype e shebahala e fapane hanyane:
Ke feela hore marang-rang a neural ha e sa le ntho e ncha. E, batho ba bangata ba lebeletse ho hongata. Empa lik'hamphani tse ngata li ithutile ho sebelisa li-neurone le ho etsa lihlahisoa tse thehiloeng ho tsona. Li-neurons li fana ka ts'ebetso e ncha, li u lumella ho fokotsa mesebetsi, le ho fokotsa theko ea lits'ebeletso:
- Likhamphani tsa tlhahiso li kopanya li-algorithms ho sekaseka mefokolo moleng oa tlhahiso.
- Mapolasi a liphoofolo a reka mekhoa ea ho laola likhomo.
- Automatic e kopanya.
- Litsi tsa Mehala tse ikemetseng.
- Li-filters ho SnapChat. (hantle, bonyane ntho e molemo!)
Empa ntho e ka sehloohong, eseng e totobetseng ka ho fetisisa: "Ha ho sa na maikutlo a macha, kapa a ke ke a tlisa motse-moholo hang-hang." Marang-rang a Neural a rarollotse mathata a mangata. 'Me ba tla etsa qeto le ho feta. Likhopolo tsohle tse totobetseng tse neng li le teng li ile tsa hlahisa tse ngata tse qalang. Empa ntho e ’ngoe le e ’ngoe e neng e le holim’a metsi e ne e se e bokeletsoe. Lilemong tse peli tse fetileng, ha ke so fumane mohopolo o le mong o mocha oa ts'ebeliso ea marang-rang a neural. Ha ho mokhoa o le mong o mocha (hantle, ho lokile, ho na le mathata a 'maloa ka li-GAN).
'Me ho qala ho hong ho latelang ho thata le ho feta. Ha e sa hloka bashanyana ba babeli ba koetlisang neuron ba sebelisa data e bulehileng. E hloka baetsi ba mananeo, seva, sehlopha sa matšoao, tšehetso e rarahaneng, joalo-joalo.
Ka lebaka leo, ho na le tse fokolang tse qalang. Empa ho na le tlhahiso e eketsehileng. Na u hloka ho kenya lipoleiti tsa laesense? Ho na le litsebi tse makholo tse nang le boiphihlelo 'marakeng. U ka hira motho 'me ka mor'a likhoeli tse' maloa mosebeletsi oa hau o tla etsa sistimi. Kapa reka e se e entsoe. Empa ho etsa qalo e ncha? .. Lehlanya!
U hloka ho theha sistimi ea ho latela baeti - hobaneng u lefella bongata ba laesense ha u ka iketsetsa ea hau ka mor'a likhoeli tse 3-4, u e lole bakeng sa khoebo ea hau.
Hona joale marang-rang a neural a tsamaea ka tsela e tšoanang le eo mahlale a mang a mangata a fetileng ho eona.
Na u sa hopola hore na mohopolo oa "moetsi oa sebaka sa marang-rang" o fetohile joang ho tloha 1995? Mmaraka ha o so tlatse litsebi. Ho na le litsebi tse fokolang haholo. Empa nka becha hore ka mor'a lilemo tse 5-10 ho ke ke ha e-ba le phapang e ngata pakeng tsa moqapi oa Java le moqapi oa neural network. Ho tla ba le litsebi tse lekaneng ka bobeli 'marakeng.
Ho tla ba le sehlopha sa mathata a ka rarolloang ke methapo ea kutlo. Ho hlahile mosebetsi - hira setsebi.
"Ho latela eng? Bohlale ba maiketsetso bo tšepisitsoeng bo kae?”
Empa mona ho na le ho se utloisisane ho honyane empa ho khahlisang :)
Theknoloji e ngata e teng kajeno, ho hlakile, e ke ke ea re lebisa ho bohlale ba maiketsetso. Mehopolo le bocha ba tsona li khathetse haholo. Ha re bue ka se tšoereng boemo ba hajoale ba nts'etsopele.
Lithibelo
Ha re qaleng ka likoloi tse itsamaisang. Ho bonahala ho hlakile hore hoa khoneha ho etsa likoloi tse ikemetseng ka ho feletseng ka theknoloji ea kajeno. Empa hore na sena se tla etsahala ka lilemo tse kae ha se hlake. Tesla o lumela hore sena se tla etsahala ka mor'a lilemo tse 'maloa -
Ho na le tse ling tse ngata , ba hakanyang hore ke lilemo tse 5-10.
Ho ka etsahala, ka maikutlo a ka, ka lilemo tse 15 meaho ea litoropo ka boeona e tla fetoha ka tsela eo ho hlaha ha likoloi tse ikemetseng e tla ba ntho e ke keng ea qojoa mme e tla fetoha tsoelo-pele ea eona. Empa sena se ke ke sa nkoa e le bohlale. Tesla ea sejoale-joale ke pompo e rarahaneng haholo bakeng sa ho sefa data, ho batla le ho koetlisa hape. Tsena ke melao-melao-melao, pokello ea lintlha le li-filters holim'a tsona (mona Ke ngotse hanyane ka sena, kapa shebella ho tloha matshwao).
Bothata ba pele
Mme ke hona moo re bonang bothata ba pele ba mantlha. Lintlha tse kholo. Sena ke sona se ileng sa tsoala leqhubu la hona joale la marang-rang a neural le ho ithuta ka mochini. Matsatsing ana, ho etsa ntho e rarahaneng le e itekanetseng, o hloka lintlha tse ngata. Eseng feela haholo, empa haholo, haholo. Re hloka li-algorithms tse ikemetseng bakeng sa pokello ea tsona, ho tšoaea le ho sebelisoa. Re batla ho etsa hore koloi e bone literaka tse shebileng letsatsi - re tlameha ho qala ho bokella palo e lekaneng ea tsona. Re batla hore koloi e se ke ea hlanya ka baesekele e kentsoeng kutung - lisampole tse ling.
Ho feta moo, mohlala o le mong ha oa lekana. Makholo-kholo? Ba likete?
Bothata ba bobeli
Bothata ba bobeli - pono ea seo marang-rang a rona a neural a se utloisisang. Ona ke mosebetsi o sa reng letho. Ho fihlela joale, ke batho ba fokolang ba utloisisang mokhoa oa ho bona sena ka mahlo a kelello. Lingoliloeng tsena ke tsa morao-rao, ke mehlala e seng mekae feela, leha e le hole:
ho nkeha maikutlo ka dibopeho. E bontša hantle seo neuron e tloaetseng ho se lokisa ho + seo e se bonang e le tlhahisoleseling e qalang.
Tlhokomelo ho . Ha e le hantle, ho hohela hangata ho ka sebelisoa ka nepo ho bontša hore na ke eng e bakileng karabelo e joalo ea marang-rang. Ke bone lintho tse joalo bakeng sa tharollo ea debugging le sehlahisoa. Ho na le lingoliloeng tse ngata ka taba ena. Empa ha data e rarahane le ho feta, ho thata le ho feta ho utloisisa mokhoa oa ho fihlela pono e matla.
Ho joalo, e, sete e ntle ea khale ea "sheba se ka har'a letlooeng " Litšoantšo tsena li ne li tumme lilemong tse 3-4 tse fetileng, empa bohle ba ile ba lemoha kapele hore litšoantšo li ne li le ntle, empa li ne li se na moelelo o moholo.
Ha kea bua ka lisebelisoa tse ling tse ngata, mekhoa, li-hacks, lipatlisiso mabapi le mokhoa oa ho bonts'a marang-rang a marang-rang. Na lisebelisoa tsee lia sebetsa? Na li u thusa ho utloisisa kapele hore na bothata ke eng le ho lokisa marang-rang? .. Fumana liphesente tsa ho qetela? Ho joalo, e batla e tšoana:
U ka shebella tlholisano efe kapa efe ho Kaggle. Le tlhaloso ea kamoo batho ba etsang liqeto tsa ho qetela. Re ile ra paka li-unit tsa 100-500-800 tsa mefuta mme ea sebetsa!
Ke feteletsa taba, ehlile. Empa mekhoa ena ha e fane ka likarabo tse potlakileng le tse tobileng.
Ho ba le boiphihlelo bo lekaneng, ha u se u shebile likhetho tse fapaneng, u ka fana ka qeto mabapi le hore na hobaneng sistimi ea hau e entse qeto e joalo. Empa ho tla ba thata ho lokisa boitšoaro ba tsamaiso. Kenya crutch, tsamaisa monyako, eketsa dataset, nka marang-rang a mang a backend.
Bothata ba boraro
Bothata ba Boraro ba Motheo - li-grids li ruta lipalo-palo, eseng logic. Ho latela lipalo-palo sena :
Ka ho utloahalang, ha e tšoane haholo. Marang-rang a Neural ha a ithute letho le rarahaneng ntle le haeba a qobelloa ho etsa joalo. Kamehla ba ruta matšoao a bonolo ka ho fetisisa. O na le mahlo, nko, hlooho? Kahoo sena ke sefahleho! Kapa etsa mohlala moo mahlo a sa boleleng sefahleho. 'Me hape - limilione tsa mehlala.
Ho na le Kamore e Ngata ka tlase
Nka re ke mathata ana a mararo a lefats'e ao hajoale a fokotsang nts'etsopele ea marang-rang a methapo le ho ithuta ka mochini. 'Me moo mathata ana a sa kang a e fokotsa, e se e sebelisoa ka mafolofolo.
Hona ke pheletso? Na li-neural network li teng?
Tse sa tsejoeng. Empa, ha e le hantle, bohle ha ba na tšepo.
Ho na le mekhoa le litsela tse ngata tsa ho rarolla mathata a mantlha ao ke a tolokileng ka holimo. Empa ho fihlela joale, ha ho le e 'ngoe ea mekhoa ena e entseng hore ho khonehe ho etsa ntho e ncha ea motheo, ho rarolla ntho e e-s'o rarolloe. Ho fihlela hajoale, merero eohle ea mantlha e ntse e etsoa motheong oa mekhoa e tsitsitseng (Tesla), kapa ho lula merero ea liteko tsa litsi kapa mekhatlo (Google Brain, OpenAI).
Ka mantsoe a mang, tataiso e ka sehloohong ke ho theha boemeli ba boemo bo phahameng ba data e kentsoeng. Ka mantsoe a mang, "mohopolo". Mohlala o bonolo oa mohopolo ke "Embedding" e fapaneng - liemeli tsa litšoantšo. Hantle, mohlala, mekhoa eohle ea ho lemoha sefahleho. Marang-rang a ithuta ho fumana ho tsoa sefahlehong boemeli bo tsitsitseng bo sa itšetleheng ka ho potoloha, ho khantša, kapa ho rarolla. Ha e le hantle, marang-rang a fokotsa metric "lifahleho tse fapaneng li hole" le "lifahleho tse tšoanang li haufi."
Bakeng sa koetliso e joalo, ho hlokahala mehlala e mashome le likete tse makholo. Empa sephetho se na le tse ling tsa metheo ea "Thuto e le 'ngoe ea ho Ithuta". Joale ha re hloke lifahleho tse makholo ho hopola motho. Sefahleho se le seng feela mme ke phetho seo re leng sona !
Ho na le bothata bo le bong feela ... Grid e ka ithuta lintho tse bonolo feela. Ha u leka ho khetholla lifahleho, eseng, empa, mohlala, "batho ka liaparo" (mosebetsi ) - boleng bo theoha ka litaelo tse ngata tsa boholo. 'Me marang-rang a ke ke a hlola a ithuta liphetoho tse hlakileng tsa li-angles.
'Me ho ithuta ho limilione tsa mehlala le hona ho monate.
Ho na le mosebetsi oa ho fokotsa likhetho haholo. Ka mohlala, motho a ka hopola hang-hang e 'ngoe ea mesebetsi ea pele ho Thuto ea OneShot :
Ho na le mesebetsi e mengata e joalo, mohlala kapa kapa .
Ho tlosa ho le mong feela - hangata koetliso e sebetsa hantle mehlaleng e bonolo ea "MNIST". 'Me ha u fetela mesebetsing e rarahaneng, u hloka database e kholo, mohlala oa lintho, kapa mofuta o itseng oa boselamose.
Ka kakaretso, ho sebetsa ka koetliso ea One-Shot ke sehlooho se thahasellisang haholo. U fumana maikutlo a mangata. Empa ka kakaretso, mathata a mabeli ao ke a thathamisitseng (ho itokisetsa pele ho dataset e kholo / ho hloka botsitso ho data e rarahaneng) e sitisa haholo ho ithuta.
Ka lehlakoreng le leng, li-GAN-marang-rang a bahanyetsi-a atamela sehlooho sa Embedding. Mohlomong u balile letoto la lingoliloeng tse buang ka Habré ka taba ena. (, ,)
Karolo e 'ngoe ea GAN ke sebopeho sa sebaka se ka hare sa naha (ha e le hantle ke Embedding e tšoanang), e u lumellang ho taka setšoantšo. Ho ka ba joalo , e ka ba .
Bothata ba GAN ke hore ha ntho e hlahisoang e rarahane haholoanyane, ho thata le ho feta ho e hlalosa ka "generator-discriminator" logic. Ka lebaka leo, likopo feela tsa 'nete tsa GAN tse utluoang ke DeepFake, eo hape, e laolang litšoantšo tsa sefahleho (tseo ho nang le motheo o moholo oa tsona).
Ke bone lisebelisoa tse ling tse fokolang haholo. Hangata mofuta o itseng oa bolotsana o kenyelletsang ho qeta litšoantšo tsa litšoantšo.
Mme hape. Ha ho na motho ea nang le maikutlo a hore na sena se tla re lumella joang ho fallela bokamosong bo khanyang. Ho emela logic / sebaka ho neural network ho molemo. Empa re hloka palo e kholo ea mehlala, ha re utloisise hore na neuron e emela sena joang ka boeona, ha re utloisise mokhoa oa ho etsa hore neuron e hopole mohopolo o itseng o rarahaneng.
Matlafatso ea ho ithuta - ena ke mokhoa o tsoang ka tsela e fapaneng ka ho felletseng. Ehlile u hopola kamoo Google e hlotseng bohle ho Go. Litlhōlo tsa morao-rao ho Starcraft le Dota. Empa mona ntho e 'ngoe le e' ngoe e hole le ho ba monate ebile e ts'episa. O bua hantle ka RL le mathata a eona .
Ho akaretsa ka bokhutšoanyane seo mongoli a se ngotseng:
- Mehlala e ka ntle ho lebokose ha e lekane / e sebetsa hampe maemong a mangata
- Ho bonolo ho rarolla mathata a sebetsang ka litsela tse ling. Boston Dynamics ha e sebelise RL ka lebaka la ho rarahana ha eona / ho se tsebe esale pele / ho rarahana ha eona.
- E le hore RL e sebetse, o hloka mosebetsi o rarahaneng. Hangata ho thata ho theha/ho ngola
- Ho thata ho koetlisa mehlala. U tlameha ho qeta nako e ngata u pompa 'me u tsoe ho optima ea lehae
- Ka lebaka leo, ho thata ho pheta mohlala, mohlala ha o tsitsa ka liphetoho tse nyenyane
- Hangata e feta lipaterone tse ling tse sa reroang, esita le jenereithara ea linomoro tse sa reroang
Taba ea bohlokoa ke hore RL ha e so sebetse tlhahiso. Google e na le liteko ( , ). Empa ha ke so bone sistimi e le 'ngoe ea sehlahisoa.
memori. Bothata ba ntho e 'ngoe le e' ngoe e hlalositsoeng ka holimo ke ho hloka sebopeho. E 'ngoe ea mekhoa ea ho leka ho hlophisa tsena tsohle ke ho fana ka marang-rang a neural ka phihlello ea mohopolo o arohaneng. E le hore a ka ngola le ho ngola sephetho sa mehato ea hae moo. Ebe marang-rang a neural a ka khethoa ke boemo ba memori ea hajoale. Sena se tšoana haholo le li-processor tsa khale le likhomphutha.
E tsebahalang haholo le e tsebahalang - ho tsoa ho DeepMind:
Ho bonahala eka sena ke senotlolo sa ho utloisisa bohlale? Empa mohlomong ha ho joalo. Sistimi e ntse e hloka palo e kholo ea data bakeng sa koetliso. 'Me e sebetsa haholo-holo ka data e hlophisitsoeng ea tabular. Ho feta moo, ha Facebook bothata bo ts'oanang, joale ba nka tsela ea "screw memory, etsa hore neuron e be thata le ho feta, 'me u be le mehlala e mengata - mme e tla ithuta ka bo eona."
Ho kgeloha. Tsela e 'ngoe ea ho theha mohopolo o nang le moelelo ke ho kenya lintho tse tšoanang, empa nakong ea koetliso, hlahisa mekhoa e meng e tla u lumella ho totobatsa "meelelo" ho eona. Ka mohlala, re batla ho koetlisa neural network ho khetholla pakeng tsa boitšoaro ba motho ka lebenkeleng. Haeba re ne re latela tsela e tloaelehileng, re tla tlameha ho etsa marang-rang a leshome le metso e 'meli. E mong o batla motho, oa bobeli ke oa hore na o etsa eng, oa boraro ke lilemo tsa hae, oa bone ke bong ba hae. Maikutlo a arohaneng a sheba karolo ea lebenkele moo e etsang / e koetliselitsoeng ho etsa sena. Ea boraro e etsa qeto ea tsela ea eona, joalo-joalo.
Kapa, haeba ho ne ho e-na le palo e sa lekanyetsoang ea data, joale ho ne ho ka khoneha ho koetlisa marang-rang a le mong bakeng sa liphello tsohle tse ka khonehang (ho hlakile hore palo e joalo ea data e ke ke ea bokelloa).
Mokhoa oa ho arola o re bolella - ha re koetliseng marang-rang e le hore ka boeona e ka khetholla pakeng tsa likhopolo. E le hore e thehe mokhoa oa ho kopanya ho latela video, moo sebaka se le seng se neng se tla etsa qeto ea ketso, motho o ne a tla lekanyetsa boemo ba fatše ka nako, e mong o ne a tla lekanyetsa bolelele ba motho, ’me e mong a etse qeto ea hore na motho ke oa bong bofe. Ka nako e ts'oanang, ha ke koetlisoa, nka rata ho batla ke se ke ka susumelletsa marang-rang ka likhopolo tse joalo tsa bohlokoa, empa ho e-na le hoo e le hore e totobatse le libaka tsa lihlopha. Ho na le lingoloa tse 'maloa tse joalo (tse ling tsa tsona , , ) 'me ka kakaretso li na le khopolo-taba.
Empa tataiso ena, bonyane ka khopolo, e lokela ho koahela mathata a thathamisitsoeng qalong.
Ho senyeha ha setšoantšo ho latela liparamente "'mala oa lebota / 'mala oa fatše / sebopeho sa ntho /' mala oa ntho / joalo-joalo."
Ho bola ha sefahleho ho ea ka "boholo, lintši, sebopeho, 'mala oa letlalo, joalo-joalo."
Прочее
Ho na le libaka tse ling tse ngata, eseng tsa lefats'e, tse u lumellang hore ka tsela e itseng u fokotse database, u sebetse ka lintlha tse ngata tse fapaneng, joalo-joalo.
fuoe tlhokomelo. Mohlomong ha ho utloahale ho arola sena e le mokhoa o fapaneng. Mokhoa feela o matlafatsang ba bang. Lingoliloeng tse ngata li nehetsoe ho eena (,,). Ntlha ea Tlhokomelo ke ho ntlafatsa karabelo ea marang-rang ka ho khetheha ho lintho tsa bohlokoa nakong ea koetliso. Hangata ka mofuta o itseng oa sepheo sa kantle, kapa marang-rang a manyane a kantle.
Ketsiso ea 3D. Haeba u etsa enjene e ntle ea 3D, hangata u ka koahela 90% ea data ea koetliso le eona (ke bile ke bona mohlala moo hoo e batlang e le 99% ea data e koahetsoeng ke enjene e ntle). Ho na le mehopolo le li-hacks tse ngata mabapi le mokhoa oa ho etsa marang-rang a koetliselitsoeng mochining oa 3D ho sebetsa o sebelisa data ea 'nete (Tokiso e ntle, phetisetso ea setaele, joalo-joalo). Empa hangata ho etsa enjene e ntle ho thata ho feta ho bokella lintlha. Mehlala ea ha lienjine li etsoa:
Koetliso ea liroboto (, )
Liboka tsa koetliso thepa ka lebenkeleng (empa mererong e 'meli eo re e entseng, re ne re ka e etsa habonolo ntle le eona).
Koetliso ho Tesla (hape, video e ka holimo).
fumanoeng ke
Sengoloa kaofela, ka tsela e itseng, ke liqeto. Mohlomong molaetsa oa sehlooho oo ke neng ke batla ho o etsa e ne e le "li-freebies li felile, methapo ea kutlo ha e sa fana ka tharollo e bonolo." Joale re lokela ho sebetsa ka thata ho etsa liqeto tse rarahaneng. Kapa sebetsa ka thata ho etsa lipatlisiso tse rarahaneng tsa saense.
Ka kakaretso, sehlooho se ka phehisana khang. Mohlomong babali ba na le mehlala e khahlisang haholoanyane?
Source: www.habr.com