Navoaka vao haingana , izay mampiseho fironana tsara amin'ny fianarana milina tato anatin'ny taona vitsivitsy. Raha fintinina: nihena ny isan'ny fanombohana fianarana milina tao anatin'ny roa taona farany.
Eny ary. Andeha hojerentsika ny "na nipoaka ny bubble", "ny fomba hanohizana ny fiainana" ary miresaka momba ny fiavian'ity squiggle ity amin'ny voalohany.
Voalohany, andeha hojerentsika hoe inona no nahatonga an'ity curve ity. Avy aiza izy? Mety ho tadidin'izy ireo ny zava-drehetra fianarana milina tamin'ny 2012 tamin'ny fifaninanana ImageNet. Raha ny marina, ity no hetsika manerantany voalohany! Saingy raha ny marina dia tsy izany no izy. Ary ny fitomboan'ny curve dia manomboka aloha kely. Nozaraiko ho teboka maromaro ilay izy.
- Tamin'ny taona 2008 no nipoitra ny teny hoe "data lehibe". Nanomboka ny tena vokatra nanomboka tamin'ny 2010. Ny angona lehibe dia mifandray mivantana amin'ny fianarana milina. Raha tsy misy angon-drakitra lehibe dia tsy azo atao ny fiasan'ny algorithm izay nisy tamin'izany fotoana izany. Ary tsy tambajotra neural ireo. Hatramin'ny taona 2012, ny tambajotra neural dia voatahiry ho an'ny vitsy an'isa. Saingy nanomboka niasa ny algorithm hafa tanteraka, izay efa nisy nandritra ny taona maro, na am-polony taona maro mihitsy aza: (1963,1993), (1995), (2003),... Ny fanombohana tamin'ireo taona ireo dia mifandray voalohany indrindra amin'ny fanodinana mandeha ho azy ny angon-drakitra voarafitra: rejistra vola, mpampiasa, dokam-barotra, maro hafa.
Ny derivative amin'ity onja voalohany ity dia andiana rafitra toy ny XGBoost, CatBoost, LightGBM, sns.
- Tamin'ny 2011-2012 nandresy tamin'ny fifaninanana famantarana sary maromaro. Somary nahemotra ny fampiasana azy ireo. Lazaiko fa nanomboka nipoitra tamin'ny taona 2014 ny fanombohana sy ny vahaolana lehibe. Naharitra roa taona ny fandevonan-kanina fa mbola miasa ny neurons, mba hamoronana rafitra mety azo apetraka sy atomboka ao anatin'ny fotoana mety, mba hamolavola fomba izay hampitombina sy hanafaingana ny fotoana fampifanarahana.
Ny tambajotra convolutional dia nahafahana namaha ny olan'ny fahitan'ny solosaina: fanasokajiana ny sary sy ny zavatra ao amin'ny sary, ny fahitana zavatra, ny fanekena ny zavatra sy ny olona, ny fanatsarana ny sary, sns., sns.
- 2015-2017. Ny firoboroboan'ny algorithm sy ny tetikasa mifototra amin'ny tambajotra miverimberina na ny analogues (LSTM, GRU, TransformerNet, sns.). Nipoitra ny algorithm am-pitenenana amin'ny lahatsoratra sy rafitra fandikan-teny amin'ny milina. Izy ireo dia mifototra amin'ny tambajotra convolutional mba hanesorana ireo endri-javatra fototra. Ny ampahany dia noho ny fianarana nanangona angona lehibe sy tsara.
“Nipoaka ve ny bubble? Mafana be ve ny hype? Maty toy ny blockchain ve izy ireo? ”
Raha tsy izany! Rahampitso dia hijanona tsy hiasa amin'ny findainao i Siri, ary ny ampitson'iny dia tsy ho fantatry ny Tesla ny fahasamihafana misy eo amin'ny fihodinana sy ny kangoroa.
Efa miasa ny tambajotra neural. Ao amin'ny fitaovana am-polony izy ireo. Tena mamela anao hahazo vola izy ireo, hanova ny tsena sy ny tontolo manodidina anao. Toa hafa kely ny Hype:
Soa ihany fa tsy zava-baovao intsony ny tambajotra neural. Eny, maro ny olona manana fanantenana ambony. Saingy orinasa marobe no nianatra nampiasa ny neurons ary nanao vokatra mifototra amin'izy ireo. Ny neurons dia manome fiasa vaovao, ahafahanao manapaka asa ary mampihena ny vidin'ny serivisy:
- Ny orinasa mpamokatra dia mampiditra algorithms handinihana ny lesoka amin'ny tsipika famokarana.
- Ny toeram-piompiana dia mividy rafitra hifehezana omby.
- Mitambatra ho azy.
- Foibe fiantsoana mandeha ho azy.
- Sivana ao amin'ny SnapChat. (tsara, farafaharatsiny zavatra mahasoa!)
Fa ny tena zava-dehibe, fa tsy ny tena miharihary: "Tsy misy hevitra vaovao intsony, na tsy hitondra renivohitra eo noho eo." Namaha olana am-polony ny tambajotra neural. Ary mbola hanapa-kevitra bebe kokoa izy ireo. Ny hevitra mazava rehetra nisy dia niteraka fanombohana maro. Fa izay rehetra eny ambonin'ny tany dia efa nangonina. Nandritra ny roa taona lasa, tsy nahita hevitra vaovao iray momba ny fampiasana tambajotra neural aho. Tsy misy fomba fiasa vaovao (eny, ok, misy olana vitsivitsy amin'ny GAN).
Ary ny fanombohana manaraka dia mihasarotra kokoa. Tsy mitaky bandy roa mampiofana neuron amin'ny fampiasana data misokatra intsony izany. Mitaky programa, mpizara, ekipa mpanamarika, fanohanana sarotra, sns.
Vokatr'izany dia vitsy ny fanombohana. Saingy betsaka kokoa ny famokarana. Mila manampy ny fahazoan-dàlana fahazoan-dàlana? Misy manam-pahaizana an-jatony manana traikefa mifandraika amin'izany eo amin'ny tsena. Afaka manakarama olona ianao ary afaka volana vitsivitsy dia hanao ny rafitra ny mpiasanao. Na mividy efa vita. Fa manao fanombohana vaovao?.. Adala!
Mila mamorona rafitra fanaraha-maso mpitsidika ianao - maninona no mandoa fahazoan-dàlana maromaro raha afaka manao ny anao ianao ao anatin'ny 3-4 volana, maranitra ho an'ny orinasanao.
Ankehitriny dia mandeha amin'ny lalana mitovy amin'izay nolalovan'ny teknolojia hafa am-polony ny tambajotra neural.
Tadidinao ve ny fiovan'ny foto-kevitry ny "mpamolavola tranokala" nanomboka tamin'ny 1995? Tsy mbola tototry ny manampahaizana manokana ny tsena. Vitsy ny matihanina. Saingy azoko antoka fa ao anatin'ny 5-10 taona dia tsy hisy fahasamihafana be eo amin'ny programmer Java sy ny developer network neural. Ho ampy ny manam-pahaizana roa eny an-tsena.
Hisy kilasy olana fotsiny izay azon'ny neurons voavaha. Nisy asa nipoitra - manakarama manam-pahaizana manokana.
"Inona ny manaraka? Aiza ny faharanitan-tsaina artifisialy nampanantenaina?”
Fa eto misy tsy fifankahazoana kely nefa mahaliana :)
Ny fitambaran'ny teknolojia misy ankehitriny, toa tsy hitarika antsika amin'ny faharanitan-tsaina artifisialy. Ny hevitra sy ny zava-baovao dia nandreraka ny tenany. Andeha isika hiresaka momba izay mitazona ny haavon'ny fampandrosoana ankehitriny.
fameperana
Andeha isika hanomboka amin'ny fiara mitondra tena. Toa mazava fa azo atao ny manamboatra fiara tsy miankina tanteraka amin'ny teknolojia ankehitriny. Tsy fantatra mazava anefa hoe firy taona no hitrangan’izany. Mino i Tesla fa hitranga ao anatin'ny roa taona izany -
Misy maro hafa koa , izay tombanana ho 5-10 taona.
Azo inoana fa, araka ny hevitro, ao anatin'ny 15 taona dia hiova mihitsy ny fotodrafitrasa ao an-tanàna ka ho lasa tsy azo ihodivirana ny firongatry ny fiara tsy miankina ary ho tohiny. Tsy azo raisina ho faharanitan-tsaina anefa izany. Modern Tesla dia fantsona tena sarotra ho an'ny sivana, fikarohana ary famerenana indray. Ireo dia fitsipika-fitsipika-fitsipika, fanangonana angon-drakitra ary sivana eo amboniny (eto Nanoratra kely momba an'io aho, na mijery avy marika).
Ny olana voalohany
Ary eto no hitantsika olana fototra voalohany. Big data. Izany indrindra no niteraka ny onjan'ny tambajotra neural sy ny fianarana milina ankehitriny. Amin'izao fotoana izao, mba hanaovana zavatra sarotra sy mandeha ho azy, dia mila data be dia be ianao. Tsy be dia be, fa tena be dia be. Mila algorithm mandeha ho azy isika amin'ny fanangonana sy ny marika ary ny fampiasana azy ireo. Te-hahita ny fiara izahay mitodika amin'ny masoandro - tsy maintsy manangona ny isa ampy amin'izy ireo aloha. Tianay ny tsy ho lasa adala ny fiara miaraka amin'ny bisikileta mipetaka amin'ny vatan-kazo - santionany bebe kokoa.
Ankoatra izany, ohatra iray dia tsy ampy. Anjatony? an'arivony?
Olana faharoa
Olana faharoa - sary an-tsaina ny zavatra takatry ny tambajotra neural. Asa tena tsy misy dikany izany. Hatramin'izao, vitsy ny olona mahafantatra ny fomba hijerena izany. Tena vao haingana ireo lahatsoratra ireo, ohatra vitsivitsy ihany ireo, na dia lavitra aza:
obsession amin'ny textures. Asehony tsara izay tian'ny neurônina hifikitra amin'ny + izay heveriny ho fampahalalana fanombohana.
Attention at . Raha ny marina, ny fanintonana dia azo ampiasaina matetika mba hampisehoana ny antony nahatonga ny fanehoan-kevitry ny tambajotra toy izany. Nahita zavatra toy izany ho an'ny debugging sy ny vahaolana amin'ny vokatra aho. Betsaka ny lahatsoratra momba ity lohahevitra ity. Saingy ny sarotra kokoa ny angon-drakitra, no sarotra kokoa ny mahatakatra ny fomba hahazoana fahitana matanjaka.
Eny, eny, ilay andian-tsarimihetsika tranainy tsara "jereo izay ao anaty harato " Ireo sary ireo dia nalaza 3-4 taona lasa izay, saingy tonga saina haingana ny rehetra fa tsara tarehy ireo sary, saingy tsy dia misy dikany loatra.
Tsy nanonona gadget am-polony hafa, fomba, hacks, fikarohana momba ny fomba fanehoana ny atiny amin'ny tambajotra aho. Mandeha ve ireo fitaovana ireo? Manampy anao hahatakatra haingana ny olana ve izy ireo ary manala ny tambajotra?.. Mahazo ny isan-jato farany? Eny, mitovy ihany izany:
Afaka mijery fifaninanana rehetra ao amin'ny Kaggle ianao. Ary famaritana ny fomba handraisan'ny olona fanapahan-kevitra farany. Nanangona modely 100-500-800 izahay ary nahomby izany!
Manitatra aho, mazava ho azy. Saingy tsy manome valiny haingana sy mivantana ireo fomba fiasa ireo.
Ny fananana traikefa ampy, rehefa nitsambikina tamin'ny safidy samihafa ianao dia afaka manome didim-pitsarana momba ny antony nanaovan'ny rafitrao fanapahan-kevitra toy izany. Fa ho sarotra ny hanitsy ny fitondran-tena ny rafitra. Mametraka tehina, manetsika ny tokonam-baravarana, ampio angon-drakitra, maka tambajotra backend hafa.
Olana fahatelo
Olana fototra fahatelo - ny grids dia mampianatra statistika fa tsy lojika. Statistique ity :
Raha ny lojika, tsy dia mitovy loatra. Ny tambajotra neural dia tsy mianatra zavatra sarotra raha tsy hoe voatery. Mampianatra ny famantarana tsotra indrindra azo atao izy ireo. Manana maso, orona, loha ve ianao? Dia ity ny tarehy! Na manomeza ohatra hoe ny maso dia tsy midika hoe tarehy. Ary indray - ohatra an-tapitrisany.
Misy efitra be dia be ao ambany
Lazaiko fa ireo olana telo eran-tany ireo no mametra ny fivoaran'ny tambajotra neural sy ny fianarana milina amin'izao fotoana izao. Ary izay tsy nametra ireo olana ireo, dia efa ampiasaina mavitrika.
Izao no farany? Miakatra ve ny tambazotra neural?
Tsy fantatra. Saingy, mazava ho azy, tsy manantena ny rehetra.
Betsaka ny fomba fiasa sy torolalana amin'ny famahana ireo olana fototra nasongadiko tetsy ambony. Saingy hatramin'izao, tsy misy amin'ireo fomba fiasa ireo no nahafahana nanao zava-baovao ifotony, hamahana zavatra tsy mbola voavaha. Hatreto, ny tetikasa fototra rehetra dia atao amin'ny alàlan'ny fomba fiasa maharitra (Tesla), na mijanona ho tetikasa fitsapana amin'ny andrim-panjakana na orinasa (Google Brain, OpenAI).
Raha lazaina amin'ny teny fohy, ny tena tari-dalana dia ny mamorona fanehoana avo lenta amin'ny angona fampidirana. Amin'ny lafiny iray, "fahatsiarovana". Ny ohatra tsotra indrindra amin'ny fitadidiana dia "Embedding" isan-karazany - fanehoana sary. Eny ary, ohatra, ny rafitra famantarana ny tarehy rehetra. Ny tambajotra dia mianatra maka avy amin'ny endrika endrika tsy miovaova izay tsy miankina amin'ny fihodinana, ny jiro, na ny famahana. Amin'ny ankapobeny, ny tambajotra dia manamaivana ny metrika "lavitra ny endrika samy hafa" ary "manakaiky ny endrika mitovy."
Ho an'ny fampiofanana toy izany, ohatra an'aliny sy ana hetsiny no ilaina. Saingy ny vokatra dia mitondra ny sasany amin'ireo fototry ny "Fianarana tokana". Ankehitriny dia tsy mila tarehy an-jatony isika vao mahatsiaro olona iray. Tava iray ihany dia izay ihany isika !
Iray ihany ny olana... Zavatra tsotra ihany no azon'ny grid. Rehefa miezaka ny manavaka tsy tarehy, fa, ohatra, ny "olona amin'ny akanjo" (asa ) - mihena ny kalitao amin'ny lamina maro. Ary tsy afaka mianatra fiovana mibaribary amin'ny zoro intsony ny tambajotra.
Ary ny fianarana amin'ny ohatra an-tapitrisany dia karazana mahafinaritra ihany koa.
Misy ny asa hampihenana ny fifidianana. Ohatra, afaka mahatsiaro avy hatrany ny iray amin'ireo asa voalohany OneShot Learning :
Betsaka ny asa toy izany, ohatra na na .
Iray ihany ny minus - matetika ny fampiofanana dia miasa tsara amin'ny ohatra tsotra, "MNIST". Ary rehefa miroso amin'ny asa sarotra ianao dia mila angon-drakitra lehibe, modely amin'ny zavatra, na karazana ody.
Amin'ny ankapobeny, lohahevitra mahaliana ny asa momba ny fiofanana One-Shot. Mahita hevitra be dia be ianao. Saingy amin'ny ankapobeny, ireo olana roa notanisaiko (fampiofanana mialoha amin'ny angon-drakitra lehibe / tsy fandriam-pahalemana amin'ny angon-drakitra sarotra) dia manelingelina ny fianarana.
Amin'ny lafiny iray, ny GANs—tambajotra mpifanandrina miteraka—dia manatona ny lohahevitry ny Embedding. Mety efa namaky lahatsoratra maromaro momba ny Habré momba ity lohahevitra ity ianao. (, ,)
Ny endri-javatra iray amin'ny GAN dia ny fiforonan'ny habaka ara-panjakana sasany (amin'ny ankapobeny dia mitovy ny Embedding), izay ahafahanao manao sary. Mety ho , mety ho .
Ny olana amin'ny GAN dia ny sarotra kokoa ny zavatra vokarina, ny sarotra kokoa ny mamaritra azy amin'ny lojika "generator-discriminator". Vokatr'izany, ny tena fampiharana an'ny GAN izay heno dia ny DeepFake, izay, indray, manodinkodina ny endriky ny tarehy (izay misy fototra lehibe).
Vitsy dia vitsy ny fampiasana mahasoa hafa hitako. Matetika ny karazana hafetsen-javatra misy ny famitana sary.
Ary indray. Tsy misy mahafantatra hoe ahoana no ahafahantsika mandroso amin'ny hoavy mamirapiratra. Tsara ny maneho ny lojika / habaka amin'ny tambajotra neural. Saingy mila ohatra be dia be isika, tsy azontsika ny fomba anehoan'ny neuron izany ho azy, tsy azontsika ny fomba hahatonga ny neuron hahatsiaro hevitra tena sarotra.
Fianarana fanamafisana - fomba fijery hafa tanteraka izany. Azo antoka fa tadidinao ny fomba nandresen'i Google ny olona rehetra tao amin'ny Go. Fandresena vao haingana tao amin'ny Starcraft sy Dota. Fa eto ny zava-drehetra dia lavitra ny rosy sy mampanantena. Miresaka tsara momba ny RL sy ny fahasarotany izy .
Mba hamintinana fohifohy ny zavatra nosoratan'ny mpanoratra:
- Ny modely ivelan'ny boaty dia tsy mifanaraka / miasa ratsy amin'ny ankamaroan'ny tranga
- Mora vahana amin'ny fomba hafa ny olana azo ampiharina. Boston Dynamics dia tsy mampiasa RL noho ny fahasarotana/tsy ampoizina/fisarotan'ny kajy
- Mba hiasa ny RL dia mila fiasa sarotra ianao. Sarotra matetika ny mamorona/manoratra
- Sarotra ny mampiofana modely. Tsy maintsy mandany fotoana be dia be ianao mba hisintonana sy hialana amin'ny optima eo an-toerana
- Vokatr'izany dia sarotra ny mamerina ny modely, ny modely dia tsy miorina amin'ny fiovana kely
- Matetika dia mifanitsy amin'ny karazana elatra havia, ka hatramin'ny mpamokatra isa kisendrasendra
Ny tena zava-dehibe dia ny RL dia tsy mbola miasa amin'ny famokarana. Google dia manana andrana ( , ). Saingy tsy mbola nahita rafitra vokatra iray aho.
Memory. Ny tsy fahampian'ny zavatra rehetra voalaza etsy ambony dia ny tsy fisian'ny rafitra. Ny iray amin'ireo fomba hanandrana hanadio izany rehetra izany dia ny fanomezana ny tambajotra neural amin'ny fidirana amin'ny fitadidiana misaraka. Mba hahafahany mirakitra sy mamerina manoratra ny vokatry ny diany tany. Avy eo ny tambajotra neural dia azo faritana amin'ny toetry ny fitadidiana ankehitriny. Tena mitovy amin'ny processeur sy ordinatera mahazatra izany.
Ny malaza sy malaza indrindra — avy amin'ny DeepMind:
Toa izany no fanalahidin'ny fahatakarana ny faharanitan-tsaina? Fa angamba tsy izany. Mbola mitaky angon-drakitra betsaka ho an'ny fampiofanana ny rafitra. Ary miasa indrindra amin'ny angon-drakitra voarindra. Ankoatra izany, rehefa Facebook olana mitovitovy amin'izany, avy eo izy ireo dia nandeha tamin'ilay lalana hoe "manaova fahatsiarovana, ataovy sarotra kokoa ny neuron, ary manana ohatra maro kokoa - ary hianatra samirery izy."
Fanaparitahana. Ny fomba iray hafa hamoronana fahatsiarovana manan-danja dia ny fandraisana ireo embeddings mitovy, fa mandritra ny fiofanana dia ampidiro ny fepetra fanampiny izay ahafahanao manasongadina "dika" ao aminy. Ohatra, tiantsika ny hampiofana tamba-jotra neural hanavaka ny fitondrantenan'olombelona ao amin'ny fivarotana iray. Raha manaraka ny lalana mahazatra isika dia tsy maintsy manao tambajotra am-polony. Ny iray mitady olona, ny faharoa dia mamaritra ny zavatra ataony, ny fahatelo dia ny taonany, ny fahefatra dia ny lahy sy ny vavy. Ny lojika misaraka dia mijery ny ampahany amin'ny magazay izay anaovana azy/nampiofanana hanao izany. Ny fahatelo no mamaritra ny lalany, sns.
Na, raha misy angon-drakitra tsy manam-petra, dia azo atao ny manofana tambajotra iray ho an'ny vokatra azo atao rehetra (mazava ho azy fa tsy azo angonina ny angon-drakitra toy izany).
Ny fomba fisarahana dia milaza amintsika - andao hampiofana ny tambajotra mba hahafahany manavaka ny hevitra. Mba hamoronana fametahana mifototra amin'ny horonan-tsary, izay faritra iray hamaritra ny hetsika, ny iray dia mamaritra ny toerana eo amin'ny tany ara-potoana, ny iray hamaritra ny haavon'ilay olona, ary ny iray hamaritra ny lahy sy ny vavy. Amin'izay fotoana izay ihany koa, rehefa miofana aho dia saika tsy hanosika ny tambajotra miaraka amin'ny foto-kevitra fototra toy izany, fa mba hanasongadinana sy hampivondrona faritra. Betsaka ny lahatsoratra toy izany (ny sasany amin'izy ireo , , ) ary amin'ny ankapobeny dia tena teorika izy ireo.
Saingy ity torolalana ity, farafaharatsiny amin'ny teoria, dia tokony handrakotra ireo olana voatanisa tany am-piandohana.
Ny fanimbana sary araka ny mari-pamantarana "loko rindrina/loko gorodona/endrika zavatra/loko/sns."
Ny fahapotehan'ny tarehy araka ny mari-pamantarana "habe, volomaso, orientation, loko hoditra, sns."
Прочее
Misy faritra maro hafa, tsy eran-tany, izay ahafahanao mampihena ny angon-drakitra, miasa miaraka amin'ny angona heterogène, sns.
Attention. Tsy mitombina angamba ny manasaraka an'io ho fomba miavaka. Fomba entina manatsara ny hafa ihany. Betsaka ny lahatsoratra natokana ho azy (,,). Ny tanjona dia ny hanatsara ny valintenin'ny tambajotra manokana amin'ireo zavatra manan-danja mandritra ny fiofanana. Matetika amin'ny karazana fanendrena tanjona ivelany, na tambajotra ivelany kely.
3D simulation. Raha manao motera 3D tsara ianao dia azonao atao matetika ny mandrakotra ny 90% amin'ny angon-drakitra fanofanana miaraka aminy (nahita ohatra iray aho izay saika ny 99% amin'ny data dia voarakotry ny motera tsara). Misy hevitra sy hacks maro momba ny fomba fanaovana tambajotra voaofana amin'ny motera 3D miasa amin'ny fampiasana angona tena izy (Fine tuning, transfer style, sns.). Saingy matetika ny fanaovana motera tsara dia sarotra kokoa noho ny fanangonana data. Ohatra rehefa natao ny motera:
Fiofanana robot (, )
Fampiofanana fanofanana entana ao amin'ny magazay (fa tamin'ireo tetikasa roa nataonay dia afaka nanao mora foana izahay raha tsy nisy izany).
Fiofanana ao amin'ny Tesla (indray, ny horonan-tsary etsy ambony).
hitany
Ny lahatsoratra manontolo dia, amin'ny lafiny iray, fanatsoahan-kevitra. Ny hafatra lehibe tiako holazaina angamba dia ny hoe "tapitra ny fanomezana maimaim-poana, tsy manome vahaolana tsotra intsony ny neurons." Mila miezaka mafy isika ankehitriny mba handray fanapahan-kevitra sarotra. Na miasa mafy manao fikarohana siantifika sarotra.
Amin'ny ankapobeny dia azo iadian-kevitra ny lohahevitra. Angamba manana ohatra mahaliana kokoa ny mpamaky?
Source: www.habr.com