Kamakailang inilabas , na nagpapakita ng magandang trend sa machine learning nitong mga nakaraang taon. Sa madaling salita: ang bilang ng mga startup ng machine learning ay bumagsak sa nakalipas na dalawang taon.
Well. Tingnan natin ang "kung ang bula ay sumabog", "kung paano magpatuloy na mabuhay" at pag-usapan kung saan nagmula ang squiggle na ito sa unang lugar.
Una, pag-usapan natin kung ano ang nagpalakas ng kurba na ito. Saan siya nanggaling? Malamang maaalala nila ang lahat machine learning noong 2012 sa ImageNet competition. Pagkatapos ng lahat, ito ang unang pandaigdigang kaganapan! Ngunit sa katotohanan ay hindi ito ang kaso. At ang paglaki ng kurba ay nagsisimula nang kaunti nang mas maaga. Hatiin ko ito sa ilang mga punto.
- 2008 nakita ang paglitaw ng terminong "malaking data". Nagsimula ang mga tunay na produkto mula noong 2010. Ang malaking data ay direktang nauugnay sa machine learning. Kung walang malaking data, imposible ang matatag na operasyon ng mga algorithm na umiral noong panahong iyon. At hindi ito mga neural network. Hanggang 2012, ang mga neural network ay pinangangalagaan ng isang marginal na minorya. Ngunit pagkatapos ay nagsimulang gumana ang ganap na magkakaibang mga algorithm, na umiral nang maraming taon, o kahit na mga dekada: (1963,1993), Na (1995), (2003),... Ang mga startup ng mga taong iyon ay pangunahing nauugnay sa awtomatikong pagproseso ng structured data: mga cash register, user, advertising, marami pang iba.
Ang derivative ng unang wave na ito ay isang set ng mga frameworks gaya ng XGBoost, CatBoost, LightGBM, atbp.
- Noong 2011-2012 nanalo ng ilang mga kumpetisyon sa pagkilala sa imahe. Ang kanilang aktwal na paggamit ay medyo naantala. Sasabihin ko na ang napakalaking makabuluhang mga startup at solusyon ay nagsimulang lumitaw noong 2014. Tumagal ng dalawang taon upang matunaw na gumagana pa rin ang mga neuron, upang lumikha ng maginhawang mga balangkas na maaaring i-install at ilunsad sa isang makatwirang oras, upang bumuo ng mga pamamaraan na magpapatatag at magpapabilis sa oras ng convergence.
Ginawang posible ng mga convolutional network na malutas ang mga problema sa computer vision: pag-uuri ng mga imahe at bagay sa imahe, pagtuklas ng bagay, pagkilala sa mga bagay at tao, pagpapabuti ng imahe, atbp., atbp.
- 2015-2017. Ang boom ng mga algorithm at proyekto batay sa mga paulit-ulit na network o kanilang mga analogue (LSTM, GRU, TransformerNet, atbp.). Lumitaw ang mahusay na gumaganang speech-to-text algorithm at machine translation system. Bahagyang nakabatay ang mga ito sa mga convolutional network upang kunin ang mga pangunahing tampok. Bahagyang dahil sa katotohanan na natuto kaming mangolekta ng talagang malalaki at magagandang dataset.
βPumutok na ba ang bula? Sobrang init ba ng hype? Namatay ba sila bilang isang blockchain?"
Kung hindi! Bukas hihinto si Siri sa paggana sa iyong telepono, at sa susunod na araw ay hindi malalaman ni Tesla ang pagkakaiba sa pagitan ng isang pagliko at isang kangaroo.
Gumagana na ang mga neural network. Nasa dose-dosenang mga device ang mga ito. Talagang pinapayagan ka nilang kumita ng pera, baguhin ang merkado at ang mundo sa paligid mo. Medyo iba ang hitsura ng hype:
Kaya lang, hindi na bago ang mga neural network. Oo, maraming tao ang may mataas na inaasahan. Ngunit ang isang malaking bilang ng mga kumpanya ay natutong gumamit ng mga neuron at gumawa ng mga produkto batay sa kanila. Nagbibigay ang mga neuron ng bagong functionality, nagbibigay-daan sa iyo na magbawas ng mga trabaho, at bawasan ang presyo ng mga serbisyo:
- Ang mga kumpanya ng pagmamanupaktura ay nagsasama ng mga algorithm upang pag-aralan ang mga depekto sa linya ng produksyon.
- Ang mga sakahan ng hayop ay bumibili ng mga sistema upang makontrol ang mga baka.
- Awtomatikong pinagsasama.
- Mga Automated Call Center.
- Mga filter sa SnapChat. (well, kahit na isang bagay na kapaki-pakinabang!)
Ngunit ang pangunahing bagay, at hindi ang pinaka-halata: "Wala nang mga bagong ideya, o hindi sila magdadala ng agarang kapital." Nalutas ng mga neural network ang dose-dosenang mga problema. At lalo pa silang magdedesisyon. Ang lahat ng malinaw na ideya na umiral ay nagbunga ng maraming mga startup. Ngunit lahat ng nasa ibabaw ay nakolekta na. Sa nakalipas na dalawang taon, wala akong nakitang isang bagong ideya para sa paggamit ng mga neural network. Wala ni isang bagong diskarte (well, ok, may ilang mga problema sa mga GAN).
At ang bawat kasunod na pagsisimula ay mas at mas kumplikado. Hindi na ito nangangailangan ng dalawang lalaki na nagsasanay ng neuron gamit ang bukas na data. Nangangailangan ito ng mga programmer, isang server, isang pangkat ng mga marker, kumplikadong suporta, atbp.
Bilang resulta, mas kaunti ang mga startup. Ngunit mayroong mas maraming produksyon. Kailangang magdagdag ng pagkilala sa plaka ng lisensya? Mayroong daan-daang mga espesyalista na may nauugnay na karanasan sa merkado. Maaari kang kumuha ng isang tao at sa loob ng ilang buwan ay gagawin ng iyong empleyado ang sistema. O bumili ng ready-made. Ngunit gumagawa ng bagong startup?.. Baliw!
Kailangan mong lumikha ng isang sistema ng pagsubaybay sa bisita - bakit magbabayad para sa isang grupo ng mga lisensya kung maaari mong gawin ang iyong sarili sa loob ng 3-4 na buwan, patalasin ito para sa iyong negosyo.
Ngayon ang mga neural network ay dumadaan sa parehong landas na pinagdaanan ng dose-dosenang iba pang mga teknolohiya.
Naaalala mo ba kung paano nagbago ang konsepto ng "website developer" mula noong 1995? Ang merkado ay hindi pa puspos ng mga espesyalista. Napakakaunting mga propesyonal. Ngunit maaari kong taya na sa loob ng 5-10 taon ay hindi magkakaroon ng malaking pagkakaiba sa pagitan ng isang Java programmer at isang developer ng neural network. Magkakaroon ng sapat na parehong mga espesyalista sa merkado.
Magkakaroon lamang ng isang klase ng mga problema na maaaring malutas ng mga neuron. Ang isang gawain ay lumitaw - umarkila ng isang espesyalista.
"Anong susunod? Nasaan ang ipinangakong artificial intelligence?"
Ngunit narito mayroong isang maliit ngunit kawili-wiling hindi pagkakaunawaan :)
Ang stack ng teknolohiya na umiiral ngayon, tila, ay hindi magdadala sa atin sa artificial intelligence. Ang mga ideya at ang kanilang pagiging bago ay higit na naubos ang kanilang sarili. Pag-usapan natin kung ano ang hawak ng kasalukuyang antas ng pag-unlad.
Paghihigpit
Magsimula tayo sa mga self-driving na kotse. Tila malinaw na posibleng gumawa ng ganap na autonomous na mga kotse gamit ang teknolohiya ngayon. Ngunit kung ilang taon ito mangyayari ay hindi malinaw. Naniniwala si Tesla na mangyayari ito sa loob ng ilang taon -
Marami pang iba , na tinatantya na ito ay 5-10 taon.
Malamang, sa palagay ko, sa loob ng 15 taon, ang imprastraktura ng mga lungsod ay magbabago mismo sa paraang ang paglitaw ng mga autonomous na kotse ay magiging hindi maiiwasan at magiging pagpapatuloy nito. Ngunit hindi ito maituturing na katalinuhan. Ang modernong Tesla ay isang napakakomplikadong pipeline para sa pag-filter, paghahanap at muling pagsasanay ng data. Ito ang mga panuntunan-panuntunan-mga tuntunin, pangongolekta ng data at mga filter sa kanila (dito Sumulat ako ng kaunti pa tungkol dito, o manood mula sa mga marka).
Unang problema
At dito natin nakikita unang pangunahing problema. Malaking data. Ito mismo ang nagsilang sa kasalukuyang alon ng mga neural network at machine learning. Sa panahong ito, upang makagawa ng isang bagay na kumplikado at awtomatiko, kailangan mo ng maraming data. Hindi lamang marami, ngunit napaka, napakarami. Kailangan namin ng mga awtomatikong algorithm para sa kanilang koleksyon, pagmamarka, at paggamit. Gusto naming makita ng kotse ang mga trak na nakaharap sa araw - kailangan muna naming mangolekta ng sapat na bilang ng mga ito. Gusto naming hindi mabaliw ang kotse sa isang bisikleta na naka-bold sa trunk - mas maraming sample.
Bukod dito, hindi sapat ang isang halimbawa. Daan-daan? Libo?
Pangalawang problema
Pangalawang problema β visualization ng kung ano ang naunawaan ng aming neural network. Ito ay isang napaka walang kuwentang gawain. Hanggang ngayon, kakaunti ang nakakaunawa kung paano ito mailarawan. Ang mga artikulong ito ay napakabago, ito ay ilan lamang sa mga halimbawa, kahit na malayo:
pagkahumaling sa mga texture. Mahusay na ipinapakita nito kung ano ang tendensiyang i-fix ng neuron sa + kung ano ang nakikita nito bilang panimulang impormasyon.
Pansin sa . Sa katunayan, ang pagkahumaling ay kadalasang magagamit nang tumpak upang ipakita kung ano ang sanhi ng naturang reaksyon sa network. Nakita ko ang mga ganoong bagay para sa parehong pag-debug at mga solusyon sa produkto. Mayroong maraming mga artikulo sa paksang ito. Ngunit kung mas kumplikado ang data, mas mahirap maunawaan kung paano makamit ang matatag na visualization.
Well, oo, ang magandang lumang set ng "tingnan kung ano ang nasa loob ng mesh " Ang mga larawang ito ay sikat 3-4 taon na ang nakakaraan, ngunit mabilis na napagtanto ng lahat na ang mga larawan ay maganda, ngunit wala silang gaanong kahulugan.
Hindi ko binanggit ang dose-dosenang iba pang mga gadget, pamamaraan, pag-hack, pananaliksik kung paano ipapakita ang loob ng network. Gumagana ba ang mga tool na ito? Tinutulungan ka ba nilang mabilis na maunawaan kung ano ang problema at i-debug ang network?.. Kunin ang huling porsyento? Well, ito ay halos pareho:
Maaari kang manood ng anumang kumpetisyon sa Kaggle. At isang paglalarawan kung paano gumagawa ng mga pangwakas na desisyon ang mga tao. Nag-stack kami ng 100-500-800 units ng mga modelo at gumana ito!
Nag-e-exaggerate ako syempre. Ngunit ang mga pamamaraang ito ay hindi nagbibigay ng mabilis at direktang mga sagot.
Ang pagkakaroon ng sapat na karanasan, pagkakaroon ng poked sa paligid ng iba't ibang mga opsyon, maaari kang magbigay ng hatol tungkol sa kung bakit ginawa ng iyong system ang ganoong desisyon. Ngunit magiging mahirap na itama ang pag-uugali ng system. Mag-install ng saklay, ilipat ang threshold, magdagdag ng dataset, kumuha ng isa pang backend network.
Pangatlong problema
Ikatlong Pangunahing Problema β ang mga grids ay nagtuturo ng mga istatistika, hindi lohika. Statistically ito :
Logically, ito ay hindi masyadong katulad. Ang mga neural network ay hindi natututo ng anumang kumplikado maliban kung sila ay napipilitan. Palagi nilang itinuturo ang pinakasimpleng mga palatandaan na posible. May mata ka ba, ilong, ulo? Kaya ito ang mukha! O magbigay ng halimbawa kung saan ang mga mata ay hindi nangangahulugang mukha. At muli - milyon-milyong mga halimbawa.
Maraming Kuwarto sa Ibaba
Sasabihin ko na ang tatlong pandaigdigang problemang ito ang kasalukuyang naglilimita sa pagbuo ng mga neural network at machine learning. At kung saan ang mga problemang ito ay hindi nililimitahan ito, ito ay aktibong ginagamit.
Ito na ang katapusan? Nakatayo ba ang mga neural network?
Hindi kilala. Ngunit, siyempre, lahat ay umaasa na hindi.
Mayroong maraming mga diskarte at direksyon sa paglutas ng mga pangunahing problema na aking na-highlight sa itaas. Ngunit sa ngayon, wala sa mga pamamaraang ito ang naging posible na gumawa ng isang bagay na panimula bago, upang malutas ang isang bagay na hindi pa nalulutas. Sa ngayon, ang lahat ng mga pangunahing proyekto ay ginagawa batay sa mga matatag na diskarte (Tesla), o nananatiling mga pagsubok na proyekto ng mga institusyon o korporasyon (Google Brain, OpenAI).
Sa halos pagsasalita, ang pangunahing direksyon ay upang lumikha ng ilang mataas na antas na representasyon ng data ng pag-input. Sa isang kahulugan, "memorya". Ang pinakasimpleng halimbawa ng memorya ay iba't ibang "Pag-embed" - mga representasyon ng imahe. Well, halimbawa, lahat ng facial recognition system. Natututo ang network na kumuha mula sa isang mukha ng ilang matatag na representasyon na hindi nakadepende sa pag-ikot, pag-iilaw, o resolusyon. Sa pangkalahatan, pinapaliit ng network ang sukatan na "malayo ang iba't ibang mukha" at "malapit ang magkatulad na mukha."
Para sa naturang pagsasanay, sampu at daan-daang libong mga halimbawa ang kailangan. Ngunit ang resulta ay nagtataglay ng ilan sa mga simulain ng "One-shot Learning". Ngayon hindi na natin kailangan ng daan-daang mukha para maalala ang isang tao. Isang mukha lang at hanggang doon na lang kami !
May isang problema lang... Ang grid ay maaari lamang matuto ng medyo simpleng mga bagay. Kapag sinusubukang makilala ang hindi mga mukha, ngunit, halimbawa, "mga tao sa pamamagitan ng damit" (gawain ) - ang kalidad ay bumaba sa maraming mga order ng magnitude. At hindi na matututunan ng network ang medyo halatang pagbabago sa mga anggulo.
At ang pag-aaral mula sa milyun-milyong halimbawa ay isang uri din ng kasiyahan.
Mayroong gawain upang makabuluhang bawasan ang halalan. Halimbawa, maaaring maalala agad ng isa ang isa sa mga unang gawa sa OneShot Learning :
Maraming mga ganoong gawa, halimbawa o o .
Mayroon lamang isang minus - karaniwang gumagana nang maayos ang pagsasanay sa ilang simpleng, "MNIST" na mga halimbawa. At kapag lumipat sa mga kumplikadong gawain, kailangan mo ng isang malaking database, isang modelo ng mga bagay, o ilang uri ng mahika.
Sa pangkalahatan, ang trabaho sa One-Shot na pagsasanay ay isang napaka-interesante na paksa. Makakahanap ka ng maraming ideya. Ngunit para sa karamihan, ang dalawang problema na aking nakalista (pretraining sa isang malaking dataset / kawalang-tatag sa kumplikadong data) ay lubos na nakakasagabal sa pag-aaral.
Sa kabilang banda, ang mga GANβgenerative adversarial networkβay lumalapit sa paksa ng Pag-embed. Marahil ay nabasa mo na ang isang grupo ng mga artikulo sa HabrΓ© sa paksang ito. (, ,)
Ang isang tampok ng GAN ay ang pagbuo ng ilang panloob na puwang ng estado (mahalagang pareho ang Pag-embed), na nagpapahintulot sa iyo na gumuhit ng isang imahe. Maaari itong maging , ay maaaring maging .
Ang problema sa GAN ay mas kumplikado ang nabuong bagay, mas mahirap itong ilarawan sa lohika ng "generator-discriminator". Bilang resulta, ang tanging tunay na aplikasyon ng GAN na naririnig ay ang DeepFake, na, muli, ay nagmamanipula ng mga representasyon ng mukha (kung saan mayroong isang malaking base).
Nakakita ako ng napakakaunting iba pang mga kapaki-pakinabang na gamit. Karaniwan ang ilang uri ng panlilinlang na kinasasangkutan ng pagtatapos ng mga guhit ng mga larawan.
At muli. Walang sinuman ang may ideya kung paano ito magpapahintulot sa atin na lumipat sa isang mas maliwanag na hinaharap. Ang kumakatawan sa logic/space sa isang neural network ay mabuti. Ngunit kailangan namin ng isang malaking bilang ng mga halimbawa, hindi namin naiintindihan kung paano kinakatawan ito ng neuron sa kanyang sarili, hindi namin naiintindihan kung paano maaalala ang neuron ng ilang talagang kumplikadong ideya.
Pag-aaral ng pagpapalakas - ito ay isang diskarte mula sa isang ganap na naiibang direksyon. Tiyak na naaalala mo kung paano natalo ng Google ang lahat sa Go. Mga kamakailang tagumpay sa Starcraft at Dota. Ngunit narito ang lahat ay malayo sa napakarosas at promising. Pinakamahusay niyang sinasabi ang tungkol sa RL at ang pagiging kumplikado nito .
Upang maikli ang isinulat ng may-akda:
- Ang mga modelo sa labas ng kahon ay hindi magkasya / gumagana nang hindi maganda sa karamihan ng mga kaso
- Ang mga praktikal na problema ay mas madaling lutasin sa ibang mga paraan. Ang Boston Dynamics ay hindi gumagamit ng RL dahil sa pagiging kumplikado/hindi mahuhulaan/computational complex nito
- Para gumana ang RL, kailangan mo ng isang kumplikadong function. Madalas mahirap gumawa/magsulat
- Mahirap sanayin ang mga modelo. Kailangan mong gumugol ng maraming oras upang mag-pump up at lumabas sa lokal na optima
- Bilang isang resulta, mahirap ulitin ang modelo, ang modelo ay hindi matatag na may kaunting pagbabago
- Kadalasan ay na-overfit ang ilang random na pattern, kahit isang random na generator ng numero
Ang pangunahing punto ay ang RL ay hindi pa gumagana sa produksyon. May ilang eksperimento ang Google ( , ). Ngunit wala akong nakitang isang sistema ng produkto.
Memorya. Ang downside ng lahat ng inilarawan sa itaas ay kakulangan ng istraktura. Ang isa sa mga diskarte upang subukang ayusin ang lahat ng ito ay upang bigyan ang neural network ng access sa hiwalay na memorya. Upang maitala niya at maisulat muli ang mga resulta ng kanyang mga hakbang doon. Pagkatapos ang neural network ay maaaring matukoy ng kasalukuyang estado ng memorya. Ito ay halos kapareho sa mga klasikong processor at computer.
Ang pinakasikat at sikat β mula sa DeepMind:
Mukhang ito ang susi sa pag-unawa sa katalinuhan? Pero malamang hindi. Ang sistema ay nangangailangan pa rin ng isang malaking halaga ng data para sa pagsasanay. At ito ay pangunahing gumagana sa structured tabular data. At saka, kapag Facebook isang katulad na problema, pagkatapos ay tinahak nila ang landas na "screw memory, gawin lang ang neuron na mas kumplikado, at magkaroon ng higit pang mga halimbawa - at ito ay matututo sa sarili nitong."
Pagkahiwalay. Ang isa pang paraan upang lumikha ng isang makabuluhang memorya ay ang kumuha ng parehong mga pag-embed, ngunit sa panahon ng pagsasanay, ipakilala ang mga karagdagang pamantayan na magpapahintulot sa iyo na i-highlight ang "mga kahulugan" sa mga ito. Halimbawa, gusto naming sanayin ang isang neural network upang makilala ang pag-uugali ng tao sa isang tindahan. Kung susundin natin ang karaniwang landas, kailangan nating gumawa ng isang dosenang network. Ang isa ay naghahanap ng isang tao, ang pangalawa ay ang pagtukoy kung ano ang kanyang ginagawa, ang pangatlo ay ang kanyang edad, ang ikaapat ay ang kanyang kasarian. Ang hiwalay na lohika ay tumitingin sa bahagi ng tindahan kung saan ginagawa/sinasanay itong gawin ito. Tinutukoy ng ikatlo ang tilapon nito, atbp.
O, kung mayroong walang katapusang dami ng data, posibleng sanayin ang isang network para sa lahat ng posibleng resulta (malinaw naman, hindi makokolekta ang ganoong hanay ng data).
Sinasabi sa atin ng diskarte sa disentanglement - sanayin natin ang network upang ito mismo ay makapag-iiba sa pagitan ng mga konsepto. Upang ito ay bumuo ng isang pag-embed batay sa video, kung saan ang isang lugar ay tutukuyin ang aksyon, ang isa ay tutukuyin ang posisyon sa sahig sa oras, ang isa ay tutukuyin ang taas ng tao, at ang isa ay tutukoy sa kasarian ng tao. Kasabay nito, kapag nagsasanay, nais kong halos hindi i-prompt ang network na may ganitong mga pangunahing konsepto, ngunit sa halip na ito ay i-highlight at pangkatin ang mga lugar. Mayroong ilang mga ganoong artikulo (ang ilan sa kanila , , ) at sa pangkalahatan sila ay medyo teoretikal.
Ngunit ang direksyong ito, kahit man lang sa teorya, ay dapat sumaklaw sa mga problemang nakalista sa simula.
Ang pagkabulok ng larawan ayon sa mga parameter na "kulay ng dingding/kulay ng sahig/hugis ng bagay/kulay ng bagay/etc."
Pagkabulok ng mukha ayon sa mga parameter na "laki, kilay, oryentasyon, kulay ng balat, atbp."
Iba
Mayroong maraming iba pang, hindi masyadong pandaigdigan, na mga lugar na nagbibigay-daan sa iyo na kahit papaano ay bawasan ang database, gumana sa mas magkakaiba na data, atbp.
Pansin. Marahil ay hindi makatuwiran na paghiwalayin ito bilang isang hiwalay na pamamaraan. Isang diskarte lamang na nagpapahusay sa iba. Maraming mga artikulo ang nakatuon sa kanya (,,). Ang punto ng Atensyon ay upang mapahusay ang pagtugon ng network partikular sa mga mahahalagang bagay sa panahon ng pagsasanay. Kadalasan sa pamamagitan ng ilang uri ng panlabas na pagtatalaga ng target, o isang maliit na panlabas na network.
3D simulation. Kung gumawa ka ng isang mahusay na 3D engine, madalas mong masakop ang 90% ng data ng pagsasanay kasama nito (nakakita pa ako ng isang halimbawa kung saan halos 99% ng data ay sakop ng isang mahusay na makina). Maraming mga ideya at hack kung paano gumawa ng isang network na sinanay sa isang 3D engine na gumana gamit ang totoong data (Fine tuning, style transfer, atbp.). Ngunit kadalasan ang paggawa ng isang mahusay na makina ay ilang mga order ng magnitude na mas mahirap kaysa sa pagkolekta ng data. Mga halimbawa noong ginawa ang mga makina:
Pagsasanay sa robot (, )
pagsasanay mga paninda sa tindahan (ngunit sa dalawang proyektong ginawa namin, madali naming magagawa kung wala ito).
Pagsasanay sa Tesla (muli, ang video sa itaas).
Natuklasan
Ang buong artikulo ay, sa isang kahulugan, mga konklusyon. Marahil ang pangunahing mensahe na gusto kong gawin ay "tapos na ang mga freebies, ang mga neuron ay hindi na nagbibigay ng mga simpleng solusyon." Ngayon kailangan nating magsikap na gumawa ng mga kumplikadong desisyon. O magtrabaho nang husto sa paggawa ng kumplikadong siyentipikong pananaliksik.
Sa pangkalahatan, ang paksa ay mapagtatalunan. Siguro ang mga mambabasa ay may mas kawili-wiling mga halimbawa?
Pinagmulan: www.habr.com