Iliyotolewa hivi karibuni , ambayo inaonyesha mwelekeo mzuri wa kujifunza kwa mashine katika miaka ya hivi karibuni. Kwa kifupi: idadi ya wanaoanza kujifunza mashine imeshuka sana katika miaka miwili iliyopita.
Vizuri. Hebu tuangalie "ikiwa Bubble imepasuka", "jinsi ya kuendelea kuishi" na kuzungumza juu ya wapi squiggle hii inatoka mahali pa kwanza.
Kwanza, hebu tuzungumze juu ya nini kilikuwa kiboreshaji cha curve hii. Alitoka wapi? Labda watakumbuka kila kitu kujifunza kwa mashine mnamo 2012 kwenye shindano la ImageNet. Baada ya yote, hili ni tukio la kwanza la kimataifa! Lakini kwa kweli hii sivyo. Na ukuaji wa curve huanza mapema kidogo. Ningeigawanya katika nukta kadhaa.
- 2008 iliona kuibuka kwa neno "data kubwa". Bidhaa za kweli zilianza tangu 2010. Data kubwa inahusiana moja kwa moja na kujifunza kwa mashine. Bila data kubwa, operesheni thabiti ya algorithms iliyokuwepo wakati huo haiwezekani. Na hii sio mitandao ya neva. Hadi 2012, mitandao ya neural ilikuwa hifadhi ya walio wachache. Lakini basi algorithms tofauti kabisa zilianza kufanya kazi, ambazo zilikuwepo kwa miaka, au hata miongo kadhaa: (1963,1993), (1995), (2003)
Inatokana na wimbi hili la kwanza ni seti ya mifumo kama vile XGBoost, CatBoost, LightGBM, n.k.
- Mwaka 2011-2012 alishinda idadi ya mashindano ya utambuzi wa picha. Matumizi yao halisi yalichelewa kwa kiasi fulani. Ningesema kwamba mwanzo na suluhisho zenye maana zilianza kuonekana mnamo 2014. Ilichukua miaka miwili kuchimbua kwamba niuroni bado zinafanya kazi, ili kuunda mifumo inayofaa ambayo inaweza kusakinishwa na kuzinduliwa kwa wakati unaofaa, ili kubuni mbinu ambazo zingeimarisha na kuharakisha muda wa muunganiko.
Mitandao ya kubadilishana ilifanya iwezekanavyo kutatua matatizo ya maono ya kompyuta: uainishaji wa picha na vitu kwenye picha, kutambua kitu, utambuzi wa vitu na watu, uboreshaji wa picha, nk, nk.
- 2015-2017. Kuongezeka kwa algorithms na miradi kulingana na mitandao ya kawaida au analogi zao (LSTM, GRU, TransformerNet, nk.). Algorithms zinazofanya kazi vizuri za hotuba-hadi-maandishi na mifumo ya tafsiri ya mashine imeonekana. Kwa kiasi fulani zimeegemezwa kwenye mitandao ya ushawishi ili kutoa vipengele vya kimsingi. Kwa kiasi fulani kutokana na ukweli kwamba tulijifunza kukusanya hifadhidata kubwa na nzuri sana.
βJe, povu limepasuka? Je, hype ina joto kupita kiasi? Walikufa kama blockchain?"
Vinginevyo! Kesho Siri itaacha kufanya kazi kwenye simu yako, na siku inayofuata kesho Tesla hatajua tofauti kati ya zamu na kangaroo.
Mitandao ya Neural tayari inafanya kazi. Wao ni katika kadhaa ya vifaa. Wanakuruhusu kupata pesa, kubadilisha soko na ulimwengu unaokuzunguka. Hype inaonekana tofauti kidogo:
Ni kwamba mitandao ya neural sio kitu kipya tena. Ndiyo, watu wengi wana matarajio makubwa. Lakini idadi kubwa ya makampuni wamejifunza kutumia neurons na kufanya bidhaa kulingana na wao. Neurons hutoa utendaji mpya, hukuruhusu kupunguza kazi, na kupunguza bei ya huduma:
- Kampuni za utengenezaji zinaunganisha algoriti ili kuchanganua kasoro kwenye mstari wa uzalishaji.
- Mashamba ya mifugo hununua mifumo ya kudhibiti ng'ombe.
- Otomatiki unachanganya.
- Vituo vya Simu za Kiotomatiki.
- Vichujio katika SnapChat. (vizuri, angalau kitu muhimu!)
Lakini jambo kuu, na sio dhahiri zaidi: "Hakuna maoni mapya tena, au hayataleta mtaji wa papo hapo." Mitandao ya Neural imetatua matatizo kadhaa. Na wataamua hata zaidi. Mawazo yote ya wazi ambayo yalikuwepo yalisababisha kuanza nyingi. Lakini kila kitu kilichokuwa juu ya uso kilikuwa tayari kimekusanywa. Kwa miaka miwili iliyopita, sijapata wazo moja jipya la matumizi ya mitandao ya neva. Hakuna mbinu mpya (vizuri, sawa, kuna shida chache na GAN).
Na kila uanzishaji unaofuata ni ngumu zaidi na zaidi. Haihitaji tena wavulana wawili wanaofundisha neuroni kwa kutumia data wazi. Inahitaji waandaaji programu, seva, timu ya alama, usaidizi mgumu, nk.
Matokeo yake, kuna wanaoanza wachache. Lakini kuna uzalishaji zaidi. Je, unahitaji kuongeza utambuzi wa nambari ya simu? Kuna mamia ya wataalamu walio na uzoefu unaofaa kwenye soko. Unaweza kuajiri mtu na katika miezi michache mfanyakazi wako atatengeneza mfumo. Au nunua tayari. Lakini kufanya startup mpya? .. Crazy!
Unahitaji kuunda mfumo wa kufuatilia wageni - kwa nini ulipe rundo la leseni wakati unaweza kutengeneza yako mwenyewe baada ya miezi 3-4, uimarishe kwa biashara yako.
Sasa mitandao ya neural inapitia njia ile ile ambayo teknolojia zingine nyingi zimepitia.
Je, unakumbuka jinsi dhana ya "mtengeneza tovuti" imebadilika tangu 1995? Soko bado halijajaa wataalamu. Kuna wataalamu wachache sana. Lakini naweza kuweka dau kuwa katika miaka 5-10 hakutakuwa na tofauti nyingi kati ya programu ya Java na msanidi programu wa mtandao wa neva. Kutakuwa na wataalam wa kutosha kwenye soko.
Kutakuwa na darasa la shida ambazo zinaweza kutatuliwa na neurons. Kazi imetokea - kuajiri mtaalamu.
"Nini kinachofuata? Akili ya bandia iliyoahidiwa iko wapi?"
Lakini hapa kuna kutokuelewana kidogo lakini kuvutia :)
Mkusanyiko wa teknolojia uliopo leo, inaonekana, hautatuongoza kwa akili ya bandia. Mawazo na mambo mapya yamejichosha kwa kiasi kikubwa. Wacha tuzungumze juu ya kile kinachoshikilia kiwango cha sasa cha maendeleo.
Vikwazo
Wacha tuanze na magari yanayojiendesha yenyewe. Inaonekana wazi kwamba inawezekana kufanya magari ya uhuru kikamilifu na teknolojia ya leo. Lakini katika miaka ngapi hii itatokea haijulikani wazi. Tesla anaamini kuwa hii itatokea katika miaka michache -
Kuna wengine wengi , ambao wanakadiria kuwa miaka 5-10.
Uwezekano mkubwa zaidi, kwa maoni yangu, katika miaka 15 miundombinu ya miji yenyewe itabadilika kwa njia ambayo kuibuka kwa magari ya uhuru itakuwa kuepukika na itakuwa mwendelezo wake. Lakini hii haiwezi kuchukuliwa kuwa akili. Tesla ya kisasa ni bomba ngumu sana ya kuchuja, kutafuta na kutoa mafunzo tena. Hizi ni sheria-kanuni-sheria, ukusanyaji wa data na vichungi juu yao (hapa Niliandika zaidi kidogo kuhusu hili, au tazama kutoka alama).
Shida ya kwanza
Na hapa ndipo tunapoona tatizo la kwanza la msingi. Data kubwa. Hii ndiyo hasa iliyozaa wimbi la sasa la mitandao ya neva na kujifunza kwa mashine. Siku hizi, kufanya kitu ngumu na kiotomatiki, unahitaji data nyingi. Sio tu nyingi, lakini sana, sana. Tunahitaji algoriti za kiotomatiki kwa mkusanyiko, kuweka alama na matumizi yake. Tunataka kufanya gari kuona lori zinazoelekea jua - lazima kwanza tukusanye idadi ya kutosha yao. Tunataka gari lisiwe wazimu na baiskeli iliyofungwa kwenye shina - sampuli zaidi.
Aidha, mfano mmoja haitoshi. Mamia? Maelfu?
Shida ya pili
Shida ya pili - taswira ya kile mtandao wetu wa neva umeelewa. Hii ni kazi isiyo ya kawaida sana. Hadi sasa, watu wachache wanaelewa jinsi ya kuibua hii. Nakala hizi ni za hivi punde sana, hii ni mifano michache tu, hata kama iko mbali:
kushtushwa na textures. Inaonyesha vizuri kile neuroni inaelekea kurekebisha + kile inachoona kama habari ya kuanzia.
Tahadhari katika . Kwa kweli, kivutio kinaweza kutumika kwa usahihi ili kuonyesha ni nini kilisababisha athari kama hiyo ya mtandao. Nimeona vitu kama hivyo kwa utatuzi na suluhisho la bidhaa. Kuna nakala nyingi juu ya mada hii. Lakini jinsi data ilivyo ngumu zaidi, ndivyo inavyokuwa vigumu kuelewa jinsi ya kufikia taswira thabiti.
Kweli, ndio, seti nzuri ya zamani ya "angalia kilicho ndani ya matundu " Picha hizi zilikuwa maarufu miaka 3-4 iliyopita, lakini kila mtu alitambua haraka kuwa picha hizo zilikuwa nzuri, lakini hazikuwa na maana nyingi.
Sikutaja kadhaa ya vifaa vingine, mbinu, udukuzi, utafiti wa jinsi ya kuonyesha mambo ya ndani ya mtandao. Je, zana hizi zinafanya kazi? Je, zinakusaidia kuelewa haraka tatizo ni nini na kutatua mtandao?.. Pata asilimia ya mwisho? Kweli, ni sawa:
Unaweza kutazama shindano lolote kwenye Kaggle. Na maelezo ya jinsi watu wanavyofanya maamuzi ya mwisho. Tuliweka vitengo 100-500-800 vya mifano na ilifanya kazi!
Ninatia chumvi, bila shaka. Lakini mbinu hizi hazitoi majibu ya haraka na ya moja kwa moja.
Kuwa na uzoefu wa kutosha, baada ya kuzunguka chaguzi tofauti, unaweza kutoa uamuzi kuhusu kwa nini mfumo wako ulifanya uamuzi kama huo. Lakini itakuwa vigumu kurekebisha tabia ya mfumo. Sakinisha mkongojo, sogeza kizingiti, ongeza hifadhidata, chukua mtandao mwingine wa nyuma.
Tatizo la tatu
Tatizo la Tatu la Msingi - gridi hufundisha takwimu, sio mantiki. Kitakwimu hii :
Kimantiki, haifanani sana. Mitandao ya Neural haijifunzi chochote changamani isipokuwa inalazimishwa. Daima hufundisha ishara rahisi iwezekanavyo. Una macho, pua, kichwa? Kwa hivyo huu ni uso! Au toa mfano ambapo macho haimaanishi uso. Na tena - mamilioni ya mifano.
Kuna Chumba Nyingi Chini
Ningesema kwamba ni matatizo haya matatu ya kimataifa ambayo kwa sasa yanazuia maendeleo ya mitandao ya neural na kujifunza kwa mashine. Na ambapo matatizo haya hayakuzuia, tayari hutumiwa kikamilifu.
Huu ndio mwisho? Je, mitandao ya neva iko juu?
Haijulikani. Lakini, bila shaka, kila mtu hana matumaini.
Kuna njia nyingi na miongozo ya kutatua shida za kimsingi ambazo niliangazia hapo juu. Lakini hadi sasa, hakuna hata moja ya njia hizi ambazo zimewezesha kufanya kitu kipya kimsingi, kutatua kitu ambacho bado hakijatatuliwa. Kufikia sasa, miradi yote ya kimsingi inafanywa kwa msingi wa mbinu thabiti (Tesla), au kubaki miradi ya majaribio ya taasisi au mashirika (Google Brain, OpenAI).
Kwa kusema, mwelekeo kuu ni kuunda uwakilishi wa kiwango cha juu cha data ya uingizaji. Kwa maana, "kumbukumbu". Mfano rahisi zaidi wa kumbukumbu ni "Upachikaji" mbalimbali - uwakilishi wa picha. Naam, kwa mfano, mifumo yote ya utambuzi wa uso. Mtandao hujifunza kupata kutoka kwa uso uwakilishi thabiti ambao hautegemei mzunguko, mwangaza au azimio. Kimsingi, mtandao hupunguza kipimo cha "nyuso tofauti ziko mbali" na "nyuso zinazofanana ziko karibu."
Kwa mafunzo kama haya, makumi na mamia ya maelfu ya mifano inahitajika. Lakini matokeo huzaa baadhi ya kanuni za "Kujifunza kwa risasi moja". Sasa hatuhitaji mamia ya nyuso kumkumbuka mtu. Uso mmoja tu na ndivyo tulivyo !
Kuna tatizo moja tu... Gridi inaweza kujifunza vitu rahisi tu. Wakati wa kujaribu kutofautisha sio nyuso, lakini, kwa mfano, "watu kwa nguo" (kazi ) - ubora huanguka kwa amri nyingi za ukubwa. Na mtandao hauwezi tena kujifunza mabadiliko dhahiri katika pembe.
Na kujifunza kutoka kwa mamilioni ya mifano pia ni aina ya kufurahisha.
Kuna kazi ya kupunguza kwa kiasi kikubwa uchaguzi. Kwa mfano, mtu anaweza kukumbuka mara moja moja ya kazi za kwanza Kujifunza kwa OneShot :
Kuna kazi nyingi kama hizo, kwa mfano au au .
Kuna minus moja - kwa kawaida mafunzo hufanya kazi vizuri kwenye baadhi ya mifano rahisi ya "MNIST". Na wakati wa kuendelea na kazi ngumu, unahitaji database kubwa, mfano wa vitu, au aina fulani ya uchawi.
Kwa ujumla, kazi kwenye mafunzo ya One-Shot ni mada ya kuvutia sana. Unapata mawazo mengi. Lakini kwa sehemu kubwa, shida mbili ambazo niliorodhesha (mafunzo ya awali kwenye hifadhidata kubwa / kutokuwa na utulivu kwenye data ngumu) huingilia sana ujifunzaji.
Kwa upande mwingine, GANsβmitandao pinzani inayozalishaβhukaribia mada ya Upachikaji. Labda umesoma rundo la makala kuhusu Habre kuhusu mada hii. (, ,)
Kipengele cha GAN ni uundaji wa nafasi ya ndani ya serikali (kimsingi ni Upachikaji sawa), ambayo hukuruhusu kuchora picha. Inaweza kuwa , inaweza kuwa .
Tatizo la GAN ni kwamba kadiri kitu kinachozalishwa kikiwa ngumu zaidi, ndivyo inavyokuwa vigumu kukielezea kwa mantiki ya "kibaguzi cha jenereta". Kama matokeo, matumizi ya kweli ya GAN ambayo yanasikika ni DeepFake, ambayo, tena, inadhibiti uwakilishi wa usoni (ambayo kuna msingi mkubwa).
Nimeona matumizi mengine machache sana muhimu. Kawaida aina fulani ya hila inayohusisha kumaliza michoro ya picha.
Na tena. Hakuna anayejua jinsi hii itaturuhusu kuhamia katika siku zijazo nzuri. Kuwakilisha mantiki/nafasi katika mtandao wa neva ni nzuri. Lakini tunahitaji idadi kubwa ya mifano, hatuelewi jinsi neuroni inawakilisha hii yenyewe, hatuelewi jinsi ya kuifanya neuroni kukumbuka wazo fulani ngumu sana.
Kuimarisha ujifunzaji - hii ni mbinu kutoka kwa mwelekeo tofauti kabisa. Bila shaka unakumbuka jinsi Google ilivyoshinda kila mtu kwenye Go. Ushindi wa hivi karibuni katika Starcraft na Dota. Lakini hapa kila kitu ni mbali na ya kupendeza na ya kuahidi. Anazungumza vyema kuhusu RL na ugumu wake .
Kwa muhtasari wa kile mwandishi aliandika:
- Miundo nje ya boksi haifai / haifanyi kazi vibaya katika hali nyingi
- Matatizo ya vitendo ni rahisi kutatua kwa njia nyingine. Boston Dynamics haitumii RL kwa sababu ya ugumu wake/kutotabirika/utata wa kukokotoa.
- Ili RL ifanye kazi, unahitaji kazi ngumu. Mara nyingi ni vigumu kuunda/kuandika
- Ni ngumu kufundisha mifano. Inabidi utumie muda mwingi kusukuma na kutoka nje ya optima ya ndani
- Matokeo yake, ni vigumu kurudia mfano, mfano hauna msimamo na mabadiliko kidogo
- Mara nyingi hutosheleza baadhi ya mifumo nasibu, hata jenereta ya nambari nasibu
Jambo kuu ni kwamba RL bado haifanyi kazi katika uzalishaji. Google ina baadhi ya majaribio ( , ) Lakini sijaona mfumo mmoja wa bidhaa.
Kumbukumbu. Hasara ya kila kitu kilichoelezwa hapo juu ni ukosefu wa muundo. Mojawapo ya njia za kujaribu kupanga haya yote ni kutoa mtandao wa neural ufikiaji wa kumbukumbu tofauti. Ili aweze kurekodi na kuandika tena matokeo ya hatua zake huko. Kisha mtandao wa neural unaweza kuamua na hali ya sasa ya kumbukumbu. Hii ni sawa na wasindikaji wa classic na kompyuta.
Maarufu zaidi na maarufu - kutoka kwa DeepMind:
Inaonekana kwamba huu ndio ufunguo wa kuelewa akili? Lakini pengine sivyo. Mfumo bado unahitaji kiasi kikubwa cha data kwa mafunzo. Na inafanya kazi hasa na data iliyopangwa ya jedwali. Aidha, wakati Facebook tatizo kama hilo, kisha walichukua njia ya "kumbukumbu, fanya neuroni kuwa ngumu zaidi, na kuwa na mifano zaidi - na itajifunza yenyewe."
Kutengana. Njia nyingine ya kuunda kumbukumbu yenye maana ni kuchukua upachikaji sawa, lakini wakati wa mafunzo, anzisha vigezo vya ziada ambavyo vinaweza kukuwezesha kuonyesha "maana" ndani yao. Kwa mfano, tunataka kutoa mafunzo kwa mtandao wa neva ili kutofautisha tabia ya binadamu katika duka. Ikiwa tutafuata njia ya kawaida, tutalazimika kutengeneza mitandao kadhaa. Mmoja anatafuta mtu, pili anaamua anafanya nini, tatu umri wake, nne ni jinsia yake. Mantiki tofauti hutazama sehemu ya duka ambapo inafanya/imefunzwa kufanya hivi. Ya tatu huamua trajectory yake, nk.
Au, ikiwa kulikuwa na kiasi kisicho na kipimo cha data, basi ingewezekana kutoa mafunzo kwa mtandao mmoja kwa matokeo yote yanayowezekana (kwa wazi, safu kama hiyo ya data haiwezi kukusanywa).
Njia ya kutenganisha inatuambia - wacha tufunze mtandao ili yenyewe iweze kutofautisha kati ya dhana. Ili kuunda upachikaji kulingana na video, ambapo eneo moja lingeamua hatua, mtu angeamua nafasi kwenye sakafu kwa wakati, mtu angeamua urefu wa mtu, na mtu angeamua jinsia ya mtu. Wakati huo huo, wakati wa mafunzo, ningependa karibu sio kuhimiza mtandao na dhana muhimu kama hizo, lakini badala yake ili kuonyesha na maeneo ya kikundi. Kuna nakala kadhaa kama hizo (baadhi yao , , ) na kwa ujumla wao ni wa kinadharia kabisa.
Lakini mwelekeo huu, angalau kinadharia, unapaswa kufunika matatizo yaliyoorodheshwa mwanzoni.
Mtengano wa picha kulingana na vigezo "rangi ya ukuta/rangi ya sakafu/umbo la kitu/rangi ya kitu/nk."
Mtengano wa uso kulingana na vigezo "ukubwa, nyusi, mwelekeo, rangi ya ngozi, nk."
Nyingine
Kuna maeneo mengine mengi, sio ya kimataifa, ambayo hukuruhusu kupunguza hifadhidata, kufanya kazi na data nyingi tofauti, nk.
Attention. Labda haina maana kutenganisha hii kama njia tofauti. Njia tu ambayo inaboresha wengine. Nakala nyingi zimejitolea kwake (,,) Jambo la Kuzingatia ni kuongeza mwitikio wa mtandao haswa kwa vitu muhimu wakati wa mafunzo. Mara nyingi kwa aina fulani ya jina la lengo la nje, au mtandao mdogo wa nje.
Uigaji wa 3D. Ukitengeneza injini nzuri ya 3D, mara nyingi unaweza kufunika 90% ya data ya mafunzo nayo (hata niliona mfano ambapo karibu 99% ya data ilifunikwa na injini nzuri). Kuna mawazo mengi na udukuzi wa jinsi ya kufanya mtandao uliofunzwa kwenye injini ya 3D kufanya kazi kwa kutumia data halisi (Urekebishaji mzuri, uhamishaji wa mtindo, n.k.). Lakini mara nyingi kufanya injini nzuri ni amri kadhaa za ukubwa ngumu zaidi kuliko kukusanya data. Mifano wakati injini zilitengenezwa:
Mafunzo ya roboti (, )
Mafunzo ya bidhaa kwenye duka (lakini katika miradi miwili tuliyofanya, tunaweza kufanya bila hiyo).
Mafunzo huko Tesla (tena, video hapo juu).
Matokeo
Nakala nzima ni, kwa maana, hitimisho. Labda ujumbe mkuu niliotaka kufanya ni "za bure zimeisha, nyuroni hazitoi suluhu rahisi tena." Sasa tunahitaji kufanya kazi kwa bidii kufanya maamuzi magumu. Au fanya bidii kufanya utafiti mgumu wa kisayansi.
Kwa ujumla, mada inaweza kujadiliwa. Labda wasomaji wana mifano ya kuvutia zaidi?
Chanzo: mapenzi.com