Kwanan nan aka sake shi , wanda ke nuna kyakkyawan yanayin koyon injin a cikin 'yan shekarun nan. A taƙaice: adadin waɗanda suka fara koyon injin ya ragu a cikin shekaru biyu da suka gabata.
To. Bari mu dubi "ko kumfa ya fashe", "yadda za a ci gaba da rayuwa" kuma muyi magana game da inda wannan squiggle ya fito daga farko.
Da farko, bari mu yi magana game da mene ne ya ƙarfafa wannan lankwasa. Daga ina ta fito? Wataƙila za su tuna da komai koyon inji a 2012 a gasar ImageNet. Bayan haka, wannan shine taron farko na duniya! Amma a gaskiya ba haka lamarin yake ba. Kuma girma na lankwasa ya fara kadan a baya. Zan raba shi zuwa maki da yawa.
- 2008 ya ga fitowar kalmar "babban bayanai". An fara samfurori na gaske tun 2010. Manyan bayanai suna da alaƙa kai tsaye da koyon injin. Ba tare da babban bayanai ba, aikin barga na algorithms wanda ya wanzu a lokacin ba zai yiwu ba. Kuma waɗannan ba hanyoyin sadarwa ba ne. Har zuwa 2012, hanyoyin sadarwa na jijiyoyi sun kasance masu kiyaye ƴan tsiraru. Amma sai gabaɗaya daban-daban algorithms sun fara aiki, waɗanda suka wanzu tsawon shekaru, ko ma shekarun da suka gabata: (1963,1993, XNUMX), (1995), (2003),... Farawa na waɗannan shekarun suna da alaƙa da farko tare da sarrafa bayanan da aka tsara ta atomatik: rijistar kuɗi, masu amfani, talla, da ƙari.
Tushen wannan igiyar ruwa ta farko shine saitin tsarin aiki kamar XGBoost, CatBoost, LightGBM, da sauransu.
- A cikin 2011-2012 ya lashe gasar tantance hotuna da dama. Ainihin amfaninsu ya ɗan jinkirta. Zan iya faɗi cewa farawa mai ma'ana da mafita sun fara bayyana a cikin 2014. An ɗauki shekaru biyu kafin a narke cewa ƙananan ƙwayoyin cuta har yanzu suna aiki, don ƙirƙirar matakan dacewa waɗanda za a iya shigar da su a cikin lokaci mai ma'ana, don haɓaka hanyoyin da za su daidaita da kuma hanzarta lokacin haɗuwa.
Hanyoyin sadarwa na juyin juya hali sun ba da damar magance matsalolin hangen nesa na kwamfuta: rarraba hotuna da abubuwa a cikin hoton, gano abu, gane abubuwa da mutane, inganta hoto, da dai sauransu, da dai sauransu.
- 2015-2017. Haɓakar algorithms da ayyukan da suka dogara da cibiyoyin sadarwa na yau da kullun ko analogues ɗin su (LSTM, GRU, TransformerNet, da sauransu). Algorithms na magana-zuwa-rubutu masu aiki da kyau da tsarin fassarar inji sun bayyana. Sun dogara ne akan cibiyoyin sadarwa na juyin juya hali don fitar da fasali na asali. Wani bangare saboda gaskiyar cewa mun koyi tattara manyan bayanai masu girma da kyau.
“Kumfa ya fashe? Shin ana yawan zafafa? Shin sun mutu a matsayin blockchain? "
In ba haka ba! Gobe Siri zai daina aiki akan wayarka, kuma jibi bayan gobe Tesla ba zai san bambanci tsakanin juyawa da kangaroo ba.
Hanyoyin sadarwa na jijiyoyi sun riga sun yi aiki. Suna cikin na'urori da dama. Suna ba da izinin gaske don samun kuɗi, canza kasuwa da duniyar da ke kewaye da ku. Hype ya ɗan bambanta:
Kawai cewa cibiyoyin sadarwar jijiyoyi ba sabon abu bane. Ee, mutane da yawa suna da babban tsammanin. Amma yawancin kamfanoni sun koyi yin amfani da neurons kuma suna yin samfurori bisa ga su. Neurons suna ba da sabon ayyuka, ba ku damar yanke ayyukan yi, da rage farashin sabis:
- Kamfanonin masana'antu suna haɓaka algorithms don nazarin lahani akan layin samarwa.
- Gonakin dabbobi suna sayen tsarin sarrafa shanu.
- Haɗuwa ta atomatik.
- Cibiyoyin kira na atomatik.
- Tace a cikin SnapChat. (to, aƙalla wani abu mai amfani!)
Amma babban abu, kuma ba mafi bayyane ba: "Babu sauran sabbin ra'ayoyi, ko kuma ba za su kawo babban birnin nan take ba." Cibiyoyin sadarwa na jijiya sun magance matsaloli da dama. Kuma za su ƙara yanke shawara. Dukkan ra'ayoyin da suka wanzu sun haifar da farawa da yawa. Amma duk abin da yake a saman an riga an tattara shi. A cikin shekaru biyu da suka gabata, ban ci karo da sabon ra'ayi ɗaya don amfani da hanyoyin sadarwa na jijiyoyi ba. Ba sabuwar hanya ɗaya ba (da kyau, ok, akwai ƴan matsaloli tare da GANs).
Kuma kowane farawa na gaba yana da ƙari kuma yana da rikitarwa. Ba ya buƙatar mutane biyu waɗanda ke horar da neuron ta amfani da bayanan buɗe ido. Yana buƙatar masu shirye-shirye, uwar garken, ƙungiyar alamomi, haɗaɗɗiyar tallafi, da sauransu.
A sakamakon haka, akwai ƙarancin farawa. Amma akwai ƙarin samarwa. Kuna buƙatar ƙara sanin farantin lasisi? Akwai ɗaruruwan ƙwararru masu dacewa da gogewa akan kasuwa. Kuna iya hayar wani kuma a cikin watanni biyu ma'aikacin zai yi tsarin. Ko saya shirye-shirye. Amma yin sabon farawa?.. Mahaukata!
Kuna buƙatar ƙirƙirar tsarin bin diddigin baƙo - me yasa ku biya tarin lasisi lokacin da zaku iya yin naku cikin watanni 3-4, haɓaka shi don kasuwancin ku.
Yanzu hanyoyin sadarwa na jijiyoyi suna tafiya ta hanyar da dama da sauran fasahohin suka bi.
Kuna tuna yadda manufar "mai haɓaka gidan yanar gizon" ta canza tun 1995? Har yanzu kasuwar ba ta cika da kwararru ba. Akwai 'yan ƙwararru kaɗan. Amma zan iya cin amana cewa a cikin shekaru 5-10 ba za a sami bambanci mai yawa tsakanin mai shirye-shiryen Java da mai haɓaka hanyar sadarwar jijiyoyi ba. Za a sami isasshen duka kwararru a kasuwa.
Za a sami nau'in matsalolin da za a iya magance su ta hanyar neurons. Wani aiki ya taso - hayar gwani.
"Me zai biyo baya? Ina hikimar wucin gadi da aka yi alkawari?”
Amma a nan akwai ƙaramin fahimta amma mai ban sha'awa :)
Tarin fasahar da ke wanzu a yau, a fili, ba zai kai mu ga hankali na wucin gadi ba. Tunani da sabon abu sun gaji da kansu. Bari mu yi magana game da abin da ke riƙe matakin ci gaba na yanzu.
Ƙuntatawa
Bari mu fara da motoci masu tuka kansu. Yana da alama a fili cewa yana yiwuwa a yi cikakkun motoci masu cin gashin kansu tare da fasahar zamani. Amma a cikin shekaru nawa hakan zai faru ba a bayyana ba. Tesla ya yi imanin wannan zai faru a cikin shekaru biyu -
Akwai wasu da yawa , wanda ya kiyasta ya zama shekaru 5-10.
Mafi mahimmanci, a ra'ayi na, a cikin shekaru 15 kayayyakin more rayuwa na birane za su canza ta yadda fitowar motoci masu cin gashin kansu za su zama makawa kuma za su zama ci gaba. Amma wannan ba za a iya la'akari da hankali ba. Tesla na zamani bututu ne mai sarkakiya don tace bayanai, bincike da sake horarwa. Waɗannan ƙa'idodi-dokokin-dokokin, tattara bayanai da tacewa akan su (a nan Na rubuta kadan game da wannan, ko kallo daga mark).
Matsala ta farko
Kuma a nan ne muke gani matsala ta farko. Babban bayanai. Wannan shi ne ainihin abin da ya haifar da guguwar hanyoyin sadarwa na jijiyoyi da koyan inji. A zamanin yau, don yin wani abu mai rikitarwa da atomatik, kuna buƙatar bayanai da yawa. Ba kawai mai yawa ba, amma sosai, da yawa. Muna buƙatar algorithms masu sarrafa kansu don tarin su, yin alama, da amfani. Muna so mu sa motar ta ga manyan motocin da ke fuskantar rana - dole ne mu fara tattara adadin adadinsu. Muna son motar kada ta yi hauka da keken da aka makale a jikin akwati - ƙarin samfurori.
Bugu da ƙari, misali ɗaya bai isa ba. Daruruwan? Dubban?
Matsala ta biyu
Matsala ta biyu - hangen nesa na abin da cibiyar sadarwar mu ta fahimta. Wannan aiki ne mara qaranci. Har zuwa yanzu, mutane kaɗan ne suka fahimci yadda za su hango wannan. Waɗannan labaran kwanan nan ne, waɗannan ƙaɗan misalai ne, ko da na nesa:
damuwa da laushi. Yana nuna da kyau abin da neuron ke ƙoƙarin gyarawa akan + abin da yake fahimta azaman farawa bayanai.
Hankali a . A zahiri, ana iya amfani da jan hankali sau da yawa daidai don nuna abin da ya haifar da irin wannan halayen hanyar sadarwa. Na ga irin waɗannan abubuwa don duka gyarawa da mafita na samfur. Akwai labarai da yawa akan wannan batu. Amma mafi rikitarwa bayanan, da wahalar fahimtar yadda za a iya samun gani mai ƙarfi.
Da kyau, i, kyakkyawan tsohuwar saitin “duba abin da ke cikin raga a ciki " Wadannan hotuna sun shahara shekaru 3-4 da suka wuce, amma kowa da sauri ya gane cewa hotuna suna da kyau, amma ba su da ma'ana sosai.
Ban ambaci wasu na'urori da dama ba, hanyoyin, hacks, bincike kan yadda ake nuna abubuwan cikin cibiyar sadarwa. Shin waɗannan kayan aikin suna aiki? Shin suna taimaka muku da sauri fahimtar menene matsalar kuma zazzage hanyar sadarwar?.. Samu kashi na ƙarshe? To, kusan iri ɗaya ne:
Kuna iya kallon kowace gasa akan Kaggle. Da kuma bayanin yadda mutane suke yanke hukunci na ƙarshe. Mun tara nau'ikan samfura 100-500-800 kuma ya yi aiki!
Ina yin karin gishiri, ba shakka. Amma waɗannan hanyoyin ba sa ba da amsoshi masu sauri da kai tsaye.
Samun isassun ƙwarewa, tun da yake zaɓe daban-daban, zaku iya yanke hukunci game da dalilin da yasa tsarin ku ya yanke irin wannan shawarar. Amma zai yi wuya a gyara halayen tsarin. Shigar da crutch, matsar kofa, ƙara saitin bayanai, ɗauki wata hanyar sadarwa ta baya.
Matsala ta uku
Matsala ta Uku - grids suna koyar da ƙididdiga, ba dabaru ba. A kididdiga wannan :
A hankali, ba haka ba ne sosai. Cibiyoyin jijiyoyi ba sa koyon wani abu mai sarkakiya sai dai idan an tilasta musu. Koyaushe suna koyar da alamun mafi sauƙi mai yiwuwa. Kuna da idanu, hanci, kai? To wannan ita ce fuska! Ko kuma a ba da misali inda idanu ba sa nufin fuska. Kuma sake - miliyoyin misalai.
Akwai Yaln Daki a Kasa
Zan iya cewa waɗannan matsalolin duniya guda uku ne a halin yanzu ke iyakance ci gaban hanyoyin sadarwa da na'ura. Kuma inda waɗannan matsalolin ba su iyakance shi ba, an riga an yi amfani da shi sosai.
Wannan shine karshen? Shin hanyoyin sadarwa na jijiyoyi sun tashi?
Ba a sani ba. Amma, ba shakka, kowa ba ya fata.
Akwai hanyoyi da hanyoyi da yawa don magance matsalolin asali waɗanda na yi tsokaci a sama. Amma ya zuwa yanzu, babu ɗayan waɗannan hanyoyin da suka ba da damar yin wani sabon abu na asali, don warware wani abu da ba a warware ba tukuna. Ya zuwa yanzu, ana yin duk mahimman ayyukan bisa ingantattun hanyoyin (Tesla), ko kuma ci gaba da ayyukan gwaji na cibiyoyi ko kamfanoni (Google Brain, OpenAI).
Kusan magana, babban alkibla ita ce ƙirƙirar wasu manyan wakilcin bayanan shigarwa. A cikin ma'ana, "memory". Misali mafi sauƙi na ƙwaƙwalwar ajiya shine nau'ikan "Embedding" - wakilcin hoto. To, alal misali, duk tsarin gane fuska. Cibiyar sadarwa tana koyon samun daga fuska wasu tsayayyun wakilci wanda bai dogara da juyawa, haske, ko ƙuduri ba. Ainihin, hanyar sadarwar tana rage ma'aunin "fuskoki daban-daban sun yi nisa" da "fuskoki iri ɗaya suna kusa."
Don irin wannan horon, ana buƙatar dubun-dubatar misalai. Amma sakamakon yana ɗauke da wasu ƙa'idodin "Koyon harbi ɗaya". Yanzu ba ma buƙatar ɗaruruwan fuskoki don tunawa da mutum. Fuska daya kawai kuma shine kawai mu !
Matsala ɗaya ce kawai...Girkin zai iya koyon abubuwa masu sauƙi kawai. Lokacin ƙoƙarin bambanta ba fuskoki ba, amma, alal misali, "mutane da tufafi" (aiki ) - ingancin faɗuwa da umarni da yawa na girma. Kuma cibiyar sadarwa ba za ta iya ƙara koyon fayyace canje-canje a kusurwoyi ba.
Kuma koyo daga miliyoyin misalan shima irin nishaɗi ne.
Akwai aikin rage zabe sosai. Misali, nan da nan mutum zai iya tuna daya daga cikin abubuwan da aka fara aiki akai Koyon OneShot :
Akwai irin waɗannan ayyuka da yawa, alal misali ko ko .
Rage guda ɗaya ne kawai - yawanci horo yana aiki da kyau akan wasu sauƙaƙan misalan "MNIST". Kuma lokacin matsawa zuwa ayyuka masu rikitarwa, kuna buƙatar babban rumbun adana bayanai, samfurin abubuwa, ko wani nau'in sihiri.
Gabaɗaya, aiki akan horon harbi ɗaya abu ne mai ban sha'awa. Kuna samun ra'ayoyi da yawa. Amma ga mafi yawancin, matsalolin biyu da na jera (horon kan babban tsarin bayanai / rashin zaman lafiya akan hadaddun bayanai) suna tsoma baki tare da koyo.
A gefe guda, GANs - cibiyoyin sadarwar abokan gaba - sun kusanci batun haɗawa. Wataƙila kun karanta tarin labarai kan Habré kan wannan batu. (, ,)
Siffar GAN ita ce samuwar wasu sarari na cikin gida (mahimmanci iri ɗaya), wanda ke ba ku damar zana hoto. Yana iya zama , iya zama .
Matsalar GAN ita ce, mafi rikitarwa abin da aka samar, da wuya a kwatanta shi a cikin basirar "generator-discriminator". A sakamakon haka, kawai ainihin aikace-aikacen GAN da aka ji shine DeepFake, wanda, sake, yana sarrafa alamun fuska (wanda akwai babban tushe).
Na ga kadan wasu amfani masu amfani. Yawancin lokaci wani nau'i na yaudara wanda ya haɗa da kammala zanen hotuna.
Kuma a sake. Babu wanda ya san yadda wannan zai ba mu damar matsawa zuwa makoma mai haske. Wakilin dabaru/ sarari a cikin hanyar sadarwa na jijiyoyi yana da kyau. Amma muna buƙatar adadi mai yawa na misalai, ba mu fahimci yadda neuron ke wakiltar wannan a cikin kansa ba, ba mu fahimci yadda za mu sa neuron ya tuna da wasu ra'ayi mai rikitarwa ba.
Sanin karantarwa - wannan hanya ce ta gaba daya daban-daban. Tabbas kun tuna yadda Google ya doke kowa a cikin Go. Nasarorin kwanan nan a Starcraft da Dota. Amma a nan komai ya yi nisa da ja-gora da alƙawarin. Ya yi magana mafi kyau game da RL da hadaddun sa .
Don taƙaita abin da marubucin ya rubuta:
- Samfuran da ke cikin akwatin ba sa dacewa / aiki mara kyau a mafi yawan lokuta
- Matsaloli masu aiki suna da sauƙin warwarewa ta wasu hanyoyi. Boston Dynamics baya amfani da RL saboda sarƙaƙƙiya/rashin tsinkaya/ haɗaɗɗen lissafi
- Don RL yayi aiki, kuna buƙatar aiki mai rikitarwa. Yawancin lokaci yana da wahala ƙirƙira/rubutu
- Wuya don horar da samfura. Dole ne ku ciyar da lokaci mai yawa don yin famfo da fita daga kyakkyawan yanayi
- A sakamakon haka, yana da wuya a sake maimaita samfurin, samfurin ba shi da kwanciyar hankali tare da ƙananan canje-canje
- Sau da yawa yakan wuce wasu alamu bazuwar, har ma da janareta na lambar bazuwar
Mahimmin mahimmanci shine RL bai yi aiki ba tukuna a samarwa. Google yana da wasu gwaje-gwaje ( , ). Amma ban ga tsarin samfur ko ɗaya ba.
Memory. Ƙarƙashin duk abin da aka kwatanta a sama shine rashin tsari. Ɗaya daga cikin hanyoyin da za a yi ƙoƙarin gyara duk wannan ita ce samar da hanyar sadarwa ta jijiyoyi tare da damar yin amfani da ƙwaƙwalwar ajiya daban. Domin ta samu damar yin rikodi da sake rubuta sakamakon matakan da ta dauka a can. Sa'an nan kuma za a iya ƙayyade hanyar sadarwa ta jijiyoyi ta hanyar ƙwaƙwalwar ajiya na yanzu. Wannan yayi kama da na'urori masu sarrafawa da kwamfutoci na gargajiya.
Mafi shahara kuma mashahuri - daga DeepMind:
Da alama wannan shine mabuɗin fahimtar hankali? Amma mai yiwuwa ba. Tsarin har yanzu yana buƙatar adadi mai yawa na bayanai don horo. Kuma yana aiki da yawa tare da tsararren bayanan tabular. Haka kuma, lokacin da Facebook matsala mai kama da ita, sannan suka ɗauki hanyar "ƙwaƙwalwar ƙwaƙwalwa, kawai sanya neuron ya fi rikitarwa, kuma yana da ƙarin misalai - kuma zai koyi da kansa."
Rarrabuwa. Wata hanyar don ƙirƙirar ƙwaƙwalwar ajiya mai ma'ana ita ce ɗaukar irin su, amma yayin horo, gabatar da ƙarin sharuɗɗa waɗanda zasu ba ku damar yin amfani da ma'anar "ma'anoni" a cikinsu. Misali, muna son horar da hanyar sadarwa ta jijiyoyi don bambanta tsakanin halayen ɗan adam a cikin kantin sayar da kayayyaki. Idan muka bi daidaitattun hanyar, da za mu yi cibiyoyin sadarwa guda goma sha biyu. Daya yana neman mutum, na biyu shine kayyade abin da yake yi, na uku shekarunsa, na hudu jinsinsa. Hankali dabam dabam yana kallon ɓangaren kantin inda aka horar da shi don yin wannan. Na uku yana ƙayyade yanayinsa, da sauransu.
Ko, idan akwai adadin bayanai marasa iyaka, to, zai yiwu a horar da hanyar sadarwa guda ɗaya don duk sakamakon da zai yiwu (ba shakka, ba za a iya tattara irin wannan tsararrun bayanai ba).
Hanyar rarrabuwar kawuna tana gaya mana - bari mu horar da hanyar sadarwa ta yadda ita kanta zata iya bambanta tsakanin ra'ayoyi. Ta yadda za ta samar da wani abu da ya danganci bidiyon, inda wani yanki zai tantance aikin, mutum zai tantance matsayi a kasa cikin lokaci, mutum zai tantance tsayin mutum, kuma mutum zai tantance jinsin mutum. A lokaci guda, lokacin horo, Ina so in kusan ba da shawarar hanyar sadarwa tare da irin waɗannan mahimman ra'ayoyi ba, amma don ta haskaka da wuraren rukuni. Akwai 'yan kaɗan irin waɗannan labaran (wasu daga cikinsu , , ) kuma gabaɗaya suna da ka'ida sosai.
Amma wannan jagorar, aƙalla bisa ka'ida, yakamata ya rufe matsalolin da aka lissafa a farkon.
Rushewar hoto bisa ga sigogi "launi na bango / launi na bene / siffar abu / launi / da sauransu."
Rushewar fuska bisa ga sigogi "girman, gira, daidaitawa, launin fata, da sauransu."
Wasu
Akwai wasu da yawa, ba na duniya ba, wuraren da ke ba ku damar rage bayanan ko ta yaya, yin aiki tare da ƙarin bayanan iri-iri, da sauransu.
hankali. Wataƙila ba shi da ma'ana a ware wannan azaman wata hanya dabam. Hanya ce kawai wacce ke haɓaka wasu. An sadaukar da labarai da yawa gare shi (,,). Manufar Hankali ita ce haɓaka martanin cibiyar sadarwa musamman ga abubuwa masu mahimmanci yayin horo. Sau da yawa ta hanyar wani nau'i na ƙira na waje, ko ƙaramar hanyar sadarwa ta waje.
3D kwaikwayo. Idan kun yi ingin 3D mai kyau, sau da yawa za ku iya rufe 90% na bayanan horo tare da shi (Na ga misali inda kusan kashi 99% na bayanan an rufe shi da injin mai kyau). Akwai ra'ayoyi da yawa da hacks akan yadda ake yin hanyar sadarwa da aka horar akan aikin injin 3D ta amfani da bayanan gaske (Kyakkyawan daidaitawa, canja wurin salo, da sauransu). Amma sau da yawa yin ingin mai kyau yana da umarni da yawa na girma mafi wahala fiye da tattara bayanai. Misalai lokacin da aka yi injuna:
Horon Robot (, )
Horon horo kaya a cikin kantin sayar da (amma a cikin ayyukan biyu da muka yi, za mu iya yin sauƙi ba tare da shi ba).
Horowa a Tesla (sake, bidiyon da ke sama).
binciken
Dukkan labarin shine, a wata ma'ana, ƙarshe. Wataƙila babban saƙon da nake so in yi shi ne "'Yancin sun ƙare, neurons ba sa samar da mafita mai sauƙi." Yanzu muna bukatar mu yi aiki tuƙuru don mu tsai da shawarwari masu wuyar gaske. Ko yin aiki tuƙuru don yin hadadden binciken kimiyya.
Gabaɗaya, batun yana da muhawara. Wataƙila masu karatu suna da ƙarin misalai masu ban sha'awa?
source: www.habr.com