Nembe dileupaskeun , nu nembongkeun trend alus dina mesin learning dina taun panganyarna. Pondokna: jumlah startups machine learning geus plummeted dina dua taun ka tukang.
Muhun. Hayu urang nempo "naha gelembung geus peupeus", "kumaha neruskeun hirup" na ngobrol ngeunaan dimana squiggle ieu asalna ti di tempat munggaran.
Kahiji, hayu urang ngobrol ngeunaan naon éta booster kurva ieu. Ti mana manéhna asalna? Éta meureun bakal apal sagalana pembelajaran mesin di 2012 dina kompetisi ImageNet. Barina ogé, ieu téh acara global munggaran! Tapi dina kanyataanana teu kitu. Jeung tumuwuhna kurva dimimitian saeutik saméméhna. Kuring bakal ngarecah kana sababaraha titik.
- 2008 nempo mecenghulna istilah "data badag". Produk nyata dimimitian saprak 2010. Data ageung langsung aya hubunganana sareng pembelajaran mesin. Tanpa data gedé, operasi stabil tina algoritma anu aya dina waktos éta mustahil. Sareng ieu sanés jaringan saraf. Dugi ka 2012, jaringan saraf mangrupikeun pelestarian minoritas marginal. Tapi teras algoritma anu béda-béda mimiti dianggo, anu parantos aya mangtaun-taun, atanapi bahkan puluhan taun: (1963,1993), (1995), (2003),... Startups taun maranéhanana utamana pakait sareng processing otomatis data terstruktur: registers tunai, pamaké, iklan, leuwih.
Turunan gelombang kahiji ieu mangrupikeun sakumpulan kerangka sapertos XGBoost, CatBoost, LightGBM, jsb.
- Taun 2011-2012 meunang sababaraha kompetisi pangakuan gambar. pamakéan sabenerna maranéhna rada nyangsang. Abdi nyarios yén ngamimitian sareng solusi anu langkung ageung mimiti muncul dina 2014. Butuh dua taun pikeun nyerna yén neuron masih tiasa dianggo, pikeun nyiptakeun kerangka anu cocog anu tiasa dipasang sareng diluncurkeun dina waktos anu lumrah, pikeun ngembangkeun metode anu bakal nyaimbangkeun sareng nyepetkeun waktos konvergénsi.
Jaringan convolutional ngamungkinkeun pikeun ngabéréskeun masalah visi komputer: klasifikasi gambar sareng objék dina gambar, deteksi obyék, pangakuan objék sareng jalma, perbaikan gambar, jsb.
- 2015-2017. Booming algoritma sareng proyék dumasar kana jaringan anu ngulang atanapi analogna (LSTM, GRU, TransformerNet, jsb.). Algoritma ucapan-ka-téks anu saé sareng sistem tarjamahan mesin parantos muncul. Aranjeunna sabagean dumasar kana jaringan convolutional pikeun nimba fitur dasar. Sabagean alatan kanyataan yén urang diajar ngumpulkeun datasets bener badag tur alus.
“Gelembungna peupeus? Dupi hype overheated? Naha aranjeunna maot salaku blockchain? ”
Upami teu kitu! Isukan Siri bakal eureun gawé dina telepon anjeun, sarta poé sanggeusna Tesla moal nyaho bédana antara péngkolan sarta kangguru a.
Jaringan saraf parantos jalan. Aranjeunna aya dina puluhan alat. Éta leres-leres ngamungkinkeun anjeun kéngingkeun artos, ngarobih pasar sareng dunya di sabudeureun anjeun. Hype katingalina rada béda:
Ngan éta jaringan saraf henteu deui anu énggal. Sumuhun, loba jalma boga ekspektasi tinggi. Tapi sajumlah ageung perusahaan parantos diajar ngagunakeun neuron sareng ngadamel produk dumasar kana éta. Neuron nyayogikeun fungsionalitas énggal, ngamungkinkeun anjeun ngirangan padamelan, sareng ngirangan harga jasa:
- Perusahaan manufaktur ngahijikeun algoritma pikeun nganalisis cacad jalur produksi.
- Peternakan peternakan mésér sistem pikeun ngontrol sapi.
- Otomatis ngagabungkeun.
- Puseur Telepon Otomatis.
- Saringan dina SnapChat. (Muhun, sahenteuna hal mangpaat!)
Tapi hal utama, teu paling atra: "Teu aya deui ideu anyar, atawa maranéhna moal mawa modal instan." Jaringan saraf parantos ngarengsekeun puluhan masalah. Jeung maranéhna bakal mutuskeun malah leuwih. Sadaya ideu atra anu aya nyababkeun seueur ngamimitian. Tapi sagalana nu aya dina beungeut cai geus dikumpulkeun. Sapanjang dua taun katukang, kuring henteu acan mendakan ideu anyar pikeun panggunaan jaringan saraf. Henteu aya pendekatan anyar (sumur, ok, aya sababaraha masalah sareng GAN).
Sareng unggal ngamimitian anu salajengna langkung rumit. Éta henteu peryogi deui dua jalma anu ngalatih neuron nganggo data kabuka. Merlukeun programer, server, tim spidol, rojongan kompléks, jsb.
Hasilna, aya pangsaeutikna startups. Tapi aya deui produksi. Naha anjeun kedah nambihan pangakuan plat lisénsi? Aya ratusan spesialis sareng pangalaman relevan dina pasaran. Anjeun tiasa nyewa batur sareng dina sababaraha bulan karyawan anjeun bakal ngadamel sistem. Atawa meuli siap-dijieun. Tapi ngalakukeun ngamimitian anyar?.. Gélo!
Anjeun kedah nyiptakeun sistem pelacak sémah - naha mayar sakumpulan lisénsi nalika anjeun tiasa ngadamel nyalira dina 3-4 bulan, ngasah éta pikeun bisnis anjeun.
Ayeuna jaringan saraf nuju ngalangkungan jalan anu sami anu dijalankeun ku puluhan téknologi sanés.
Naha anjeun émut kumaha konsép "pamekar wéb" parantos robih saprak 1995? Pasar henteu acan jenuh ku spesialis. Aya saeutik pisan professional. Tapi kuring tiasa bet yén dina 5-10 taun moal aya bédana antara programmer Java sareng pamekar jaringan saraf. Bakal aya cukup duanana spesialis dina pasaran.
Ngan bakal aya kelas masalah anu tiasa direngsekeun ku neuron. Hiji tugas geus arisen - nyewa spesialis a.
"Naon salajengna? Dimana intelijen buatan anu dijanjikeun?"
Tapi didieu aya salah paham leutik tapi metot :)
Téknologi tumpukan anu aya ayeuna, katingalina, moal ngakibatkeun urang kana intelijen buatan. Gagasan jeung novelty maranéhanana geus sakitu legana exhausted sorangan. Hayu urang ngobrol ngeunaan naon nahan tingkat pangwangunan ayeuna.
larangan
Hayu urang mimitian ku mobil timer nyetir. Sigana jelas yén kasebut nyaéta dimungkinkeun pikeun nyieun mobil pinuh otonom jeung téhnologi kiwari. Tapi dina sabaraha taun ieu bakal kajadian teu jelas. Tesla yakin ieu bakal kajadian dina sababaraha taun -
Aya loba batur , anu ngira-ngira éta 5-10 taun.
Paling dipikaresep, dina pamanggih kuring, dina 15 taun infrastruktur kota sorangan bakal robah ku cara nu mecenghulna mobil otonom bakal jadi dilawan tur bakal jadi tuluyan na. Tapi ieu teu bisa dianggap kecerdasan. Tesla modern mangrupikeun jalur pipa anu kompleks pikeun nyaring data, milarian sareng ngalatih deui. Ieu mangrupikeun aturan-aturan-aturan, pendataan sareng saringan pikeun aranjeunna (di dieu Kuring nulis saeutik leuwih ngeunaan ieu, atawa lalajo ti tanda).
Masalah kahiji
Sareng ieu dimana urang tingali masalah fundamental munggaran. data badag. Ieu persis anu ngalahirkeun gelombang jaringan saraf sareng pembelajaran mesin ayeuna. Kiwari, pikeun ngalakukeun hal anu rumit sareng otomatis, anjeun peryogi seueur data. Henteu ngan loba, tapi pisan, pisan. Urang peryogi algoritma otomatis pikeun ngumpulkeun, nyirian, sareng dianggo. Urang rék nyieun mobil ningali treuk nyanghareup panonpoé - urang mimitina kudu ngumpulkeun jumlah cukup di antarana. Simkuring hoyong mobil teu jadi gélo jeung sapédah bolted kana kalapa - sampel leuwih.
Leuwih ti éta, hiji conto teu cukup. Ratusan? Rébuan?
Masalah kadua
Masalah kadua - visualisasi naon jaringan neural urang geus dipikaharti. Ieu tugas pisan non-trivial. Nepi ka ayeuna, sababaraha urang ngartos kumaha carana visualize ieu. Artikel ieu anyar pisan, ieu ngan sababaraha conto, sanajan jauh:
obsesi jeung textures. Éta nunjukkeun ogé naon anu condong difiksasi ku neuron + naon anu dianggap salaku inpormasi awal.
Perhatian di . Nyatana, atraksi sering tiasa dianggo pikeun nunjukkeun naon anu nyababkeun réaksi jaringan sapertos kitu. Kuring geus katempo hal saperti pikeun duanana debugging jeung solusi produk. Aya seueur tulisan ngeunaan topik ieu. Tapi beuki kompleks datana, beuki hésé ngarti kumaha carana ngahontal visualisasi mantap.
Nya, enya, set lami anu saé "Tingali naon anu aya di jero bolong " Gambar-gambar ieu populér 3-4 sababaraha taun ka pengker, tapi sadayana gancang sadar yén gambar-gambar éta éndah, tapi aranjeunna henteu ngagaduhan artos.
Kuring teu nyebut puluhan gadget sejen, métode, hacks, panalungtikan ngeunaan kumaha carana nampilkeun jero jaringan. Naha parabot ieu jalan? Naha aranjeunna ngabantosan anjeun gancang ngartos naon masalahna sareng debug jaringan?.. Meunangkeun persen terakhir? Muhun, éta ngeunaan sarua:
Anjeun tiasa ningali kompetisi naon waé dina Kaggle. Jeung pedaran kumaha urang nyieun kaputusan final. Urang tumpuk 100-500-800 unit model na eta digawé!
Kuring exaggerating, tangtu. Tapi pendekatan ieu henteu masihan jawaban anu gancang sareng langsung.
Ngabogaan pangalaman cukup, sanggeus poked sabudeureun pilihan béda, anjeun tiasa masihan putusan ngeunaan naha sistem Anjeun nyieun kaputusan misalna. Tapi bakal hésé pikeun ngabenerkeun paripolah sistem. Pasang kruk, pindahkeun bangbarung, tambahkeun set data, cokot jaringan backend anu sanés.
Masalah katilu
Masalah Dasar Katilu - grids ngajarkeun statistik, teu logika. Statistik ieu :
Logis, éta teu pisan sarupa. Jaringan saraf henteu diajar naon-naon anu rumit kecuali aranjeunna kapaksa. Aranjeunna salawasna ngajarkeun tanda pangbasajanna mungkin. Dupi anjeun gaduh panon, irung, sirah? Tah ieu rarayna! Atawa méré conto dimana panon lain hartina beungeut. Jeung deui - jutaan conto.
Aya Nyatu Kamar di Bawah
Kuring bakal nyebatkeun yén tilu masalah global ieu anu ayeuna ngabatesan pamekaran jaringan saraf sareng pembelajaran mesin. Sareng dimana masalah ieu henteu ngawatesan éta, éta parantos aktip dianggo.
Ieu tungtungna? Naha jaringan saraf naék?
Teu dipikanyaho. Tapi, tangtosna, sadayana ngaharepkeun henteu.
Aya seueur pendekatan sareng arah pikeun ngarengsekeun masalah dasar anu ku kuring disorot di luhur. Tapi sajauh ieu, taya sahiji pendekatan ieu ngamungkinkeun pikeun ngalakukeun hal fundamentally anyar, pikeun ngajawab hiji hal anu teu acan direngsekeun. Sajauh ieu, sadaya proyék dasar anu dilakukeun dina dasar pendekatan stabil (Tesla), atanapi tetep proyék tés lembaga atanapi korporasi (Google Brain, OpenAI).
Sacara kasar, arah utama nyaéta nyiptakeun sababaraha perwakilan tingkat luhur tina data input. Dina harti, "memori". Conto pangbasajanna mémori rupa-rupa "Embedding" - ngagambarkeun gambar. Nya, contona, sadaya sistem pangenal raray. Jaringan diajar pikeun ménta tina rupa sababaraha répréséntasi stabil nu teu gumantung kana rotasi, cahaya, atawa resolusi. Intina, jaringan ngaminimalkeun métrik "rupa anu béda jauh" sareng "rupa anu sami caket."
Pikeun latihan sapertos kitu, puluhan sareng ratusan rébu conto diperyogikeun. Tapi hasilna ngasuh sababaraha rudiments "One-shot Learning". Ayeuna urang teu butuh ratusan rupa pikeun nginget hiji jalma. Ngan hiji beungeut jeung éta sakabéh kami !
Aya ngan hiji masalah ... The grid ngan bisa neuleuman objék cukup basajan. Nalika nyobian ngabédakeun sanés rupa, tapi, contona, "jalma ku baju" (tugas ) - kualitas ragrag ku loba pesenan gedena. Sareng jaringan henteu tiasa deui diajar parobahan anu cukup jelas dina sudut.
Sareng diajar tina jutaan conto ogé pikaresepeun.
Aya padamelan pikeun ngirangan sacara signifikan pamilihan. Contona, hiji bisa langsung ngelingan salah sahiji karya munggaran dina Pangajaran OneShot :
Aya seueur karya sapertos kitu, contona atawa atawa .
Aya ngan hiji minus - biasana latihan jalan ogé dina sababaraha basajan, "MNIST" conto. Sareng nalika ngalih ka tugas anu rumit, anjeun peryogi database ageung, modél objék, atanapi sababaraha jinis sihir.
Sacara umum, ngerjakeun latihan One-Shot mangrupikeun topik anu pikaresepeun. Anjeun manggihan loba gagasan. Tapi pikeun sabagéan ageung, dua masalah anu kuring didaptarkeun (pretraining dina set data ageung / instability dina data kompléks) pisan ngaganggu diajar.
Di sisi séjén, GANs - jaringan adversarial generative - ngadeukeutan topik Embedding. Anjeun panginten parantos maca seueur tulisan ngeunaan Habré ngeunaan topik ieu. (, ,)
Fitur GAN nyaéta formasi sababaraha rohangan kaayaan internal (dasarna Embedding sami), anu ngamungkinkeun anjeun ngagambar gambar. Bisa jadi , tiasa .
Masalah sareng GAN nyaéta yén langkung kompleks obyék anu dibangkitkeun, langkung hese pikeun ngajelaskeunana dina logika "generator-discriminator". Hasilna, hiji-hijina aplikasi nyata GAN anu didangu nyaéta DeepFake, anu, sakali deui, ngamanipulasi perwakilan raray (anu aya dasar anu ageung).
Kuring geus katempo pisan sababaraha kagunaan séjén mangpaat. Biasana sababaraha jinis tipu daya anu ngalibatkeun ngabéréskeun gambar gambar.
Jeung deui. Teu aya anu terang kumaha ieu bakal ngamungkinkeun urang ngalih ka masa depan anu langkung cerah. Ngawakilan logika / spasi dina jaringan saraf téh alus. Tapi urang peryogi sajumlah ageung conto, urang henteu ngartos kumaha neuron ngagambarkeun ieu nyalira, urang henteu ngartos kumaha carana ngajantenkeun neuron émut sababaraha ide anu rumit.
Diajar tulangan - ieu pendekatan ti arah lengkep beda. Pasti anjeun émut kumaha Google ngéléhkeun sadayana di Go. Kameunangan panganyarna dina Starcraft sareng Dota. Tapi di dieu sagalana jauh ti jadi rosy jeung ngajangjikeun. Anjeunna ceramah pangalusna ngeunaan RL jeung complexities na .
Pikeun nyimpulkeun sakeudeung naon anu ditulis ku panulis:
- Model out of the box henteu pas / dianggo kirang dina kalolobaan kasus
- Masalah praktis langkung gampang direngsekeun ku cara anu sanés. Boston Dynamics henteu nganggo RL kusabab pajeulitna / teu bisa diprediksi / pajeulitna komputasi
- Pikeun RL tiasa dianggo, anjeun peryogi fungsi anu kompleks. Sering hese nyieun/nulis
- Hésé ngalatih modél. Anjeun kedah nyéépkeun seueur waktos pikeun ngompa sareng kaluar tina optima lokal
- Hasilna, hese ngulang model, model teu stabil jeung parobahan slightest
- Mindeng overfits sababaraha pola acak, malah generator angka acak
Titik konci éta RL teu acan dianggo dina produksi. Google gaduh sababaraha percobaan ( , ). Tapi kuring henteu acan ningali sistem produk tunggal.
ingetan. The downside tina sagalana ditétélakeun di luhur nyaéta kurangna struktur. Salah sahiji pendekatan pikeun ngabersihkeun sadayana ieu nyaéta nyayogikeun jaringan neural aksés kana mémori anu misah. Sangkan manéhna bisa ngarékam jeung nulis deui hasil léngkah-léngkahna di dinya. Lajeng jaringan neural bisa ditangtukeun ku kaayaan memori ayeuna. Ieu pisan sarupa prosesor Palasik jeung komputer.
Nu kawentar tur populér - ti DeepMind:
Sigana yén ieu téh konci pikeun pamahaman kecerdasan? Tapi meureun henteu. Sistim nu masih merlukeun jumlah badag data pikeun latihan. Sareng dianggo utamina sareng data tabular terstruktur. Sumawona, nalika Facebook Masalah anu sami, teras aranjeunna nyandak jalur "memori screw, ngan ukur ngajantenkeun neuron langkung rumit, sareng gaduh seueur conto - sareng éta bakal diajar nyalira."
Disentanglement. Cara séjén pikeun nyiptakeun mémori anu bermakna nyaéta nyandak émbeddings anu sami, tapi salami latihan, ngenalkeun kriteria tambahan anu bakal ngamungkinkeun anjeun nyorot "hartos" dina éta. Salaku conto, urang hoyong ngalatih jaringan saraf pikeun ngabédakeun paripolah manusa di toko. Upami urang ngiringan jalur standar, urang kedah ngadamel belasan jaringan. Nu saurang keur néangan hiji jalma, nu kadua nangtukeun naon anu manéhna pigawé, nu katilu umurna, nu kaopat génderna. logika misah Sigana di bagian tina toko mana hancana / dilatih pikeun ngalakukeun ieu. Katilu nangtukeun lintasan na, jsb.
Atanapi, upami aya jumlah data anu teu terbatas, maka bakal tiasa ngalatih hiji jaringan pikeun sadaya hasil anu mungkin (jelas, data sapertos kitu henteu tiasa dikumpulkeun).
Pendekatan disentanglement nyarioskeun ka urang - hayu urang ngalatih jaringan supados nyalira tiasa ngabédakeun antara konsép. Ku kituna eta bakal ngabentuk embedding dumasar kana video, dimana hiji wewengkon bakal nangtukeun lampah, hiji bakal nangtukeun posisi di lantai dina jangka waktu nu, hiji bakal nangtukeun jangkungna jalma, sarta salah sahiji bakal nangtukeun jenis kelamin jalma. Dina waktu nu sarua, nalika latihan, Abdi hoyong ampir teu ajakan jaringan jeung konsep konci misalna, tapi rada pikeun eta nyorot jeung grup wewengkon. Aya sababaraha artikel sapertos (sababaraha di antarana , , ) sareng sacara umum aranjeunna rada teoritis.
Tapi arah ieu, sahenteuna sacara téoritis, kedah nutupan masalah anu didaptarkeun di awal.
Dekomposisi gambar dumasar kana parameter "warna témbok / warna lantai / bentuk objék / warna objék / jsb."
Dékomposisi raray dumasar kana parameter "ukuran, alis, orientasi, warna kulit, jsb."
Прочее
Aya seueur sanés, sanés global, daérah anu ngamungkinkeun anjeun kumaha waé ngirangan pangkalan data, damel sareng data anu langkung hétérogén, jsb.
perhatian. Éta sigana henteu masuk akal pikeun misahkeun ieu salaku padika anu misah. Ngan pendekatan anu ningkatkeun batur. Seueur tulisan anu dikhususkeun pikeun anjeunna (,,). Titik Perhatian nyaéta pikeun ningkatkeun réspon jaringan sacara khusus pikeun objék anu penting nalika latihan. Mindeng ku sababaraha jenis designation target éksternal, atawa jaringan éksternal leutik.
simulasi 3D. Upami anjeun ngadamel mesin 3D anu saé, anjeun sering tiasa nutupan 90% data latihan sareng éta (kuring ningali conto dimana ampir 99% data ditutupan ku mesin anu saé). Aya seueur ide sareng hacks ngeunaan cara ngadamel jaringan anu dilatih dina mesin 3D nganggo data nyata (Fine tuning, transfer gaya, jsb.). Tapi mindeng nyieun mesin alus sababaraha ordo gedena leuwih hese tibatan ngumpulkeun data. Conto nalika mesin dijieun:
Latihan robot (, )
palatihan barang di toko (tapi dina dua proyék kami ngalakukeun, urang gampang ngalakukeun tanpa eta).
Latihan di Tesla (deui, video di luhur).
papanggihan
Sakabeh artikel nyaeta, dina rasa, conclusions. Panginten pesen utama anu kuring hoyongkeun nyaéta "gratis parantos réngsé, neuron henteu deui nyayogikeun solusi anu saderhana." Ayeuna urang kedah kerja keras pikeun nyandak kaputusan anu rumit. Atawa kerja keras ngalakonan panalungtikan ilmiah kompléks.
Sacara umum, topik ieu debatable. Meureun pamiarsa boga conto leuwih metot?
sumber: www.habr.com