bubar dirilis , sing nuduhake tren apik ing machine learning ing taun-taun pungkasan. Singkat: jumlah startup machine learning wis suda sajrone rong taun kepungkur.
Inggih. Ayo katon ing "apa gelembung wis bledosan", "carane terus urip" lan pirembagan bab ngendi squiggle iki teka saka ing Panggonan pisanan.
Pisanan, ayo ngomong babagan apa sing nyurung kurva iki. Saka ngendi dheweke teka? Dheweke mesthi bakal ngelingi kabeh machine learning ing 2012 ing kompetisi ImageNet. Sawise kabeh, iki minangka acara global pisanan! Nanging ing kasunyatan iki ora. Lan wutah saka kurva wiwit sethitik sadurungé. Aku bakal break mudhun menyang sawetara TCTerms.
- Ing taun 2008 muncul istilah "data gedhe". Produk nyata diwiwiti wiwit 2010. Data gedhe langsung ana gandhengane karo pembelajaran mesin. Tanpa data gedhe, operasi stabil saka algoritma sing ana ing wektu iku ora mungkin. Lan iki dudu jaringan saraf. Nganti taun 2012, jaringan saraf minangka cadangan minoritas minoritas. Nanging banjur algoritma sing beda-beda wiwit kerja, sing wis ana pirang-pirang taun, utawa malah puluhan taun: (1963,1993), (1995), (2003),... Startups ing taun-taun kasebut utamane digandhengake karo pangolahan otomatis data terstruktur: kasir, pangguna, pariwara, lan liya-liyane.
Turunan saka gelombang pisanan iki yaiku sakumpulan kerangka kayata XGBoost, CatBoost, LightGBM, lsp.
- Ing 2011-2012 menang sawetara lomba pangenalan gambar. Panggunaan nyatane rada telat. Aku bakal ujar manawa wiwitan lan solusi sing penting banget wiwit muncul ing 2014. Butuh rong taun kanggo nyerna yen neuron isih bisa digunakake, kanggo nggawe kerangka kerja sing trep sing bisa dipasang lan diluncurake ing wektu sing cukup, kanggo ngembangake metode sing bakal nyetabilake lan nyepetake wektu konvergensi.
Jaringan convolutional bisa ngatasi masalah visi komputer: klasifikasi gambar lan obyek ing gambar, deteksi obyek, pangenalan obyek lan wong, perbaikan gambar, lsp.
- 2015-2017. Boom algoritma lan proyek adhedhasar jaringan ambalan utawa analoge (LSTM, GRU, TransformerNet, lsp.). Algoritma wicara-kanggo-teks lan sistem terjemahan mesin wis katon. Sebagéyan adhedhasar jaringan convolutional kanggo ngekstrak fitur dhasar. Sebagean amarga kasunyatane kita sinau kanggo ngumpulake dataset sing gedhe banget lan apik.
"Apa gelembung wis pecah? Apa hype dadi panas banget? Apa dheweke mati minangka blockchain?
Yen ora! Sesuk Siri bakal mandheg nggarap telpon, lan sesuk Tesla ora bakal ngerti bedane antarane giliran lan kanguru.
Jaringan saraf wis bisa digunakake. Padha ing Welasan piranti. Dheweke pancen ngidini sampeyan entuk dhuwit, ngganti pasar lan jagad sekitar sampeyan. Hype katon rada beda:
Mung yen jaringan saraf ora ana sing anyar. Ya, akeh wong duwe pangarep-arep sing dhuwur. Nanging akeh perusahaan wis sinau nggunakake neuron lan nggawe produk adhedhasar. Neuron nyedhiyakake fungsionalitas anyar, ngidini sampeyan ngilangi pakaryan, lan nyuda rega layanan:
- Perusahaan manufaktur nggabungake algoritma kanggo nganalisa cacat ing jalur produksi.
- Peternakan ternak tuku sistem kanggo ngontrol sapi.
- Gabungan otomatis.
- Pusat Telpon otomatis.
- Filter-filter ing SnapChat. (uga, paling ora ana sing migunani!)
Nanging sing utama, lan dudu sing paling jelas: "Ora ana ide anyar, utawa ora bakal nggawa modal cepet." Jaringan saraf wis ngrampungake puluhan masalah. Lan dheweke bakal mutusake luwih akeh. Kabeh gagasan sing jelas sing ana nyebabake akeh startup. Nanging kabeh sing ana ing permukaan wis diklumpukake. Sajrone rong taun kepungkur, aku durung nemoni ide anyar babagan panggunaan jaringan saraf. Ora ana pendekatan anyar (uga, ok, ana sawetara masalah karo GAN).
Lan saben wiwitan sakteruse luwih rumit. Ora mbutuhake wong loro sing nglatih neuron nggunakake data mbukak. Mbutuhake programer, server, tim penanda, dhukungan kompleks, lsp.
Akibaté, ana kurang startups. Nanging ana produksi liyane. Perlu nambah pangenalan plat lisensi? Ana atusan spesialis kanthi pengalaman sing relevan ing pasar. Sampeyan bisa nyewa wong lan ing sawetara sasi karyawan bakal nggawe sistem. Utawa tuku siap-digawe. Nanging nggawe wiwitan anyar?.. Edan!
Sampeyan kudu nggawe sistem pelacakan pengunjung - kenapa mbayar akeh lisensi yen sampeyan bisa nggawe dhewe ing 3-4 sasi, ngasah kanggo bisnis sampeyan.
Saiki, jaringan saraf bakal ngliwati dalan sing padha karo puluhan teknologi liyane.
Apa sampeyan ngelingi carane konsep "pangembang situs web" wis diganti wiwit taun 1995? Pasar durung kebak karo spesialis. Ana sawetara banget profesional. Nanging aku bisa nang sing ing 5-10 taun ora ana bedane akeh antarane programmer Jawa lan pangembang jaringan syaraf. Bakal cukup saka loro spesialis ing pasar.
Mung bakal ana kelas masalah sing bisa ditanggulangi dening neuron. Tugas wis muncul - nyewa spesialis.
“Lha terus piye? Ana ing ngendi intelijen buatan sing dijanjekake?"
Nanging ing kene ana kesalahpahaman cilik nanging menarik :)
Tumpukan teknologi sing ana saiki, ketoke, ora bakal nuntun kita menyang intelijen buatan. Gagasan lan kebaruan wis umume kesel dhewe. Ayo dadi pirembagan bab apa ngemu tingkat pembangunan saiki.
Watesan
Ayo dadi miwiti karo mobil nyopir dhewe. Iku misale jek cetha yen bisa nggawe mobil kanthi otonom kanthi teknologi saiki. Nanging nganti pirang-pirang taun iki bakal kelakon ora jelas. Tesla yakin iki bakal kelakon ing sawetara taun -
Ana akeh liyane , sing ngira dadi 5-10 taun.
Paling kamungkinan, ing mratelakake panemume, ing 15 taun, prasarana kutha-kutha dhewe bakal ngganti ing cara sing emergence saka mobil otonom bakal dadi ono lan bakal dadi tutugan. Nanging iki ora bisa dianggep minangka intelijen. Tesla modern minangka pipa sing rumit banget kanggo nyaring, nggoleki lan nglatih maneh data. Iki minangka aturan-aturan-aturan, pangumpulan data lan saringan kasebut (kene Aku wrote sethitik liyane babagan iki, utawa nonton saka tandha).
Masalah pertama
Lan iki ngendi kita ndeleng masalah dhasar pisanan. data gedhe. Iki persis sing nglairake gelombang jaringan saraf lan pembelajaran mesin saiki. Saiki, kanggo nindakake perkara sing rumit lan otomatis, sampeyan butuh akeh data. Ora mung akeh, nanging akeh banget. Kita butuh algoritma otomatis kanggo koleksi, menehi tandha, lan nggunakake. Kita pengin nggawe mobil ndeleng truk sing madhep srengenge - kita kudu ngumpulake jumlah sing cukup. Kita pengin mobil ora dadi edan kanthi sepeda sing dipasang ing bagasi - luwih akeh conto.
Kajaba iku, siji conto ora cukup. Atusan? ewonan?
Masalah nomer loro
Masalah nomer loro - visualisasi apa sing wis dingerteni jaringan saraf kita. Iki minangka tugas sing ora pati penting. Nganti saiki, sawetara wong ngerti carane nggambarake iki. Artikel-artikel iki anyar banget, iki mung sawetara conto, sanajan adoh:
obsesi karo tekstur. Iku nuduhake uga apa neuron cenderung kanggo fixate ing + apa iku perceive minangka informasi wiwitan.
Kawigatosan ing . Nyatane, atraksi asring bisa digunakake kanthi tepat kanggo nuduhake apa sing nyebabake reaksi jaringan kasebut. Aku wis ndeleng iku kanggo loro debugging lan solusi produk. Ana akeh artikel babagan topik iki. Nanging data sing luwih rumit, luwih angel ngerti carane entuk visualisasi sing kuat.
Nah, ya, set lawas sing apik "deleng apa sing ana ing bolong " Gambar-gambar kasebut populer 3-4 taun kepungkur, nanging kabeh wong kanthi cepet nyadari yen gambar-gambar kasebut apik banget, nanging ora duwe makna akeh.
Aku ora nyebutake puluhan gadget liyane, metode, hacks, riset babagan cara nampilake bagian njero jaringan. Apa alat kasebut bisa digunakake? Apa padha mbantu sampeyan cepet ngerti apa masalah lan debug jaringan?.. Njaluk persen pungkasan? Inggih, meh padha:
Sampeyan bisa nonton kompetisi apa wae ing Kaggle. Lan katrangan babagan carane wong nggawe keputusan pungkasan. We dibandhingke 100-500-800 Unit model lan makarya!
Aku exaggerating, mesthi. Nanging pendekatan kasebut ora menehi jawaban sing cepet lan langsung.
Duwe pengalaman sing cukup, wis ngubengi macem-macem pilihan, sampeyan bisa menehi putusan babagan kenapa sistem sampeyan nggawe keputusan kasebut. Nanging bakal angel mbenerake prilaku sistem kasebut. Instal crutch, mindhah ambang, nambah dataset, njupuk jaringan backend liyane.
Masalah katelu
Masalah Fundamental Ketiga - grids mulang statistik, ora logika. Statistik iki :
Logis, iku ora banget padha. Jaringan saraf ora sinau sing rumit kajaba dipeksa. Dheweke tansah mulang pratandha sing paling gampang. Apa sampeyan duwe mripat, irung, sirah? Dadi iki pasuryan! Utawa menehi conto yen mripat ora ateges pasuryan. Lan maneh - mayuta-yuta conto.
Ana Kathah Kamar ing Ngisor
Aku bakal ujar manawa telung masalah global iki sing saiki mbatesi pangembangan jaringan saraf lan sinau mesin. Lan ing ngendi masalah iki ora mbatesi, iku wis aktif digunakake.
Iki pungkasane? Apa jaringan syaraf munggah?
Ora dingerteni. Nanging, mesthine, kabeh wong ora ngarep-arep.
Ana akeh pendekatan lan pituduh kanggo ngrampungake masalah dhasar sing dakkandhakake ing ndhuwur. Nanging nganti saiki, ora ana pendekatan kasebut sing bisa ditindakake kanthi dhasar anyar, kanggo ngatasi masalah sing durung rampung. Nganti saiki, kabeh proyek dhasar ditindakake adhedhasar pendekatan stabil (Tesla), utawa tetep dadi proyek uji coba institusi utawa perusahaan (Google Brain, OpenAI).
Secara kasar, arah utama yaiku nggawe sawetara perwakilan tingkat dhuwur saka data input. Ing pangertèn, "memori". Conto paling gampang saka memori yaiku macem-macem "Embedding" - representasi gambar. Contone, kabeh sistem pangenalan rai. Jaringan sinau kanggo njupuk saka pasuryan sawetara perwakilan stabil sing ora gumantung ing rotasi, cahya, utawa résolusi. Ateges, jaringan nyilikake metrik "pasuryan sing beda-beda adoh" lan "pasuryan sing padha cedhak."
Kanggo latihan kasebut, puluhan lan atusan ewu conto dibutuhake. Nanging asil kasebut ngemot sawetara dhasar "Pembelajaran Siji-sijine". Saiki kita ora perlu atusan pasuryan kanggo ngelingi wong. Mung siji pasuryan lan kita kabeh !
Mung ana siji masalah... Kisi mung bisa sinau obyek sing cukup prasaja. Nalika nyoba mbedakake ora pasuryan, nanging, contone, "wong nganggo sandhangan" (tugas ) - kualitas tiba dening akeh pesenan gedhene. Lan jaringan ora bisa sinau owah-owahan sing cukup jelas ing sudut.
Lan sinau saka jutaan conto uga nyenengake.
Ana pakaryan kanggo nyuda pemilu kanthi signifikan. Contone, siji bisa langsung ngelingi salah siji saka karya pisanan ing OneShot Learning :
Ana akeh karya kaya, contone utawa utawa .
Ana siji minus - biasane latihan bisa digunakake ing sawetara conto "MNIST" sing prasaja. Lan nalika pindhah menyang tugas rumit, sampeyan butuh database gedhe, model obyek, utawa sawetara jinis sihir.
Umumé, nggarap latihan One-Shot minangka topik sing menarik banget. Sampeyan nemokake akeh gagasan. Nanging umume, loro masalah sing dakkandhakake (pretraining ing dataset / ketidakstabilan data sing kompleks) banget ngganggu sinau.
Ing tangan liyane, GANs-generative adversarial networks-nyedhak topik Embedding. Sampeyan bisa uga wis maca pirang-pirang artikel babagan Habré babagan topik iki. (, ,)
Fitur GAN yaiku pambentukan sawetara ruang negara internal (utamane padha Embedding), sing ngidini sampeyan nggambar gambar. Bisa dadi , bisa .
Masalah karo GAN yaiku obyek sing luwih kompleks, luwih angel kanggo njlèntrèhaké ing logika "generator-diskriminator". Akibaté, mung aplikasi nyata GAN sing dirungokake yaiku DeepFake, sing, maneh, ngapusi perwakilan rai (sing ana basis gedhe).
Aku wis ndeleng sawetara banget migunani liyane migunani. Biasane sawetara jinis trickery nglibatake gambar finishing gambar.
Lan maneh. Ora ana sing ngerti carane iki bakal ngidini kita pindhah menyang masa depan sing luwih cerah. Makili logika / spasi ing jaringan saraf apik. Nanging kita kudu nomer ageng conto, kita ora ngerti carane neuron nggantosi iki ing dhewe, kita ora ngerti carane nggawe neuron elinga sawetara idea tenan Komplek.
Pembuatan sing dikuwatake - iki pendekatan saka arah temen beda. Mesthi sampeyan kelingan carane Google ngalahake kabeh wong ing Go. Kamenangan anyar ing Starcraft lan Dota. Nanging ing kene kabeh adoh saka dadi rosy lan janjeni. Dheweke ngomong paling apik babagan RL lan kerumitan .
Kanggo ringkesan apa sing ditulis dening penulis:
- Model metu saka kothak ora pas / ora bisa digunakake ing akeh kasus
- Masalah praktis luwih gampang dirampungake kanthi cara liya. Boston Dynamics ora nggunakake RL amarga kerumitan / ora bisa diprediksi / kerumitan komputasi
- Kanggo RL bisa digunakake, sampeyan butuh fungsi sing kompleks. Asring angel nggawe / nulis
- Model sing angel dilatih. Sampeyan kudu nglampahi akeh wektu kanggo pompa munggah lan metu saka optima lokal
- Akibaté, angel mbaleni model, model ora stabil kanthi owah-owahan sing sethithik
- Asring overfits sawetara pola acak, malah generator nomer acak
Titik utama yaiku RL durung bisa digunakake ing produksi. Google duwe sawetara eksperimen ( , ). Nanging aku durung weruh sistem produk siji.
memory. Kelemahane kabeh sing kasebut ing ndhuwur yaiku kekurangan struktur. Salah sawijining pendekatan kanggo nyoba ngresiki kabeh iki yaiku nyedhiyakake jaringan saraf kanthi akses menyang memori sing kapisah. Supaya dheweke bisa ngrekam lan nulis maneh asil langkahe ing kana. Banjur jaringan saraf bisa ditemtokake dening negara memori saiki. Iki meh padha karo prosesor klasik lan komputer.
Sing paling misuwur lan populer - saka DeepMind:
Iku misale jek sing iki tombol kanggo mangerteni Intelligence? Nanging mbokmenawa ora. Sistem kasebut isih mbutuhake data sing akeh kanggo latihan. Lan kerjane utamane karo data tabel terstruktur. Kajaba iku, nalika Facebook masalah sing padha, banjur njupuk dalan "memori meneng, mung nggawe neuron luwih rumit, lan duwe conto liyane - lan bakal sinau dhewe."
Disentanglement. Cara liya kanggo nggawe memori sing migunani yaiku njupuk embeddings sing padha, nanging sajrone latihan, ngenalake kritéria tambahan sing bakal ngidini sampeyan nyorot "makna" kasebut. Contone, kita pengin nglatih jaringan saraf kanggo mbedakake prilaku manungsa ing toko. Yen kita tindakake path standar, kita kudu nggawe jaringan rolas. Sing siji nggoleki wong, sing kapindho nemtokake apa sing ditindakake, kaping telu umure, kaping papat jinis kelamine. Logika sing kapisah katon ing bagean toko sing ditindakake / dilatih kanggo nindakake iki. Katelu nemtokake lintasan, lsp.
Utawa, yen ana jumlah data sing ora ana watese, mula bisa nglatih siji jaringan kanggo kabeh asil sing bisa ditindakake (jelas, data kasebut ora bisa diklumpukake).
Pendekatan disentanglement ngandhani - ayo nglatih jaringan kasebut supaya bisa mbedakake antarane konsep. Supaya bakal mbentuk embedding adhedhasar video, ing ngendi siji wilayah bakal nemtokake tumindak, siji bakal nemtokake posisi ing lantai ing wektu, siji bakal nemtokake dhuwur wong, lan siji bakal nemtokake jender wong. Ing wektu sing padha, nalika latihan, aku kaya meh ora pituduh jaringan karo konsep tombol kuwi, nanging luwih kanggo nyorot lan klompok wilayah. Ana sawetara artikel kaya ngono (sawetara , , ) lan umume cukup teoritis.
Nanging arah iki, paling ora sacara teoritis, kudu nutupi masalah sing kadhaptar ing wiwitan.
Dekomposisi gambar miturut paramèter "warna tembok / werna lantai / wangun obyek / werna obyek / etc."
Dekomposisi pasuryan miturut paramèter "ukuran, alis, orientasi, warna kulit, lsp."
Liyane
Ana akeh liyane, ora dadi global, wilayah sing ngijini sampeyan kanggo piye wae ngurangi database, bisa karo data liyane heterogen, etc.
waé. Iku mbokmenawa ora nggawe pangertèn kanggo misahake iki metu minangka cara kapisah. Mung pendekatan sing nambah liyane. Akeh artikel khusus kanggo dheweke (,,). Titik Perhatian yaiku ningkatake respon jaringan khusus kanggo obyek sing penting sajrone latihan. Asring kanthi sawetara jinis target eksternal, utawa jaringan eksternal cilik.
simulasi 3D. Yen sampeyan nggawe mesin 3D apik, sampeyan bisa asring nutupi 90% saka data latihan karo (Aku malah weruh conto ing ngendi meh 99% saka data iki dijamin dening engine apik). Ana akeh gagasan lan hacks babagan carane nggawe jaringan sing dilatih ing mesin 3D bisa nggunakake data nyata (Fine tuning, transfer gaya, etc.). Nanging asring nggawe mesin sing apik iku sawetara urutan gedhene luwih angel tinimbang ngumpulake data. Conto nalika mesin digawe:
Latihan robot (, )
Sesi latihan barang ing toko (nanging ing rong proyek sing ditindakake, kita bisa nindakake tanpa).
Latihan ing Tesla (maneh, video ing ndhuwur).
temonan
Kabeh artikel iki, ing pangertèn, kesimpulan. Mbokmenawa pesen utama sing dakkarepake yaiku "gratis wis rampung, neuron ora menehi solusi sing gampang." Saiki kita kudu kerja keras kanggo nggawe keputusan sing rumit. Utawa kerja keras nindakake riset ilmiah sing rumit.
Umumé, topik kasebut bisa didebat. Mungkin sing maca duwe conto sing luwih menarik?
Source: www.habr.com