Jaringan syaraf. Iki kabeh arep menyang ngendi?

Artikel kasebut dumadi saka rong bagean:

1. Katrangan singkat babagan sawetara arsitektur jaringan kanggo deteksi obyek ing gambar lan segmentasi gambar kanthi pranala sing paling bisa dingerteni kanggo sumber daya kanggo aku. Aku nyoba kanggo milih panjelasan video lan luwih ing Russian.
2. Pérangan kapindho minangka upaya kanggo mangerteni arah pangembangan arsitektur jaringan saraf. Lan teknologi adhedhasar mau.

Gambar 1 - Ngerteni arsitektur jaringan saraf ora gampang

Kabeh diwiwiti kanthi nggawe rong aplikasi demo kanggo klasifikasi lan deteksi obyek ing telpon Android:

• Back-end demo, nalika data diproses ing server lan dikirim menyang telpon. Klasifikasi gambar saka telung jinis bruwang: coklat, ireng lan Teddy.
• Demo ngarepnalika data diproses ing telpon dhewe. Deteksi obyek (deteksi obyek) saka telung jinis: hazelnut, ara lan tanggal.

Ana bedane antarane tugas klasifikasi gambar, deteksi obyek ing gambar lan segmentasi gambar. Mula, perlu kanggo ngerteni arsitektur jaringan saraf endi sing bisa ndeteksi obyek ing gambar lan sing bisa dibagi. Aku nemokake conto arsitektur ing ngisor iki kanthi pranala sing paling bisa dingerteni menyang sumber daya kanggo aku:

• Serangkaian arsitektur adhedhasar R-CNN (Rwilayah karo Convolusi Neural Nfitur etworks): R-CNN, Fast R-CNN, Luwih cepet R-CNN, Topeng R-CNN. Kanggo ndeteksi obyek ing gambar, kothak wates diparengake nggunakake mekanisme Region Proposal Network (RPN). Kaping pisanan, mekanisme Panelusuran Selektif sing luwih alon digunakake tinimbang RPN. Banjur wilayah winates sing dipilih diwenehake menyang input jaringan saraf konvensional kanggo klasifikasi. Arsitektur R-CNN nduweni puteran "kanggo" sing jelas ing wilayah sing winates, kanthi total nganti 2000 mlaku liwat jaringan internal AlexNet. Eksplisit "kanggo" puteran alon mudhun kacepetan pangolahan gambar. Jumlah puteran eksplisit mlaku liwat jaringan syaraf internal sudo karo saben versi anyar saka arsitektur, lan Welasan owah-owahan liyane digawe kanggo nambah kacepetan lan ngganti tugas deteksi obyek karo segmentasi obyek ing Mask R-CNN.
• YOLO (You Onuli Look Once) minangka jaringan saraf pisanan sing ngenali obyek ing wektu nyata ing piranti seluler. Fitur khas: mbedakake obyek ing siji roto (mung katon sapisan). Yaiku, ing arsitektur YOLO ora ana puteran "kanggo" sing eksplisit, mula jaringan kasebut bisa digunakake kanthi cepet. Contone, analogi iki: ing NumPy, nalika nindakake operasi karo matriks, uga ora ana puteran "kanggo" sing eksplisit, sing ing NumPy dileksanakake ing tingkat ngisor arsitektur liwat basa pemrograman C. YOLO nggunakake kothak jendhela sing wis ditemtokake. Kanggo nyegah obyek sing padha ditetepake kaping pirang-pirang, koefisien tumpang tindih jendhela (IoU) digunakake. Iprapatan oVer Union). Arsitèktur iki makaryakke liwat sawetara sudhut lan wis dhuwur kakuwatan: Model bisa dilatih babagan foto nanging isih bisa nindakake lukisan sing digambar tangan.
• SSD (Spangkal Spanas MultiBox Detector) - sing paling sukses "hacks" arsitektur YOLO digunakake (contone, dipatèni non-maksimum) lan anyar ditambahake kanggo nggawe jaringan syaraf bisa luwih cepet lan luwih akurat. Fitur khas: mbedakake obyek ing siji roto nggunakake kothak diwenehi jendhela (kothak gawan) ing piramida gambar. Piramida gambar dienkode ing tensor konvolusi liwat operasi convolution lan pooling sing terus-terusan (kanthi operasi pooling maksimal, dimensi spasial mudhun). Kanthi cara iki, obyek gedhe lan cilik ditemtokake ing siji jaringan.
• MobileSSD (mobileNetV2+ SSD) minangka kombinasi saka rong arsitektur jaringan saraf. Jaringan pisanan MobileNetV2 bisa cepet lan nambah akurasi pangenalan. MobileNetV2 digunakake tinimbang VGG-16, sing wiwitane digunakake ing artikel asli. Jaringan SSD kapindho nemtokake lokasi obyek ing gambar.
• SqueezeNet - jaringan syaraf sing cilik banget nanging akurat. Dhewe, ora ngrampungake masalah deteksi obyek. Nanging, bisa digunakake ing kombinasi arsitektur beda. Lan digunakake ing piranti seluler. Fitur khas yaiku data kasebut pisanan dikompres dadi papat saringan konvolusi 1 × 1 lan banjur ditambah dadi papat saringan konvolusi 1 × 1 lan papat 3 × 3. Salah sawijining pengulangan data kompresi-ekspansi kasebut diarani "Modul Api".
• DeepLab (Segmentasi Gambar Semantik karo Deep Convolutional Nets) - segmentasi obyek ing gambar. Fitur khas arsitektur kasebut yaiku konvolusi sing dilebokake, sing njaga resolusi spasial. Iki diterusake dening tahap pasca-proses asil nggunakake model probabilistik grafis (bidang acak kondisional), sing ngidini sampeyan mbusak gangguan cilik ing segmentasi lan nambah kualitas gambar sing dipérang. Ing mburi jeneng "model probabilistik grafis" ndhelikake panyaring Gaussian konvensional, sing kira-kira limang poin.
• Nyoba kanggo mangerteni piranti RefineDet (Single Shot LumajangNeural Network kanggo Obyek Ingection), nanging aku ora ngerti akeh.
• Aku uga ndeleng cara kerja teknologi "perhatian": video1, video2, video3. Fitur khas arsitektur "perhatian" yaiku pilihan otomatis wilayah sing tambah akeh perhatian ing gambar (RoI, Region of Ikapentingan) nggunakake jaringan syaraf disebut Attention Unit. Wewengkon sing tambah akeh perhatian padha karo kothak wates, nanging ora kaya dheweke, ora tetep ing gambar lan bisa uga duwe wates burem. Banjur, saka wilayah sing tambah akeh perhatian, tandha-tandha (fitur) diisolasi, sing "dipakani" menyang jaringan saraf ambalan kanthi arsitektur. LSDM, GRU utawa Vanilla RNN. Jaringan syaraf ambalan bisa nganalisa hubungan fitur kanthi urutan. Jaringan saraf ambalan wiwitane digunakake kanggo nerjemahake teks menyang basa liya, lan saiki kanggo terjemahan gambar kanggo teks и teks menyang gambar.

Nalika kita njelajah arsitektur kasebut Aku ngerti yen aku ora ngerti apa-apa. Lan ora jaringan syaraf saya duwe masalah karo mekanisme perhatian. Nggawe kabeh arsitektur iki kaya sawetara jinis hackathon gedhe, ing ngendi penulis saingan ing hacks. Hack minangka solusi cepet kanggo masalah piranti lunak sing angel. Tegese, ora ana hubungan logis sing katon lan bisa dingerteni ing antarane kabeh arsitektur kasebut. Kabeh sing nyawiji yaiku sakumpulan hacks paling sukses sing dipinjam saka siji liyane, ditambah sing umum kanggo kabeh. operasi konvolusi loop tertutup (error backpropagation, backpropagation). Ora mikir sistem! Ora jelas apa sing kudu diganti lan carane ngoptimalake prestasi sing wis ana.

Minangka asil saka lack of sambungan logis antarane hacks, iku arang banget angel kanggo elinga lan aplikasi ing laku. Iki minangka kawruh fragmented. Paling apik, sawetara momen sing menarik lan ora dikarepke dieling-eling, nanging umume sing dingerteni lan ora bisa dingerteni ilang saka memori sajrone sawetara dina. Iku bakal apik yen ing minggu sampeyan ngelingi paling jeneng arsitektur. Nanging sawetara jam lan malah dina wektu kerja digunakake kanggo maca artikel lan nonton video review!

Gambar 2 – Zoo of Neural Networks

Umume penulis artikel ilmiah, miturut pendapat pribadi, nindakake kabeh sing bisa kanggo mesthekake yen kawruh sing fragmentasi iki ora dimangerteni dening sing maca. Nanging frase participial ing ukara sepuluh baris kanthi rumus sing dijupuk "saka hawa tipis" minangka topik kanggo artikel sing kapisah (masalah nerbitake utawa sirna).

Mulane, perlu kanggo sistematisasi informasi nggunakake jaringan saraf lan, kanthi mangkono, nambah kualitas pangerten lan hafalan. Dadi, topik utama analisis teknologi lan arsitektur jaringan saraf buatan yaiku tugas ing ngisor iki: goleki menyang ngendi kabeh mau, lan dudu piranti saka jaringan saraf tartamtu kanthi kapisah.

Kabeh iki arep menyang ngendi? Hasil utama:

• Jumlah wiwitan machine learning ing rong taun pungkasan ambruk banget. Alasan sing bisa ditindakake: "jaringan saraf ora ana sing anyar."
• Sapa wae bisa nggawe jaringan saraf sing bisa digunakake kanggo ngrampungake masalah sing gampang. Kanggo nindakake iki, njupuk model sing wis siap saka "model zoo" lan nglatih lapisan pungkasan jaringan saraf (transfer sinau) ing data siap-digawe saka Panelusuran Google Dataset utawa saka 25 ewu Kaggle dataset ing free maya Jupyter Notebook.
• Produsen gedhe jaringan saraf wiwit nggawe "model kebun binatang" (model kebun binatang). Nggunakake, sampeyan bisa nggawe aplikasi komersial kanthi cepet: Hub TF Kab kanggo TensorFlow, MMDeteksi kanggo PyTorch, Detektor kanggo Caffe2, chainer-modelzoo kanggo Chainer lan nggoleki.
• Jaringan syaraf sing digunakake ing wektu nyata (nyata-wektu) ing piranti seluler. Saka 10 nganti 50 pigura per detik.
• Panggunaan jaringan saraf ing telpon (TF Lite), ing browser (TF.js) lan ing barang kluwarga (IoT, IInternet of Thing). Utamane ing telpon sing wis ndhukung jaringan saraf ing tingkat hardware (neural accelerators).
• "Saben piranti, sandhangan, lan bisa uga panganan IP-v6 lan komunikasi karo siji liyane" - Sebastian Thrun.
• Jumlah publikasi babagan machine learning wis wiwit tuwuh ngluwihi hukum Moore (ping pindho saben rong taun) wiwit 2015. Temenan, kita butuh jaringan saraf kanggo nganalisa artikel.
• Teknologi ing ngisor iki entuk popularitas:
  • PyTorch - popularitas saya akeh kanthi cepet lan katon ngluwihi TensorFlow.
  • Pilihan otomatis hyperparameters AutoML – popularitas mundak akeh lancar.
  • Ngurangi bertahap ing akurasi lan nambah kacepetan pitungan: logika fuzzy, algoritma ngedongkrak, petungan sing ora tepat (kira-kira), kuantisasi (nalika bobot jaringan saraf diowahi dadi integer lan dikuantisasi), akselerator saraf.
  • Jarwan gambar kanggo teks и teks menyang gambar.
  • nggawe Objek XNUMXD saka video, saiki ing wektu nyata.
  • Sing utama babagan DL yaiku ana akeh data, nanging ngumpulake lan menehi label ora gampang. Mulane, otomatisasi markup berkembang (anotasi otomatis) kanggo jaringan syaraf nggunakake jaringan syaraf.
• Kanthi jaringan saraf, Ilmu Komputer dumadakan dadi ilmu eksperimen lan jumeneng krisis reproduksibilitas.
• Dhuwit IT lan popularitas jaringan saraf muncul bebarengan nalika komputasi dadi nilai pasar. Ekonomi ganti saka ekonomi emas lan mata uang kanggo emas-mata uang-komputasi. Waca artikelku ing ekonofisika lan alesan kanggo katon dhuwit IT.

Mboko sithik katon anyar Metodologi pemrograman ML/DL (Machine Learning & Deep Learning), sing adhedhasar makili program kasebut minangka sakumpulan model jaringan saraf sing dilatih.

Gambar 3 – ML/DL minangka metodologi pemrograman anyar

Nanging, ora tau katon "teori jaringan saraf", ing ngendi sampeyan bisa mikir lan makarya kanthi sistematis. Sing saiki diarani "teori" sejatine eksperimen, algoritma heuristik.

Link menyang sumberku lan liyane:

• Newsletter Ilmu Data. Utamane pangolahan gambar. Sapa wae sing arep nampa kudu ngirim e-mail (foobar167<gaf-gaf>gmail<dot>com). Aku ngirim link menyang artikel lan video minangka akumulasi materi.
• Informasi umum dhaftar kursus lan artikelingkang sampun kula lampahi saha ingkang badhe kula lampahi.
• Kursus lan video kanggo pamula, ngendi sampeyan kudu miwiti sinau jaringan syaraf. Ditambah brosur "Introduction to Machine Learning and Artificial Neural Networks".
• Piranti Migunani, ing ngendi saben wong bakal nemokake sing menarik kanggo awake dhewe.
• Kita nemokake dheweke migunani banget. saluran video kanggo analisis artikel ilmiah dening Ilmu Data. Temokake, langganan lan kirimake tautan kasebut menyang kolega sampeyan lan uga aku. Tuladha:
  • Rong Kertas Menit
  • Henry AI Labs
  • Yannic Kilcher
  • KodeEmporium
  • Blog Chengwei Zhang aka Tony607 kanthi instruksi langkah-langkah lan open source.

Matur suwun!

Source: www.habr.com