Yaqinda chiqarilgan , bu so'nggi yillarda mashinani o'rganishda yaxshi tendentsiyani ko'rsatadi. Muxtasar qilib aytganda: so'nggi ikki yil ichida mashinani o'rganish bo'yicha startaplar soni keskin kamaydi.
Nima bopti. Keling, "qabariq yorilib ketganmi", "qanday qilib yashashni davom ettirish kerak" ni ko'rib chiqaylik va birinchi navbatda bu chayqalish qaerdan kelib chiqqanligi haqida gapiraylik.
Birinchidan, keling, bu egri chiziqning kuchaytiruvchisi nima bo'lganligi haqida gapiraylik. U qayerdan kelgan? Ular, ehtimol, hamma narsani eslab qolishadi 2012 yilda ImageNet tanlovida mashinani o'rganish. Axir, bu birinchi global voqea! Lekin aslida bunday emas. Va egri chiziqning o'sishi biroz oldinroq boshlanadi. Men buni bir nechta nuqtalarga ajratgan bo'lardim.
- 2008 yilda "katta ma'lumotlar" atamasi paydo bo'ldi. Haqiqiy mahsulotlar boshlandi 2010 yildan beri. Katta ma'lumotlar mashinani o'rganish bilan bevosita bog'liq. Katta ma'lumotlarsiz o'sha paytda mavjud bo'lgan algoritmlarning barqaror ishlashi mumkin emas. Va bu neyron tarmoqlar emas. 2012 yilgacha neyron tarmoqlar marjinal ozchilikning himoyasi edi. Ammo keyin yillar, hatto o'nlab yillar davomida mavjud bo'lgan mutlaqo boshqa algoritmlar ishlay boshladi: (1963,1993, XNUMX), (1995), (2003),... O'sha yillardagi startaplar, birinchi navbatda, tizimli ma'lumotlarni avtomatik qayta ishlash bilan bog'liq: kassa apparatlari, foydalanuvchilar, reklama va boshqalar.
Ushbu birinchi to'lqinning hosilasi XGBoost, CatBoost, LightGBM va boshqalar kabi ramkalar to'plamidir.
- 2011-2012 yillarda tasvirni tanib olish bo‘yicha bir qancha tanlovlarda g‘olib chiqdi. Ulardan haqiqiy foydalanish biroz kechiktirildi. Ommaviy mazmunli startaplar va yechimlar 2014 yilda paydo bo'la boshlaganini aytaman. Neyronlarning hali ham ishlashini hazm qilish, o'rtacha vaqt ichida o'rnatilishi va ishga tushirilishi mumkin bo'lgan qulay ramkalarni yaratish, konvergentsiya vaqtini barqarorlashtiradigan va tezlashtiradigan usullarni ishlab chiqish uchun ikki yil kerak bo'ldi.
Konvolyutsion tarmoqlar kompyuterni ko'rish muammolarini hal qilishga imkon berdi: tasvirdagi tasvirlar va ob'ektlarni tasniflash, ob'ektni aniqlash, ob'ektlar va odamlarni tanib olish, tasvirni yaxshilash va boshqalar.
- 2015-2017 yillar. Takroriy tarmoqlar yoki ularning analoglari (LSTM, GRU, TransformerNet va boshqalar) asosidagi algoritmlar va loyihalarning bumi. Yaxshi ishlaydigan nutqdan matnga algoritmlar va mashina tarjimasi tizimlari paydo bo'ldi. Ular qisman asosiy xususiyatlarni olish uchun konvolyutsion tarmoqlarga asoslangan. Qisman biz haqiqatan ham katta va yaxshi ma'lumotlar to'plamini to'plashni o'rganganimiz tufayli.
“Ko‘pik yorilib ketdimi? Shovqin haddan tashqari qizib ketganmi? Ular blokcheyn sifatida o'lganmi?"
Aks holda! Ertaga Siri telefoningizda ishlashni to'xtatadi va ertaga Tesla burilish va kenguru o'rtasidagi farqni bilmaydi.
Neyron tarmoqlar allaqachon ishlamoqda. Ular o'nlab qurilmalarda mavjud. Ular sizga haqiqatan ham pul ishlashga, bozorni va atrofingizdagi dunyoni o'zgartirishga imkon beradi. Hype biroz boshqacha ko'rinadi:
Shunchaki neyron tarmoqlar endi yangi narsa emas. Ha, ko'p odamlar katta umidlarga ega. Ammo ko'plab kompaniyalar neyronlardan foydalanishni va ular asosida mahsulotlar ishlab chiqarishni o'rgandilar. Neyronlar yangi funksiyalarni taqdim etadi, ish joylarini qisqartirishga va xizmatlar narxini pasaytirishga imkon beradi:
- Ishlab chiqaruvchi kompaniyalar ishlab chiqarish liniyasidagi nuqsonlarni tahlil qilish uchun algoritmlarni birlashtirmoqda.
- Chorvachilik fermalari sigirlarni nazorat qilish tizimlarini sotib oladi.
- Avtomatik kombaynlar.
- Avtomatlashtirilgan qo'ng'iroq markazlari.
- SnapChat-dagi filtrlar. (hech bo'lmaganda foydali narsa!)
Ammo asosiy narsa, va eng aniq emas: "Endi yangi g'oyalar yo'q, yoki ular darhol kapital olib kelmaydi." Neyron tarmoqlar o'nlab muammolarni hal qildi. Va ular ko'proq qaror qabul qilishadi. Mavjud bo'lgan barcha aniq g'oyalar ko'plab startaplarning paydo bo'lishiga olib keldi. Ammo yuzaki hamma narsa allaqachon yig'ilgan edi. So'nggi ikki yil ichida men neyron tarmoqlardan foydalanish bo'yicha bitta yangi g'oyaga duch kelmadim. Bitta yangi yondashuv yo'q (yaxshi, GAN bilan bog'liq bir nechta muammolar mavjud).
Va har bir keyingi ishga tushirish tobora murakkablashadi. Bu endi ochiq ma'lumotlardan foydalangan holda neyronni o'rgatadigan ikkita yigitni talab qilmaydi. Bu dasturchilarni, serverni, markerlar jamoasini, kompleks yordamni va boshqalarni talab qiladi.
Natijada, startaplar kamroq. Ammo ko'proq ishlab chiqarish mavjud. Avtomobil raqamini tanib olishni qo‘shish kerakmi? Bozorda tegishli tajribaga ega yuzlab mutaxassislar mavjud. Siz birovni yollashingiz mumkin va bir necha oy ichida sizning xodimingiz tizimni yaratadi. Yoki tayyor mahsulotni sotib oling. Lekin yangi startap qilyapsizmi?.. Aqldan ozgan!
Siz tashrif buyuruvchilarni kuzatish tizimini yaratishingiz kerak - nega 3-4 oy ichida o'zingizniki qilish mumkin bo'lsa, bir nechta litsenziyalar uchun to'lash kerak, uni biznesingiz uchun keskinlashtiring.
Endi neyron tarmoqlar o'nlab boshqa texnologiyalar bosib o'tgan yo'ldan o'tmoqda.
1995 yildan beri "veb-sayt ishlab chiqaruvchisi" tushunchasi qanday o'zgarganini eslaysizmi? Bozor hali mutaxassislar bilan to'yinmagan. Professionallar juda kam. Ammo men 5-10 yildan keyin Java dasturchisi va neyron tarmoq ishlab chiqaruvchisi o'rtasida unchalik katta farq bo'lmasligiga ishonaman. Bozorda ikkala mutaxassis ham etarli bo'ladi.
Neyronlar tomonidan hal qilinishi mumkin bo'lgan muammolar sinfi bo'ladi. Vazifa paydo bo'ldi - mutaxassisni yollash.
"Keyingisi nima? Va'da qilingan sun'iy intellekt qayerda?"
Ammo bu erda kichik, ammo qiziqarli tushunmovchilik bor :)
Bugungi kunda mavjud bo'lgan texnologiya to'plami, ko'rinishidan, bizni sun'iy intellektga olib kelmaydi. G'oyalar va ularning yangiligi asosan o'zlarini tugatdi. Keling, hozirgi rivojlanish darajasini nima ushlab turishi haqida gapiraylik.
Cheklovlar
O'z-o'zidan boshqariladigan mashinalardan boshlaylik. Bugungi texnologiya bilan to'liq avtonom avtomobillar yasash mumkinligi aniq ko'rinadi. Ammo bu necha yildan keyin sodir bo'lishi aniq emas. Tesla bu bir necha yil ichida sodir bo'lishiga ishonadi -
Boshqalar ko'p , kim buni 5-10 yil deb hisoblaydi.
Katta ehtimol bilan, mening fikrimcha, 15 yil ichida shaharlar infratuzilmasi shunday o'zgaradiki, avtonom avtomobillarning paydo bo'lishi muqarrar bo'lib qoladi va uning davomiga aylanadi. Ammo buni aql deb hisoblash mumkin emas. Zamonaviy Tesla - ma'lumotlarni filtrlash, qidirish va qayta tayyorlash uchun juda murakkab quvur liniyasi. Bular qoidalar-qoidalar-qoidalar, maʼlumotlarni yigʻish va ular ustidan filtrlar (bu yerda Men bu haqda bir oz ko'proq yozdim yoki dan tomosha qiling belgilar).
Birinchi muammo
Va bu biz ko'rgan joy birinchi asosiy muammo. Katta ma'lumotlar. Aynan shu narsa neyron tarmoqlari va mashinani o'rganishning hozirgi to'lqinini tug'dirdi. Hozirgi vaqtda murakkab va avtomatik ishlarni bajarish uchun sizga juda ko'p ma'lumotlar kerak bo'ladi. Faqat ko'p emas, balki juda, juda ko'p. Bizga ularni yig'ish, belgilash va ishlatish uchun avtomatlashtirilgan algoritmlar kerak. Biz mashinaga yuk mashinalarini quyoshga qaragan holda ko'rishini istaymiz - avval ulardan yetarlicha sonini yig'ishimiz kerak. Mashinaning magistralga mahkamlangan velosiped bilan aqldan ozmasligini istaymiz - ko'proq namunalar.
Bundan tashqari, bitta misol etarli emas. Yuzlab? Minglabmi?
Ikkinchi muammo
Ikkinchi muammo — bizning neyron tarmog'imiz nimani tushunganini vizualizatsiya qilish. Bu juda ahamiyatsiz vazifa. Hozirgacha kam odam buni qanday tasavvur qilishni tushunadi. Bu maqolalar juda yangi, bular faqat bir nechta misollar, hatto uzoq bo'lsa ham:
to'qimalarga obsessiya. Bu neyron nimani aniqlashga intilishini + boshlang'ich ma'lumot sifatida qabul qilgan narsalarni yaxshi ko'rsatadi.
Diqqat . Darhaqiqat, bunday tarmoq reaktsiyasiga nima sabab bo'lganini ko'rsatish uchun jalb qilish ko'pincha aniq ishlatilishi mumkin. Men nosozliklarni tuzatish va mahsulot echimlari uchun bunday narsalarni ko'rdim. Ushbu mavzu bo'yicha juda ko'p maqolalar mavjud. Ammo ma'lumotlar qanchalik murakkab bo'lsa, ishonchli vizualizatsiyaga qanday erishishni tushunish shunchalik qiyin bo'ladi.
Xo'sh, ha, eski yaxshi to'plam "to'rning ichida nima borligiga qarang " Bu rasmlar 3-4 yil oldin mashhur edi, lekin hamma tezda suratlar chiroyli ekanligini anglab etdi, lekin ular juda ko'p ma'noga ega emas edi.
Men o'nlab boshqa gadjetlar, usullar, buzishlar, tarmoqning ichki qismlarini qanday ko'rsatish bo'yicha tadqiqotlar haqida gapirmadim. Bu vositalar ishlaydimi? Ular muammoning nima ekanligini tezda tushunishga va tarmoqni disk raskadrovka qilishga yordam beradimi?.. Oxirgi foizni oling? Xo'sh, bu taxminan bir xil:
Kaggle-da istalgan musobaqani tomosha qilishingiz mumkin. Va odamlar yakuniy qarorlarni qanday qabul qilishlari tavsifi. Biz 100-500-800 dona modellarni yig'dik va u ishladi!
Men bo‘rttirib aytyapman, albatta. Ammo bu yondashuvlar tez va to'g'ridan-to'g'ri javob bermaydi.
Etarli tajribaga ega bo'lib, turli xil variantlarni ko'rib chiqib, tizimingiz nima uchun bunday qarorga kelgani haqida xulosa chiqarishingiz mumkin. Ammo tizimning xatti-harakatlarini tuzatish qiyin bo'ladi. Qo'ltiq tayoqchasini o'rnating, polni siljiting, ma'lumotlar to'plamini qo'shing, boshqa orqa tarmoqni oling.
Uchinchi muammo
Uchinchi asosiy muammo — panjaralar mantiqni emas, balki statistikani o‘rgatadi. Statistik jihatdan bu :
Mantiqan, bu juda o'xshash emas. Neyron tarmoqlar, agar majbur bo'lmasa, murakkab narsalarni o'rganmaydi. Ular har doim mumkin bo'lgan eng oddiy belgilarni o'rgatishadi. Ko'zlaringiz, burningiz, boshingiz bormi? Demak, bu yuz! Yoki ko'zlar yuzni anglatmaydigan misol keltiring. Va yana - millionlab misollar.
Pastki qismida juda ko'p joy bor
Aytgancha, aynan mana shu uchta global muammo neyron tarmoqlar va mashinani o'rganishning rivojlanishini cheklaydi. Va bu muammolar uni cheklamagan joyda, u allaqachon faol foydalanilmoqda.
Bu ohiri? Neyron tarmoqlar ishlayaptimi?
Noma'lum. Lekin, albatta, hamma umid qilmaydi.
Men yuqorida ta'kidlagan asosiy muammolarni hal qilishning ko'plab yondashuvlari va yo'nalishlari mavjud. Ammo hozircha bu yondashuvlarning hech biri tubdan yangi narsa qilish, hali hal etilmagan narsani hal qilish imkonini bermadi. Hozircha barcha fundamental loyihalar barqaror yondashuvlar (Tesla) asosida amalga oshirilmoqda yoki institutlar yoki korporatsiyalarning (Google Brain, OpenAI) sinov loyihalari bo‘lib qolmoqda.
Taxminan aytganda, asosiy yo'nalish - kiritilgan ma'lumotlarning yuqori darajadagi tasvirini yaratishdir. Qaysidir ma'noda "xotira". Xotiraning eng oddiy misoli turli xil "O'rnatish" - tasvir tasvirlari. Masalan, yuzni aniqlashning barcha tizimlari. Tarmoq yuzdan aylanish, yorug'lik yoki ruxsatga bog'liq bo'lmagan barqaror tasvirni olishni o'rganadi. Asosan, tarmoq "turli yuzlar uzoqda" va "bir xil yuzlar yaqin" ko'rsatkichlarini minimallashtiradi.
Bunday mashg'ulotlar uchun o'nlab va yuz minglab misollar kerak. Ammo natijada "Bir martalik o'rganish" ning ba'zi bir asoslari mavjud. Endi insonni eslab qolish uchun yuzlab yuzlar kerak emas. Faqat bitta yuz va biz faqat shumiz !
Faqat bitta muammo bor... To‘r faqat juda oddiy narsalarni o‘rganishi mumkin. Yuzlarni emas, balki, masalan, "odamlarni kiyim bilan" ajratishga harakat qilganda (vazifa ) - sifat ko'p darajaga tushadi. Va tarmoq endi burchaklardagi aniq o'zgarishlarni o'rgana olmaydi.
Va millionlab misollardan o'rganish ham qiziqarli.
Saylovlarni sezilarli darajada qisqartirish ustida ish olib borilmoqda. Masalan, birinchi asarlardan birini darhol eslash mumkin OneShot o'rganish :
Masalan, bunday asarlar ko'p yoki yoki .
Bir minus bor - odatda mashg'ulotlar oddiy "MNIST" misollarida yaxshi ishlaydi. Va murakkab vazifalarga o'tishda sizga katta ma'lumotlar bazasi, ob'ektlar modeli yoki qandaydir sehr kerak bo'ladi.
Umuman olganda, bitta zarbali trening ustida ishlash juda qiziqarli mavzu. Siz juda ko'p g'oyalarni topasiz. Ammo ko'pincha men sanab o'tgan ikkita muammo (katta ma'lumotlar to'plamida oldindan tayyorgarlik / murakkab ma'lumotlardagi beqarorlik) o'rganishga katta xalaqit beradi.
Boshqa tomondan, GANlar - generativ raqib tarmoqlari - joylashtirish mavzusiga yaqinlashadi. Ehtimol, siz Habré-da ushbu mavzu bo'yicha bir qancha maqolalarni o'qigansiz. (, ,)
GAN-ning o'ziga xos xususiyati - bu tasvirni chizishga imkon beradigan ba'zi ichki holat makonining shakllanishi (asosan bir xil Embedding). Bo'lishi mumkin , bo'lishi mumkin .
GAN bilan bog'liq muammo shundaki, yaratilgan ob'ekt qanchalik murakkab bo'lsa, uni "generator-diskriminator" mantig'ida tasvirlash shunchalik qiyin bo'ladi. Natijada, GAN-ning yagona haqiqiy ilovalari DeepFake bo'lib, u yana yuz tasvirlarini manipulyatsiya qiladi (buning uchun katta baza mavjud).
Men juda kam boshqa foydali foydalanishni ko'rdim. Odatda rasmlarning chizmalarini tugatish bilan bog'liq qandaydir hiyla-nayrang.
Va yana. Bu bizga qanday qilib yorqin kelajakka o'tishimizga imkon berishini hech kim bilmaydi. Neyron tarmog'ida mantiq/bo'shliqni ifodalash yaxshi. Ammo bizga juda ko'p misollar kerak, biz neyron buni qanday ifodalashini tushunmayapmiz, neyronni qandaydir haqiqatan ham murakkab g'oyani eslab qolishini tushunmayapmiz.
Mustahkamlashni o'rganish - bu butunlay boshqa yo'nalishdagi yondashuv. Google Go'da hammani qanday mag'lub etganini eslaysiz. Starcraft va Dota-dagi so'nggi g'alabalar. Ammo bu erda hamma narsa juda qizg'in va istiqbolli emas. U RL va uning murakkabliklari haqida eng yaxshi gapiradi .
Muallif yozganlarini qisqacha xulosa qilish uchun:
- Qutidagi modellar ko'p hollarda mos kelmaydi / yomon ishlaydi
- Amaliy muammolarni boshqa usullar bilan hal qilish osonroq. Boston Dynamics o'zining murakkabligi/prognoz qilinmasligi/hisoblash murakkabligi tufayli RL-dan foydalanmaydi
- RL ishlashi uchun sizga murakkab funksiya kerak. Ko'pincha yaratish/yozish qiyin
- Modellarni o'rgatish qiyin. Pompa qilish va mahalliy optimadan chiqish uchun ko'p vaqt sarflashingiz kerak
- Natijada, modelni takrorlash qiyin, model eng kichik o'zgarishlar bilan beqaror
- Ko'pincha ba'zi tasodifiy naqshlarga, hatto tasodifiy sonlar generatoriga ham mos keladi
Asosiy nuqta shundaki, RL hali ishlab chiqarishda ishlamaydi. Googleda ba'zi tajribalar bor ( , ). Lekin men bitta mahsulot tizimini ko'rmadim.
xotira. Yuqorida tavsiflangan har bir narsaning salbiy tomoni tuzilishning etishmasligi. Bularning barchasini tartibga solishning yondashuvlaridan biri neyron tarmoqni alohida xotiraga kirishni ta'minlashdir. U erdagi qadamlarining natijalarini yozib olishi va qayta yozishi uchun. Keyin neyron tarmoqni joriy xotira holatiga qarab aniqlash mumkin. Bu klassik protsessorlar va kompyuterlarga juda o'xshaydi.
Eng mashhur va mashhur - DeepMinddan:
Aftidan, bu aqlni tushunishning kalitidir? Lekin, ehtimol, yo'q. Tizim hali ham o'qitish uchun katta hajmdagi ma'lumotlarni talab qiladi. Va u asosan tuzilgan jadval ma'lumotlari bilan ishlaydi. Bundan tashqari, Facebook qachon shunga o'xshash muammo, keyin ular "xotirani vidalang, shunchaki neyronni murakkablashtiring va ko'proq misollar keltiring - va u o'z-o'zidan o'rganadi" yo'lini oldi.
Ajratish. Ma'noli xotirani yaratishning yana bir usuli - bir xil o'rnatishlarni olish, ammo mashg'ulot paytida ulardagi "ma'nolarni" ajratib ko'rsatishga imkon beradigan qo'shimcha mezonlarni kiriting. Misol uchun, biz neyron tarmoqni do'kondagi inson xatti-harakatlarini farqlash uchun o'rgatmoqchimiz. Agar biz standart yo'ldan borsak, o'nlab tarmoqlarni yaratishimiz kerak edi. Biri odamni qidiradi, ikkinchisi nima qilayotganini aniqlaydi, uchinchisi uning yoshi, to'rtinchisi jinsi. Alohida mantiq do'konning buni amalga oshiradigan/o'rgatilgan qismiga qaraydi. Uchinchisi uning traektoriyasini belgilaydi va hokazo.
Yoki, agar cheksiz miqdordagi ma'lumotlar mavjud bo'lsa, unda barcha mumkin bo'lgan natijalarga bitta tarmoqni o'rgatish mumkin bo'lar edi (shubhasiz, bunday ma'lumotlar to'plamini to'plash mumkin emas).
Ajratish yondashuvi bizga aytadi - keling, tarmoqni uning o'zi tushunchalarni ajrata olishi uchun o'rgataylik. Shunday qilib, u videoga asoslangan o'rnatishni hosil qiladi, bu erda bir hudud harakatni belgilaydi, o'z vaqtida poldagi pozitsiyani aniqlaydi, odamning bo'yi va jinsini aniqlaydi. Shu bilan birga, mashg'ulot paytida men tarmoqni deyarli bunday asosiy tushunchalar bilan emas, balki u sohalarni ajratib ko'rsatish va guruhlash uchun taklif qilmoqchiman. Bunday maqolalar juda ko'p (ulardan ba'zilari , , ) va umuman olganda, ular ancha nazariydir.
Ammo bu yo'nalish, hech bo'lmaganda, nazariy jihatdan, boshida sanab o'tilgan muammolarni qamrab olishi kerak.
"Devor rangi/zamin rangi/ob'ekt shakli/ob'ekt rangi/va hokazo" parametrlari bo'yicha tasvirning parchalanishi.
Yuzning "o'lchami, qoshlari, orientatsiyasi, terining rangi va boshqalar" parametrlari bo'yicha parchalanishi.
Прочее
Ma'lumotlar bazasini qandaydir tarzda qisqartirishga, ko'proq heterojen ma'lumotlar bilan ishlashga va hokazolarga imkon beradigan boshqa ko'plab, unchalik global bo'lmagan sohalar mavjud.
diqqat. Buni alohida usul sifatida ajratish mantiqiy emas. Faqat boshqalarni yaxshilaydigan yondashuv. Unga ko'plab maqolalar bag'ishlangan (,,). Diqqat nuqtasi - mashg'ulot paytida tarmoqning muhim ob'ektlarga javobini kuchaytirish. Ko'pincha tashqi maqsadli belgi yoki kichik tashqi tarmoq orqali.
3D simulyatsiya. Agar siz yaxshi 3D dvigatel yaratsangiz, siz ko'pincha u bilan mashg'ulot ma'lumotlarining 90% ni qoplashingiz mumkin (hatto men ma'lumotlarning deyarli 99% yaxshi dvigatel bilan qoplangan misolni ko'rdim). Haqiqiy ma'lumotlardan (nozik sozlash, uslublarni uzatish va h.k.) 3D dvigatelda o'rgatilgan tarmoqni qanday ishlashga oid ko'plab g'oyalar va xakerlar mavjud. Ammo ko'pincha yaxshi dvigatelni yaratish ma'lumot yig'ishdan ko'ra bir necha marta qiyinroqdir. Dvigatellar yaratilganiga misollar:
Robot tayyorlash (, )
O'quv mashg'ulotlari do'kondagi tovarlar (lekin biz qilgan ikkita loyihada biz ularsiz osongina qila olardik).
Tesla-da mashg'ulotlar (yana yuqoridagi video).
topilmalar
Butun maqola qaysidir ma'noda xulosalardir. Ehtimol, men aytmoqchi bo'lgan asosiy xabar "bepullar tugadi, neyronlar endi oddiy echimlarni taqdim etmaydi". Endi biz murakkab qarorlar qabul qilish uchun ko'p harakat qilishimiz kerak. Yoki murakkab ilmiy izlanishlar uchun qattiq mehnat qiling.
Umuman olganda, mavzu bahsli. Ehtimol, o'quvchilarning qiziqroq misollari bormi?
Manba: www.habr.com