Bu yaxınlarda buraxılıb , bu, son illərdə maşın öyrənməsində yaxşı tendensiya göstərir. Qısacası: maşın öyrənməsi üzrə startapların sayı son iki ildə kəskin şəkildə azalıb.
Yaxşı. Gəlin “köpük partlayıbmı”, “yaşamağa necə davam etməli” suallarına baxaq və ilk növbədə bu qıvrımın haradan gəldiyini danışaq.
Əvvəlcə bu əyrinin gücləndiricisinin nə olduğu barədə danışaq. O, haradan gəldi? Yəqin ki, hər şeyi xatırlayacaqlar 2012-ci ildə ImageNet müsabiqəsində maşın öyrənməsi. Axı bu, ilk qlobal hadisədir! Amma reallıqda belə deyil. Və əyrinin böyüməsi bir az əvvəl başlayır. Mən bunu bir neçə nöqtəyə bölərdim.
- 2008-ci ildə “böyük məlumat” termini ortaya çıxdı. Real məhsullar başladı 2010-cu ildən. Böyük verilənlər bilavasitə maşın öyrənməsi ilə bağlıdır. Böyük verilənlər olmadan o dövrdə mövcud olan alqoritmlərin sabit işləməsi mümkün deyil. Və bunlar neyron şəbəkələri deyil. 2012-ci ilə qədər neyron şəbəkələr marjinal azlığın qorunub saxlanması idi. Ancaq sonra illər, hətta onilliklər boyu mövcud olan tamamilə fərqli alqoritmlər işləməyə başladı: (1963,1993, XNUMX), (1995) (2003),... O illərin startapları ilk növbədə strukturlaşdırılmış məlumatların avtomatik emalı ilə bağlıdır: kassa aparatları, istifadəçilər, reklamlar və s.
Bu ilk dalğanın törəməsi XGBoost, CatBoost, LightGBM və s. kimi çərçivələr dəstidir.
- 2011-2012-ci illərdə bir sıra şəkillərin tanınması müsabiqələrinin qalibi olmuşdur. Onların faktiki istifadəsi bir qədər gecikdi. Deyərdim ki, kütləvi mənalı startaplar və həllər 2014-cü ildə görünməyə başladı. Neyronların hələ də işlədiyini həzm etmək, ağlabatan müddətdə quraşdırılıb işə salına bilən rahat çərçivələr yaratmaq, yaxınlaşma vaxtını sabitləşdirən və sürətləndirən metodların işlənib hazırlanması iki il çəkdi.
Konvolyusiya şəbəkələri kompüter görmə problemlərini həll etməyə imkan verdi: təsvirdəki şəkillərin və obyektlərin təsnifatı, obyektlərin aşkarlanması, obyektlərin və insanların tanınması, təsvirin təkmilləşdirilməsi və s.
- 2015-2017. Təkrarlanan şəbəkələrə və ya onların analoqlarına (LSTM, GRU, TransformerNet və s.) əsaslanan alqoritmlərin və layihələrin bumu. Yaxşı işləyən nitqdən mətnə qədər alqoritmlər və maşın tərcüməsi sistemləri meydana çıxdı. Əsas xüsusiyyətləri çıxarmaq üçün onlar qismən konvolyusiya şəbəkələrinə əsaslanır. Qismən həqiqətən böyük və yaxşı məlumat dəstləri toplamağı öyrəndiyimizə görə.
“Köpük partladı? Şırınga həddən artıq qızışıb? Onlar blokçeyn kimi öldülər?”
Əks halda! Sabah Siri telefonunuzda işləməyi dayandıracaq və sabahdan bir gün sonra Tesla döngə ilə kenquru arasındakı fərqi bilməyəcək.
Neyron şəbəkələri artıq işləyir. Onlarla cihazda var. Onlar həqiqətən pul qazanmağa, bazarı və ətrafınızdakı dünyanı dəyişdirməyə imkan verir. Hype bir az fərqli görünür:
Sadəcə, neyron şəbəkələri artıq yeni bir şey deyil. Bəli, çoxlarının gözləntiləri yüksəkdir. Lakin çoxlu sayda şirkət neyronlardan istifadə etməyi və onların əsasında məhsullar hazırlamağı öyrənib. Neyronlar yeni funksionallıq təmin edir, iş yerlərini ixtisar etməyə və xidmətlərin qiymətini azaltmağa imkan verir:
- İstehsalçı şirkətlər istehsal xəttindəki qüsurları təhlil etmək üçün alqoritmləri birləşdirir.
- Heyvandarlıq təsərrüfatları inəklərə nəzarət etmək üçün sistemlər alır.
- Avtomatik kombaynlar.
- Avtomatlaşdırılmış Çağrı Mərkəzləri.
- SnapChat-da filtrlər. (yaxşı, heç olmasa faydalı bir şey!)
Ancaq əsas odur ki, ən açıq deyil: "Artıq yeni ideyalar yoxdur və ya onlar ani kapital gətirməyəcəklər." Neyron şəbəkələr onlarla problemi həll etdi. Və daha da çox qərar verəcəklər. Mövcud olan bütün açıq fikirlər bir çox startapların yaranmasına səbəb oldu. Amma səthdə olan hər şey artıq yığılmışdı. Son iki ildə neyron şəbəkələrin istifadəsi ilə bağlı bir dənə də olsun yeni ideyaya rast gəlməmişəm. Heç bir yeni yanaşma yoxdur (yaxşı, yaxşı, GAN-larla bağlı bir neçə problem var).
Və hər bir sonrakı başlanğıc getdikcə daha mürəkkəbdir. Artıq açıq məlumatlardan istifadə edərək bir neyron hazırlayan iki oğlana ehtiyac yoxdur. Bunun üçün proqramçılar, server, markerlər komandası, kompleks dəstək və s.
Nəticədə startapların sayı azalır. Amma daha çox istehsal var. Nömrənin tanınması əlavə etmək lazımdır? Bazarda müvafiq təcrübəyə malik yüzlərlə mütəxəssis var. Siz kimisə işə götürə bilərsiniz və bir neçə aydan sonra işçiniz sistemi düzəldəcək. Və ya hazır satın alın. Bəs yeni startap edirsən?.. Dəli!
Ziyarətçi izləmə sistemi yaratmalısınız - 3-4 aya özünüz hazırlaya bildiyiniz halda, niyə bir dəstə lisenziyaya pul ödəyin, onu biznesiniz üçün kəskinləşdirin.
İndi neyron şəbəkələri onlarla başqa texnologiyanın keçdiyi yoldan keçir.
1995-ci ildən "veb-sayt tərtibatçısı" anlayışının necə dəyişdiyini xatırlayırsınız? Bazar hələ mütəxəssislərlə doymayıb. Peşəkarlar çox azdır. Amma mən mərc edə bilərəm ki, 5-10 ildən sonra Java proqramçısı ilə neyron şəbəkə tərtibatçısı arasında çox fərq olmayacaq. Bazarda hər iki mütəxəssis kifayət qədər olacaq.
Sadəcə olaraq neyronlar tərəfindən həll edilə bilən problemlər sinfi olacaq. Bir vəzifə ortaya çıxdı - bir mütəxəssis işə götürün.
"Bundan sonra nə var? Hanı vəd edilən süni intellekt?”
Ancaq burada kiçik, lakin maraqlı bir anlaşılmazlıq var :)
Bu gün mövcud olan texnologiya yığını, görünür, bizi süni intellektə aparmayacaq. İdeyalar və onların yeniliyi böyük ölçüdə tükənib. İndiki inkişaf səviyyəsini saxlayan şeydən danışaq.
Məhdudiyyətlər
Özünü idarə edən avtomobillərdən başlayaq. Aydın görünür ki, müasir texnologiya ilə tam avtonom avtomobillər etmək mümkündür. Amma bunun neçə ildən sonra baş verəcəyi bəlli deyil. Tesla bunun bir neçə ildən sonra baş verəcəyinə inanır -
Bir çox başqaları var , kim bunu 5-10 il hesab edir.
Çox güman ki, mənim fikrimcə, 15 ildən sonra şəhərlərin infrastrukturu özü elə dəyişəcək ki, avtonom avtomobillərin yaranması qaçılmaz olacaq və onun davamına çevriləcək. Amma bunu zəka hesab etmək olmaz. Müasir Tesla məlumatların filtrasiyası, axtarışı və yenidən hazırlanması üçün çox mürəkkəb boru kəməridir. Bunlar qaydalar-qaydalar-qaydalar, məlumatların toplanması və onların üzərində filtrlərdir (burada Bu haqda bir az daha yazdım, ya da izləyin işarələri).
İlk problem
Və gördüyümüz yer budur ilk fundamental problem. Böyük məlumat. Bu, neyron şəbəkələri və maşın öyrənməsinin hazırkı dalğasını doğurdu. İndiki vaxtda mürəkkəb və avtomatik bir şey etmək üçün çoxlu məlumat lazımdır. Yalnız çox deyil, çox, çox. Onların toplanması, işarələnməsi və istifadəsi üçün bizə avtomatlaşdırılmış alqoritmlər lazımdır. Biz maşının yük maşınlarını günəşə baxmasını təmin etmək istəyirik - əvvəlcə onlardan kifayət qədər sayda toplamaq lazımdır. Biz istəyirik ki, avtomobil baqajına bərkidilmiş velosipedlə dəli olmasın - daha çox nümunə.
Üstəlik, bir misal kifayət deyil. Yüzlərlə? Minlərlə?
İkinci problem
İkinci problem — neyron şəbəkəmizin başa düşdüklərinin vizuallaşdırılması. Bu, çox əhəmiyyətsiz bir işdir. İndiyə qədər az adam bunu necə təsəvvür edəcəyini başa düşür. Bu məqalələr çox yenidir, bunlar yalnız bir neçə nümunədir, hətta uzaqdan da olsa:
fakturalara meyl. Bu, neyronun nəyə əsaslandığını + başlanğıc məlumat kimi qəbul etdiyini yaxşı göstərir.
Diqqət . Əslində, cazibə çox vaxt belə bir şəbəkə reaksiyasına səbəb olanı göstərmək üçün dəqiq istifadə edilə bilər. Həm sazlama, həm də məhsul həlləri üçün belə şeylər görmüşəm. Bu mövzuda çoxlu məqalələr var. Lakin verilənlər nə qədər mürəkkəb olsa, möhkəm vizuallaşdırmaya necə nail olmağı başa düşmək bir o qədər çətindir.
Bəli, bəli, köhnə yaxşı dəst “baxın, şəbəkənin içərisində nə var " Bu şəkillər 3-4 il əvvəl məşhur idi, lakin hamı şəkillərin gözəl olduğunu tez başa düşdü, amma çox mənası yoxdu.
Mən onlarla başqa gadget, üsullar, sındırmalar, şəbəkənin daxili hissələrini necə göstərməklə bağlı araşdırmaları qeyd etmədim. Bu alətlər işləyirmi? Problemin nə olduğunu tez başa düşməyə və şəbəkədə debug etməyə kömək edirlərmi?.. Son faizi alın? Yaxşı, təxminən eynidir:
İstənilən yarışı Kaggle-da izləyə bilərsiniz. Və insanların son qərarları necə qəbul etmələrinin təsviri. 100-500-800 ədəd model yığdıq və o, işlədi!
Təbii ki, şişirdirəm. Lakin bu yanaşmalar tez və birbaşa cavab vermir.
Kifayət qədər təcrübəyə sahib olmaqla, müxtəlif variantları nəzərdən keçirərək, sisteminizin niyə belə bir qərar verdiyinə dair hökm verə bilərsiniz. Ancaq sistemin davranışını düzəltmək çətin olacaq. Bir qoltuqağacı quraşdırın, həddi daşıyın, məlumat dəsti əlavə edin, başqa bir arxa şəbəkə götürün.
Üçüncü problem
Üçüncü Əsas Problem — şəbəkələr məntiqi deyil, statistikanı öyrədir. Statistik olaraq bu :
Məntiqi olaraq, çox oxşar deyil. Neyron şəbəkələri məcbur edilmədikcə mürəkkəb bir şey öyrənmir. Onlar həmişə mümkün olan ən sadə əlamətləri öyrədirlər. Gözün, burnun, başın var? Beləliklə, bu üzdür! Yaxud misal gətirin ki, gözlər üz demək deyil. Və yenə - milyonlarla nümunə.
Aşağıda çox yer var
Deyərdim ki, hazırda neyron şəbəkələrinin və maşın öyrənməsinin inkişafını məhdudlaşdıran bu üç qlobal problemdir. Və bu problemlərin onu məhdudlaşdırmadığı yerdə artıq fəal şəkildə istifadə olunur.
Bu sondur? Neyron şəbəkələri işləyirmi?
Naməlum. Amma təbii ki, hamı ümid etmir.
Yuxarıda qeyd etdiyim fundamental problemlərin həlli üçün bir çox yanaşma və istiqamətlər var. Amma indiyə qədər bu yanaşmaların heç biri prinsipial olaraq yeni bir iş görməyə, hələ həll olunmamış bir şeyi həll etməyə imkan verməyib. İndiyə qədər bütün fundamental layihələr sabit yanaşmalar (Tesla) əsasında həyata keçirilir və ya institut və ya korporasiyaların (Google Brain, OpenAI) sınaq layihələri olaraq qalır.
Təxminən desək, əsas istiqamət giriş məlumatlarının yüksək səviyyəli təqdimatını yaratmaqdır. Müəyyən mənada “yaddaş”. Yaddaşın ən sadə nümunəsi müxtəlif “Yerləşdirmə”dir - görüntü təsvirləri. Məsələn, bütün üz tanıma sistemləri. Şəbəkə üzdən fırlanma, işıqlandırma və ya ayırdetmə qabiliyyətindən asılı olmayan sabit təsvir əldə etməyi öyrənir. Əslində, şəbəkə “müxtəlif üzlər uzaqdır” və “eyni üzlər yaxındır” metriklərini minimuma endirir.
Belə təlim üçün on, yüz minlərlə misal lazımdır. Ancaq nəticə "Bir vuruşda öyrənmə" nin bəzi əsaslarını daşıyır. İndi bir insanı xatırlamaq üçün yüzlərlə sifətə ehtiyacımız yoxdur. Yalnız bir üz və biz bütün bunlardır !
Sadəcə bir problem var... Şəbəkə yalnız kifayət qədər sadə obyektləri öyrənə bilər. Üzləri deyil, məsələn, "insanları paltarla" ayırmağa çalışarkən (tapşırıq ) - keyfiyyət bir çox miqyasda azalır. Və şəbəkə artıq bucaqlarda kifayət qədər aydın dəyişikliklər öyrənə bilməz.
Milyonlarla nümunədən öyrənmək də bir növ əyləncədir.
Seçkilərin əhəmiyyətli dərəcədə azaldılması istiqamətində işlər görülür. Məsələn, ilk işlərdən birini dərhal xatırlamaq olar OneShot Öyrənmə :
Məsələn, belə əsərlər çoxdur və ya və ya .
Yalnız bir mənfi cəhət var - adətən təlim bəzi sadə, "MNIST" nümunələri üzərində yaxşı işləyir. Və mürəkkəb tapşırıqlara keçərkən sizə böyük verilənlər bazası, obyektlərin modeli və ya bir növ sehr lazımdır.
Ümumiyyətlə, bir vuruşlu təlim üzərində iş çox maraqlı mövzudur. Çox fikir tapırsınız. Ancaq əksər hallarda sadaladığım iki problem (böyük məlumat toplusunda hazırlıq / mürəkkəb məlumatlarda qeyri-sabitlik) öyrənməyə çox mane olur.
Digər tərəfdən, GAN-lar - generativ rəqib şəbəkələr - Yerləşdirmə mövzusuna yaxınlaşır. Yəqin ki, Habré-də bu mövzuda bir çox məqalə oxumusunuz. (, ,)
GAN-ın bir xüsusiyyəti, şəkil çəkməyə imkan verən bəzi daxili dövlət məkanının (əsasən eyni Yerləşdirmə) formalaşmasıdır. Ola bilər , ola bilər .
GAN ilə bağlı problem ondan ibarətdir ki, yaradılan obyekt nə qədər mürəkkəbdirsə, onu “generator-diskriminator” məntiqində təsvir etmək bir o qədər çətindir. Nəticədə, GAN-ın eşidilən yeganə real tətbiqləri DeepFake-dir ki, bu da yenə üz təsvirlərini manipulyasiya edir (bunun üçün böyük bir baza var).
Mən çox az başqa faydalı istifadə gördüm. Adətən şəkillərin təsvirlərini bitirməkdən ibarət bir növ hiylədir.
Və yenidən. Bunun bizə daha parlaq gələcəyə doğru irəliləməsinə necə imkan verəcəyi barədə heç kimin fikri yoxdur. Neyron şəbəkəsində məntiqi/məkanı təmsil etmək yaxşıdır. Ancaq bizə çoxlu sayda nümunə lazımdır, biz neyronun bunu özlüyündə necə təmsil etdiyini başa düşmürük, neyrona həqiqətən mürəkkəb ideyanı necə yadda saxlamağı başa düşmürük.
Armatur öyrənmə - bu, tamam başqa istiqamətdən yanaşmadır. Şübhəsiz ki, Google-un Go-da hər kəsi necə məğlub etdiyini xatırlayırsınız. Starcraft və Dota-da son qələbələr. Ancaq burada hər şey o qədər çəhrayı və perspektivli olmaqdan uzaqdır. O, RL və onun mürəkkəbliyi haqqında ən yaxşı danışır .
Müəllifin yazdıqlarını qısaca xülasə etmək üçün:
- Qutudan çıxarılan modellər əksər hallarda uyğun gəlmir / zəif işləyir
- Praktiki problemləri başqa yollarla həll etmək daha asandır. Boston Dynamics mürəkkəbliyi/gözlənilməzliyi/hesablama mürəkkəbliyi səbəbindən RL-dən istifadə etmir.
- RL-nin işləməsi üçün sizə kompleks funksiya lazımdır. Çox vaxt yaratmaq/yazmaq çətindir
- Modelləri öyrətmək çətindir. Yerli optimadan çıxmaq üçün çox vaxt sərf etməlisiniz
- Nəticədə modeli təkrarlamaq çətindir, model ən kiçik dəyişikliklərlə qeyri-sabitdir
- Tez-tez bəzi təsadüfi nümunələri, hətta təsadüfi ədəd generatorunu da aşır
Əsas məqam odur ki, RL hələ istehsalatda işləmir. Google-un bəzi təcrübələri var ( , ). Amma mən bir məhsul sistemi görməmişəm.
Yaddaş. Yuxarıda təsvir edilən hər şeyin dezavantajı strukturun olmamasıdır. Bütün bunları səliqəyə salmağa çalışmağın yanaşmalarından biri də neyroşəbəkənin ayrı yaddaşa çıxışını təmin etməkdir. Oradakı addımlarının nəticələrini qeyd edib yenidən yaza bilsin. Sonra neyroşəbəkə cari yaddaş vəziyyəti ilə müəyyən edilə bilər. Bu klassik prosessorlara və kompüterlərə çox oxşardır.
Ən məşhur və populyar - DeepMind-dən:
Deyəsən, zəkanı başa düşməyin açarı budur? Amma yəqin ki, yox. Sistem hələ də təlim üçün çoxlu məlumat tələb edir. Və əsasən strukturlaşdırılmış cədvəl məlumatları ilə işləyir. Üstəlik, Facebook oxşar problem, sonra onlar "yaddaşı vidalayın, neyronu daha mürəkkəbləşdirin və daha çox nümunəyə sahib olun - və öz-özünə öyrənəcək" yolunu tutdular.
Qarışıqlıq. Mənalı yaddaş yaratmağın başqa bir yolu eyni yerləşdirmələri götürməkdir, lakin təlim zamanı onlarda "mənaları" vurğulamağa imkan verən əlavə meyarlar təqdim edin. Məsələn, bir mağazada insan davranışını ayırd etmək üçün neyron şəbəkəsini öyrətmək istəyirik. Əgər standart yolla getsək, onlarla şəbəkə yaratmalı olacaqdıq. Biri adam axtarır, ikincisi nə işlə məşğul olduğunu müəyyənləşdirir, üçüncüsü yaşı, dördüncüsü cinsidir. Ayrı bir məntiq mağazanın bunu etdiyi/təhsil etdiyi hissəsinə baxır. Üçüncüsü onun trayektoriyasını müəyyən edir və s.
Yaxud, sonsuz sayda məlumat olsaydı, o zaman bütün mümkün nəticələr üçün bir şəbəkə hazırlamaq mümkün olardı (açıq-aydın, belə bir məlumat toplusu toplana bilməz).
Ayırma yanaşması bizə deyir - gəlin şəbəkəni elə öyrədək ki, özü də anlayışları ayırd edə bilsin. Belə ki, o, videoya əsaslanaraq, bir sahənin hərəkəti müəyyən edəcəyi, yerdəki mövqeyini vaxtında müəyyən edəcəyi, insanın boyunu və cinsini təyin edəcəyi bir yerləşdirmə təşkil edəcəkdir. Eyni zamanda, məşq edərkən, demək olar ki, şəbəkəni bu cür əsas anlayışlarla təhrik etmək deyil, daha çox sahələri vurğulamaq və qruplaşdırmaq istərdim. Bu cür məqalələr kifayət qədər azdır (onlardan bəziləri , , ) və ümumilikdə onlar kifayət qədər nəzəri xarakter daşıyır.
Amma bu istiqamət ən azı nəzəri cəhətdən əvvəldə sadalanan problemləri əhatə etməlidir.
“Divar rəngi/döşəmə rəngi/obyekt forması/obyekt rəngi/s.” parametrlərinə görə təsvirin parçalanması.
Üzün “ölçü, qaşlar, oriyentasiya, dəri rəngi və s.” parametrlərinə görə parçalanması.
Digər
Verilənlər bazasını birtəhər azaltmağa, daha heterojen məlumatlarla işləməyə və s. imkan verən bir çox başqa, o qədər də qlobal olmayan sahələr var.
Diqqət. Yəqin ki, bunu ayrı bir üsul kimi ayırmağın mənası yoxdur. Sadəcə başqalarını yaxşılaşdıran bir yanaşma. Çoxlu məqalələr ona həsr olunub (,,). Diqqətin məqsədi təlim zamanı şəbəkənin xüsusi olaraq əhəmiyyətli obyektlərə reaksiyasını artırmaqdır. Tez-tez bir növ xarici hədəf təyinatı və ya kiçik bir xarici şəbəkə ilə.
3D simulyasiya. Yaxşı bir 3D mühərriki hazırlasanız, çox vaxt onunla təlim məlumatlarının 90% -ni əhatə edə bilərsiniz (hətta məlumatların demək olar ki, 99% -nin yaxşı bir mühərrik tərəfindən əhatə olunduğu bir nümunə gördüm). 3D mühərrikdə öyrədilmiş şəbəkənin real məlumatlardan (incə tənzimləmə, üslubun ötürülməsi və s.) işləməsi üçün çoxlu fikirlər və hiylələr mövcuddur. Ancaq çox vaxt yaxşı bir mühərrik hazırlamaq məlumat toplamaqdan bir neçə dəfə daha çətindir. Mühərriklərin istehsal edildiyi nümunələr:
Robot təlimi (, )
təlim mağazada mallar (lakin etdiyimiz iki layihədə onsuz da asanlıqla edə bilərdik).
Tesla-da təlim (yenə yuxarıdakı video).
Tapıntılar
Bütün məqalə müəyyən mənada nəticələrdir. Yəqin ki, vermək istədiyim əsas mesaj “pulsuzluqlar bitdi, neyronlar artıq sadə həllər təmin etmir” idi. İndi mürəkkəb qərarlar qəbul etmək üçün çox çalışmaq lazımdır. Və ya mürəkkəb elmi araşdırmalar apararaq çox çalışın.
Ümumiyyətlə, mövzu mübahisəlidir. Bəlkə oxucuların daha maraqlı nümunələri var?
Mənbə: www.habr.com