Demên dawî de serbest hatin berdan , ku di salên dawî de di fêrbûna makîneyê de meylek baş nîşan dide. Bi kurtasî: di du salên dawî de hejmara destpêkên fêrbûna makîneyê kêm bûye.
Baş. Ka em li "gelo bilbil teqiyaye", "çawa jiyana xwe bidomînin" binihêrin û li ser vê yekê bipeyivin ku di rêza yekem de ev qijik ji ku tê.
Pêşî, bila em bipeyivin ka çi bû ku ev kulmê zêde dike. Ew ji ku hat? Dibe ku ew ê her tiştî bînin bîra xwe fêrbûna makîneyê di 2012 de di pêşbaziya ImageNet de. Jixwe, ev yekem bûyera gerdûnî ye! Lê di rastiyê de ne wisa ye. Û mezinbûna kemerê hinekî berê dest pê dike. Ez ê di çend xalan de vekim.
- Di sala 2008'an de têgeha "daneyên mezin" derket holê. Berhemên rastîn dest pê kir ji sala 2010 de. Daneyên mezin rasterast bi fêrbûna makîneyê ve girêdayî ye. Bê daneyên mezin, xebata aram a algorîtmayên ku di wê demê de hebûn ne gengaz e. Û ev ne torên neuralî ne. Heya sala 2012-an, torên neuralî para hindikahiyek marjînal bûn. Lê paşê algorîtmayên bi tevahî cûda dest bi xebatê kirin, ku bi salan, an jî bi dehsalan hebûn: (1963,1993), (1995), (2003),... Destpêkên wan salan di serî de bi pêvajoyek otomatîkî ya daneyên sazkirî re têkildar in: tomarên dravê, bikarhêner, reklam, hêj bêtir.
Berhevoka vê pêla yekem komek çarçoveyên wekî XGBoost, CatBoost, LightGBM, hwd.
- Di 2011-2012 de çend pêşbirkên naskirina wêneyan bi dest xist. Bikaranîna wan a rastî hinekî dereng mabû. Ez ê bibêjim ku destpêk û çareseriyên girseyî yên watedar di sala 2014 de dest pê kirin. Du sal derbas bû ku ew nerûn hîn jî bixebitin, ji bo afirandina çarçoveyên hêsan ên ku dikarin di demek maqûl de werin saz kirin û dest pê kirin, ji bo pêşxistina rêbazên ku dê dema hevgirtinê stabîl bikin û bilez bikin.
Tora konvolutional gengaz kir ku pirsgirêkên dîtina komputerê çareser bike: dabeşkirina wêne û tiştên di wêneyê de, tespîtkirina tiştan, naskirina tişt û mirovan, başkirina wêneyê, hwd., hwd.
- 2015-2017. Boom ya algorîtmayan û projeyên ku li ser torên dubare an jî analogên wan (LSTM, GRU, TransformerNet, hwd.) ve girêdayî ne. Algorîtmayên axaftin-nivîs-nivîsê yên bikêrhatî û pergalên wergera makîneyê xuya bûn. Ew bi qismî li ser torên konvokî ne ku taybetmendiyên bingehîn derxînin. Beşek ji ber vê yekê ku em fêr bûn ku berhevokên bi rastî mezin û baş berhev bikin.
“Gelo bilbil teqiyaye? Ma hîpe zêde germ dibe? Ma ew wekî blokek mirin?”
Wekî din! Sibe Siri dê li ser têlefona we bixebite, û piştî sibê Tesla dê ferqa di navbera zivirîn û kanguro de nizane.
Torên neuralî jixwe dixebitin. Ew di dehan cîhazan de ne. Ew bi rastî dihêlin ku hûn drav qezenc bikin, sûk û cîhana li dora xwe biguhezînin. Hype hinekî cûda xuya dike:
Tenê ew e ku torên neuralî êdî ne tiştek nû ne. Erê, gelek kes hêviyên mezin hene. Lê hejmareke mezin ji pargîdan fêr bûne ku neuronan bikar bînin û li ser wan hilberan çêbikin. Neuron fonksiyonên nû peyda dikin, dihêle hûn karan qut bikin, û bihayê karûbaran kêm bikin:
- Pargîdaniyên hilberîner algorîtmayan yek dikin da ku kêmasiyên li ser xeta hilberînê analîz bikin.
- Dezgehên heywandariyê pergalên kontrolkirina dewaran dikirin.
- Kombînên otomatîkî.
- Navendên Banga Xweser.
- Parzûnên di SnapChat de. (baş, bi kêmanî tiştek kêrhatî!)
Lê ya sereke, û ne ya herî eşkere: "Fikrên nû tune ne, an jî ew ê sermiyana tavilê nebînin." Tora neuralî bi dehan pirsgirêk çareser kirine. Û ew ê hê bêtir biryar bidin. Hemî ramanên eşkere yên ku hebûn rê li ber gelek destpêk girtin. Lê her tiştê ku li ser rûyê erdê hebû, berê hatibû berhev kirin. Di van du salên borî de, min ji bo karanîna torên neuralî li yek ramanek nû nehat. Ne nêzîkatiyek nû ya yekane (baş, baş e, bi GAN-an re çend pirsgirêk hene).
Û her destpêkek paşîn bêtir û bêtir tevlihev e. Ew êdî hewce nake du xortên ku bi karanîna daneya vekirî neuronek perwerde dikin. Ew bernamenûs, serverek, tîmek nîşankeran, piştgirîya tevlihev, hwd hewce dike.
Wekî encamek, kêmtir destpêk hene. Lê hilberînek zêde heye. Ma hûn hewce ne ku nasnameya plakaya lîsansê zêde bikin? Li sûkê bi sedan pisporên xwedî ezmûnên têkildar hene. Hûn dikarin kesek kar bikin û di nav çend mehan de karmendê we dê pergalê çêbike. An jî hazir bikirin. Lê kirina destpêkek nû?.. Dîn!
Pêdivî ye ku hûn pergalek şopandina mêvanan biafirînin - çima gava ku hûn dikarin di nav 3-4 mehan de xweya xwe çêbikin, çima ji bo karsaziya xwe drav bidin.
Naha torên neuralî di heman riya ku bi dehan teknolojiyên din re derbas bûne re derbas dibin.
Tê bîra we ku ji sala 1995-an û vir ve têgeha "pêşdebirê malperê" çawa guherî? Sûk hîn ji pisporan têr nebûye. Pir kêm pispor hene. Lê ez dikarim bet bikim ku di nav 5-10 salan de dê di navbera bernamenûsek Java û pêşdebirek tora neuralî de pir cûdahî nebe. Li sûkê dê bi têra xwe herdu pispor hebin.
Dê tenê çînek pirsgirêkan hebin ku dikarin ji hêla neuronan ve werin çareser kirin. Karûbarek derketiye - pisporek bikire.
"Piştre çi ye? Zehmetiya sûnî ya sozdayî li ku ye?”
Lê li vir xeletiyek piçûk lê balkêş heye :)
Qada teknolojiyê ya ku îro heye, xuya ye, dê me ber bi îstîxbarata sûnî ve neçe. Raman û nûbûna wan bi giranî xwe westandiye. Werin em li ser asta pêşkeftinê ya heyî biaxivin.
Sînor
Ka em bi otomobîlên xwe-ajotinê dest pê bikin. Eşkere xuya dike ku bi teknolojiya îroyîn re gengaz e ku meriv otomobîlên bi tevahî xweser çêbike. Lê di çend salan de ev dê bibe ne diyar e. Tesla bawer dike ku ev ê di nav çend salan de bibe -
Gelekên din hene , ku ew 5-10 sal texmîn dikin.
Bi îhtîmaleke mezin, bi dîtina min, di nava 15 salan de binesaziya bajaran bixwe dê wisa biguhere ku derketina erebeyên xweser neçarî be û bibe berdewamiya wê. Lê ev yek nikare îstîxbaratê were hesibandin. Tesla nûjen ji bo parzûna daneyan, lêgerîn û perwerdehiyê boriyek pir tevlihev e. Ev rêgez-qanûn-qanûn, berhevkirina daneyan û fîlterên li ser wan in (li vir Min li ser vê yekê hinekî din nivîsî, an ji temaşe bike nîşanan).
Pirsgirêka yekem
Û ev e ku em dibînin yekem pirsgirêka bingehîn. Daneyên mezin. Ya ku pêla heyî ya torên neuralî û fêrbûna makîneyê çêbû ev e. Naha, ji bo ku hûn tiştek tevlihev û otomatîk bikin, hûn hewceyê gelek daneyan in. Ne tenê pir, lê pir, pir. Ji bo berhevkirin, nîşankirin û karanîna wan hewceyê algorîtmayên otomatîk in. Em dixwazin ku gerîdeyê kamyonên ber bi rojê ve bibînin - divê em pêşî hejmarek têr ji wan berhev bikin. Em dixwazin ku erebe bi bisîkletek ku li çolê pêçayî ye dîn nebe - bêtir nimûne.
Wekî din, yek mînak jî têrê nake. Bi sedan? Bi hezaran?
Pirsgirêka duyemîn
Pirsgirêka duyemîn - dîtina tiştê ku tora meya neuralî fam kiriye. Ev karekî pir ne hindik e. Heya nuha, hindik kes fam dikin ka meriv vê yekê çawa xuya dike. Ev gotar pir nû ne, ev tenê çend mînak in, her çend dûr bin jî:
mêldariya bi textures. Ew baş destnîşan dike ku neuron li ser çi disekine + tiştê ku ew wekî agahdariya destpêkê dihesibîne.
Baldarî li . Di rastiyê de, balkêş pir caran dikare bi rastî were bikar anîn da ku nîşan bide ka çi bûye sedema reaksiyonek torê. Min tiştên weha hem ji bo debugging û hem jî ji bo çareseriyên hilberê dîtiye. Li ser vê mijarê gelek gotar hene. Lê daneyên tevlihevtir, ew qas dijwartir e ku meriv fêm bike ka meriv çawa bigihîje dîmenek zexm.
Welê, erê, koma kevin a baş "binihêre ka di hundurê mesh de çi ye " Ev wêne 3-4 sal berê populer bûn, lê her kes zû fêm kir ku wêne xweş in, lê zêde wateya wan tune.
Min behsa bi dehan amûrên din, rêbaz, hacks, lêkolînên li ser meriv çawa hundurê torê nîşan nekiriye. Ma ev amûr dixebitin? Ma ew ji we re dibin alîkar ku hûn zû fam bikin ka pirsgirêk çi ye û torê jêbirin?.. Ji sedî paşîn bistînin? Erê, ew bi heman rengî ye:
Hûn dikarin her pêşbaziyek li ser Kaggle temaşe bikin. Û ravekirinek ka meriv çawa biryarên dawî didin. Me 100-500-800 yekîneyên modelan berhev kir û ew xebitî!
Bê guman ez zêde dikim. Lê ev nêzîkatî bersivên bilez û rasterast nadin.
Xwedî ezmûnek têr, li dora vebijarkên cihêreng geriyan, hûn dikarin biryarek bidin ka çima pergala we biryarek wusa daye. Lê rastkirina tevgera pergalê dê dijwar be. Kûçikek saz bikin, bend biguhezînin, danûstendinek lê zêde bikin, torgilokek paşverû ya din bistînin.
Pirsgirêka sêyemîn
Pirsgirêka bingehîn a sêyemîn - grid statîstîkê hîn dikin, ne mantiqê. Ji hêla îstatîstîkî ve ev :
Bi awayekî mantiqî, ew ne pir dişibihe. Tora neuralî heya ku neçar bimînin tiştek tevlihev fêr nakin. Ew her gav nîşanên herî hêsan ên gengaz hîn dikin. Çavên te, poz, serê te hene? Ji ber vê yekê ev rû ye! An jî mînakek bide ku çav nayê wateya rû. Û dîsa - bi mîlyonan nimûne.
Li Binê Zêde Od heye
Ez ê bibêjim ku ev sê pirsgirêkên gerdûnî ne ku niha pêşveçûna torên neuralî û fêrbûna makîneyê sînordar dikin. Û cihê ku van pirsgirêkan ew sînor nekir, ew jixwe bi rengek çalak tê bikar anîn.
Ev dawî ye? Ma torên neuralî hene?
Nenas. Lê, bê guman, her kes hêvî nake.
Ji bo çareserkirina pirsgirêkên bingehîn ên ku min li jor ronî kir gelek nêzîkatî û rêgez hene. Lê heta niha, yek ji van nêzîkatiyan nekiriye ku tiştek bingehîn a nû were kirin, tiştê ku hêj nehatiye çareser kirin were çareser kirin. Heya nuha, hemî projeyên bingehîn li ser bingeha nêzîkatiyên domdar (Tesla) têne çêkirin, an jî projeyên ceribandinê yên enstîtu an pargîdaniyan (Google Brain, OpenAI) dimînin.
Bi gelemperî, rêberiya sereke ev e ku meriv hin nûnertiya asta bilind a daneya têketinê biafirîne. Di wateyekê de, "bîr". Mînaka herî hêsan a bîranînê "Embedding" - temsîlên wêneyê yên cihêreng e. Welê, ji bo nimûne, hemî pergalên naskirina rûyê. Tora fêr dibe ku ji rûyekî hin temsîlek domdar a ku bi zivirandin, ronîkirin, an çareseriyê ve girêdayî nebe, bistîne. Di bingeh de, torê metrîka "rûyên cûda dûr in" û "rûyên wekhev nêz in" kêm dike.
Ji bo perwerdehiyeke wiha bi deh û sed hezaran mînak lazim in. Lê encam hin hêmanên "Fêrbûna Yek-Şot" vedigire. Niha ji bo bîranîna mirovekî ne hewceyî me bi sedan rû ne. Tenê rûyek û em tenê ew in !
Tenê pirsgirêkek heye... Grîd tenê dikare tiştên pir hêsan fêr bibe. Dema ku hûn hewl didin ku ne rûyan, lê, mînakî, "mirov bi kincan" cuda bikin (kar ) - kalîte bi gelek rêzikên mezinbûnê dikeve. Û tora êdî nikare guheztinên berbiçav ên di goşeyan de fêr bibe.
Û fêrbûna ji mîlyon nimûneyan jî celebek kêfxweş e.
Ji bo kêmkirina hilbijartinan bi awayekî berçav xebat hene. Mînakî, mirov dikare yekser yek ji wan karên pêşîn bîne bîra xwe Fêrbûna OneShot :
Wek mînak gelek xebatên wiha hene an an .
Tenê yek kêmasî heye - bi gelemperî perwerdehiyê li ser hin mînakên hêsan, "MNIST" baş dixebite. Û gava ku hûn diçin karên tevlihev, hûn hewceyê databasek mezin, modelek tiştan, an celebek sêrbaz in.
Bi gelemperî, xebata li ser perwerdehiya One-Shot mijarek pir balkêş e. Hûn gelek ramanan dibînin. Lê bi piranî, du pirsgirêkên ku min navnîş kir (pêş-perwerdekirina li ser databasek mezin / bêîstîqrar li ser daneyên tevlihev) pir di fêrbûnê de asteng dike.
Ji hêla din ve, GAN - torên dijber ên hilberîner - nêzî mijara Embedding-ê dibin. Dibe ku we li ser vê mijarê komek gotar li ser Habré xwendiye. (, ,)
Taybetmendiyek GAN damezrandina hin cîhê dewleta hundurîn e (bi bingehîn heman Embedding), ku dihêle hûn wêneyek xêz bikin. Ew dikare bibe , dikare bibe .
Pirsgirêka GAN-ê ev e ku tişta hatî hilberandin çiqas tevlihevtir be, ew qas dijwartir e ku meriv wê di mantiqa "jenerer-cudakar" de diyar bike. Wekî encamek, tenê serîlêdanên rastîn ên GAN-ê yên ku têne bihîstin DeepFake ne, ku, dîsa, nûnerên rûyê manîpule dike (ji bo ku bingehek mezin heye).
Min gelek kêm karanîna kêrhatî yên din dît. Bi gelemperî hin celeb hîleyên ku bi qedandina xêzên wêneyan ve girêdayî ne.
Û dîsa. Kes nizane ka ev ê çawa bihêle ku em ber bi pêşerojek geştir ve biçin. Di tora neuralî de temsîlkirina mantiq/mekan baş e. Lê ji me re hejmareke mezin ji mînakan lazim e, em fam nakin ka neuron vê yekê bi xwe çawa temsîl dike, em fam nakin ka meriv çawa noyron hin ramanek bi rastî tevlihev bi bîr tîne.
Fêrbûna xurtkirinê - ev nêzîkatiyek ji rêgezek bi tevahî cûda ye. Bê guman tê bîra we ku Google çawa li Go her kesî xist. Serketinên dawî yên li Starcraft û Dota. Lê li vir her tişt ji gul û hêviyê dûr e. Ew herî baş li ser RL û tevliheviyên wê diaxive .
Ji bo kurteya ku nivîskar nivîsî ye:
- Modelên ji qutîkê di pir rewşan de nebaş in / nebaş dixebitin
- Pirsgirêkên pratîkî bi awayên din hêsantir têne çareser kirin. Boston Dynamics RL-ê ji ber tevlihevî / nepêşbînbarî / tevliheviya hesabkirinê bikar nayîne
- Ji bo ku RL bixebite, hûn hewceyê fonksiyonek tevlihev in. Gelek caran çêkirina/nivîsandin zehmet e
- Zehmet e ku modelan perwerde bikin. Pêdivî ye ku hûn pir wext derbas bikin da ku hûn pomp bikin û ji optima herêmî derkevin
- Wekî encamek, dubarekirina modelê dijwar e, modela bi guheztinên herî piçûk re ne aram e
- Bi gelemperî hin qalibên rasthatî, tewra çêkerek hejmarên bêserûber jî zêde dike
Xala sereke ev e ku RL hîn di hilberînê de naxebite. Google hin ceribandin hene ( , ). Lê min pergala hilberek yekane nedîtiye.
Bîr. Nebaşiya her tiştê ku li jor hatî destnîşan kirin nebûna strukturê ye. Yek ji nêzîkatiyên ku hewl didin ku van hemî paqij bikin ev e ku tora neuralî bi gihîştina bîranîna cihêreng peyda bike. Da ku ew li wir encamên gavên xwe tomar bike û ji nû ve binivîsîne. Wê hingê tora neuralî dikare ji hêla rewşa bîranîna heyî ve were destnîşankirin. Ev pir dişibe pêvajoyên klasîk û komputeran.
Ya herî navdar û populer - ji DeepMind:
Wusa dixuye ku ev mifteya têgihîştina îstîxbaratê ye? Lê dibe ku ne. Pergal hîn jî ji bo perwerdehiyê gelek daneyan hewce dike. Û ew bi gelemperî bi daneyên tabloya sazkirî re dixebite. Wekî din, dema ku Facebook pirsgirêkek bi heman rengî, dûv re wan rê li ber "bîra xera bike, tenê noyron tevlihevtir bike, û nimûneyên din hebin - û ew ê bixwe fêr bibe."
Veqetandin. Rêbazek din a afirandina bîranînek watedar ev e ku meriv heman pêvekan bigire, lê di dema perwerdehiyê de, pîvanên din destnîşan bikin ku dihêle hûn di wan de "wateyan" ronî bikin. Mînakî, em dixwazin torgilokek neuralî perwerde bikin da ku di firotgehekê de tevgera mirovî ji hev cihê bike. Ger me rêça standard bişopand, divê em bi dehan toran çêbikin. Yek li mirovekî digere, ya duyem diyar dike ku çi dike, ya sêyemîn temenê wî ye, ya çaran zayenda wî ye. Mantiqa veqetandî li beşa firoşgehê dinêre ku ew ji bo vê yekê dike / tê perwerde kirin. Ya sêyemîn rêgeza wê diyar dike û hwd.
An jî, heke hejmareke bêdawî ya daneyê hebûya, wê hingê dê mimkun be ku yek torê ji bo hemî encamên mimkun perwerde bike (eşkere ye, komek daneya wusa nayê berhev kirin).
Nêzîkatiya veqetandinê ji me re dibêje - werin em torê perwerde bikin da ku ew bixwe karibe têgînan ji hev cuda bike. Ji ber vê yekê ew ê li ser vîdyoyê veguheztinek çêbike, ku yek dever dê çalakiyê diyar bike, yek dê di wextê de pozîsyona li ser erdê diyar bike, yek dê bilindahiya mirov destnîşan bike, û yek dê zayenda mirov diyar bike. Di heman demê de, dema perwerdehiyê, ez dixwazim hema bêje ne ku torê bi têgînên girîng ên weha vebêjim, lê ji bo ku ew deveran ronî bike û kom bike. Gelek gotarên weha hene (hinek ji wan , , ) û bi giştî ew pir teorîk in.
Lê ev rêgez, bi kêmanî ji hêla teorîkî ve, divê pirsgirêkên ku di destpêkê de hatine rêz kirin vehewîne.
Dabeşkirina wêneyê li gorî pîvanên "rengê dîwar / rengê zemînê / şeklê tiştan / rengê tiştan / hwd."
Dabeşkirina rûyek li gorî pîvanên "mezin, çav, rêgez, rengê çerm, hwd."
Прочее
Gelek deverên din, ne ewqas gerdûnî, hene ku dihêle hûn bi rengek databasê kêm bikin, bi daneyên heterojentir re bixebitin, hwd.
baldarî. Belkî ne wate ye ku meriv vê yekê wekî rêbazek cûda veqetîne. Tenê nêzîkatiyek ku yên din zêde dike. Gelek gotar jê re hatine veqetandin (,,). Xala Balkêş ev e ku di dema perwerdehiyê de bersiva torê bi taybetî li ser tiştên girîng zêde bike. Bi gelemperî ji hêla celebek navnîşek armanca derveyî, an torgilokek piçûkek derveyî.
3D simulation. Ger hûn motorek 3D-ya baş çêbikin, hûn pir caran dikarin 90% ji daneyên perwerdehiyê bi wê veşêrin (min mînakek jî dît ku hema hema% 99-ê daneyê ji hêla motorek baş ve hatî vegirtin). Gelek raman û hak hene ku meriv çawa torgilokek ku li ser motorek 3D hatî perwerde kirin bi karanîna daneya rastîn bixebite (Têksazkirina xweş, veguheztina şêwazê, hwd.). Lê bi gelemperî çêkirina motorek baş ji berhevkirina daneyan çend rêzan dijwartir e. Mînakên dema ku motor hatine çêkirin:
Perwerdehiya robotan (, )
Dersên perwerdehiyê tiştên di firotgehê de (lê di du projeyên ku me kir de, me bi hêsanî bêyî wê kir).
Perwerdehiya li Tesla (dîsa, vîdyoya li jor).
vebiguherin
Tevahiya gotara, bi awayek, encam e. Dibe ku peyama sereke ya ku min dixwest bidim ev bû "belaş qediyan, neuron êdî çareseriyên hêsan peyda nakin." Niha hewce ye ku em pir bixebitin ku biryarên tevlihev bidin. An jî bi kirina lêkolînên zanistî yên tevlihev dixebitin.
Bi gelemperî, mijara nîqaşê ye. Dibe ku xwendevan mînakên balkêştir hebin?
Source: www.habr.com