Èske ti wonn aprantisaj machin nan pete, oswa èske se kòmansman yon nouvo douvanjou?

Dènyèman lage atik, ki montre yon bon tandans nan aprantisaj machin nan dènye ane yo. Nan ti bout tan: kantite demaraj aprantisaj machin te desann nan de dènye ane yo.

Oke. Ann gade nan "si ti wonn nan pete", "ki jan yo kontinye viv" epi pale sou ki kote squiggle sa a soti nan premye plas.

Premyèman, ann pale sou sa ki te rapèl koub sa a. Ki kote li soti? Yo pral pwobableman sonje tout bagay viktwa aprantisaj machin nan 2012 nan konpetisyon an ImageNet. Apre yo tout, sa a se premye evènman mondyal la! Men, an reyalite sa a se pa ka a. Ak kwasans lan nan koub la kòmanse yon ti kras pi bonè. Mwen ta kraze l an plizyè pwen.

1. 2008 te wè aparisyon tèm "gwo done". Pwodwi reyèl te kòmanse parèt depi 2010. Gwo done yo dirèkteman gen rapò ak aprantisaj machin. San yo pa gwo done, operasyon an ki estab nan algoritm yo ki te egziste nan tan sa a se enposib. Ak sa yo pa rezo neral. Jiska 2012, rezo neral yo te prezève yon minorite majinal. Men, Lè sa a, algoritm konplètman diferan te kòmanse travay, ki te egziste pou ane, oswa menm deseni: SVM(1963,1993), Jwèt Random Forest (1995) AdaBoost (2003),... Startup nan ane sa yo prensipalman asosye ak pwosesis otomatik done estriktire: kach anrejistre, itilizatè, piblisite, plis ankò.

   Yon derive premye vag sa a se yon seri kad tankou XGBoost, CatBoost, LightGBM, elatriye.

2. Nan ane 2011-2012 rezo neral konvolusyonèl te genyen yon kantite konpetisyon rekonesans imaj. Itilizasyon aktyèl yo te yon ti jan reta. Mwen ta di ke demaraj ak solisyon twouve siyifikatif yo te kòmanse parèt nan 2014. Li te pran dezan pou dijere ke newòn toujou travay, pou kreye kad pratik ki ta ka enstale ak lanse nan yon tan rezonab, pou devlope metòd ki ta estabilize ak pi vit tan dirèksyon an.

   Rezo konvolusyonèl te fè li posib pou rezoud pwoblèm vizyon òdinatè: klasifikasyon imaj ak objè nan imaj la, deteksyon objè, rekonesans objè ak moun, amelyorasyon imaj, elatriye, elatriye.

3. 2015-2017. Boom nan algoritm ak pwojè ki baze sou rezo frekan oswa analogue yo (LSTM, GRU, TransformerNet, elatriye). Algoritm lapawòl-a-tèks ki byen fonksyone ak sistèm tradiksyon machin yo te parèt. Yo an pati baze sou rezo konvolusyonèl yo ekstrè karakteristik debaz yo. Pasyèlman akòz lefèt ke nou te aprann kolekte yon seri done vrèman gwo ak bon.

"Èske ti wonn nan pete? Èske battage a sichofe? Èske yo te mouri kòm yon blockchain?"
Sinon! Demen Siri pral sispann travay sou telefòn ou, epi apre demen Tesla p ap konnen diferans ki genyen ant yon vire ak yon kangouwou.

Rezo neral yo deja travay. Yo nan plizyè douzèn aparèy. Yo reyèlman pèmèt ou touche lajan, chanje mache a ak mond lan bò kote ou. Hype sanble yon ti kras diferan:

Se jis ke rezo neral yo pa yon bagay nouvo ankò. Wi, anpil moun gen gwo atant. Men, yon gwo kantite konpayi yo te aprann sèvi ak newòn ak fè pwodwi ki baze sou yo. Newòn bay nouvo fonksyonalite, pèmèt ou koupe travay, epi redwi pri sèvis yo:

• Konpayi fabrikasyon yo entegre algoritm pou analize defo liy pwodiksyon an.
• Fèm bèt yo achte sistèm pou kontwole bèf.
• Otomatik konbine.
• Sant apèl otomatik yo.
• Filtre nan SnapChat. (Oke, omwen yon bagay itil!)

Men, bagay prensipal la, epi yo pa pi evidan an: "Pa gen plis nouvo lide, oswa yo pa pral pote kapital enstantane." Rezo neral yo te rezoud plizyè douzèn pwoblèm. Epi yo pral deside plis toujou. Tout lide evidan ki te egziste te bay anpil startups. Men, tout sa ki te sou sifas la te deja kolekte. Pandan de ane ki sot pase yo, mwen pa jwenn yon sèl nouvo lide pou itilize rezo neral yo. Pa yon sèl nouvo apwòch (byen, ok, gen kèk pwoblèm ak GANs).

Ak chak demaraj ki vin apre se pi plis ak plis konplèks. Li pa mande de mesye ki fòme yon newòn ankò lè l sèvi avèk done louvri. Li mande pou pwogramasyon, yon sèvè, yon ekip makè, sipò konplèks, elatriye.

Kòm yon rezilta, gen mwens demaraj. Men, gen plis pwodiksyon. Bezwen ajoute rekonesans plak machin? Genyen dè santèn de espesyalis ak eksperyans enpòtan sou mache a. Ou ka anboche yon moun epi nan yon koup de mwa anplwaye ou a pral fè sistèm nan. Oswa achte pare-fè. Men, fè yon nouvo demaraj? .. Fou!

Ou bezwen kreye yon sistèm swiv vizitè - poukisa peye pou yon pakèt moun sou lisans lè ou ka fè pwòp ou a nan 3-4 mwa, file li pou biznis ou.

Koulye a, rezo neral yo ap pase nan menm chemen an ke plizyè douzèn lòt teknoloji yo te ale nan.

Èske w sonje kijan konsèp "pwomotè sit entènèt la" chanje depi 1995? Mache a poko satire ak espesyalis. Genyen trè kèk pwofesyonèl. Men, mwen ka parye ke nan 5-10 ane pa pral gen anpil diferans ant yon pwogramè Java ak yon pwomotè rezo neral. Pral gen ase nan tou de espesyalis sou mache a.

Pral tou senpleman gen yon klas nan pwoblèm ki ka rezoud pa newòn. Gen yon travay ki parèt - anboche yon espesyalis.

"Kisa kap vini? Ki kote entèlijans atifisyèl pwomèt la ye?"

Men, isit la gen yon ti men enteresan enkonpreyansyon :)

Pile teknoloji ki egziste jodi a, aparamman, pa pral mennen nou nan entèlijans atifisyèl. Lide ak kado yo te lajman fin itilize tèt yo. Ann pale sou sa ki kenbe nivo devlopman aktyèl la.

Restriksyon yo

Ann kòmanse ak machin oto-kondwi. Li sanble klè ke li posib fè machin konplètman otonòm ak teknoloji jodi a. Men, nan konbyen ane sa a pral rive se pa klè. Tesla kwè ke sa a pral rive nan yon koup de ane -

Gen anpil lòt espesyalis, ki moun ki estime li yo dwe 5-10 ane.

Gen plis chans, nan opinyon mwen, nan 15 ane enfrastrikti nan vil yo pral tèt li chanje nan yon fason ke Aparisyon nan machin otonòm yo ap vin inevitab epi yo pral vin kontinyasyon li yo. Men, sa a pa ka konsidere entèlijans. Tesla modèn se yon tiyo trè konplèks pou filtraj done, rechèch ak fòmasyon. Sa yo se règ-règleman-règleman, koleksyon done ak filtè sou yo (isit la isit la Mwen te ekri yon ti kras plis sou sa a, oswa gade soti nan sa a mak).

Premye pwoblèm lan

E sa se kote nou wè premye pwoblèm fondamantal. Gwo done. Sa a se egzakteman sa ki te bay nesans aktyèl vag rezo neral ak aprantisaj machin. Sèjousi, fè yon bagay konplèks ak otomatik, ou bezwen anpil done. Pa sèlman anpil, men anpil, anpil. Nou bezwen algoritm otomatik pou koleksyon, make, ak itilizasyon yo. Nou vle fè machin nan wè kamyon yo fè fas a solèy la - nou dwe premye kolekte yon kantite ase nan yo. Nou vle machin nan pa ale fou ak yon bisiklèt boulonnés nan kòf la - plis echantiyon.

Anplis, yon egzanp pa ase. Dè santèn? Dè milye?

Dezyèm pwoblèm

Dezyèm pwoblèm — vizyalizasyon sa rezo neral nou an te konprann. Sa a se yon travay trè ki pa trivial. Jiska kounye a, kèk moun konprann ki jan yo vizyalize sa a. Atik sa yo trè resan, sa yo se jis kèk egzanp, menm si byen lwen:
Vizyalizasyon mani ak teksti. Li montre byen ki sa newòn nan gen tandans fikse sou + sa li wè kòm enfòmasyon kòmanse.

Vizyalizasyon Atansyon nan tradiksyon. An reyalite, atraksyon ka souvan itilize jisteman pou montre sa ki lakòz yon reyaksyon rezo konsa. Mwen te wè bagay sa yo pou tou de debogaj ak solisyon pwodwi. Gen anpil atik sou sijè sa a. Men, plis done yo konplike, se pi difisil pou konprann kijan pou reyalize yon vizyalizasyon solid.

Oke, wi, bon ansyen seri a nan "gade sa ki andedan may la nan filtè" Foto sa yo te popilè 3-4 ane de sa, men tout moun byen vit reyalize ke foto yo te bèl, men yo pa t gen anpil siyifikasyon.

Mwen pa t 'mansyone plizyè douzèn lòt gadjèt, metòd, antay, rechèch sou kòman yo montre andedan rezo a. Èske zouti sa yo travay? Èske yo ede w byen vit konprann ki pwoblèm nan ak debogaj rezo a?... Jwenn dènye pousan? Oke, se sou menm bagay la:

Ou ka gade nenpòt konpetisyon sou Kaggle. Ak yon deskripsyon sou fason moun pran desizyon final yo. Nou anpile 100-500-800 inite modèl epi li te travay!

Mwen egzajere, nan kou. Men, apwòch sa yo pa bay repons rapid ak dirèk.

Lè w gen ase eksperyans, ou te pike diferan opsyon, ou ka bay yon vèdik sou poukisa sistèm ou a te pran yon desizyon konsa. Men, li pral difisil pou korije konpòtman an nan sistèm nan. Enstale yon beki, deplase papòt la, ajoute yon seri done, pran yon lòt rezo backend.

Twazyèm pwoblèm

Twazyèm pwoblèm fondamantal — kadriyaj anseye estatistik, pa lojik. Estatistik sa a figi an:

Lojikman, li pa sanble anpil. Rezo neral yo pa aprann anyen konplèks sof si yo fòse yo. Yo toujou anseye siy ki pi senp posib. Ou gen je, nen, tèt? Se konsa, sa a se figi a! Oswa bay yon egzanp kote je pa vle di yon figi. Epi ankò - dè milyon de egzanp.

Gen anpil chanm nan pati anba a

Mwen ta di ke se twa pwoblèm mondyal sa yo ki kounye a limite devlopman nan rezo neral ak aprantisaj machin. Ak kote pwoblèm sa yo pa t 'limite li, li se deja aktivman itilize.

Sa a se fen a? Èske rezo neral moute?

Enkoni. Men, nan kou, tout moun espere pa.

Gen anpil apwòch ak direksyon pou rezoud pwoblèm fondamantal mwen te make pi wo a. Men, jiskaprezan, pa youn nan apwòch sa yo te fè li posib pou fè yon bagay fondamantalman nouvo, pou rezoud yon bagay ki poko rezoud. Jiskaprezan, tout pwojè fondamantal yo ap fèt sou baz apwòch ki estab (Tesla), oswa rete pwojè tès nan enstiti oswa kòporasyon (Google Brain, OpenAI).

Apeprè pale, direksyon prensipal la se kreye kèk reprezantasyon wo nivo nan done yo opinyon. Nan yon sans, "memwa". Egzanp ki pi senp nan memwa se divès kalite "Embedding" - reprezantasyon imaj. Oke, pou egzanp, tout sistèm rekonesans feminen. Rezo a aprann jwenn nan yon figi kèk reprezantasyon ki estab ki pa depann de wotasyon, ekleraj, oswa rezolisyon. Esansyèlman, rezo a minimize metrik "fas diferan yo lwen" ak "fas ki idantik yo fèmen."

Pou fòmasyon sa yo, yo bezwen dizèn ak dè santèn de milye egzanp. Men, rezilta a pote kèk nan rudiments yo nan "One-shot Learning". Koulye a, nou pa bezwen dè santèn de figi sonje yon moun. Jis yon figi e se tout sa nou ye ann chèche konnen!
Gen yon sèl pwoblèm... Griy la ka sèlman aprann objè ki senp san patipri. Lè w ap eseye distenge pa figi, men, pou egzanp, "moun pa rad" (travay Re-idantifikasyon) - bon jan kalite tonbe nan anpil lòd nan grandè. Ak rezo a pa ka aprann chanjman jistis evidan nan ang yo.

Ak aprann nan plizyè milyon egzanp se tou yon kalite plezi.

Gen travay pou redwi siyifikativman eleksyon yo. Pou egzanp, yon moun ka imedyatman sonje youn nan premye travay yo sou OneShot Aprantisaj soti nan Google:

Gen anpil travay sa yo, pou egzanp 1 oswa 2 oswa 3.

Gen yon sèl mwens - anjeneral fòmasyon travay byen sou kèk senp, "MNIST" egzanp. Epi lè w ap deplase nan travay konplèks, ou bezwen yon baz done gwo, yon modèl objè, oswa kèk kalite majik.
An jeneral, travay sou fòmasyon One-Shot se yon sijè trè enteresan. Ou jwenn anpil lide. Men, pou pati ki pi, de pwoblèm sa yo ke mwen te site (pretraining sou yon seri done gwo / enstabilite sou done konplèks) anpil entèfere ak aprantisaj.

Nan lòt men an, GAN-rezo jeneratif advèsè-apwoche sijè a nan Embedding. Ou te genlè li yon pakèt atik sou Habré sou sijè sa a. (1, 2,3)
Yon karakteristik nan GAN se fòmasyon nan kèk espas eta entèn (esansyèlman menm Embedding a), ki pèmèt ou trase yon imaj. Li kapab fas, kapab aksyon yo.

Pwoblèm nan ak GAN se ke pi konplèks objè a pwodwi, se pi difisil a dekri li nan lojik "dèlko-diskriminatè". Kòm yon rezilta, sèlman aplikasyon reyèl nan GAN yo tande pale de yo se DeepFake, ki, ankò, manipile reprezantasyon feminen (pou ki gen yon baz gwo).

Mwen te wè anpil lòt itilizasyon itil. Anjeneral kèk kalite riz ki enplike fini desen nan foto.

Epi ankò. Pa gen moun ki gen okenn lide ki jan sa a pral pèmèt nou avanse pou pi nan yon avni pi briyan. Reprezante lojik/espas nan yon rezo neral bon. Men, nou bezwen yon gwo kantite egzanp, nou pa konprann ki jan newòn nan reprezante sa a nan tèt li, nou pa konprann ki jan fè newòn nan sonje kèk lide reyèlman konplèks.

Aprantisaj ranfòsman - sa a se yon apwòch ki soti nan yon direksyon konplètman diferan. Se vre wi ou sonje ki jan Google bat tout moun nan Go. Dènye viktwa nan Starcraft ak Dota. Men, isit la tout bagay se lwen tèlman woz ak pwomèt. Li pale pi byen sou RL ak konpleksite li yo atik sa a.

Pou rezime yon ti tan sa otè a te ekri:

• Modèl soti nan bwat la pa anfòm / travay mal nan pifò ka yo
• Pwoblèm pratik yo pi fasil pou rezoud nan lòt fason. Boston Dynamics pa sèvi ak RL akòz konpleksite/enprevizib/konpleksite enfòmatik li
• Pou RL travay, ou bezwen yon fonksyon konplèks. Li souvan difisil pou kreye/ekri
• Li difisil pou fòme modèl. Ou dwe pase anpil tan pou ponpe epi soti nan optima lokal yo
• Kòm yon rezilta, li difisil pou repete modèl la, modèl la se enstab ak chanjman yo mwendr
• Souvan depase kèk modèl o aza, menm yon dèlko nimewo o aza

Pwen kle a se ke RL poko travay nan pwodiksyon an. Google gen kèk eksperyans ( 1, 2 ). Men, mwen pa te wè yon sèl sistèm pwodwi.

Memwa. Dezavantaj nan tout bagay ki dekri pi wo a se mank de estrikti. Youn nan apwòch yo pou eseye pwòp tout bagay sa yo se bay rezo neral la ak aksè nan memwa separe. Pou li ka anrejistre ak reekri rezilta etap li yo la. Lè sa a, rezo neral la ka detèmine pa eta memwa aktyèl la. Sa a se trè menm jan ak processeurs klasik ak òdinatè.

Ki pi popilè a ak popilè atik - soti nan DeepMind:

Li sanble ke sa a se kle nan konprann entèlijans? Men, pwobableman pa. Sistèm nan toujou mande pou yon gwo kantite done pou fòmasyon. Epi li travay sitou ak done estriktire tabul. Anplis, lè Facebook te deside yon pwoblèm menm jan an, Lè sa a, yo te pran chemen an "vis memwa, jis fè newòn nan pi konplike, epi yo gen plis egzanp - epi li pral aprann poukont li."

Debouche. Yon lòt fason pou kreye yon memwa ki gen sans se pran menm embeddings yo, men pandan fòmasyon, prezante kritè adisyonèl ki ta pèmèt ou mete aksan sou "siyifikasyon" nan yo. Pou egzanp, nou vle fòme yon rezo neral yo fè distenksyon ant konpòtman moun nan yon magazen. Si nou te swiv chemen estanda a, nou ta dwe fè yon douzèn rezo. Youn ap chèche yon moun, dezyèm lan ap detèmine sa l ap fè, twazyèm lan se laj li, katriyèm lan se sèks li. Lojik separe gade pati nan magazen an kote li fè/ki resevwa fòmasyon pou fè sa. Twazyèm lan detèmine trajectoire li yo, elatriye.

Oswa, si te gen yon kantite done enfini, Lè sa a, li ta posib pou fòme yon rezo pou tout rezilta posib (evidamman, yon seri done konsa pa ka kolekte).

Apwòch desantrel la di nou - ann fòme rezo a pou li menm li ka fè distenksyon ant konsèp. Se konsa ke li ta fòme yon embedding ki baze sou videyo a, kote yon zòn ta detèmine aksyon an, youn ta detèmine pozisyon nan etaj la nan tan, youn ta detèmine wotè moun nan, ak youn ta detèmine sèks moun nan. An menm tan an, lè fòmasyon, mwen ta renmen prèske pa ankouraje rezo a ak konsèp kle sa yo, men pito pou li mete aksan sou ak gwoup zòn. Gen kèk atik sa yo (kèk nan yo 1, 2, 3) ak an jeneral yo byen teyorik.

Men, direksyon sa a, omwen teyorikman, ta dwe kouvri pwoblèm yo ki nan lis nan kòmansman an.

Dekonpozisyon imaj dapre paramèt "koulè miray / koulè etaj / fòm objè / koulè objè / elatriye."

Dekonpozisyon yon figi dapre paramèt "gwosè, sousi, oryantasyon, koulè po, elatriye."

Lòt

Gen anpil lòt zòn, ki pa tèlman mondyal, ki pèmèt ou yon jan kanmenm diminye baz done a, travay ak done ki pi etewojèn, elatriye.

Atansyon. Li pwobableman pa fè sans pou separe sa a kòm yon metòd separe. Jis yon apwòch ki amelyore lòt moun. Anpil atik yo dedye a li (1,2,3). Pwen atansyon a se amelyore repons rezo a espesyalman nan objè enpòtan pandan fòmasyon. Souvan pa kèk kalite deziyasyon sib ekstèn, oswa yon ti rezo ekstèn.

3D simulation. Si ou fè yon bon motè 3D, ou ka souvan kouvri 90% nan done fòmasyon yo ak li (mwen menm wè yon egzanp kote prèske 99% nan done yo te kouvri pa yon motè bon). Gen anpil lide ak antay sou kòman yo fè yon rezo ki resevwa fòmasyon sou yon motè 3D travay lè l sèvi avèk done reyèl (Fine réglage, transfè style, elatriye). Men, souvan fè yon bon motè se plizyè lòd de grandè pi difisil pase kolekte done. Egzanp lè motè yo te fè:
Fòmasyon robo (Google, braingarden)
Fòmasyon rekonesans machandiz nan magazen an (men nan de pwojè nou te fè yo, nou te kapab fasilman fè san li).
Fòmasyon nan Tesla (ankò, videyo ki anwo a).

Jwenn

Tout atik la se, nan yon sans, konklizyon. Pwobableman mesaj prensipal mwen te vle fè se te "gratis yo fini, newòn yo pa bay solisyon senp ankò." Koulye a, nou bezwen travay di pou pran desizyon konplèks. Oswa travay di fè rechèch syantifik konplèks.

An jeneral, sijè a se diskite. Petèt lektè yo gen plis egzanp enteresan?

Sous: www.habr.com