Neural nẹtiwọki. Nibo ni gbogbo eyi nlọ?

Nkan naa ni awọn ẹya meji:

1. Apejuwe kukuru ti diẹ ninu awọn faaji nẹtiwọọki fun wiwa ohun ni awọn aworan ati ipin aworan pẹlu awọn ọna asopọ oye julọ si awọn orisun fun mi. Mo gbiyanju lati yan awọn alaye fidio ati pelu ni Russian.
2. Apa keji jẹ igbiyanju lati ni oye itọsọna ti idagbasoke ti awọn faaji nẹtiwọọki neural. Ati awọn imọ-ẹrọ ti o da lori wọn.

Ṣe nọmba 1 - Agbọye awọn faaji nẹtiwọọki nkankikan ko rọrun

Gbogbo rẹ bẹrẹ nipasẹ ṣiṣe awọn ohun elo demo meji fun iyasọtọ ohun ati wiwa lori foonu Android kan:

• Pada-opin demo, nigbati data ti wa ni ilọsiwaju lori olupin ati gbigbe si foonu. Pipin aworan ti awọn oriṣi mẹta ti awọn beari: brown, dudu ati teddi.
• Iwaju-opin demonigbati data ti wa ni ilọsiwaju lori foonu funrararẹ. Wiwa awọn nkan (iwari ohun) ti awọn oriṣi mẹta: hazelnuts, ọpọtọ ati awọn ọjọ.

Iyatọ wa laarin awọn iṣẹ-ṣiṣe ti iyasọtọ aworan, wiwa ohun ni aworan ati aworan ipin. Nitorinaa, iwulo wa lati wa iru awọn faaji nẹtiwọọki aifọkanbalẹ ṣe iwari awọn nkan ninu awọn aworan ati eyiti o le pin. Mo rii awọn apẹẹrẹ atẹle ti awọn ayaworan pẹlu awọn ọna asopọ oye julọ si awọn orisun fun mi:

• Awọn jara ti awọn faaji ti o da lori R-CNN (Rawọn agbegbe pẹlu Convolution Neural NAwọn ẹya etworks): R-CNN, R-CNN Yara, Yiyara R-CNN, Boju-boju R-CNN. Lati ṣe awari ohun kan ninu aworan kan, awọn apoti ifunmọ ni a ya sọtọ nipa lilo ẹrọ Nẹtiwọọki igbero Agbegbe (RPN). Ni ibẹrẹ, ẹrọ wiwa Yiyan ti o lọra ni a lo dipo RPN. Lẹhinna awọn agbegbe ti o lopin ti a yan jẹ ifunni si titẹ sii ti nẹtiwọọki alaiṣe deede fun isọdi. Itumọ R-CNN ni o ni awọn “pato” losiwajulosehin lori awọn agbegbe ti o lopin, lapapọ to 2000 nṣiṣẹ nipasẹ nẹtiwọọki inu inu AlexNet. Awọn losiwajulosehin “fun” fojuhan fa fifalẹ iyara sisẹ aworan. Nọmba awọn losiwajulosehin ti o han gbangba ti n ṣiṣẹ nipasẹ nẹtiwọọki nkankikan inu n dinku pẹlu ẹya tuntun kọọkan ti faaji, ati pe awọn dosinni ti awọn ayipada miiran ni a tun ṣe lati mu iyara pọ si ati lati rọpo iṣẹ-ṣiṣe ti wiwa ohun pẹlu ipin ohun ni Mask R-CNN.
• YOLO (You Only Ltun Once) jẹ nẹtiwọọki nkankikan akọkọ ti o ṣe idanimọ awọn nkan ni akoko gidi lori awọn ẹrọ alagbeka. Ẹya iyasọtọ: iyatọ awọn nkan ni ṣiṣe kan (kan wo lẹẹkan). Iyẹn ni, ninu faaji YOLO ko si awọn “papa” ti o han gbangba, eyiti o jẹ idi ti nẹtiwọọki n ṣiṣẹ ni iyara. Fun apẹẹrẹ, afiwe yii: ni NumPy, nigbati o ba n ṣiṣẹ pẹlu awọn matrices, ko si awọn loops “fun” ti o han gbangba, eyiti o wa ninu NumPy ni awọn ipele kekere ti faaji nipasẹ ede siseto C. YOLO nlo grid ti awọn window ti a ti pinnu tẹlẹ. Lati ṣe idiwọ ohun kanna lati ni asọye ni ọpọlọpọ igba, a ti lo olùsọdipúpọ agbekọja window (IoU). Iikorita oVer Unyo). Yi faaji nṣiṣẹ lori kan jakejado ibiti o si ni ga lagbara: Awoṣe le ṣe ikẹkọ lori awọn fọto ṣugbọn tun ṣe daradara lori awọn aworan ti a fi ọwọ ṣe.
• SSD (Sìrora Sgbona MultiBox Detector) - “awọn hakii” aṣeyọri julọ ti faaji YOLO ni a lo (fun apẹẹrẹ, idinku ti kii ṣe ti o pọju) ati pe a ṣafikun awọn tuntun lati jẹ ki nẹtiwọọki aifọkanbalẹ ṣiṣẹ ni iyara ati deede. Ẹya iyatọ: iyatọ awọn nkan ni ṣiṣe kan nipa lilo akoj ti a fun ti awọn window (apoti aiyipada) lori jibiti aworan. Jibiti aworan ti wa ni koodu ni awọn tenors convolution nipasẹ iparọsẹ ti o tẹle ati awọn iṣẹ iṣiṣẹ pọ (pẹlu iṣẹ ṣiṣe pọpọ ti o pọju, iwọn aaye dinku). Ni ọna yii, awọn nkan nla ati kekere ni a pinnu ni ṣiṣe nẹtiwọọki kan.
• MobileSSD (mobileNetV2+ SSD) jẹ apapọ ti awọn faaji nẹtiwọọki nkankikan meji. Nẹtiwọọki akọkọ MobileNetV2 ṣiṣẹ ni kiakia ati ki o mu ti idanimọ išedede. MobileNetV2 ti wa ni lilo dipo VGG-16, eyi ti a ti akọkọ lo ninu atilẹba article. Nẹtiwọọki SSD keji pinnu ipo ti awọn nkan ninu aworan naa.
• SqueezeNet - Nẹtiwọọki nkankikan ti o kere pupọ ṣugbọn deede. Nipa ara rẹ, ko yanju iṣoro ti wiwa ohun. Sibẹsibẹ, o le ṣee lo ni apapo ti o yatọ si faaji. Ati lo ninu awọn ẹrọ alagbeka. Ẹya pataki ni pe data akọkọ jẹ fisinuirindigbindigbin sinu mẹrin 1 × 1 awọn asẹ convolutional ati lẹhinna gbooro si 1 × 1 mẹrin ati awọn asẹ ikọluja mẹrin 3 × 3. Ọkan iru aṣetunṣe ti funmorawon-imugboroosi data ni a npe ni "Module Fire".
• DeepLab (Ipin Aworan Itumọ pẹlu Awọn Net Convolutional Jin) - ipin awọn nkan ninu aworan naa. Ẹya iyasọtọ ti faaji jẹ ariyanjiyan ti o gbooro, eyiti o ṣe itọju ipinnu aye. Eyi ni atẹle nipasẹ ipele ṣiṣe-ifiweranṣẹ ti awọn abajade nipa lilo awoṣe iṣeeṣe ayaworan (aaye ailewu), eyiti o fun ọ laaye lati yọ ariwo kekere kuro ni ipin ati mu didara aworan ti a pin. Sile awọn formidable orukọ "ayaworan iṣeeṣe awoṣe" hides a mora Gaussian àlẹmọ, eyi ti o jẹ isunmọ nipa marun ojuami.
• Gbiyanju lati ro ero ẹrọ naa RefineDet (Ẹyọ-Shot Ṣe atuntoment Neural Network fun Nkan Detection), ṣugbọn Emi ko loye pupọ.
• Mo tun wo bii imọ-ẹrọ “akiyesi” ṣe n ṣiṣẹ: fidio1, fidio2, fidio3. Ẹya iyasọtọ ti faaji “akiyesi” ni yiyan aifọwọyi ti awọn agbegbe ti akiyesi pọ si ni aworan (RoI, Rawọn ẹya of Ianfani) lilo nẹtiwọọki nkankikan ti a pe ni Ẹka akiyesi. Awọn agbegbe ti akiyesi ti o pọ si jẹ iru si awọn apoti didi, ṣugbọn ko dabi wọn, wọn ko wa titi ninu aworan ati pe o le ni awọn aala ti ko dara. Lẹhinna, lati awọn agbegbe ti akiyesi ti o pọ si, awọn ami (awọn ẹya ara ẹrọ) ti ya sọtọ, eyiti a “jẹun” si awọn nẹtiwọọki aifọkanbalẹ loorekoore pẹlu awọn ayaworan LSDM, GRU tabi Vanilla RNN. Awọn nẹtiwọọki ti ara loorekoore ni anfani lati ṣe itupalẹ ibatan ti awọn ẹya ni ọkọọkan. Awọn nẹtiwọọki ti o nwaye loorekoore ni a lo lakoko lati tumọ ọrọ si awọn ede miiran, ati ni bayi fun itumọ awọn aworan si ọrọ и ọrọ si aworan.

Bi a ṣe ṣawari awọn ile-iṣọ wọnyi Mo rii pe emi ko loye ohunkohun. Ati pe kii ṣe pe nẹtiwọọki nkankikan mi ni awọn iṣoro pẹlu ẹrọ akiyesi. Awọn ẹda ti gbogbo awọn faaji wọnyi dabi diẹ ninu iru hackathon nla, nibiti awọn onkọwe ti njijadu ni awọn gige. Gige jẹ ojutu iyara si iṣoro sọfitiwia ti o nira. Iyẹn ni, ko si asopọ ọgbọn ti o han ati oye laarin gbogbo awọn faaji wọnyi. Gbogbo ohun ti o ṣọkan wọn jẹ ṣeto ti awọn hakii aṣeyọri julọ ti wọn yawo lọwọ ara wọn, pẹlu ọkan ti o wọpọ fun gbogbo eniyan. titi-lupu convolution isẹ (aṣiṣe backpropagation, backpropagation). Rara awọn ọna šiše ero! Ko ṣe kedere kini lati yipada ati bii o ṣe le mu awọn aṣeyọri ti o wa tẹlẹ dara si.

Bi abajade aini asopọ ọgbọn laarin awọn gige, wọn nira pupọ lati ranti ati lo ninu iṣe. Eyi jẹ imọ ti o pin. Ni o dara julọ, awọn akoko diẹ ti o nifẹ ati airotẹlẹ ni a ranti, ṣugbọn pupọ julọ ohun ti o loye ati ti ko ni oye parẹ lati iranti laarin awọn ọjọ diẹ. Yoo dara ti o ba ranti ni ọsẹ kan o kere ju orukọ ti faaji. Ṣugbọn awọn wakati pupọ ati paapaa awọn ọjọ ti akoko iṣẹ ni a lo kika awọn nkan ati wiwo awọn fidio atunyẹwo!

olusin 2 – Zoo of Neural Networks

Pupọ julọ awọn onkọwe ti awọn nkan imọ-jinlẹ, ni imọran ti ara ẹni, ṣe ohun gbogbo ti ṣee ṣe lati rii daju pe paapaa imọ-ipin-ipin yii ko loye nipasẹ oluka. Ṣugbọn awọn gbolohun ọrọ alabaṣe ni awọn gbolohun ila mẹwa mẹwa pẹlu awọn agbekalẹ ti a mu “jade kuro ninu afẹfẹ tinrin” jẹ koko-ọrọ fun nkan lọtọ (iṣoro gbejade tabi parun).

Fun idi eyi, iwulo wa lati ṣe eto alaye nipa lilo awọn nẹtiwọọki nkankikan ati, nitorinaa, mu didara oye ati iranti sii. Nitorinaa, koko akọkọ ti itupalẹ ti awọn imọ-ẹrọ kọọkan ati awọn ayaworan ti awọn nẹtiwọọki nkankikan atọwọda jẹ iṣẹ atẹle: wa ibi ti gbogbo nkan n lọ, kii ṣe ẹrọ ti eyikeyi nẹtiwọọki nkankikan pato lọtọ.

Nibo ni gbogbo eyi nlọ? Awọn abajade akọkọ:

• Nọmba awọn ibẹrẹ ikẹkọ ẹrọ ni ọdun meji sẹhin ṣubu ndinku. Idi ti o ṣee ṣe: “awọn nẹtiwọọki aifọkanbalẹ kii ṣe nkan tuntun mọ.”
• Ẹnikẹni le ṣẹda nẹtiwọọki nkankikan ti n ṣiṣẹ lati yanju iṣoro ti o rọrun. Lati ṣe eyi, mu awoṣe ti a ti ṣetan lati “zoo awoṣe” ki o kọ ipele ti o kẹhin ti nẹtiwọọki nkankikan (gbe eko) lori setan-ṣe data lati Google Dataset Search tabi lati 25 ẹgbẹrun Kaggle datasets ni ofe awọsanma Jupyter Notebook.
• Awọn aṣelọpọ nla ti awọn nẹtiwọọki nkankikan bẹrẹ lati ṣẹda "awọn ẹranko awoṣe" (zoo awoṣe). Lilo wọn o le yara ṣẹda ohun elo iṣowo kan: TF ibudo fun TensorFlow, MMDetection fun PyTorch, Detectron fun Caffe2, chainer-modelzoo fun Chainer ati ẹda.
• Awọn nẹtiwọki Neural ṣiṣẹ ni akoko gidi (gidi-akoko) lori awọn ẹrọ alagbeka. Lati 10 si 50 awọn fireemu fun iṣẹju kan.
• Lilo awọn nẹtiwọọki nkankikan ni awọn foonu (TF Lite), ninu awọn aṣawakiri (TF.js) ati ninu awọn nkan ile (IoT, Iori ayelujara of Tawọn ibọsẹ). Paapaa ninu awọn foonu ti o ṣe atilẹyin awọn nẹtiwọọki nkankikan tẹlẹ ni ipele ohun elo (awọn accelerators nkankikan).
• “Gbogbo ohun elo, ohun kan ti aṣọ, ati boya paapaa ounjẹ yoo ni IP-v6 adirẹsi ati ibasọrọ pẹlu kọọkan miiran" - Sebastian Thrun.
• Nọmba awọn atẹjade lori ẹkọ ẹrọ ti bẹrẹ lati dagba kọja ofin Moore (ilọpo meji ni gbogbo ọdun meji) lati ọdun 2015. O han ni, a nilo awọn nẹtiwọọki nkankikan fun itupalẹ awọn nkan.
• Awọn imọ-ẹrọ atẹle wọnyi n gba olokiki:
  • PyTorch - gbaye-gbale n dagba ni iyara ati pe o dabi ẹni pe o bori TensorFlow.
  • Aṣayan aifọwọyi ti hyperparameters AutoML – gbale ti wa ni dagba laisiyonu.
  • Dinku diẹdiẹ ni deede ati alekun iyara iṣiro: iruju kannaa, algoridimu igbelaruge, awọn iṣiro aiṣedeede (isunmọ), iṣiro (nigbati awọn iwuwo ti nẹtiwọọki nkankikan ti yipada si awọn odidi ati pipọ), awọn accelerators nkankikan.
  • Gbigbe awọn aworan si ọrọ и ọrọ si aworan.
  • Ṣẹda Awọn nkan XNUMXD lati fidio, bayi ni akoko gidi.
  • Ohun akọkọ nipa DL ni pe ọpọlọpọ data wa, ṣugbọn gbigba ati aami ko rọrun. Nitorinaa, adaṣe isamisi n dagbasoke (aládàáṣiṣẹ asọye) fun awọn nẹtiwọọki nkankikan nipa lilo awọn nẹtiwọọki nkankikan.
• Pẹlu awọn nẹtiwọọki nkankikan, Imọ-ẹrọ Kọmputa lojiji di ijinle sayensi esiperimenta o si dide aawọ reproducibility.
• Owo IT ati olokiki ti awọn nẹtiwọọki nkankikan farahan nigbakanna nigbati iširo di iye ọja. Awọn aje ti wa ni iyipada lati kan goolu ati owo aje si goolu-owo-iṣiro. Wo nkan mi lori aje ati idi fun hihan IT owo.

Diẹdiẹ tuntun kan yoo han Ilana siseto ML/DL (Ẹkọ Ẹrọ & Ẹkọ Jin), eyiti o da lori aṣoju eto naa gẹgẹbi ṣeto ti awọn awoṣe nẹtiwọọki alakikan ti oṣiṣẹ.

Ṣe nọmba 3 - ML/DL gẹgẹbi ilana siseto tuntun

Sibẹsibẹ, ko han rara "imọran nẹtiwọki neural", laarin eyiti o le ronu ati ṣiṣẹ ni ọna ṣiṣe. Ohun ti a npe ni bayi ni "ero" jẹ esiperimenta gangan, awọn algoridimu heuristic.

Awọn ọna asopọ si mi ati awọn orisun miiran:

• Iwe Iroyin Imọ-jinlẹ Data. Ṣiṣe aworan ni akọkọ. Ẹnikẹ́ni tí ó bá fẹ́ gbà á gbọ́dọ̀ fi e-mail ránṣẹ́ (foobar167<gaf-gaf>gmail<dot>com). Mo fi awọn ọna asopọ ranṣẹ si awọn nkan ati awọn fidio bi ohun elo ṣe n ṣajọpọ.
• Ìwò akojọ ti awọn courses ati ìwéeyiti mo ti kọja ati eyiti Emi yoo fẹ lati kọja.
• Awọn iṣẹ ikẹkọ ati awọn fidio fun awọn olubere, nibiti o yẹ ki o bẹrẹ ikẹkọ awọn nẹtiwọọki nkankikan. Plus panfuleti "Ifihan si Ẹkọ Ẹrọ ati Awọn Nẹtiwọọki Neural Artificial".
• Awọn Irinṣẹ Wulo, nibiti gbogbo eniyan yoo rii nkan ti o nifẹ fun ara wọn.
• A ri wọn lalailopinpin wulo. awọn ikanni fidio fun itupalẹ awọn nkan ijinle sayensi nipa Data Imọ. Wa, ṣe alabapin si wọn ki o kọja lori awọn ọna asopọ si awọn ẹlẹgbẹ rẹ ati emi paapaa. Awọn apẹẹrẹ:
  • Awọn iwe iṣẹju iṣẹju meji
  • Henry AI Labs
  • Yannic Kilcher
  • CodeEmporium
  • Buloogi Chengwei Zhang aka Tony607 pẹlu awọn ilana igbesẹ-nipasẹ-igbesẹ ati orisun ṣiṣi.

Ṣayẹwo bayi!

orisun: www.habr.com