Netwọk akwara. Ebee ka ihe a niile na-aga?

Akụkọ ahụ nwere akụkụ abụọ:

1. Nkọwa dị nkenke nke ụfọdụ ụlọ ọrụ netwọkụ maka nchọpụta ihe na onyonyo yana akụkụ onyonyo nwere njikọ kacha nghọta na akụrụngwa maka m. Agbalịrị m ịhọrọ nkọwa vidiyo na ọkachamma na Russian.
2. Akụkụ nke abụọ bụ mgbalị iji ghọta ntụziaka nke mmepe nke ụlọ ọrụ netwọk neural. Na teknụzụ dabere na ha.

Onyonyo 1 - Ịghọta usoro nhazi netwọkụ akwara adịghị mfe

Ọ malitere site na ịme ngwa ngosi abụọ maka nhazi ihe na nchọpụta ihe na ekwentị gam akporo:

• Ngosi ngwụcha ngwụcha, mgbe a na-ahazi data na sava wee bufee ya na ekwentị. Nhazi onyonyo nke ụdị anụ ọhịa bea atọ: agba aja aja, ojii na teddy.
• Ngosi ngwụcha ngwụchamgbe a na-ahazi data na ekwentị n'onwe ya. Nchọpụta ihe (nchọpụta ihe) nke ụdị atọ: hazelnuts, fig na ụbọchị.

Enwere ihe dị iche n'etiti ọrụ nke nhazi onyonyo, nchọpụta ihe na onyonyo na foto nkebi. Ya mere, ọ dị mkpa ịchọpụta ụlọ ọrụ netwọkụ akwara na-achọpụta ihe dị na onyonyo yana nke nwere ike ikewa. Achọtara m ihe atụ ndị a nke ụkpụrụ ụlọ nwere njikọ kachasị nghọta maka m:

• Usoro nke architectures dabere na R-CNN (Rmpaghara na Convolution Neural Natụmatụ etworks): R-CNN, ngwa ngwa R-CNN, Ọsọ R-CNN, Ihe mkpuchi R-CNN. Iji chọpụta ihe dị n'onyinyo, a na-ekenye igbe ejikọtara site na iji usoro Regional Proposal Network (RPN). Na mbido, ejiri usoro nchọta Nhọrọ dị nwayọ karịa RPN. Mgbe ahụ, mpaghara ndị nwere oke ahọpụtara na-enye nri na ntinye nke netwọkụ akwara ozi maka nhazi ọkwa. Ihe owuwu R-CNN nwere loops “maka” doro anya na mpaghara nwere oke, na-agbakọta ihe ruru 2000 na-aga site na netwọkụ ime AlexNet. Loops “maka” doro anya na-ebelata ọsọ nhazi onyonyo. Ọnụ ọgụgụ nke loops doro anya na-agba ọsọ site na netwọkụ akwara dị n'ime na-ebelata na ụdị ọhụrụ ọ bụla nke ihe owuwu ahụ, a na-emekwa ọtụtụ mgbanwe ndị ọzọ iji mee ka ọsọ ọsọ na iji dochie ọrụ nchọpụta ihe na nkebi ihe na Mask R-CNN.
• YOLO (You Only LOok Once) bụ netwọkụ akwara ozi izizi nke ghọtara ihe ozugbo na ngwaọrụ mkpanaka. Ihe dị iche iche: ịmata ihe dị iche iche n'otu ọsọ (naanị lee anya otu ugboro). Nke ahụ bụ, na ụlọ ọrụ YOLO ọ dịghị ihe doro anya "maka" loops, nke mere na netwọk na-arụ ọrụ ngwa ngwa. Dịka ọmụmaatụ, ihe atụ a: na NumPy, mgbe ị na-arụ ọrụ na matrices, ọ dịghịkwa loops "maka" doro anya, nke a na-emejuputa na NumPy na ọkwa dị ala nke ihe owuwu site na asụsụ mmemme C. YOLO na-eji grid nke windo ndị a kara aka. Iji gbochie ịkọwa otu ihe ahụ ọtụtụ oge, a na-eji ọnụọgụ overlap window (IoU). Injikọ oVer Uebe). Ihe owuwu a na-arụ ọrụ n'ọtụtụ dị iche iche ma nwee elu ike: Enwere ike ịzụ ihe nlereanya na foto mana ọ ka na-arụ ọrụ nke ọma na eserese aka.
• SSD (Sukwu SMultiBox dị ọkụ Detector) - A na-eji "mbanye anataghị ikike" kachasị nke ọma nke ụlọ ọrụ YOLO (dịka ọmụmaatụ, nkwụsị na-abụghị nke kachasị) na ndị ọhụrụ na-agbakwunye na-eme ka netwọk akwara na-arụ ọrụ ngwa ngwa na nke ziri ezi. Njirimara pụrụ iche: ịmata ihe dị iche iche n'otu ọsọ site na iji grid nke windo (igbe ndabara) na pyramid oyiyi. A na-etinye pyramid onyonyo a na convolution tenors site na convolution na-aga n'ihu na ịrụ ọrụ n'ịgbakọ ọnụ (site n'ịrụ nnukwu ọdọ mmiri, akụkụ oghere na-ebelata). N'ụzọ dị otú a, a na-ekpebi ma nnukwu na obere ihe na otu netwọk na-agba ọsọ.
• MobileSSD (mobileNetV2+ SSD) bụ ngwakọta nke ụlọ ọrụ netwọkụ akwara abụọ. Netwọk mbụ MobileNetV2 na-arụ ọrụ ngwa ngwa ma na-abawanye nke ọma njirimara. A na-eji MobileNetV2 kama VGG-16, nke ejiri na mbụ mee ihe edemede mbụ. Netwọk SSD nke abụọ na-ekpebi ebe ihe dị na onyonyo a.
• Netwọk squeeze - netwọkụ akwara dị obere mana ziri ezi. Site n'onwe ya, ọ naghị edozi nsogbu nke nchọpụta ihe. Otú ọ dị, enwere ike iji ya na ngwakọta nke ụlọ ọrụ dị iche iche. Na-eji na mobile ngwaọrụ. Akụkụ pụrụ iche bụ na a na-ebu ụzọ chịkọta data ahụ n'ime ihe nzacha convolutional anọ 1 × 1 wee gbasaa n'ime ihe nzacha convolutional anọ 1 × 1 na anọ 3 × 3. Otu n'ime ihe ndị dị otú ahụ nke mkpakọ-mgbasa data bụ a na-akpọ "Ọkụ Module".
• DeepLab (Semantic Image Segmentation with Deep Convolutional Nets) - nkewa nke ihe dị na foto a. Akụkụ pụrụ iche nke ihe owuwu ahụ bụ convolution gbasasịrị, nke na-echekwa mkpebi oghere. Nke a na-esote usoro nhazi post-processing nke nsonaazụ ya site na iji ihe ngosi ihe ngosi nke puru omume (n'ọnọdụ ọnọdụ ọnọdụ), nke na-enye gị ohere iwepụ obere mkpọtụ na nkebi ma melite ogo nke ihe oyiyi ahụ. N'azụ aha ahụ jọgburu onwe ya "ihe atụ nke puru omume nke eserese" na-ezochi ihe nzacha Gaussian nke a na-ahụkarị, nke ejiri isi ise were ihe dị ka.
• Gbaliri ịchọpụta ngwaọrụ ahụ RefineDet (Onwe-Mgba Deziement Neural Network maka ihe ọection), mana aghọtachaghị m nke ukwuu.
• M lekwara anya ka teknụzụ “nlebara anya” si arụ ọrụ: vidiyo1, vidiyo2, vidiyo3. Akụkụ pụrụ iche nke ihe owuwu “nlebara anya” bụ nhọrọ akpaka nke mpaghara nlebara anya na onyonyo a (RoI, Rụsụụ ndị agha of Immasị) na-eji netwọk akwara akpọrọ Attention Unit. Mpaghara nke nlebara anya na-adị ka igbe nchikota, mana n'adịghị ka ha, edobereghị ha na onyonyo a ma nwee ike nwee oke agba. Mgbe ahụ, site na mpaghara nke nlebara anya na-abawanye, ihe ịrịba ama (atụmatụ) dịpụrụ adịpụ, nke a na-enye "nri" na netwọk neural ugboro ugboro na architectures. LSDM, GRU ma ọ bụ Vanilla RNN. Netwọk neural na-emegharị ugboro ugboro na-enwe ike nyochaa mmekọrịta nke atụmatụ n'usoro. Ejiri netwọkụ akwara ozi ugboro ugboro iji tụgharịa asụsụ ederede n'asụsụ ndị ọzọ, ma ugbu a maka ntụgharị asụsụ onyonyo na ederede и ederede gaa na onyonyo.

Ka anyị na-enyocha ụlọ ndị a Achọpụtara m na aghọtaghị m ihe ọ bụla. Ma ọ bụghị na netwọk akwara m nwere nsogbu na usoro nlebara anya. Ihe okike nke ụlọ ndị a niile dị ka ụdị nnukwu hackathon, ebe ndị edemede na-asọ mpi na hacks. Mbanye anataghị ikike bụ ihe ngwọta dị ngwa maka nsogbu ngwanrọ siri ike. Ya bụ, ọ dịghị njikọ ezi uche dị na ya anya na nghọta n'etiti ụlọ ndị a niile. Ihe niile na-ejikọ ha bụ usoro mbanye anataghị ikike kacha aga nke ọma nke ha na-agbaziri n'aka ibe ha, gbakwunyere nke a na-ahụkarị maka mmadụ niile. ọrụ convolution mechiri emechi (njehie backpropagation, backpropagation). Mba usoro echiche! O doghị anya ihe ị ga-agbanwe yana otu esi ebuli mmezu dị adị.

N'ihi enweghị njikọ ezi uche dị n'etiti hacks, ha siri ike icheta na itinye n'ọrụ. Nke a bụ ihe ọmụma gbawara agbawa. Nke kachasị mma, a na-echeta oge ole na ole na-adọrọ mmasị na nke a na-atụghị anya ya, ma ọtụtụ n'ime ihe a ghọtara na nke a na-apụghị ịghọta aghọta na-apụ n'anya n'ime ụbọchị ole na ole. Ọ ga-adị mma ma ọ bụrụ n'ime otu izu ị na-echeta ma ọ dịkarịa ala aha ụlọ ahụ. Ma a na-eji ọtụtụ awa na ọbụna ụbọchị nke oge ọrụ agụ akụkọ na ikiri vidiyo nyocha!

Onyonyo 2 - Zoo nke Neural Networks

Ọtụtụ ndị na-ede akwụkwọ sayensị, n'echiche nke m, na-eme ihe niile enwere ike ime iji hụ na ọbụna ihe ọmụma a nke kewara ekewa adịghị aghọta onye na-agụ ya. Mana nkebi ahịrịokwu dị n'ahịrị ahịrị iri nwere usoro ewepụrụ "site na ikuku dị mkpa" bụ isiokwu maka edemede dị iche (nsogbu. bipute ma obu laa n'iyi).

N'ihi nke a, ọ dị mkpa ịhazi ozi site na iji netwọk neural ma, si otú a na-abawanye ogo nghọta na n'isi. Ya mere, isi isiokwu nke nyocha nke teknụzụ onye ọ bụla na ihe owuwu nke netwọkụ akwara akwara bụ ọrụ ndị a: chọpụta ebe ihe niile na-aga, na ọ bụghị ngwaọrụ nke netwọk akwara ọ bụla akọwapụtara iche.

Ebee ka ihe a niile na-aga? Isi nsonaazụ:

• Ọnụọgụ mmalite mmụta igwe n'ime afọ abụọ gara aga dara nke ukwuu. Ihe nwere ike ime: "netwọk akwara abụghịzi ihe ọhụrụ."
• Onye ọ bụla nwere ike ịmepụta netwọk akwara na-arụ ọrụ iji dozie nsogbu dị mfe. Iji mee nke a, were ihe nlereanya dị njikere site na "zoo model" ma zụọ oyi akwa ikpeazụ nke netwọk akwara (nyefee mmụta) na njikere mere data si Ọchụchọ dataset Google ma obu site na 25 puku Kaggle datasets n'efu Akwụkwọ ndetu Jupyter igwe ojii.
• Nnukwu ndị na-emepụta netwọkụ akwara malitere ịmepụta "Zoos ụdị" (Zoo model). Iji ha ị nwere ike mepụta ngwa azụmahịa ngwa ngwa: TF Hub maka TensorFlow, MMD nkọwa maka PyTorch, Detectron maka Caffe2, chainer-modelzoo maka Chainer na nri.
• Netwọk Neural na-arụ ọrụ ozugbo (ezigbo oge) na ngwaọrụ mkpanaka. Site na okpokolo agba 10 ruo 50 kwa nkeji.
• Ojiji nke netwọkụ akwara ozi na ekwentị (TF Lite), na ihe nchọgharị (TF.js) na n'ime ihe ụlọ (IoT, Intanetị of Tikpe). Karịsịa na ekwentị na-akwadolarị netwọkụ akwara ozi na ọkwa ngwaike (ndị na-eme ngwa ngwa akwara).
• “Ngwaọrụ ọ bụla, uwe, na ikekwe ọbụna nri ga-enwe adreesị IP-v6 na-ekwurịta okwu n'etiti onwe ha" - Sebastian Thrun.
• Ọnụọgụ akwụkwọ na mmụta igwe amalitela itolite gafere iwu Moore (na-eji okpukpu abụọ kwa afọ abụọ) kemgbe 2015. N'ụzọ doro anya, anyị chọrọ netwọkụ akwara ozi maka nyocha akụkọ.
• Teknụzụ ndị a na-ewu ewu:
  • PyTorch - ewu ewu na-eto ngwa ngwa ma yie ka ọ na-agafe TensorFlow.
  • Nhọrọ akpaaka nke hyperparameters Nchekwa onwe – ewu ewu na-eto nke ọma.
  • Mbelata nke nta nke nta na izi ezi yana mmụba na ọsọ mgbako: echiche efu, algọridim na-ebuli elu, ezighi ezi (ihe dị ka) mgbako, quantization (mgbe a na-agbanwe ịdị arọ nke netwọkụ akwara ka ọ bụrụ ọnụọgụ na ọnụọgụ), ndị na-eme ngwa ngwa akwara.
  • Ntughari onyonyo na ederede и ederede gaa na onyonyo.
  • kere eke Ihe 3D sitere na vidiyo, ugbu a na ozugbo.
  • Isi ihe gbasara DL bụ na enwere ọtụtụ data, mana ịnakọta na ịkpọ ya adịghị mfe. Ya mere, markup automation na-etolite (nkọwa akpaghị aka) maka netwọkụ akwara na-eji netwọkụ akwara.
• Site na netwọkụ akwara ozi, Sayensị Kọmputa ghọrọ na mberede nnwale sayensị we bilie nsogbu reproducibility.
• Ego IT na ewu ewu nke netwọkụ akwara pụtara n'otu oge mgbe mgbako ghọrọ uru ahịa. Akụ na ụba na-agbanwe site na akụ na ụba ọla edo na ego gaa ọla edo-ego-mgbakọ. Lee akụkọ m na econophysics na ihe kpatara ọdịdị ego IT.

Nke nta nke nta pụtara nke ọhụrụ Usoro mmemme ML/DL (Machine Learning & Deep Learning), nke gbadoro ụkwụ na-anọchi anya mmemme dịka usoro nke netwọkụ akwara azụrụ.

Ọgụgụ 3 - ML/DL dị ka usoro mmemme ọhụrụ

Otú ọ dị, ọ dịghị mgbe ọ pụtara "Theory network neural", n'ime nke ị nwere ike iche echiche ma rụọ ọrụ n'usoro. Ihe a na-akpọ ugbu a "theory" bụ n'ezie nnwale, heuristic algọridim.

Njikọ na akụrụngwa m na ndị ọzọ:

• Akwụkwọ akụkọ sayensị data. Isi nhazi onyonyo. Onye ọ bụla chọrọ ịnata ya kwesịrị iziga ozi-e (foobar167gmailcom). Ana m ezipụ njikọ na akụkọ na vidiyo ka ihe na-agbakọta.
• Ozi zuru oke ndepụta nke ọmụmụ na isiokwunke m gafere na nke m ga-achọ ịgafe.
• Ọmụmụ ihe na vidiyo maka ndị mbido, ebe ị ga-amalite na-amụ neural netwọk. gbakwunyere broshuọ "Mmalite nke mmụta igwe na netwọk akwara arụrụ arụ".
• Ngwa bara uru, ebe onye ọ bụla ga-ahụ ihe na-adọrọ mmasị maka onwe ya.
• Anyị hụrụ na ha bara ezigbo uru. ọwa vidiyo maka nyocha nke akụkọ sayensị site na Science Data. Chọta, denye aha na ha wee nyefee m na ndị ọrụ ibe gị njikọ. Ọmụmaatụ:
  • Akwụkwọ Nkeji Abụọ
  • Henry AI Labs
  • Yannic Kilcher
  • CodeEmporium
  • Blog Chengwei Zhang aka Tony607 site na ntuziaka nzọụkwụ na isi mmalite.

Gwa anyị ihe ị ga-eme!

isi: www.habr.com