Marang-rang a Neural. Sena sohle se ea hokae?

Sehlooho se na le likarolo tse peli:

  1. Tlhaloso e khuts'oane ea meralo e meng ea marang-rang bakeng sa ho lemoha ntho litšoantšong le karohano ea litšoantšo tse nang le likhokahano tse utloisisoang haholo tsa lisebelisoa bakeng sa ka. Ke lekile ho khetha litlhaloso tsa video mme ka ho khetheha ka Serussia.
  2. Karolo ea bobeli ke teko ea ho utloisisa tataiso ea nts'etsopele ea li-architecture tsa neural network. Le theknoloji e thehiloeng ho bona.

Marang-rang a Neural. Sena sohle se ea hokae?

Setšoantšo sa 1 - Ho utloisisa meralo ea marang-rang ea neural ha ho bonolo

Tsohle li qalile ka ho etsa lits'ebetso tse peli tsa demo bakeng sa ho hlopha ntho le ho lemoha mohala oa Android:

  • Demo ea morao-rao, ha data e sebetswa ho seva mme e fetisetswa fonong. Tlhaloso ea setšoantšo sa mefuta e meraro ea libere: e sootho, e ntšo le e teddy.
  • Moemeli oa peleha data e sebetswa fonong ka boyona. Ho lemoha lintho (ho lemoha ntho) tsa mefuta e meraro: makotomane, lifeiga le matsatsi.

Ho na le phapang pakeng tsa mesebetsi ea ho arola litšoantšo, ho lemoha ntho ka setšoantšo le karohano ea litšoantšo. Ka hona, ho ne ho hlokahala ho fumana hore na meralo ea marang-rang ea neural e lemoha lintho tse litšoantšong le hore na ke efe e ka arolang. Ke fumane mehlala e latelang ea meralo e nang le likhokahano tse utloisisehang tsa lisebelisoa bakeng sa ka:

  • Letoto la meralo e thehiloeng ho R-CNN (Rlibaka tse nang le Convolution Neural Nlikarolo tsa mesebetsi): R-CNN, Fast R-CNN, Ka potlako R-CNN, Mask R-CNN. Ho bona ntho e setšoantšong, mabokose a tlamang a abeloa ho sebelisoa mochini oa Region Proposal Network (RPN). Qalong, ho ne ho sebelisoa mokhoa o butle oa Selective Search sebakeng sa RPN. Ebe libaka tse lekanyelitsoeng tse khethiloeng li fepeloa ho kenyelletsong ea marang-rang a tloaelehileng a neural bakeng sa ho aroloa. Moralo oa R-CNN o na le "loops" tse hlakileng libakeng tse lekanyelitsoeng, tse fihlang ho 2000 ka marang-rang a ka hare a AlexNet. Li-loops tse hlakileng tsa "bakeng sa" li fokotsa lebelo la ho sebetsa litšoantšo. Palo ea li-loops tse hlakileng tse tsamaeang ka har'a marang-rang a neural a ka hare a fokotseha ka phetolelo e 'ngoe le e' ngoe e ncha ea meralo, 'me liphetoho tse ling tse ngata li etsoa ho eketsa lebelo le ho nkela mosebetsi oa ho lemoha ntho ka ho arola ntho Mask R-CNN.
  • YOLO (You Only Look Once) ke netweke ea pele ea neural e ileng ea amohela lintho ka nako ea nnete lisebelisoa tsa mehala. Tšobotsi e ikhethang: ho khetholla lintho ka nako e le 'ngoe (sheba hang feela). Ke hore, mohahong oa YOLO ha ho na li-loops tse hlakileng tsa "bakeng sa", ke ka lebaka leo marang-rang a sebetsang ka potlako. Ka mohlala, papiso ena: ho NumPy, ha ho etsoa ts'ebetso ka matrices, hape ha ho na li-loops tse hlakileng tsa "bakeng sa", tseo ho NumPy li kenngoa ts'ebetsong maemong a tlaase a mohaho ka puo ea lenaneo la C. YOLO e sebelisa marang-rang a lifensetere tse hlalositsoeng esale pele. Ho thibela ntho e le 'ngoe hore e se ke ea hlalosoa ka makhetlo a mangata, ho sebelisoa coefficient (IoU) ea fensetere. Imateano oHo joalo Union). Mohaho ona o sebetsa ho feta mefuta e mengata mme o na le holimo robustness: Mohlala o ka koetlisoa lifotong empa o ntse o sebetsa hantle litšoantšong tse huloang ka letsoho.
  • SSD (Sgroin SMultiBox e chesang Detector) - "li-hacks" tse atlehileng ka ho fetisisa tsa mohaho oa YOLO li sebelisoa (mohlala, khatello e se nang tekanyo e phahameng) 'me tse ncha li kenngoa ho etsa hore marang-rang a neural a sebetse ka potlako le ka nepo. Tšobotsi e ikhethang: ho khetholla lintho ka nako e le 'ngoe ho sebelisa gridi e fanoeng ea lifensetere (lebokose la kamehla) piramideng ea setšoantšo. Phiramide ea setšoantšo e kentsoe ka har'a li-tensor tsa convolution ka ts'ebetso e latellanang ea ho kopanya le ho kopanya (ka ts'ebetso e kholo ea ho kopanya, boholo ba sebaka boa fokotseha). Ka tsela ena, lintho tse peli tse kholo le tse nyane li khethoa ka har'a marang-rang a le mong.
  • MobileSSD (MobileNetV2+ SSD) ke motsoako oa meralo e 'meli ea neural network. Marang-rang a pele MobileNetV2 e sebetsa ka potlako mme e eketsa ho nepahala ha kananelo. MobileNetV2 e sebelisoa sebakeng sa VGG-16, eo qalong e neng e sebelisoa ho sengoloa sa mantlha. Marang-rang a bobeli a SSD a khetholla sebaka sa lintho tse setšoantšong.
  • SqueezeNet - marang-rang a fokolang haholo empa a nepahetse. Ka boeona, ha e rarolle bothata ba ho lemoha ntho. Leha ho le joalo, e ka sebelisoa ho kopanya mefuta e fapaneng ea meralo. 'Me e sebelisoa lisebelisoa tsa mohala. Karolo e ikhethang ke hore data e qala ho hatelloa ho li-filters tse 'ne tsa 1 × 1 ebe e atolosoa ho li-filters tse nne tsa 1 × 1 le tse 'ne tsa 3 × 3 tsa convolutional. E 'ngoe ea phetisetso e joalo ea katoloso ea data e bitsoa "Fire Module".
  • DeepLab (Semantic Image Segmentation with Deep Convolutional Networks) - karohano ea lintho tse setšoantšong. Karolo e ikhethang ea moaho ke convolution e atolositsoeng, e bolokang qeto ea sebaka. Sena se lateloa ke mohato oa morao-rao oa liphello ho sebelisa mohlala oa graphical probabilistic (tšimo e sa tloaelehang ea maemo), e leng se u lumellang hore u tlose lerata le lenyenyane ka ho arola le ho ntlafatsa boleng ba setšoantšo se arohaneng. Ka morao ho lebitso le tšosang "graphical probabilistic model" ho pata sefe e tloaelehileng ea Gaussian, e ka bang lintlha tse hlano.
  • O lekile ho fumana sesebelisoa RefineDet (Thuto e le 'ngoe Hloekisament Neural Network for Object Theection), empa ke ne ke sa utloisise haholo.
  • Ke boetse ke shebile kamoo theknoloji ea "tlhokomelo" e sebetsang kateng: video1, video2, video3. Karolo e ikhethang ea meaho ea "tlhokomeliso" ke khetho e ikemetseng ea libaka tsa tlhokomelo e eketsehileng setšoantšong (RoI, Rmabotho of Iinterest) ba sebelisa marang-rang a marang-rang a bitsoang Attention Unit. Libaka tsa tlhokomelo e eketsehileng li tšoana le mabokose a tlamang, empa ho fapana le tsona, ha lia tsitsa setšoantšong 'me li ka ba le meeli e fokolang. Joale, ho tloha libakeng tsa tlhokomelo e eketsehileng, matšoao (likarolo) a arotsoe, a "feptjoang" ho marang-rang a tloaelehileng a neural a nang le meralo. LSDM, GRU kapa Vanilla RNN. Marang-rang a tloaelehileng a neural a khona ho sekaseka kamano ea likarolo ka tatellano. Marang-rang a tloaelehileng a neural a ne a sebelisoa qalong ho fetolela mongolo lipuong tse ling, 'me joale a fetoleloa litšoantšo ho mongolo и mongolo ho isa setšoantšong.

Ha re ntse re hlahloba meralo ena Ke ile ka hlokomela hore ha ke utloisise letho. 'Me ha se hore neural network ea ka e na le mathata le mochine oa tlhokomelo. Pōpo ea meralo ena kaofela e tšoana le mofuta o mong oa li-hackathon tse kholo, moo bangoli ba qothisanang lehlokoa le li-hacks. Hack ke tharollo e potlakileng ea bothata bo boima ba software. Ke hore, ha ho na kamano e bonahalang le e utloahalang e utloahalang pakeng tsa mehaho ena eohle ea meralo. Sohle se ba kopanyang ke sehlopha sa li-hacks tse atlehileng ka ho fetisisa tseo ba li alimang ho tse ling, hammoho le e tloaelehileng bakeng sa bohle. ts'ebetso ea convolution e koetsoeng (error backpropagation, backpropagation). Che tsamaiso ea ho nahana! Ha ho hlake hore na u ka fetola eng le hore na u ka ntlafatsa likatleho tse teng joang.

Ka lebaka la khaello ea khokahano e utloahalang lipakeng tsa li-hacks, ho thata haholo ho li hopola le ho li sebelisa ts'ebetsong. Ena ke tsebo e arohaneng. Ha e le hantle, linako tse 'maloa tse thahasellisang le tse sa lebelloang li hopoloa, empa boholo ba lintho tse utloisisoang le tse sa utloisiseheng li nyamela mohopolong ka mor'a matsatsi a seng makae. Ho tla ba molemo haeba ka beke u hopola bonyane lebitso la mohaho. Empa lihora tse ’maloa esita le matsatsi a ho sebetsa li ile tsa sebelisoa ho bala lihlooho le ho shebella livideo tsa tlhahlobo!

Marang-rang a Neural. Sena sohle se ea hokae?

Setšoantšo sa 2 - Zoo ea Neural Networks

Bangoli ba bangata ba lingoliloeng tsa saense, ka maikutlo a ka, ba etsa sohle se matleng a bona ho netefatsa hore esita le tsebo ena e arohaneng ha e utloisisoe ke 'mali. Empa lipoleloana tse nkang karolo ka mela e leshome e nang le liforomo tse nkiloeng "moea o mosesaane" ke sehlooho sa sengoloa se arohaneng (bothata. phatlalatsa kapa timela).

Ka lebaka lena, ho na le tlhoko ea ho hlophisa tlhahisoleseling ho sebelisa marang-rang a neural, ka hona, ho eketsa boleng ba kutloisiso le ho hopola. Ka hona, sehlooho sa mantlha sa tlhahlobo ea mahlale a motho ka mong le meralo ea marang-rang a maiketsetso a neural e ne e le mosebetsi o latelang: fumana moo tsohle di yang teng, mme eseng sesebelisoa sa netweke efe kapa efe e khethehileng ea methapo ka thoko.

See sohle se ea hokae? Liphetho tsa mantlha:

  • Palo ea ho qala ho ithuta ka mochini lilemong tse peli tse fetileng oela haholo. Lebaka le ka bang teng: "marang-rang a neural ha e sa le ntho e ncha."
  • Mang kapa mang a ka theha marang-rang a neural a sebetsang ho rarolla bothata bo bonolo. Ho etsa sena, nka mohlala o lokiselitsoeng ho tsoa "zoo ea mohlala" 'me u koetlise karolo ea ho qetela ea marang-rang a methapo (fetisetsa ho ithuta) ho data e entsoeng esale pele ho tloha Google Dataset Search kapa ho tloha Li-dataset tsa Kaggle tse likete tse 25 mahala leru Jupyter Notebook.
  • Baetsi ba kholo ba marang-rang a neural ba ile ba qala ho theha "mohlala lirau tsa liphoofolo" (mohlala oa zoo). Ho li sebelisa u ka etsa kopo ea khoebo ka potlako: TF Hub bakeng sa TensorFlow, MMDetection bakeng sa PyTorch, Detectron bakeng sa Caffe2, chainer-modelzoo bakeng sa Chainer le другие.
  • Li-network tsa Neural tse sebetsang ho hona joale (ka nako ea sebele) lisebelisoa tsa mohala. Ho tloha ho liforeimi tse 10 ho isa ho tse 50 motsotsoana.
  • Ts'ebeliso ea marang-rang a neural mehalang (TF Lite), ho libatli (TF.js) le ho lintho tsa ntlo (IoT, Ibosiu of Tmahlakoana). Haholo-holo lifono tse seng li tšehetsa marang-rang a neural boemong ba hardware (neural accelerators).
  • “Sesebediswa se seng le se seng, seaparo, mohlomong le dijo di tla ba le tsona IP-v6 aterese le ho buisana" - Sebastian Thrun.
  • Palo ea likhatiso mabapi le ho ithuta ka mochini e se e qalile ho hola feta molao oa Moore (habeli lilemo tse ling le tse ling tse peli) ho tloha ka 2015. Ho hlakile hore re hloka marang-rang a neural bakeng sa ho sekaseka lingoliloeng.
  • Theknoloji e latelang e ntse e ata:
    • PyTorch - botumo bo ntse bo eketseha ka potlako 'me bo bonahala bo feta TensorFlow.
    • Khetho e ikemetseng ea li-hyperparameter AutoML – botumo bo ntse bo hola ka thelelo.
    • Ho fokotseha butle-butle ho nepahala le ho eketseha ha lebelo la lipalo: logic e fuzzy, algorithms boosting, lipalo tse sa nepahalang (tse hakanyetsoang), quantization (ha litekanyo tsa marang-rang a neural li fetoloa ho ba li-integers le quantized), li-accelerator tsa methapo.
    • Fetolela litšoantšo ho mongolo и mongolo ho isa setšoantšong.
    • pōpo Lintho tsa XNUMXD tse tsoang video, hona joale ka nako ea sebele.
    • Ntho e ka sehloohong ka DL ke hore ho na le lintlha tse ngata, empa ho li bokella le ho li ngola ha ho bonolo. Ka hona, markup automation e ntse e tsoela pele (tlhaloso e iketsang) bakeng sa marang-rang a neural a sebelisang marang-rang a methapo.
  • Ka marang-rang a neural, Computer Science e ile ea fetoha ka tšohanyetso saense ea liteko mme a tsoha bothata ba ho ikatisa.
  • Chelete ea IT le botumo ba marang-rang a neural li ile tsa hlaha ka nako e le 'ngoe ha computing e fetoha boleng ba' maraka. Moruo o fetoha ho tloha moruong oa khauta le oa lichelete ho ea ho khauta-chelete-computing. Sheba sehlooho sa ka ho econophysics le lebaka la ho hlaha ha chelete ea IT.

Butle-butle ho hlaha e ncha Mokhoa oa ho hlophisa oa ML/DL (Ho Ithuta ka Mochine & Thuto e Tebileng), e itšetlehileng ka ho emela lenaneo e le sete sa mehlala ea marang-rang a koetlisitsoeng a neural.

Marang-rang a Neural. Sena sohle se ea hokae?

Setšoantšo sa 3 - ML/DL e le mokhoa o mocha oa lenaneo

Leha ho le joalo, ha ea ka ea hlaha "theory neural network", moo o ka nahanang le ho sebetsa ka mokhoa o hlophisitsoeng. Seo hona joale se bitsoang "khopolo" ha e le hantle ke li-algorithms tsa liteko.

Lihokelo tsa lisebelisoa tsa ka le tse ling:

Kea le leboha ka tlhokomelo ea hau!

Source: www.habr.com

Eketsa ka tlhaloso