ස්නායු ජාල. මේ සියල්ල යන්නේ කොහේද?

ලිපිය කොටස් දෙකකින් සමන්විත වේ:

  1. මට සම්පත් වෙත වඩාත්ම තේරුම්ගත හැකි සබැඳි සමඟ පින්තූර සහ රූප ඛණ්ඩනය තුළ වස්තු හඳුනාගැනීම සඳහා සමහර ජාල ගෘහ නිර්මාණ පිළිබඳ කෙටි විස්තරයක්. මම වීඩියෝ පැහැදිලි කිරීම් තෝරා ගැනීමට උත්සාහ කළ අතර වඩාත් සුදුසු රුසියානු භාෂාවෙන්.
  2. දෙවන කොටස ස්නායුක ජාල ගෘහ නිර්මාණ ශිල්පයේ වර්ධනයේ දිශාව තේරුම් ගැනීමට උත්සාහ කිරීමකි. සහ ඒවා මත පදනම් වූ තාක්ෂණයන්.

ස්නායු ජාල. මේ සියල්ල යන්නේ කොහේද?

රූපය 1 - ස්නායුක ජාල ගෘහ නිර්මාණ ශිල්පය තේරුම් ගැනීම පහසු නැත

ඒ සියල්ල ආරම්භ වූයේ ඇන්ඩ්‍රොයිඩ් දුරකථනයක වස්තු වර්ගීකරණය සහ හඳුනාගැනීම සඳහා ආදර්ශන යෙදුම් දෙකක් සෑදීමෙනි:

  • පසු-අන්ත නිරූපණය, සේවාදායකයේ දත්ත සැකසූ විට සහ දුරකථනය වෙත සම්ප්රේෂණය කරන විට. වලසුන් වර්ග තුනක රූප වර්ගීකරණය: දුඹුරු, කළු සහ ටෙඩි.
  • Front-end demoදුරකථනයේම දත්ත සැකසෙන විට. වස්තු හඳුනාගැනීම (වස්තු හඳුනාගැනීම) වර්ග තුනකි: hazelnuts, figs සහ dates.

රූප වර්ගීකරණය, රූපයක වස්තු හඳුනාගැනීම සහ කාර්යයන් අතර වෙනසක් ඇත රූප ඛණ්ඩනය. එමනිසා, පින්තූරවල ඇති වස්තූන් හඳුනා ගන්නේ කුමන ස්නායුක ජාල ගෘහ නිර්මාණ ශිල්පයද සහ ඒවා කොටස් කළ හැක්කේ කුමන ඒවාද යන්න සොයා බැලීමේ අවශ්‍යතාවයක් ඇති විය. මට සම්පත් වෙත වඩාත්ම තේරුම්ගත හැකි සබැඳි සහිත ගෘහ නිර්මාණ ශිල්පයේ පහත උදාහරණ මට හමු විය:

  • R-CNN මත පදනම් වූ ගෘහ නිර්මාණ මාලාවක් (Rසමඟ කලාප Convolution Nයුරල් Networks විශේෂාංග): R-CNN, Fast R-CNN, වේගවත් R-CNN, මාස්ක් R-CNN. රූපයක වස්තුවක් හඳුනා ගැනීම සඳහා, කලාප යෝජනා ජාලය (RPN) යාන්ත්‍රණය භාවිතයෙන් සීමා පෙට්ටි වෙන් කරනු ලැබේ. මුලදී, RPN වෙනුවට මන්දගාමී Selective Search යාන්ත්‍රණය භාවිතා කරන ලදී. ඉන්පසු තෝරාගත් සීමිත කලාප වර්ගීකරණය සඳහා සාම්ප්රදායික ස්නායුක ජාලයක ආදානයට පෝෂණය වේ. R-CNN ගෘහනිර්මාණ ශිල්පයට සීමිත ප්‍රදේශ පුරා පැහැදිලි "සඳහා" ලූප ඇත, AlexNet අභ්‍යන්තර ජාලය හරහා මුළු ලකුණු 2000 ක් දක්වා ඇත. පැහැදිලි "සඳහා" ලූප රූප සැකසීමේ වේගය මන්දගාමී කරයි. ගෘහ නිර්මාණ ශිල්පයේ සෑම නව අනුවාදයක් සමඟම අභ්‍යන්තර ස්නායුක ජාලය හරහා දිවෙන පැහැදිලි ලූප ගණන අඩු වන අතර වේගය වැඩි කිරීමට සහ වස්තු හඳුනාගැනීමේ කාර්යය Mask R-CNN හි වස්තු ඛණ්ඩනය සමඟ ප්‍රතිස්ථාපනය කිරීමට වෙනත් වෙනස්කම් දුසිම් ගණනක් සිදු කෙරේ.
  • යාලෝ (You OLඕක් Once) යනු ජංගම උපාංගවල තත්‍ය කාලීනව වස්තූන් හඳුනාගත් පළමු ස්නායුක ජාලයයි. සුවිශේෂී ලක්ෂණය: එක් ධාවනයකදී වස්තූන් වෙන්කර හඳුනා ගැනීම (එක් වරක් බලන්න). එනම්, YOLO ගෘහ නිර්මාණ ශිල්පය තුළ පැහැදිලි "සඳහා" ලූප නොමැත, එම නිසා ජාලය ඉක්මනින් ක්රියා කරයි. උදාහරණයක් ලෙස, මෙම සාදෘශ්‍යය: NumPy හි, matrices සමඟ ක්‍රියා කරන විට, පැහැදිලි "for" loops ද නොමැත, NumPy හි C ක්‍රමලේඛන භාෂාව හරහා ගෘහ නිර්මාණ ශිල්පයේ පහළ මට්ටම්වල ක්‍රියාත්මක වේ. YOLO විසින් පූර්ව නිශ්චිත කවුළු ජාලයක් භාවිතා කරයි. එකම වස්තුව කිහිප වතාවක් අර්ථ දැක්වීම වැළැක්වීම සඳහා, කවුළු අතිච්ඡාදනය සංගුණකය (IoU) භාවිතා වේ. Iඡේදනය oසත්ය Union). මෙම ගෘහ නිර්මාණ ශිල්පය පුළුල් පරාසයක ක්‍රියාත්මක වන අතර ඉහළ මට්ටමක පවතී ශක්තිමත් බව: නිරූපිකාවක් ඡායාරූප පිළිබඳව පුහුණු කළ හැකි නමුත් අතින් අඳින ලද සිතුවම්වල හොඳින් ක්‍රියා කරයි.
  • SSD (Sඉඟටිය Sඋණුසුම් MultiBox Detector) - YOLO ගෘහ නිර්මාණ ශිල්පයේ වඩාත්ම සාර්ථක "හැක්" භාවිතා කරනු ලැබේ (උදාහරණයක් ලෙස, උපරිම නොවන මර්දනය) සහ ස්නායු ජාලය වේගවත් හා වඩාත් නිවැරදිව ක්‍රියා කිරීමට නව ඒවා එකතු කරනු ලැබේ. සුවිශේෂී ලක්ෂණය: පින්තූර පිරමීඩයක් මත ලබා දී ඇති කවුළු ජාලයක් (පෙරනිමි පෙට්ටිය) භාවිතයෙන් එක් ධාවනයකදී වස්තූන් වෙන්කර හඳුනා ගැනීම. රූප පිරමීඩය අනුප්‍රාප්තික කැළඹීම් සහ සංචිත මෙහෙයුම් හරහා සංකෝචන ටෙන්සර්වල කේතනය කර ඇත (උපරිම සංචිත ක්‍රියාකාරිත්වය සමඟ, අවකාශීය මානය අඩු වේ). මේ ආකාරයෙන්, එක් ජාල ධාවනයකදී විශාල හා කුඩා වස්තූන් දෙකම තීරණය වේ.
  • MobileSSD (ජංගමNetV2+ SSD) යනු ස්නායුක ජාල ගෘහ නිර්මාණ දෙකක එකතුවකි. පළමු ජාලය MobileNetV2 ඉක්මනින් ක්‍රියා කරන අතර හඳුනාගැනීමේ නිරවද්‍යතාවය වැඩි කරයි. මුලින්ම භාවිතා කරන ලද VGG-2 වෙනුවට MobileNetV16 භාවිතා වේ මුල් ලිපිය. දෙවන SSD ජාලය රූපයේ වස්තූන් පිහිටීම තීරණය කරයි.
  • SqueezeNet - ඉතා කුඩා නමුත් නිවැරදි ස්නායු ජාලයක්. එය විසින්ම, වස්තුව හඳුනාගැනීමේ ගැටලුව විසඳන්නේ නැත. කෙසේ වෙතත්, එය විවිධ ගෘහ නිර්මාණ ශිල්පයේ සංයෝජනයක් ලෙස භාවිතා කළ හැකිය. සහ ජංගම උපාංගවල භාවිතා වේ. සුවිශේෂී ලක්ෂණය වන්නේ දත්ත මුලින්ම 1×1 convolutional ෆිල්ටර හතරකට සම්පීඩනය කර පසුව 1×1 සහ 3×3 convolutional ෆිල්ටර් හතරක් දක්වා පුළුල් කිරීමයි. දත්ත සම්පීඩන-ප්‍රසාරණයේ එවැනි එක් පුනරාවර්තනයක් "ගිනි මොඩියුලය" ලෙස හැඳින්වේ.
  • DeepLab (ගැඹුරු පරිවර්තන දැල් සහිත අර්ථකථන රූප ඛණ්ඩනය) - රූපයේ ඇති වස්තූන් ඛණ්ඩනය කිරීම. ගෘහ නිර්මාණ ශිල්පයේ සුවිශේෂී ලක්ෂණයක් වන්නේ අවකාශීය විභේදනය ආරක්ෂා කරන විස්තාරණය කළ හැකිලීමයි. මෙය චිත්‍රක සම්භාවිතා ආකෘතියක් (කොන්දේසි සහිත අහඹු ක්ෂේත්‍රයක්) භාවිතා කරමින් ප්‍රතිඵලවල පසු-සැකසුම් කිරීමේ අදියරක් අනුගමනය කරයි, එමඟින් ඔබට ඛණ්ඩනයේ කුඩා ශබ්දය ඉවත් කිරීමට සහ ඛණ්ඩිත රූපයේ ගුණාත්මකභාවය වැඩි දියුණු කිරීමට ඉඩ සලසයි. "චිත්‍රක සම්භාවිතා ආකෘතිය" යන ප්‍රබල නාමය පිටුපසින් සාම්ප්‍රදායික Gaussian ෆිල්ටරයක් ​​සඟවයි, එය ආසන්න වශයෙන් ලකුණු පහකින් දැක්වේ.
  • උපාංගය හඳුනා ගැනීමට උත්සාහ කළා RefineDet (තනි-වෙඩි වැඩිදියුණු කරන්නවස්තුව සඳහා ස්නායුක ජාලය ඩෙට්ection), නමුත් මට බොහෝ දේ තේරුණේ නැත.
  • “අවධානය” තාක්‍ෂණය ක්‍රියා කරන ආකාරය ද මම බැලුවෙමි: වීඩියෝ1, වීඩියෝ2, වීඩියෝ3. "අවධානය" ගෘහ නිර්මාණ ශිල්පයේ සුවිශේෂී ලක්ෂණයක් වන්නේ රූපයේ වැඩි අවධානයක් ඇති කලාප ස්වයංක්‍රීයව තෝරා ගැනීමයි (RoI, Rසේනාංක of Iඋනන්දුව) අවධානය යොමු කිරීමේ ඒකකය ලෙස හැඳින්වෙන ස්නායුක ජාලයක් භාවිතා කරයි. වැඩි අවධානයක් ඇති ප්‍රදේශ මායිම් පෙට්ටිවලට සමාන වේ, නමුත් ඒවා මෙන් නොව, ඒවා රූපයේ සවි කර නොමැති අතර නොපැහැදිලි මායිම් තිබිය හැකිය. ඉන්පසුව, වැඩි අවධානයක් ඇති ප්‍රදේශවලින්, සං signs ා (විශේෂාංග) හුදකලා කරනු ලැබේ, ඒවා ගෘහ නිර්මාණ ශිල්පය සහිත පුනරාවර්තන ස්නායුක ජාල වෙත “පෝෂණය” කරනු ලැබේ. LSDM, GRU හෝ වැනිලා RNN. පුනරාවර්තන ස්නායුක ජාලයන් අනුපිළිවෙලෙහි ලක්ෂණවල සම්බන්ධතාවය විශ්ලේෂණය කිරීමට සමත් වේ. පුනරාවර්තන ස්නායුක ජාල මුලින් වෙනත් භාෂාවලට පෙළ පරිවර්තනය කිරීමට භාවිතා කරන ලද අතර දැන් පරිවර්තනය සඳහා භාවිතා කරන ලදී පින්තූර පෙළට и පින්තූරයට පෙළ.

අපි මෙම ගෘහ නිර්මාණ ශිල්පය ගවේෂණය කරන විට මට තේරුණා මට කිසිම දෙයක් තේරෙන්නේ නැහැ කියලා. මගේ ස්නායු ජාලයට අවධානය යොමු කිරීමේ යාන්ත්‍රණය සමඟ ගැටළු ඇති බව නොවේ. මෙම සියලු ගෘහනිර්මාණ නිර්මාණය කිරීම යම් ආකාරයක දැවැන්ත හැකතන් වැනි ය, එහිදී කතුවරුන් හැක් කිරීමට තරඟ කරයි. Hack යනු දුෂ්කර මෘදුකාංග ගැටලුවකට ඉක්මන් විසඳුමකි. එනම්, මෙම සියලු ගෘහ නිර්මාණ අතර දෘශ්‍ය හා තේරුම්ගත හැකි තාර්කික සම්බන්ධතාවයක් නොමැත. ඔවුන්ව එක්සත් කරන සියල්ල ඔවුන් එකිනෙකාගෙන් ණයට ගන්නා වඩාත් සාර්ථක හැක් කට්ටලයක් වන අතර එය සැමට පොදු එකක් වේ. සංවෘත-ලූප් කන්වලූෂන් මෙහෙයුම (දෝෂ backpropagation, backpropagation). නැත පද්ධති චින්තනය! වෙනස් කළ යුත්තේ කුමක්ද සහ පවතින ජයග්‍රහණ ප්‍රශස්ත කරන්නේ කෙසේද යන්න පැහැදිලි නැත.

හැක් අතර තාර්කික සම්බන්ධතාවයක් නොමැතිකම හේතුවෙන්, ඒවා මතක තබා ගැනීම සහ ප්‍රායෝගිකව යෙදීම අතිශයින් දුෂ්කර ය. මෙය ඛණ්ඩනය වූ දැනුමකි. හොඳම දෙය නම්, සිත්ගන්නාසුළු හා අනපේක්ෂිත අවස්ථාවන් කිහිපයක් මතක තබා ගත හැකි නමුත්, තේරුම් ගත් සහ තේරුම්ගත නොහැකි බොහෝ දේ දින කිහිපයක් ඇතුළත මතකයෙන් අතුරුදහන් වේ. සතියකින් ඔබ අවම වශයෙන් ගෘහ නිර්මාණ ශිල්පයේ නම මතක තබා ගන්නේ නම් හොඳයි. නමුත් පැය කිහිපයක් සහ වැඩ කරන කාලය පවා ලිපි කියවීමට සහ සමාලෝචන වීඩියෝ නැරඹීමට වැය විය!

ස්නායු ජාල. මේ සියල්ල යන්නේ කොහේද?

රූපය 2 - ස්නායු ජාල සත්වෝද්යානය

බොහෝ විද්‍යාත්මක ලිපි කතුවරුන්, මගේ පෞද්ගලික මතය අනුව, මෙම ඛණ්ඩනය වූ දැනුම පවා පාඨකයාට නොතේරෙන බව සහතික කිරීමට හැකි සෑම දෙයක්ම කරති. නමුත් "සිහින් වාතයෙන්" ගන්නා ලද සූත්‍ර සහිත පේළි දහයක සහභාගිත්ව වාක්‍ය ඛණ්ඩ වෙනම ලිපියක් සඳහා මාතෘකාවකි (ගැටලුවකි ප්‍රකාශයට පත් කිරීම හෝ විනාශ වීම).

මෙම හේතුව නිසා, ස්නායුක ජාල භාවිතා කරමින් තොරතුරු ක්රමවත් කිරීම අවශ්ය වන අතර, ඒ අනුව, අවබෝධය සහ මතක තබා ගැනීමේ ගුණාත්මකභාවය වැඩි කිරීම. එබැවින්, කෘතිම ස්නායුක ජාල වල තනි තාක්ෂණයන් සහ ගෘහ නිර්මාණ ශිල්පය විශ්ලේෂණය කිරීමේ ප්රධාන මාතෘකාව පහත සඳහන් කාර්යය විය: ඒ සියල්ල යන්නේ කොහේදැයි සොයා බලන්න, සහ වෙන වෙනම කිසිදු විශේෂිත ස්නායු ජාලයක උපාංගය නොවේ.

මේ සියල්ල යන්නේ කොහේද? ප්රධාන ප්රතිඵල:

  • පසුගිය වසර දෙක තුළ යන්ත්‍ර ඉගෙනීමේ ආරම්භක සංඛ්‍යාව තියුණු ලෙස වැටී ඇත. විය හැකි හේතුව: "ස්නායු ජාල තවදුරටත් අලුත් දෙයක් නොවේ."
  • සරල ගැටළුවක් විසඳීම සඳහා ඕනෑම කෙනෙකුට වැඩ කරන ස්නායුක ජාලයක් නිර්මාණය කළ හැකිය. මෙය සිදු කිරීම සඳහා, "ආදර්ශ සත්වෝද්යානය" වෙතින් සූදානම් කළ ආකෘතියක් ගෙන ස්නායු ජාලයේ අවසාන ස්ථරය පුහුණු කරන්න (මාරු ඉගෙනීම) සිට සූදානම් කළ දත්ත මත Google දත්ත කට්ටල සෙවීම හෝ සිට Kaggle දත්ත කට්ටල 25 දහසක් නොමිලේ Cloud Jupyter සටහන් පොත.
  • ස්නායු ජාල වල විශාල නිෂ්පාදකයින් නිර්මාණය කිරීමට පටන් ගත්හ "ආදර්ශ සත්වෝද්යාන" (ආදර්ශ සත්වෝද්යානය). ඒවා භාවිතා කිරීමෙන් ඔබට ඉක්මනින් වාණිජ යෙදුමක් නිර්මාණය කළ හැකිය: TF Hub TensorFlow සඳහා, MMD හඳුනාගැනීම PyTorch සඳහා, අනාවරකය Caffe2 සඳහා, chainer-modelzoo Chainer සඳහා සහ තවත් අය.
  • ස්නායු ජාල ක්‍රියා කරයි තත්ය කාලය (තත්‍ය කාලීන) ජංගම උපාංග මත. තත්පරයට රාමු 10 සිට 50 දක්වා.
  • දුරකථනවල (TF Lite), බ්‍රව්සර්වල (TF.js) සහ ඇතුළත ස්නායුක ජාල භාවිතය ගෘහ භාණ්ඩ (IoT, Iඅන්තර්ජාල of Tහිංස්). විශේෂයෙන්ම දෘඪාංග මට්ටමින් (neural accelerators) දැනටමත් neural networks සඳහා සහය දක්වන දුරකථන වල.
  • “සෑම උපාංගයකම, ඇඳුම් ආයිත්තම් අයිතම සහ සමහර විට ආහාර පවා තිබේ IP-v6 ලිපිනය සහ එකිනෙකා සමඟ සන්නිවේදනය කරන්න" - සෙබස්තියන් ත්‍රන්.
  • යන්ත්‍ර ඉගෙනීම පිළිබඳ ප්‍රකාශන සංඛ්‍යාව වර්ධනය වීමට පටන් ගෙන ඇත මුවර්ගේ නීතිය ඉක්මවා යයි (සෑම වසර දෙකකට වරක් දෙගුණ කිරීම) 2015 සිට. පැහැදිලිවම, ලිපි විශ්ලේෂණය සඳහා අපට ස්නායුක ජාල අවශ්‍ය වේ.
  • පහත සඳහන් තාක්ෂණයන් ජනප්රිය වෙමින් පවතී:
    • පයිටෝර්ච් - ජනප්‍රියත්වය වේගයෙන් වර්ධනය වන අතර TensorFlow අභිබවා යන බව පෙනේ.
    • අධි පරාමිතීන් ස්වයංක්‍රීයව තෝරා ගැනීම ස්වයංක්‍රීය - ජනප්රියත්වය සුමටව වර්ධනය වේ.
    • නිරවද්‍යතාවය ක්‍රමයෙන් අඩුවීම සහ ගණනය කිරීමේ වේගය වැඩි වීම: නොපැහැදිලි තර්කනය, ඇල්ගොරිතම වැඩි කිරීම, නිෂ්චිත (ආසන්න) ගණනය කිරීම්, ප්‍රමාණකරණය (ස්නායු ජාලයේ බර පූර්ණ සංඛ්‍යා බවට පරිවර්තනය කර ප්‍රමාණාත්මක කළ විට), ස්නායු ත්වරක.
    • පරිවර්තනය පින්තූර පෙළට и පින්තූරයට පෙළ.
    • නිර්මාණය වීඩියෝවෙන් XNUMXD වස්තූන්, දැන් නියම වේලාවට.
    • DL වල ප්‍රධානම දේ තමයි දත්ත ගොඩක් තිබුනත් ඒක එකතු කරලා ලේබල් කරන එක ලේසි නෑ. එබැවින්, සලකුණු ස්වයංක්‍රීයකරණය සංවර්ධනය වෙමින් පවතී (ස්වයංක්‍රීය විවරණ) ස්නායු ජාල භාවිතා කරන ස්නායු ජාල සඳහා.
  • ස්නායු ජාල සමඟ පරිගණක විද්‍යාව හදිසියේම විය පර්යේෂණාත්මක විද්යාව සහ නැඟී සිටියා ප්රතිනිෂ්පාදන අර්බුදය.
  • පරිගණකකරණය වෙළඳපල වටිනාකමක් බවට පත් වූ විට තොරතුරු තාක්ෂණ මුදල් සහ ස්නායුක ජාල වල ජනප්‍රියතාවය එකවර මතු විය. ආර්ථිකය රන් හා මුදල් ආර්ථිකයේ සිට වෙනස් වෙමින් පවතී රන්-මුදල්-පරිගණක. මගේ ලිපිය බලන්න ආර්ථික භෞතික විද්යාව සහ තොරතුරු තාක්ෂණ මුදල් පෙනුමට හේතුව.

ක්‍රමයෙන් අලුත් එකක් දිස්වේ ML/DL ක්‍රමලේඛන ක්‍රමවේදය (Machine Learning & Deep Learning), පුහුණු වූ ස්නායුක ජාල ආකෘති කට්ටලයක් ලෙස වැඩසටහන නියෝජනය කිරීම මත පදනම් වේ.

ස්නායු ජාල. මේ සියල්ල යන්නේ කොහේද?

රූපය 3 - ML/DL නව ක්‍රමලේඛන ක්‍රමවේදයක් ලෙස

කෙසේ වෙතත්, එය කිසි විටෙකත් දර්ශනය නොවීය "ස්නායු ජාල න්යාය", ඒ තුළ ඔබට ක්‍රමානුකූලව සිතීමට සහ වැඩ කිරීමට හැකිය. දැන් "න්‍යාය" ලෙස හඳුන්වන දේ ඇත්ත වශයෙන්ම පර්යේෂණාත්මක, හූරිස්ටික් ඇල්ගොරිතම වේ.

මගේ සහ අනෙකුත් සම්පත් වෙත සබැඳි:

Спасибо!

මූලාශ්රය: www.habr.com

අදහස් එක් කරන්න