Mae'r erthygl yn cynnwys dwy ran:
- Disgrifiad byr o rai pensaernïaeth rhwydwaith ar gyfer canfod gwrthrychau mewn delweddau a segmentu delweddau gyda'r dolenni mwyaf dealladwy i adnoddau i mi. Ceisiais ddewis esboniadau fideo ac yn Rwsieg yn ddelfrydol.
- Mae'r ail ran yn ymgais i ddeall cyfeiriad datblygiad pensaernïaeth rhwydwaith niwral. A thechnolegau yn seiliedig arnynt.
Ffigur 1 – Nid yw deall pensaernïaeth rhwydwaith niwral yn hawdd
Dechreuodd y cyfan trwy wneud dau gais demo ar gyfer dosbarthu a chanfod gwrthrychau ar ffôn Android:
- , pan fydd data'n cael ei brosesu ar y gweinydd a'i drosglwyddo i'r ffôn. Dosbarthiad delwedd o dri math o eirth: brown, du a thedi.
- pan fydd y data yn cael ei brosesu ar y ffôn ei hun. Canfod gwrthrychau (canfod gwrthrychau) o dri math: cnau cyll, ffigys a dyddiadau.
Mae gwahaniaeth rhwng tasgau dosbarthu delwedd, canfod gwrthrychau mewn delwedd a . Felly, roedd angen darganfod pa bensaernïaeth rhwydwaith niwral sy'n canfod gwrthrychau mewn delweddau a pha rai sy'n gallu segmentu. Deuthum o hyd i'r enghreifftiau canlynol o bensaernïaeth gyda'r cysylltiadau mwyaf dealladwy i adnoddau i mi:
- Cyfres o bensaernïaeth yn seiliedig ar R-CNN (Rrhanbarthau gyda Convolution Neural Nnodweddion etworks): R-CNN, R-CNN Cyflym, , . I ganfod gwrthrych mewn delwedd, dyrennir blychau terfyn gan ddefnyddio mecanwaith Rhwydwaith Cynnig Rhanbarth (RPN). I ddechrau, defnyddiwyd y mecanwaith Chwilio Dewisol arafach yn lle RPN. Yna mae'r rhanbarthau cyfyngedig a ddewiswyd yn cael eu bwydo i fewnbwn rhwydwaith niwral confensiynol ar gyfer dosbarthu. Mae gan bensaernïaeth R-CNN ddolenni “ar gyfer” penodol dros ranbarthau cyfyngedig, gyda chyfanswm o hyd at 2000 o rediadau trwy rwydwaith mewnol AlexNet. Mae dolenni “ar gyfer” penodol yn arafu cyflymder prosesu delweddau. Mae nifer y dolenni penodol sy'n rhedeg trwy'r rhwydwaith niwral mewnol yn lleihau gyda phob fersiwn newydd o'r bensaernïaeth, a gwneir dwsinau o newidiadau eraill hefyd i gynyddu cyflymder ac i ddisodli'r dasg o ganfod gwrthrychau gyda segmentu gwrthrychau yn Mask R-CNN.
- (You Only Look Once) yw'r rhwydwaith niwral cyntaf i adnabod gwrthrychau mewn amser real ar ddyfeisiau symudol. Nodwedd nodedig: gwahaniaethu gwrthrychau mewn un rhediad (dim ond unwaith yn edrych). Hynny yw, ym mhensaernïaeth YOLO nid oes unrhyw ddolenni “ar gyfer” penodol, a dyna pam mae'r rhwydwaith yn gweithio'n gyflym. Er enghraifft, y gyfatebiaeth hon: yn NumPy, wrth berfformio gweithrediadau gyda matricsau, nid oes unrhyw ddolenni “ar gyfer” penodol ychwaith, sydd yn NumPy yn cael eu gweithredu ar lefelau is o'r bensaernïaeth trwy'r iaith raglennu C. Mae YOLO yn defnyddio grid o ffenestri wedi'u diffinio ymlaen llaw. Er mwyn atal yr un gwrthrych rhag cael ei ddiffinio sawl gwaith, defnyddir y cyfernod gorgyffwrdd ffenestr (IoU). Icroestoriad over Union). Mae'r bensaernïaeth hon yn gweithredu dros ystod eang ac mae ganddi uchel : Gellir hyfforddi model ar ffotograffau ond yn dal i berfformio'n dda ar baentiadau wedi'u tynnu â llaw.
- (Single SMultiBox poeth Detector) - defnyddir “haciau” mwyaf llwyddiannus pensaernïaeth YOLO (er enghraifft, ataliad di-uchafswm) ac ychwanegir rhai newydd i wneud i'r rhwydwaith niwral weithio'n gyflymach ac yn fwy cywir. Nodwedd nodedig: gwahaniaethu gwrthrychau mewn un rhediad gan ddefnyddio grid penodol o ffenestri (blwch diofyn) ar y pyramid delwedd. Mae'r pyramid delwedd wedi'i amgodio mewn tensorau convolution trwy weithrediadau convolution olynol a chyfuno (gyda'r gweithrediad cronni uchaf, mae'r dimensiwn gofodol yn lleihau). Yn y modd hwn, mae gwrthrychau mawr a bach yn cael eu pennu mewn un rhediad rhwydwaith.
- SymudolSSD (Ffôn symudolNetV2+ Adran Gwasanaethau Cymdeithasol) yn gyfuniad o ddau saernïaeth rhwydwaith niwral. Rhwydwaith cyntaf yn gweithio'n gyflym ac yn cynyddu cywirdeb cydnabyddiaeth. Defnyddir MobileNetV2 yn lle VGG-16, a ddefnyddiwyd yn wreiddiol yn . Mae'r ail rwydwaith SSD yn pennu lleoliad gwrthrychau yn y ddelwedd.
- – rhwydwaith niwral bach iawn ond cywir. Ar ei ben ei hun, nid yw'n datrys y broblem o ganfod gwrthrychau. Fodd bynnag, gellir ei ddefnyddio mewn cyfuniad o wahanol bensaernïaeth. Ac yn cael ei ddefnyddio mewn dyfeisiau symudol. Y nodwedd nodedig yw bod y data'n cael ei gywasgu'n gyntaf i bedwar hidlydd trosiannol 1 × 1 ac yna'n cael ei ehangu i bedwar hidlwr convolutional 1 × 1 a phedwar 3 × 3. Gelwir un fersiwn o'r fath o ehangu cywasgu data yn “Fodiwl Tân”.
- (Segmentu Delwedd Semantig gyda Rhwydi Convolutional Deep) – segmentu gwrthrychau yn y ddelwedd. Nodwedd arbennig o'r bensaernïaeth yw convolution ymledol, sy'n cadw cydraniad gofodol. Dilynir hyn gan gam ôl-brosesu'r canlyniadau gan ddefnyddio model graffigol tebygol (maes hap amodol), sy'n eich galluogi i ddileu sŵn bach yn y segmentiad a gwella ansawdd y ddelwedd segmentiedig. Y tu ôl i'r enw aruthrol mae “model graffigol tebygol” yn cuddio hidlydd Gaussian confensiynol, sy'n cael ei frasamcanu gan bum pwynt.
- Wedi ceisio darganfod y ddyfais (Un Ergyd mireinioment Rhwydwaith Niwral ar gyfer Gwrthrych Mae'rection), ond doeddwn i ddim yn deall llawer.
- Edrychais hefyd ar sut mae'r dechnoleg “sylw” yn gweithio: , , . Nodwedd nodedig o'r bensaernïaeth “sylw” yw dewis awtomatig o ranbarthau o sylw cynyddol yn y ddelwedd (RoI, Regions of Ininterest) gan ddefnyddio rhwydwaith niwral o'r enw Attention Unit. Mae rhanbarthau o sylw cynyddol yn debyg i flychau ffiniol, ond yn wahanol iddynt, nid ydynt wedi'u gosod yn y ddelwedd ac efallai eu bod yn aneglur ffiniau. Yna, o ranbarthau o sylw cynyddol, mae arwyddion (nodweddion) yn cael eu hynysu, sy'n cael eu “bwydo” i rwydweithiau niwral cylchol gyda phensaernïaeth . Mae rhwydweithiau niwral cylchol yn gallu dadansoddi perthynas nodweddion mewn dilyniant. Defnyddiwyd rhwydweithiau niwral rheolaidd i ddechrau i gyfieithu testun i ieithoedd eraill, ac yn awr i'w gyfieithu и .
Wrth i ni archwilio'r pensaernïaeth hyn Sylweddolais nad wyf yn deall dim byd. Ac nid yw fy rhwydwaith niwral yn cael problemau gyda'r mecanwaith sylw. Mae creu'r holl bensaernïaeth hyn fel rhyw fath o hacathon enfawr, lle mae awduron yn cystadlu mewn haciau. Mae darnia yn ateb cyflym i broblem feddalwedd anodd. Hynny yw, nid oes cysylltiad rhesymegol gweladwy a dealladwy rhwng yr holl bensaernïaeth hyn. Y cyfan sy'n eu huno yw set o'r haciau mwyaf llwyddiannus y maent yn eu benthyca oddi wrth ei gilydd, ynghyd ag un cyffredin i bawb (backpropagation gwall, backpropagation). Nac ydw ! Nid yw'n glir beth i'w newid a sut i wneud y gorau o gyflawniadau presennol.
O ganlyniad i'r diffyg cysylltiad rhesymegol rhwng haciau, maent yn hynod o anodd eu cofio a'u cymhwyso'n ymarferol. Gwybodaeth dameidiog yw hon. Ar y gorau, mae ychydig o eiliadau diddorol ac annisgwyl yn cael eu cofio, ond mae'r rhan fwyaf o'r hyn sy'n ddealladwy ac yn annealladwy yn diflannu o'r cof ymhen ychydig ddyddiau. Bydd yn dda os byddwch yn cofio o leiaf enw'r bensaernïaeth mewn wythnos. Ond treuliwyd sawl awr a hyd yn oed diwrnodau o amser gwaith yn darllen erthyglau a gwylio fideos adolygu!
Ffigur 2 –
Mae'r rhan fwyaf o awduron erthyglau gwyddonol, yn fy marn bersonol i, yn gwneud popeth posibl i sicrhau nad yw hyd yn oed y wybodaeth dameidiog hon yn cael ei deall gan y darllenydd. Ond mae ymadroddion cyfranogol mewn brawddegau deg llinell gyda fformiwlâu sy'n cael eu cymryd “allan o aer” yn bwnc ar gyfer erthygl ar wahân (problem ).
Am y rheswm hwn, mae angen systemateiddio gwybodaeth gan ddefnyddio rhwydweithiau niwral ac, felly, cynyddu ansawdd dealltwriaeth a chofio. Felly, prif bwnc dadansoddi technolegau unigol a phensaernïaeth rhwydweithiau niwral artiffisial oedd y dasg ganlynol: darganfod ble mae'r cyfan yn mynd, ac nid dyfais unrhyw rwydwaith niwral penodol ar wahân.
Ble mae hyn i gyd yn mynd? Prif ganlyniadau:
- Nifer y dechreuadau dysgu peirianyddol yn ystod y ddwy flynedd ddiwethaf . Rheswm posibl: “Nid yw rhwydweithiau niwral bellach yn rhywbeth newydd.”
- Gall unrhyw un greu rhwydwaith niwral gweithredol i ddatrys problem syml. I wneud hyn, cymerwch fodel parod o'r “sŵ model” a hyfforddwch haen olaf y rhwydwaith niwral () ar ddata parod o neu o yn rhad ac am ddim .
- Dechreuodd cynhyrchwyr mawr o rwydweithiau niwral greu "sŵau model" (sŵ model). Gan eu defnyddio gallwch greu cymhwysiad masnachol yn gyflym: ar gyfer TensorFlow, ar gyfer PyTorch, ar gyfer Caffe2, am Gadwynwr a .
- Rhwydweithiau niwral yn gweithio mewn amser real (amser real) ar ddyfeisiau symudol. O 10 i 50 ffrâm yr eiliad.
- Y defnydd o rwydweithiau niwral mewn ffonau (TF Lite), mewn porwyr (TF.js) ac mewn (IoT, Irhyngrwyd of Tcolfachau). Yn enwedig mewn ffonau sydd eisoes yn cefnogi rhwydweithiau niwral ar y lefel caledwedd (cyflymwyr niwral).
- “Bydd gan bob dyfais, dilledyn, ac efallai hyd yn oed bwyd Cyfeiriad IP-v6 a chyfathrebu â'i gilydd" - .
- Mae nifer y cyhoeddiadau ar ddysgu peirianyddol wedi dechrau tyfu (dyblu bob dwy flynedd) ers 2015. Yn amlwg, mae angen rhwydweithiau niwral arnom ar gyfer dadansoddi erthyglau.
- Mae'r technolegau canlynol yn dod yn fwy poblogaidd:
- PyTorch – mae poblogrwydd yn tyfu'n gyflym ac mae'n ymddangos ei fod yn goddiweddyd TensorFlow.
- Dethol hyperparameters yn awtomatig AutoML - mae poblogrwydd yn tyfu'n esmwyth.
- Gostyngiad graddol mewn cywirdeb a chynnydd mewn cyflymder cyfrifo: , algorithmau , cyfrifiadau anfanwl (bras), meintioli (pan gaiff pwysau'r rhwydwaith niwral eu trosi'n gyfanrifau a'u meintioli), cyflymyddion niwral.
- Cyfieithiad и .
- creu , nawr mewn amser real.
- Y prif beth am DL yw bod llawer o ddata, ond nid yw'n hawdd ei gasglu a'i labelu. Felly, mae awtomeiddio marcio yn datblygu () ar gyfer rhwydweithiau niwral gan ddefnyddio rhwydweithiau niwral.
- Gyda rhwydweithiau niwral, daeth Cyfrifiadureg yn sydyn gwyddoniaeth arbrofol ac a gyfododd .
- Daeth arian TG a phoblogrwydd rhwydweithiau niwral i'r amlwg ar yr un pryd pan ddaeth cyfrifiadura yn werth marchnad. Mae'r economi yn newid o economi aur ac arian i aur-arian-cyfrifiadura. Gweler fy erthygl ar a'r rheswm dros ymddangosiad arian TG.
Yn raddol mae un newydd yn ymddangos (Machine Learning & Deep Learning), sy'n seiliedig ar gynrychioli'r rhaglen fel set o fodelau rhwydwaith niwral hyfforddedig.
Ffigur 3 – ML/DL fel methodoleg rhaglennu newydd
Fodd bynnag, ni ymddangosodd erioed "damcaniaeth rhwydwaith nerfol", lle gallwch feddwl a gweithio'n systematig. Mae'r hyn a elwir bellach yn “ddamcaniaeth” mewn gwirionedd yn algorithmau arbrofol, hewristig.
Dolenni i fy adnoddau i ac adnoddau eraill:
- Cylchlythyr Gwyddor Data. Prosesu delwedd yn bennaf. Dylai unrhyw un sydd am ei dderbyn anfon e-bost (foobar167gmailcom). Rwy'n anfon dolenni i erthyglau a fideos wrth i ddeunydd gronni.
- Cyffredinol yr wyf wedi mynd heibio ac yr hoffwn ei basio.
- , lle dylech chi ddechrau astudio rhwydweithiau niwral. Yn ogystal â llyfryn .
- , lle bydd pawb yn dod o hyd i rywbeth diddorol drostynt eu hunain.
- Cawsom eu bod yn hynod ddefnyddiol. sianeli fideo ar gyfer dadansoddi erthyglau gwyddonol gan Gwyddor Data. Dod o hyd iddynt, tanysgrifio iddynt a throsglwyddo'r dolenni i'ch cydweithwyr a minnau hefyd. Enghreifftiau:
- aka gyda chyfarwyddiadau cam wrth gam a ffynhonnell agored.
Diolch am eich sylw!
Ffynhonnell: hab.com