{"id":54494,"date":"2019-12-27T00:00:00","date_gmt":"2019-12-26T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning"},"modified":"2020-02-18T14:02:30","modified_gmt":"2020-02-18T11:02:30","slug":"dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/news\/dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning","title":{"rendered":"Jedi tehnika konvolutsiooniliste v\u00f5rkude v\u00e4hendamiseks \u2014 pruning","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Jedi<\/p>\n

<\/p>\n

Ees on j\u00e4lle objektide tuvastamise \u00fclesanne. Prioriteet on t\u00f6\u00f6 kiirus vastuv\u00f5etava t\u00e4psuse juures. V\u00f5ta arhitektuur YOLOv3 ja \u00f5pi seda edasi. T\u00e4psus (mAp75) \u00fcle 0,95. Kuid l\u00e4biviimise kiirus on endiselt madal. Kurat. <\/p>\n

<\/p>\n

T\u00e4na j\u00e4tame kvantiseerimise k\u00f5rvale. Ja allpool vaatame \u00fcle Mudeli k\u00e4rpimine<\/strong> \u2014 \u00fcleliigsete osade eemaldamine v\u00f5rgust, et kiirendada j\u00e4reldusi ilma t\u00e4psuse kaotuseta. Visuaalselt \u2014 kust, kui palju ja kuidas saab k\u00e4rpida. Uurime, kuidas seda k\u00e4sitsi teha ja kus saab automatiseerida. L\u00f5pus \u2014 reposoitor keras'ele.<\/p>\n

<\/a><\/noindex><\/p>\n

Sissejuhatus<\/h3>\n

<\/p>\n

Eelmises t\u00f6\u00f6kohas, Permi Macroscopis, omandasin harjumuse \u2014 alati j\u00e4lgida algoritmide t\u00e4itmise aega. Ja v\u00f5rgu t\u00f6\u00f6tlemise aega kontrolida alati adekvaatsuse filtri kaudu. Tavaliselt ei l\u00e4binud state-of-the-art tootmisest seda filtrit, mis viis mind k\u00e4rpimise juurde. <\/p>\n

<\/p>\n

K\u00e4rpimine \u2014 vana teema, millest r\u00e4\u00e4giti Stanfordi loengutes<\/a><\/noindex> 2017. aastal. Peamine idee \u2014 treenitud v\u00f5rgu suuruse v\u00e4hendamine ilma t\u00e4psuse kaotuseta, eemaldades erinevaid s\u00f5lmu. K\u00f5lab vahvalt, aga harva kuulen selle rakendamisest. T\u00f5en\u00e4oliselt puuduvad rakendused, pole venekeelseid artikleid v\u00f5i arvavad k\u00f5ik, et k\u00e4rpimine on midagi uut ja vaikivad.
\nAga l\u00e4hme edasi uurima<\/p>\n

<\/p>\n

Pilguheide bioloogiasse<\/h3>\n

<\/p>\n

Mulle meeldib, kui s\u00fcva\u00f5ppes saavad inspiratsiooni ideed bioloogiast. Neile, nagu ka evolutsioonile, v\u00f5ib toetuda (ja kas teadsid, et ReLU sarnaneb v\u00e4ga aju neuronite aktiveerimisfunktsiooniga<\/a><\/noindex>?) <\/p>\n

<\/p>\n

Mudeli k\u00e4rpimise protsess on samuti seotud bioloogiaga. V\u00f5rgu reaktsiooni saab v\u00f5rrelda aju plastilisusega. M\u00f5ned huvitavad n\u00e4ited on raamatus Norman Doidge<\/a><\/noindex>:<\/p>\n

<\/p>\n

    \n
  1. Naisel, kes s\u00fcndis ainult \u00fche poolega, p\u00f6\u00f6ras aju ennast \u00fcmber, et t\u00e4ita puudumise poole funktsioone<\/li>\n
  2. Noormees lasi endal maha osa ajust, mis vastutas n\u00e4gemise eest. Aja jooksul v\u00f5tsid teised ajupiirkonnad need funktsioonid enda kanda. (ei proovi korrata)<\/li>\n<\/ol>\n

    <\/p>\n

    Nii saab ka teie mudelist eemaldada osa n\u00f5rgemaid konvolutsioone. \u00c4\u00e4rmisel juhul aitavad j\u00e4\u00e4nud konvolutsioonid asendada eemaldatud osi. <\/p>\n

    <\/p>\n

    Kas armastad \u00fclekandmist \u00f5ppimist v\u00f5i \u00f5pid nullist?<\/h3>\n

    <\/p>\n

    Variant number \u00fcks.<\/strong> Sa kasutad Transfer Learning und Yolov3, Retina, Mask-RCNN v\u00f5i U-Net. Kuid sagedamini ei ole meil vaja tuvastada 80 objekti kategooriat nagu COCO-s. Minu praktikas piirduvad asjad 1-2 klassiga. V\u00f5ib arvestada, et 80 klassi arhitektuur on siin \u00fclearune. Tekkib m\u00f5te, et arhitektuuri tuleks v\u00e4hendada. Samal ajal tahaksin seda teha ilma olemasolevate eel\u00f5ppete kaalude kaotamata.<\/p>\n

    <\/p>\n

    Variant number kaks.<\/strong> V\u00f5ib-olla on sul palju andmeid ja arvutusressursse v\u00f5i vajad lihtsalt superkohandatud arhitektuuri. Pole vahet. Aga sa \u00f5petad v\u00f5rku nullist. Tavaline j\u00e4rjekord on - vaatame andmestruktuuri, valime \u00fcleliigse v\u00f5imsuse arhitektuuri ja maksimeerime dropout'ide abil \u00fcle\u00f5ppimise kaitset. Olen n\u00e4inud dropout'e 0.6, Karl. <\/p>\n

    <\/p>\n

    M\u00f5lemal juhul saab v\u00f5rku v\u00e4hendada. Motivatsioon on olemas. N\u00fc\u00fcd liigume v\u00e4lja selgitama, mis asi on prune.<\/p>\n

    <\/p>\n

    \u00dcldine algoritm<\/h3>\n

    <\/p>\n

    Oleme otsustanud, et saame eemaldada konvolutsioonid. See n\u00e4eb v\u00e4lja \u00fcsna lihtne:<\/p>\n

    <\/p>\n

    \"Jedi<\/p>\n

    <\/p>\n

    Iga konvolutsiooni eemaldamine on v\u00f5rgu jaoks stress, mis tavaliselt toob kaasa teatud t\u00f5usu veas. \u00dchest k\u00fcljest on see veat\u00f5us n\u00e4itaja, kui \u00f5igesti me konvolutsioone eemaldame (nt suur t\u00f5us n\u00e4itab, et me teeme midagi valesti). Kuid v\u00e4ike t\u00f5us on t\u00e4iesti lubatav ja tihti kaob see hilisema kerge t\u00e4iend\u00f5ppega v\u00e4ikese LR-iga. Lisame t\u00e4iend\u00f5ppe sammu:<\/p>\n

    <\/p>\n

    \"Jedi<\/p>\n

    <\/p>\n

    N\u00fc\u00fcd peame aru saama, millal tahame meie LearningPruning ts\u00fcklit l\u00f5petada. Siin v\u00f5ivad olla eksootilised v\u00f5imalused, kui me peame v\u00f5rku v\u00e4hendama kindla suuruse ja t\u00f6\u00f6tlemiskiiruseni (nt mobiilseadmete jaoks). Kuid k\u00f5ige sagedasem variant on j\u00e4tkata ts\u00fcklit, kuni viga \u00fcletab lubatud taseme. Lisame tingimuse:<\/p>\n

    <\/p>\n

    \"Jedi<\/p>\n

    <\/p>\n

    Nii et algoritm muutub selgeks. J\u00e4\u00e4b selgeks teha, kuidas m\u00e4\u00e4rata eemaldatavad konvolutsioonid.<\/p>\n

    <\/p>\n

    Eemaldatavate konvolutsioonide otsimine<\/h3>\n

    <\/p>\n

    \u041d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0443\u0434\u0430\u043b\u0438\u0442\u044c \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u0441\u0432\u0435\u0440\u0442\u043a\u0438. \u0420\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430\u043f\u0440\u043e\u043b\u043e\u043c \u0438 «\u043e\u0442\u0441\u0442\u0440\u0435\u043b\u0438\u0432\u0430\u0442\u044c» \u043b\u044e\u0431\u044b\u0435 \u2014 \u043f\u043b\u043e\u0445\u0430\u044f \u0438\u0434\u0435\u044f, \u0445\u043e\u0442\u044c \u0438 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c. \u041d\u043e \u0440\u0430\u0437 \u0435\u0441\u0442\u044c \u0433\u043e\u043b\u043e\u0432\u0430, \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0434\u0443\u043c\u0430\u0442\u044c \u0438 \u043f\u043e\u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c \u0434\u043b\u044f \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u044f «\u0441\u043b\u0430\u0431\u044b\u0435» \u0441\u0432\u0435\u0440\u0442\u043a\u0438. \u0412\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u0435\u0441\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e:<\/p>\n

    <\/p>\n

      \n
    1. V\u00e4ikseim L1-meetod v\u00f5i low_magnitude_pruning<\/a><\/noindex>. Idee, mis \u00fctleb, et v\u00e4ikese kaaluv\u00e4\u00e4rtusega konvolutsioonid annavad v\u00e4ikese panuse l\u00f5ppotsuse langetamisse. <\/li>\n
    2. V\u00e4ikseim L1-meetod, arvestades keskmist ja standardh\u00e4lvet. T\u00e4iendame hindamise iseloomuga jaotuse.<\/li>\n
    3. Kooridneerimise peitmine ja v\u00e4hem m\u00f5juvatest tulemustest loobumine<\/a><\/noindex>. T\u00e4psem m\u00e4\u00e4ramine v\u00e4heolulistest koondustest, kuid aegan\u00f5udev ja ressursimahukas. <\/li>\n
    4. Teised <\/li>\n<\/ol>\n

      <\/p>\n

      Iga variandil on oma elu\u00f5igus ja rakenduse erip\u00e4rad. Siin vaatleme varianti, millel on madalaim L1-m\u00f5\u00f5t.<\/p>\n

      <\/p>\n

      K\u00e4sitsi protsess YOLOv3 jaoks<\/h3>\n

      <\/p>\n

      T\u00f5hususe arhitektuur sisaldab j\u00e4\u00e4kplokke. Kuid kuigi need on s\u00fcgavate v\u00f5rkude jaoks t\u00f5husad, v\u00f5ivad nad meile segadust tekitada. Probleem on selles, et nendes kihtides ei saa eemaldada erinevate indeksitega koondusi:<\/p>\n

      <\/p>\n

      \"Jedi<\/p>\n

      <\/p>\n

      Seega eristame kihti, millest saame koondusi vabalt eemaldada:<\/p>\n

      <\/p>\n

      \"Jedi<\/p>\n

      <\/p>\n

      N\u00fc\u00fcd loome t\u00f6\u00f6ts\u00fckli:<\/p>\n

      <\/p>\n

        \n
      1. Eksportime aktiveerimised<\/li>\n
      2. Hinnake, kui palju on vaja sisse l\u00f5igata <\/li>\n
      3. L\u00f5ikame v\u00e4lja<\/li>\n
      4. Koolitame 10 epohhi LR=1e-4 <\/li>\n
      5. Testime <\/li>\n<\/ol>\n

        <\/p>\n

        Koonduste eksportimine on kasulik, et hinnata, kui suurt osa saame kindlal sammul eemaldada. Eksportimise n\u00e4idised:<\/p>\n

        <\/p>\n

        \"Jedi<\/p>\n

        <\/p>\n

        N\u00e4eme, et praktiliselt igal pool on 5% koondustest v\u00e4ga madala L1-normiga ja saame need eemaldada. Igal sammul kordus selline eksport ja tehti hinnang, millistest kihtidest ja kui palju on v\u00f5imalik eemaldada. <\/p>\n

        <\/p>\n

        Kogu protsess mahtus 4 sammu (siin ja igal pool numbrid RTX 2060 Super jaoks):<\/p>\n

        <\/p>\n\n\n\n\n\n\n\n\n\n
        suudab t\u00e4ielikult eemaldada k\u00f5ik failid, mis asuvad kohaliku hoidla versioonis<\/th>\nmAp75<\/th>\nParameetrite arv, mln<\/th>\nV\u00f5rgu suurus, mb<\/th>\nAlgse, %<\/th>\nJooksuaeg, ms<\/th>\nL\u00f5ikamise tingimus<\/th>\n<\/tr>\n<\/thead>\n
        0<\/td>\n0.9656<\/td>\n60<\/td>\n241<\/td>\n100<\/td>\n180<\/td>\n\u2014<\/td>\n<\/tr>\n
        1<\/td>\n0.9622<\/td>\n55<\/td>\n218<\/td>\n91<\/td>\n175<\/td>\n5% k\u00f5igist<\/td>\n<\/tr>\n
        2<\/td>\n0.9625<\/td>\n50<\/td>\n197<\/td>\n83<\/td>\n168<\/td>\n5% k\u00f5igist<\/td>\n<\/tr>\n
        3<\/td>\n0.9633<\/td>\n39<\/td>\n155<\/td>\n64<\/td>\n155<\/td>\n15% kihtidest, kus on 400+ koondust<\/td>\n<\/tr>\n
        4<\/td>\n0.9555<\/td>\n31<\/td>\n124<\/td>\n51<\/td>\n146<\/td>\n10% kihtidest, kus on 100+ koondust<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

        <\/p>\n

        Teise sammu jooksul lisandus \u00fcks positiivne efekt \u2014 m\u00e4lu suutis mahutada bat\u0161i suurusega 4, mis kiirendas t\u00e4iendamisprotsessi oluliselt.
        \nNeljandas etapis peatus protsess, kuna isegi pikem t\u00e4iendamine ei t\u00f5stnud mAp75 vanade v\u00e4\u00e4rtusteni.
        \nKokkuv\u00f5ttes \u00f5nnestus kiirendada j\u00e4relevalvet 15%<\/strong>, v\u00e4hendada suurust 35% <\/strong>ja mitte kaotada t\u00e4psuses. <\/p>\n

        <\/p>\n

        Automatiseerimine lihtsama arhitektuuri jaoks<\/h3>\n

        <\/p>\n

        Lihtsate v\u00f5rguarhitektuuride (ilma tingimuslike add, concat ja j\u00e4\u00e4kblokkideta) puhul on v\u00f5imalik t\u00f6\u00f6tlemine k\u00f5ikide koonduskihtide peal ning protsessi automatiseerimine.<\/p>\n

        <\/p>\n

        Selle variandi rakendasin siin<\/a><\/noindex>.
        \nK\u00f5ik on lihtne: teilt on vaja ainult kaotuse funktsiooni, optimeerijat ja bat\u0161i genereerijaid:<\/p>\n

        <\/p>\n

        import pruning\nfrom keras.optimizers import Adam\nfrom keras.utils import Sequence\n\ntrain_batch_generator = BatchGenerator...\nscore_batch_generator = BatchGenerator...\n\nopt = Adam(lr=1e-4)\npruner = pruning.Pruner(\"config.json\", \"categorical_crossentropy\", opt)\n\npruner.prune(train_batch, valid_batch)<\/code><\/pre>\n
        <\/p>\n
        Vajadusel saab konfigureerimise parameetreid muuta:<\/p>\n
        <\/p>\n
        {\n    \"input_model_path\": \"model.h5\",\n    \"output_model_path\": \"model_pruned.h5\",\n    \"finetuning_epochs\": 10, # epohide arvu, mis treenivad k\u00e4rpimise sammu vahel\n    \"stop_loss\": 0.1, # kaotus peatamiseks\n    \"pruning_percent_step\": 0.05, # osa konvolutsioonidest, mis kustutatakse igal k\u00e4rpimise sammul\n    \"pruning_standart_deviation_part\": 0.2 # nihke m\u00e4\u00e4ramine k\u00e4rpimise osale\n}<\/code><\/pre>\n
        <\/p>\n
        \u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f. \u0426\u0435\u043b\u044c \u2014 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0442\u044c \u0447\u0430\u0441\u0442\u044c \u0443\u0434\u0430\u043b\u044f\u0435\u043c\u044b\u0445, \u0438\u0441\u043a\u043b\u044e\u0447\u0430\u044f \u0441\u0432\u0435\u0440\u0442\u043a\u0438 \u0441 \u0443\u0436\u0435 «\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u044b\u043c\u0438» L1-\u043c\u0435\u0440\u0430\u043c\u0438:<\/p>\n
        <\/p>\n
        \"Jedi<\/p>\n
        <\/p>\n
        Nii v\u00f5imaldame eemaldada ainult n\u00f5rkade konvolutsioonide distributsioone, mis on sarnased paremale, ja mitte m\u00f5jutada eemaldamist distributsioonidest, mis on sarnased vasakule:<\/p>\n
        <\/p>\n
        \"Jedi<\/p>\n
        <\/p>\n
        Jaotuste l\u00e4henedes normaalsele jaotusest, saab k\u00e4rpimise standardh\u00e4lbe osa sobitada j\u00e4rgmiselt:<\/p>\n
        <\/p>\n
        \"Jedi
        \nSoovitan lubada 2 sigmat. V\u00f5i ei pruugi sellele omadusele tugineda, j\u00e4ttes v\u00e4\u00e4rtuse < 1.0.<\/p>\n
        <\/p>\n
        Tulemuseks on graafik v\u00f5rgu suurusest, kadudest ja v\u00f5rgu t\u00f6\u00f6aja graafik kogu testi jooksul, normeeritud tasemele 1.0. N\u00e4iteks siin oli v\u00f5rgu suurust v\u00e4hendatud peaaegu kaks korda ilma kvaliteedi kadumiseta (v\u00e4ike konvolutsiooniv\u00f5rk 100k kaalu jaoks):<\/p>\n
        <\/p>\n
        \"Jedi<\/p>\n
        <\/p>\n
        T\u00f6\u00f6tlemise kiirus on tavalistele k\u00f5ikumistele alluv ja praktiliselt ei muutunud. Sellel on seletus:<\/p>\n
        <\/p>\n
          \n
        1. Konvolutsioonide arv muutub mugavast (32, 64, 128) ebamugavateks videokaartidel \u2014 27, 51 jne. Siin v\u00f5in eksida, kuid t\u00f5en\u00e4oliselt m\u00f5jutab see.<\/li>\n
        2. Arhitektuur ei ole lai, vaid j\u00e4rjestikune. Laiuse v\u00e4hendamisel ei muuda me s\u00fcgavust. Nii v\u00e4hendame koormust, kuid ei muuda kiirus.<\/li>\n<\/ol>\n
          <\/p>\n
          Seet\u00f5ttu v\u00e4ljendus t\u00e4iustamine CUDA koormuse v\u00e4henemises t\u00f6\u00f6tlusel 20-30%, kuid mitte t\u00f6\u00f6tlemise aja v\u00e4henemises.<\/p>\n
          <\/p>\n
          Summary<\/h3>\n
          <\/p>\n
          M\u00f5elgem veidi. Vaatasime kahte k\u00e4rpimise varianti \u2014 YOLOv3 jaoks (kui tuleb k\u00e4sitsi t\u00f6\u00f6tada) ja v\u00f5rke lihtsama arhitektuuriga. N\u00e4htavalt on m\u00f5lemal juhul v\u00f5imalik saavutada v\u00f5rgu suuruse ja kiiruseta arvutamise v\u00e4henemist t\u00e4psuse kaotamata. Tulemused:<\/p>\n
          <\/p>\n