{"id":54494,"date":"2019-12-27T00:00:00","date_gmt":"2019-12-26T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning"},"modified":"2020-02-18T14:02:30","modified_gmt":"2020-02-18T11:02:30","slug":"dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning","status":"publish","type":"post","link":"https:\/\/prohoster.info\/ro\/blog\/news\/dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning","title":{"rendered":"Tehnica Jedi de reducere a re\u021belelor convolu\u021bionale \u2013 pruning","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Tehnica<\/p>\n

<\/p>\n

\u00cen fa\u021ba ta se afl\u0103 din nou o sarcin\u0103 de detectare a obiectelor. Prioritatea este viteza de lucru cu o acurate\u021be acceptabil\u0103. Ia arhitectura YOLOv3 \u0219i ajusteaz\u0103-o. Acurate\u021bea (mAp75) trebuie s\u0103 fie peste 0.95. Dar viteza de rulare este \u00eenc\u0103 sc\u0103zut\u0103. Drace. <\/p>\n

<\/p>\n

Ast\u0103zi vom ocoli cuantizarea. Iar sub titlu vom analiza Model Pruning<\/strong> \u2014 t\u0103ierea p\u0103r\u021bilor redundante ale re\u021belei pentru a accelera Inferen\u021ba f\u0103r\u0103 a pierde acurate\u021bea. Vizual \u2014 de unde, c\u00e2t \u0219i cum se poate t\u0103ia. Vom discuta despre cum s\u0103 facem acest lucru manual \u0219i unde se poate automatiza. La final \u2014 un repository pe keras.<\/p>\n

<\/a><\/noindex><\/p>\n

Introducere<\/h3>\n

<\/p>\n

La fostul meu loc de munc\u0103, Macroscop din Perm, am dob\u00e2ndit o obicei \u2014 s\u0103 urm\u0103resc \u00eentotdeauna timpul de execu\u021bie al algoritmilor. Iar timpul de rulare al re\u021belelor trebuie verificat \u00eentotdeauna printr-un filtru de adecvare. De obicei, solu\u021biile de v\u00e2rf nu trec acest filtru, ceea ce m-a dus la Pruning. <\/p>\n

<\/p>\n

Pruning-ul este o tem\u0103 veche despre care s-a vorbit la lec\u021biile de la Stanford<\/a><\/noindex> \u00een 2017. Ideea principal\u0103 este reducerea dimensiunii re\u021belei antrenate f\u0103r\u0103 a pierde acurate\u021bea prin eliminarea diferitelor noduri. Sun\u0103 grozav, dar rar aud de aplicarea sa. Probabil c\u0103 lipse\u0219te implement\u0103rile, nu exist\u0103 articole \u00een limba rom\u00e2n\u0103 sau pur \u0219i simplu toat\u0103 lumea crede c\u0103 pruning-ul este un know-how \u0219i tace.
\nDar hai s\u0103 discut\u0103m despre<\/p>\n

<\/p>\n

O privire \u00een biologie<\/h3>\n

<\/p>\n

\u00cemi place c\u00e2nd \u00een Deep Learning apar idei din biologie. Lor, ca \u0219i evolu\u021biei, le putem acorda \u00eencredere (\u0219tiai c\u0103 ReLU este foarte similar\u0103 cu func\u021bia de activare a neuronilor din creier<\/a><\/noindex>?) <\/p>\n

<\/p>\n

Procesul de Model Pruning este de asemenea apropiat de biologie. Reac\u021bia re\u021belei poate fi comparat\u0103 cu plasticitatea creierului. Exist\u0103 c\u00e2teva exemple interesante \u00een cartea Norman Doidge<\/a><\/noindex>:<\/p>\n

<\/p>\n

    \n
  1. Creierul unei femei care a avut de la na\u0219tere doar o jum\u0103tate s-a reprogramat singur pentru a \u00eendeplini func\u021biile jum\u0103t\u0103\u021bii lips\u0103.<\/li>\n
  2. Un b\u0103iat \u0219i-a \u00eempu\u0219cat o parte din creier care r\u0103spundea la vedere. \u00cen timp, alte p\u0103r\u021bi ale creierului au preluat aceste func\u021bii. (nu ne str\u0103duim s\u0103 repet\u0103m)<\/li>\n<\/ol>\n

    <\/p>\n

    Astfel, din modelul t\u0103u se pot t\u0103ia p\u0103r\u021bi din convolu\u021biile slabe. \u00cen cel mai r\u0103u caz, convolu\u021biile r\u0103mase vor ajuta la \u00eenlocuirea celor t\u0103iate. <\/p>\n

    <\/p>\n

    \u00ce\u021bi place Transfer Learning sau \u00eenve\u021bi de la zero?<\/h3>\n

    <\/p>\n

    Varianta num\u0103rul unu.<\/strong> Folose\u0219ti Transfer Learning cu Yolov3, Retina, Mask-RCNN sau U-Net. Dar, cel mai adesea, nu trebuie s\u0103 recunoa\u0219tem 80 de clase de obiecte, ca \u00een COCO. \u00cen practica mea, ne limit\u0103m la 1-2 clase. Se poate presupune c\u0103 arhitectura pentru 80 de clase este excesiv\u0103. Se contureaz\u0103 ideea c\u0103 trebuie s\u0103 mic\u0219or\u0103m arhitectura. \u00cens\u0103, ne-ar pl\u0103cea s\u0103 facem asta f\u0103r\u0103 a pierde greut\u0103\u021bile pre-antrenate existente.<\/p>\n

    <\/p>\n

    Varianta num\u0103rul doi.<\/strong> Poate ai multe date \u0219i resurse de calcul sau pur \u0219i simplu ai nevoie de o arhitectur\u0103 super personalizat\u0103. Nu conteaz\u0103. Dar \u00eenve\u021bi re\u021beaua de la zero. Ordinea obi\u0219nuit\u0103 este s\u0103 ne uit\u0103m la structura datelor, s\u0103 alegem o arhitectur\u0103 EXCESIV\u0102 ca putere \u0219i s\u0103 acoperim dropout-urile pentru a evita supra\u00eenv\u0103\u021barea. Am v\u0103zut dropout-uri de 0.6, Karl. <\/p>\n

    <\/p>\n

    \u00cen ambele cazuri, re\u021beaua poate fi mic\u0219orat\u0103. Ne-am motivat. Acum mergem s\u0103 \u00een\u021belegem ce \u00eenseamn\u0103 t\u0103ierea (pruning).<\/p>\n

    <\/p>\n

    Algoritmul general<\/h3>\n

    <\/p>\n

    Am decis c\u0103 putem elimina convolu\u021biile. Pare destul de simplu:<\/p>\n

    <\/p>\n

    \"Tehnica<\/p>\n

    <\/p>\n

    Eliminarea oric\u0103rei convolu\u021bii este un stres pentru re\u021bea, care de obicei duce la o cre\u0219tere a erorii. Pe de o parte, aceast\u0103 cre\u0219tere a erorii este un indicator al c\u00e2t de corect elimin\u0103m convolu\u021biile (de exemplu, o cre\u0219tere mare sugereaz\u0103 c\u0103 facem ceva gre\u0219it). Dar o mic\u0103 cre\u0219tere este acceptabil\u0103 \u0219i de multe ori este eliminat\u0103 printr-un mic reantrenament cu un LR sc\u0103zut. Ad\u0103ug\u0103m un pas de reantrenare:<\/p>\n

    <\/p>\n

    \"Tehnica<\/p>\n

    <\/p>\n

    Acum trebuie s\u0103 \u00een\u021belegem c\u00e2nd vrem s\u0103 oprim ciclul nostru de \u00cenv\u0103\u021bareT\u0103iere. Aici pot exista variante exotice, c\u00e2nd trebuie s\u0103 mic\u0219or\u0103m re\u021beaua la o dimensiune \u0219i o vitez\u0103 de procesare specific\u0103 (de exemplu, pentru dispozitive mobile). Cu toate acestea, cea mai frecvent\u0103 variant\u0103 este continuarea ciclului p\u00e2n\u0103 c\u00e2nd eroarea dep\u0103\u0219e\u0219te o limit\u0103 acceptabil\u0103. Ad\u0103ug\u0103m o condi\u021bie:<\/p>\n

    <\/p>\n

    \"Tehnica<\/p>\n

    <\/p>\n

    A\u0219adar, algoritmul devine clar. R\u0103m\u00e2ne s\u0103 analiz\u0103m cum s\u0103 determin\u0103m convolu\u021biile care trebuie eliminate.<\/p>\n

    <\/p>\n

    C\u0103utarea convolu\u021biilor care pot fi eliminate.<\/h3>\n

    <\/p>\n

    Trebuie s\u0103 elimin\u0103m unele rulouri. Amerge \u00een for\u021b\u0103 \u0219i a \"\u00eempu\u0219ca\" orice este o idee proast\u0103, de\u0219i va func\u021biona. Dar, av\u00e2nd o minte, putem s\u0103 ne g\u00e2ndim \u0219i s\u0103 \u00eencerc\u0103m s\u0103 identific\u0103m rulourile \"slabe\" pentru a fi eliminate. Exist\u0103 mai multe op\u021biuni:<\/p>\n

    <\/p>\n

      \n
    1. Cea mai mic\u0103 m\u0103sur\u0103 L1 sau low_magnitude_pruning.<\/a><\/noindex>. Ideea este c\u0103 convolu\u021biile cu valori mici ale greut\u0103\u021bilor contribuie pu\u021bin la decizia final\u0103. <\/li>\n
    2. Cea mai mic\u0103 m\u0103sur\u0103 L1 av\u00e2nd \u00een vedere media \u0219i devia\u021bia standard. Complet\u0103m cu evaluarea caracterului distribu\u021biei.<\/li>\n
    3. Mascararea convolu\u021biilor \u0219i excluderea celor cu un impact mai mic asupra preciziei finale<\/a><\/noindex>. O defini\u021bie mai exact\u0103 a convolu\u021biilor insignifiante, dar care necesit\u0103 mult timp \u0219i resurse. <\/li>\n
    4. Altele <\/li>\n<\/ol>\n

      <\/p>\n

      Fiecare op\u021biune are dreptul la via\u021b\u0103 \u0219i are propriile caracteristici de implementare. Aici vom discuta op\u021biunea cu cea mai mic\u0103 m\u0103sur\u0103 L1<\/p>\n

      <\/p>\n

      Proces manual pentru YOLOv3<\/h3>\n

      <\/p>\n

      Arhitectura ini\u021bial\u0103 con\u021bine blocuri reziduale. Dar, oric\u00e2t de eficiente ar fi pentru re\u021belele ad\u00e2nci, ne vor crea unele dificult\u0103\u021bi. Problema este c\u0103 nu putem elimina convolu\u021biile cu indici diferi\u021bi \u00een aceste straturi:<\/p>\n

      <\/p>\n

      \"Tehnica<\/p>\n

      <\/p>\n

      Prin urmare, vom defini straturile din care putem elimina liber convolu\u021biile:<\/p>\n

      <\/p>\n

      \"Tehnica<\/p>\n

      <\/p>\n

      Acum s\u0103 construim ciclul de lucru:<\/p>\n

      <\/p>\n

        \n
      1. Extragem activ\u0103rile<\/li>\n
      2. Estim\u0103m c\u00e2t de multe s\u0103 elimin\u0103m <\/li>\n
      3. Elimin\u0103m<\/li>\n
      4. \u00cenv\u0103\u021b\u0103m timp de 10 epoci cu LR=1e-4 <\/li>\n
      5. Test\u0103m <\/li>\n<\/ol>\n

        <\/p>\n

        Este util s\u0103 extragem convolu\u021biile pentru a evalua ce parte putem elimina \u00eentr-un anumit pas. Exemple de extragere:<\/p>\n

        <\/p>\n

        \"Tehnica<\/p>\n

        <\/p>\n

        Vedem c\u0103 aproape peste tot 5% din convolu\u021bii au o norm\u0103 L1 foarte sc\u0103zut\u0103 \u0219i le putem elimina. La fiecare pas, aceast\u0103 extragere s-a repetat \u0219i s-a evaluat din ce straturi \u0219i c\u00e2te putem elimina. <\/p>\n

        <\/p>\n

        \u00centregul proces a fost finalizat \u00een 4 pa\u0219i (aici \u0219i \u00een toat\u0103 parte cu numere pentru RTX 2060 Super):<\/p>\n

        <\/p>\n\n\n\n\n\n\n\n\n\n
        Pasul<\/th>\nmAp75<\/th>\nNum\u0103rul de parametri, mii<\/th>\nDimensiunea re\u021belei, mb<\/th>\nFa\u021b\u0103 de ini\u021bial, %<\/th>\nTimpul de rulare, ms<\/th>\nCondi\u021bia de t\u0103iere<\/th>\n<\/tr>\n<\/thead>\n
        0<\/td>\n0.9656<\/td>\n60<\/td>\n241<\/td>\n100<\/td>\n180<\/td>\n\u2014<\/td>\n<\/tr>\n
        1<\/td>\n0.9622<\/td>\n55<\/td>\n218<\/td>\n91<\/td>\n175<\/td>\n5% din total<\/td>\n<\/tr>\n
        2<\/td>\n0.9625<\/td>\n50<\/td>\n197<\/td>\n83<\/td>\n168<\/td>\n5% din total<\/td>\n<\/tr>\n
        3<\/td>\n0.9633<\/td>\n39<\/td>\n155<\/td>\n64<\/td>\n155<\/td>\n15% pentru straturile cu 400+ convolu\u021bii<\/td>\n<\/tr>\n
        4<\/td>\n0.9555<\/td>\n31<\/td>\n124<\/td>\n51<\/td>\n146<\/td>\n10% pentru straturile cu 100+ convolu\u021bii<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

        <\/p>\n

        La pasul 2, a ap\u0103rut un efect pozitiv \u2014 dimensiunea batch-ului a crescut la 4, ceea ce a accelerat considerabil procesul de re\u00eenv\u0103\u021bare.
        \nLa pasul 4, procesul a fost oprit, deoarece re\u00eenv\u0103\u021barea prelungit\u0103 nu a ridicat mAp75 la valorile anterioare.
        \n\u00cen cele din urm\u0103, am reu\u0219it s\u0103 acceler\u0103m inferen\u021ba cu 15%<\/strong>, s\u0103 reducem dimensiunea cu 35% <\/strong>\u0219i s\u0103 nu pierdem din precizie. <\/p>\n

        <\/p>\n

        Automatizarea pentru arhitecturi mai simple<\/h3>\n

        <\/p>\n

        Pentru arhitecturi mai simple ale re\u021belelor (f\u0103r\u0103 blocuri condi\u021bionale de tip add, concatenate \u0219i rezidual), este suficient s\u0103 ne orient\u0103m asupra proces\u0103rii tuturor straturilor convolu\u021bionale \u0219i s\u0103 automatiz\u0103m procesul de eliminare a convolu\u021biilor.<\/p>\n

        <\/p>\n

        Aceast\u0103 variant\u0103 am implementat-o aici<\/a><\/noindex>.
        \nTotul este simplu: ave\u021bi nevoie doar de func\u021bia de pierdere, optimizer \u0219i generatoare de batch-uri:<\/p>\n

        <\/p>\n

        import pruning\nfrom keras.optimizers import Adam\nfrom keras.utils import Sequence\n\ntrain_batch_generator = BatchGenerator...\nscore_batch_generator = BatchGenerator...\n\nopt = Adam(lr=1e-4)\npruner = pruning.Pruner(\"config.json\", \"categorical_crossentropy\", opt)\n\npruner.prune(train_batch, valid_batch)<\/code><\/pre>\n
        <\/p>\n
        Dac\u0103 este necesar, pute\u021bi modifica parametrii configura\u021biilor:<\/p>\n
        <\/p>\n
        {\n    \"input_model_path\": \"model.h5\",\n    \"output_model_path\": \"model_pruned.h5\",\n    \"finetuning_epochs\": 10, # num\u0103rul de epoci pentru antrenamentul \u00eentre pa\u0219ii de pruning\n    \"stop_loss\": 0.1, # pierdere pentru oprirea procesului\n    \"pruning_percent_step\": 0.05, # parte din convs de \u0219ters la fiecare pas de pruning\n    \"pruning_standart_deviation_part\": 0.2 # deplasare pentru a limita partea de pruning\n}<\/code><\/pre>\n
        <\/p>\n
        De asemenea, a fost implementat\u0103 o restric\u021bie pe baza devia\u021biei standard. Scopul este de a limita partea eliminat\u0103, excluz\u00e2nd rulourile cu m\u0103suri L1 deja \"suficiente\":<\/p>\n
        <\/p>\n
        \"Tehnica<\/p>\n
        <\/p>\n
        Astfel, permitem eliminarea doar a convolu\u021biilor slabe din distribu\u021biile asem\u0103n\u0103toare celei drepte \u0219i nu influen\u021b\u0103m eliminarea din distribu\u021biile asem\u0103n\u0103toare celei st\u00e2ngi:<\/p>\n
        <\/p>\n
        \"Tehnica<\/p>\n
        <\/p>\n
        Pe m\u0103sur\u0103 ce distribu\u021bia se apropie de normal\u0103, coeficientul pruning_standart_deviation_part poate fi ales din:<\/p>\n
        <\/p>\n
        \"Tehnica
        \nRecomand o toleran\u021b\u0103 de 2 sigma. Sau se poate s\u0103 nu se \u021bin\u0103 cont de aceast\u0103 particularitate, l\u0103s\u00e2nd valoarea < 1.0.<\/p>\n
        <\/p>\n
        La ie\u0219ire, ob\u021binem un grafic al dimensiunii re\u021belei, pierderilor \u0219i timpului de rulare a re\u021belei pe tot parcursul testului, normalizate la 1.0. De exemplu, aici dimensiunea re\u021belei a fost redus\u0103 aproape la jum\u0103tate f\u0103r\u0103 pierderi de calitate (o re\u021bea convolu\u021bional\u0103 mic\u0103 cu 100k parametri):<\/p>\n
        <\/p>\n
        \"Tehnica<\/p>\n
        <\/p>\n
        Viteza de rulare este supus\u0103 fluktuatiilor normale \u0219i practic nu s-a schimbat. Acest lucru are o explica\u021bie:<\/p>\n
        <\/p>\n
          \n
        1. Num\u0103rul de convolu\u021bii se schimb\u0103 de la confortabil (32, 64, 128) la cele mai pu\u021bin convenabile pentru pl\u0103cile video \u2014 27, 51 etc. Aici pot gre\u0219i, dar cel mai probabil acest lucru influen\u021beaz\u0103.<\/li>\n
        2. Arhitectura nu este lat\u0103, dar este secven\u021bial\u0103. Reduc\u00e2nd l\u0103\u021bimea, nu afect\u0103m ad\u00e2ncimea. Astfel, reducem \u00eenc\u0103rcarea, dar nu schimb\u0103m viteza.<\/li>\n<\/ol>\n
          <\/p>\n
          Prin urmare, \u00eembun\u0103t\u0103\u021birea s-a tradus \u00een reducerea sarcinii CUDA cu 20-30% \u00een timpul rul\u0103rii, dar nu \u00een reducerea timpului de rulare<\/p>\n
          <\/p>\n
          Concluzii<\/h3>\n
          <\/p>\n
          S\u0103 reflect\u0103m. Am analizat 2 variante de pruning \u2014 pentru YOLOv3 (c\u00e2nd trebuie s\u0103 lucr\u0103m manual) \u0219i pentru re\u021bele cu arhitecturi mai simple. Se observ\u0103 c\u0103 \u00een ambele cazuri se poate ob\u021bine o reducere a dimensiunii re\u021belei \u0219i o accelerare f\u0103r\u0103 pierderi de precizie. Rezultatele sunt:<\/p>\n
          <\/p>\n