{"id":54494,"date":"2019-12-27T00:00:00","date_gmt":"2019-12-26T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning"},"modified":"2020-02-18T14:02:30","modified_gmt":"2020-02-18T11:02:30","slug":"dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hr\/blog\/news\/dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning","title":{"rendered":"Jedi tehnika smanjenja konvolucijskih mre\u017ea \u2014 pruning","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Jedi<\/p>\n

<\/p>\n

Ponovo ima\u0161 zadatak detekcije objekata. Prioritet je brzina rada uz prihvatljivu ta\u010dnost. Uzima\u0161 YOLOv3 arhitekturu i nastavlja\u0161 obu\u010davanje. Ta\u010dnost (mAp75) je ve\u0107a od 0.95. No brzina testiranja je jo\u0161 uvek niska. Prokletstvo. <\/p>\n

<\/p>\n

Danas \u0107emo izbe\u0107i kvantizaciju. A ispod \u0107emo razmotriti Model Pruning<\/strong> \u2014 uklanjanje suvi\u0161nih delova mre\u017ee radi ubrzanja inferencije bez gubitka ta\u010dnosti. Jasno \u2014 odakle, koliko i kako mo\u017eemo da uklonimo. Razjasni\u0107emo kako to uraditi ru\u010dno i gde se mo\u017ee automatizovati. Na kraju \u2014 repozitorijum na keras.<\/p>\n

<\/a><\/noindex><\/p>\n

Uvod<\/h3>\n

<\/p>\n

Na prethodnom poslu, u perm\u0161kom Macroscopu, stekao sam naviku \u2014 uvek pratiti vreme izvr\u0161avanja algoritama. A vreme testiranja mre\u017ea uvek proveravati kroz filter adekvatnosti. Obi\u010dno state-of-the-art u produkciji ne prolaze ovaj filter, \u0161to me i navelo na Pruning. <\/p>\n

<\/p>\n

Pruning \u2014 stara tema o kojoj su govorili na stanfordskim predavanjima<\/a><\/noindex> 2017. godine. Osnovna ideja je smanjenje veli\u010dine obu\u010dene mre\u017ee bez gubitka ta\u010dnosti uklanjanjem raznih \u010dvorova. Zvu\u010di odli\u010dno, ali retko \u010dujem o njenoj primeni. Mo\u017eda nedostaju implementacije, nema \u010dlanaka na ruskom jeziku ili jednostavno svi smatraju pruning za no-u koji ne dele.
\nAli hajde da razmotrimo<\/p>\n

<\/p>\n

Pogled u biologiju<\/h3>\n

<\/p>\n

Volim kada ideje iz biologije odstupaju u Deep Learning. Mogu se, poput evolucije, uzeti za ozbiljno (a znao si da je ReLU prili\u010dno sli\u010dan funkciji aktivacije neurona u mozgu<\/a><\/noindex>?) <\/p>\n

<\/p>\n

Proces Model Pruning tako\u0111e je blizak biologiji. Reakciju mre\u017ee ovde mo\u017eemo uporediti sa plasti\u010dno\u0161\u0107u mozga. Postoji nekoliko zanimljivih primera u knjizi Normana Dojd\u017ea<\/a><\/noindex>:<\/p>\n

<\/p>\n

    \n
  1. Mozak \u017eene koja je od ro\u0111enja imala samo jednu polovinu, preprogramirao je samog sebe da izvr\u0161ava funkcije nedostaju\u0107e polovine.<\/li>\n
  2. Tip je sebi odsekao deo mozga odgovoran za vid. Tokom vremena, druge oblasti mozga preuzele su te funkcije. (ne poku\u0161avamo ponovo)<\/li>\n<\/ol>\n

    <\/p>\n

    Tako i iz va\u0161e modele mo\u017eete izrezati deo slabih konvolucija. U najgorem slu\u010daju, preostale konvolucije \u0107e pomo\u0107i da nadomeste izrezane. <\/p>\n

    <\/p>\n

    Da li voli\u0161 Transfer Learning ili u\u010di\u0161 od nule?<\/h3>\n

    <\/p>\n

    Opcija broj jedan.<\/strong> Koristi\u0161 Transfer Learning na Yolov3, Retina, Mask-RCNN ili U-Net. No, naj\u010de\u0161\u0107e nam ne treba prepoznavati 80 klasa objekata kao u COCO. U mojoj praksi sve se svodi na 1-2 klase. Mo\u017ee se pretpostaviti da je arhitektura za 80 klasa ovdje suvi\u0161na. Postavlja se pitanje kako smanjiti arhitekturu. Osim toga, \u017eeleo bih to u\u010diniti bez gubitka postoje\u0107ih unapred obu\u010denih te\u017eina.<\/p>\n

    <\/p>\n

    Opcija broj dva.<\/strong> Mo\u017eda ima\u0161 puno podataka i ra\u010dunarskih resursa, ili ti jednostavno treba super prilago\u0111ena arhitektura. Nije va\u017eno. Ali u\u010di\u0161 mre\u017eu od nule. Uobi\u010dajeni redosled je da gledamo na strukturu podataka, biramo PREKOMERNU arhitekturu i pove\u0107avamo dropoutove da sprije\u010dimo pretreniranost. Video sam dropoute 0.6, Karl. <\/p>\n

    <\/p>\n

    U oba slu\u010daja mre\u017eu mo\u017eemo smanjiti. Motivirani. Sada idemo da istra\u017eimo \u0161ta je to rezanje pruning.<\/p>\n

    <\/p>\n

    Op\u0161ti algoritam<\/h3>\n

    <\/p>\n

    Odlu\u010dili smo da mo\u017eemo ukloniti konvolucije. Izgleda to vrlo jednostavno:<\/p>\n

    <\/p>\n

    \"Jedi<\/p>\n

    <\/p>\n

    Uklanjanje bilo koje konvolucije predstavlja stres za mre\u017eu, \u0161to obi\u010dno dovodi do odre\u0111enog rasta gre\u0161ke. S jedne strane, ovaj rast gre\u0161ke pokazuje koliko ispravno uklanjamo konvolucije (na primer, veliki rast ukazuje na to da ne\u0161to radimo pogre\u0161no). No, mali rast je sasvim prihvatljiv i obi\u010dno se elimini\u0161e daljnjim malim prilago\u0111avanjem s malim LR. Dodajemo korak prilago\u0111avanja:<\/p>\n

    <\/p>\n

    \"Jedi<\/p>\n

    <\/p>\n

    Sada moramo da shvatimo kada \u017eelimo da prekinemo na\u0161 ciklus U\u010denje<->Pruning. Postoje egzoti\u010dne varijante kada moramo smanjiti mre\u017eu do odre\u0111ene veli\u010dine i brzine izvo\u0111enja (na primer, za mobilne ure\u0111aje). Me\u0111utim, naj\u010de\u0161\u0107i slu\u010daj je nastavak ciklusa sve dok gre\u0161ka ne postane ve\u0107a od dozvoljene. Dodajemo uslov:<\/p>\n

    <\/p>\n

    \"Jedi<\/p>\n

    <\/p>\n

    Dakle, algoritam postaje jasan. Ostaje da razjasnimo kako odrediti uklonjene konvolucije.<\/p>\n

    <\/p>\n

    Pretra\u017eivanje uklonjenih konvolucija<\/h3>\n

    <\/p>\n

    Treba ukloniti neke obrade. Pucanje na slepo i 'likvidiranje' bilo kojih \u2014 lo\u0161a je ideja, iako \u0107e funkcionisati. No, ako ve\u0107 imamo razum, mo\u017eemo razmisliti i poku\u0161ati odabrati 'slabe' obrade za uklanjanje. Ima nekoliko opcija:<\/p>\n

    <\/p>\n

      \n
    1. Najmanja L1 mera ili low_magnitude_pruning<\/a><\/noindex>. Ideja da konvolucije s malim vrednostima te\u017eina doprinose malo kona\u010dnom dono\u0161enju odluke. <\/li>\n
    2. Najmanja L1-mjera s obzirom na prosjek i standardnu devijaciju. Dopunjuje se ocjenjivanjem karaktera raspodjele.<\/li>\n
    3. Maskiranje svitaka i isklju\u010divanje onih koji najmanje utje\u010du na kona\u010dnu to\u010dnost.<\/a><\/noindex>Preciznije odre\u0111ivanje manje zna\u010dajnih svitaka, ali prili\u010dno zahtjevno po vremenu i resursima. <\/li>\n
    4. Druge <\/li>\n<\/ol>\n

      <\/p>\n

      Svaka od opcija ima pravo na postojanje i svoje karakteristike realizacije. Ovdje \u0107emo razmotriti opciju s najmanjom L1-mjerom.<\/p>\n

      <\/p>\n

      Ru\u010dno proces za YOLOv3.<\/h3>\n

      <\/p>\n

      U izvornoj arhitekturi sadr\u017ee se preostali blokovi. No, bez obzira koliko su odli\u010dni za duboke mre\u017ee, pomalo \u0107e nam smetati. Problem je u tome \u0161to nije mogu\u0107e ukloniti svitke s razli\u010ditim indeksima u tim slojevima:<\/p>\n

      <\/p>\n

      \"Jedi<\/p>\n

      <\/p>\n

      Stoga \u0107emo odabrati slojeve iz kojih mo\u017eemo slobodno ukloniti svitke:<\/p>\n

      <\/p>\n

      \"Jedi<\/p>\n

      <\/p>\n

      Sada \u0107emo izgraditi radnu petlju:<\/p>\n

      <\/p>\n

        \n
      1. Izbacujemo aktivacije.<\/li>\n
      2. Procjenjujemo koliko izrezati. <\/li>\n
      3. Izre\u017eemo.<\/li>\n
      4. U\u010dimo 10 epoha s LR=1e-4. <\/li>\n
      5. Testiramo. <\/li>\n<\/ol>\n

        <\/p>\n

        Izbacivanje svitaka korisno je za procjenu koliko dijela mo\u017eemo ukloniti u odre\u0111enoj fazi. Primjeri izbacivanja:<\/p>\n

        <\/p>\n

        \"Jedi<\/p>\n

        <\/p>\n

        Vidimo da gotovo svuda 5% svitaka ima vrlo nisku L1-normu i mo\u017eemo ih ukloniti. U svakoj fazi ovo izbacivanje se ponavljalo i izra\u0111ivala se procjena iz kojih slojeva i koliko mo\u017eemo izrezati. <\/p>\n

        <\/p>\n

        Cijeli proces sastojao se od 4 koraka (tu i svugdje brojevi za RTX 2060 Super):<\/p>\n

        <\/p>\n\n\n\n\n\n\n\n\n\n
        Korak<\/th>\nmAp75<\/th>\nBroj parametara, mln<\/th>\nVeli\u010dina mre\u017ee, mb<\/th>\nOd izvorne, %<\/th>\nVrijeme izvo\u0111enja, ms<\/th>\nUvjet obrezivanja<\/th>\n<\/tr>\n<\/thead>\n
        0<\/td>\n0.9656<\/td>\n60<\/td>\n241<\/td>\n100<\/td>\n180<\/td>\n\u2014<\/td>\n<\/tr>\n
        1<\/td>\n0.9622<\/td>\n55<\/td>\n218<\/td>\n91<\/td>\n175<\/td>\n5% od svih<\/td>\n<\/tr>\n
        2<\/td>\n0.9625<\/td>\n50<\/td>\n197<\/td>\n83<\/td>\n168<\/td>\n5% od svih<\/td>\n<\/tr>\n
        3<\/td>\n0.9633<\/td>\n39<\/td>\n155<\/td>\n64<\/td>\n155<\/td>\n15% za slojeve s 400+ svitaka.<\/td>\n<\/tr>\n
        4<\/td>\n0.9555<\/td>\n31<\/td>\n124<\/td>\n51<\/td>\n146<\/td>\n10% za slojeve s 100+ svitaka.<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

        <\/p>\n

        Do drugog koraka pojavila se jedna pozitivna to\u010dka \u2014 u memoriju je stao batch-size 4, \u0161to je zna\u010dajno ubrzalo proces ponovnog u\u010denja.
        \nU \u010detvrtom koraku proces je prekinut, jer \u010dak ni dugo ponovno u\u010denje nije podiglo mAp75 na prethodne vrijednosti.
        \nNa kraju je uspjelo ubrzati inferenciju za 15%<\/strong>, smanjiti veli\u010dinu za 35% <\/strong>i ne izgubiti u to\u010dnosti. <\/p>\n

        <\/p>\n

        Automatizacija za jednostavnije arhitekture.<\/h3>\n

        <\/p>\n

        Za jednostavnije arhitekture mre\u017ea (bez uvjetnih add, concatenate i residual blokova) sasvim je mogu\u0107e orijentirati se na obradu svih konvolucijskih slojeva i automatizirati proces izrezivanja svitaka.<\/p>\n

        <\/p>\n

        Ovu opciju sam implementirao. ovdje<\/a><\/noindex>.
        \nSve je jednostavno: od vas se tra\u017ei samo funkcija gubitka, optimizator i batch-generatori:<\/p>\n

        <\/p>\n

        import pruning\nfrom keras.optimizers import Adam\nfrom keras.utils import Sequence\n\ntrain_batch_generator = BatchGenerator...\nscore_batch_generator = BatchGenerator...\n\nopt = Adam(lr=1e-4)\npruner = pruning.Pruner(\"config.json\", \"categorical_crossentropy\", opt)\n\npruner.prune(train_batch, valid_batch)<\/code><\/pre>\n
        <\/p>\n
        Ako je potrebno, mogu\u0107e je promijeniti postavke konfiguracije:<\/p>\n
        <\/p>\n
        {\n    \"input_model_path\": \"model.h5\",\n    \"output_model_path\": \"model_pruned.h5\",\n    \"finetuning_epochs\": 10, # broj epoha za treniranje izme\u0111u koraka uklanjanja\n    \"stop_loss\": 0.1, # gubitak za zaustavljanje procesa\n    \"pruning_percent_step\": 0.05, # dio konvolucija za brisanje na svakom koraku uklanjanja\n    \"pruning_standart_deviation_part\": 0.2 # pomak za ograni\u010davanje dijela uklanjanja\n}<\/code><\/pre>\n
        <\/p>\n
        Dodatno, implementirano je ograni\u010denje na osnovu standardne devijacije. Cilj je ograni\u010diti deo koji se uklanja, isklju\u010duju\u0107i obrade koje ve\u0107 imaju 'dovoljno' L1 mera:<\/p>\n
        <\/p>\n
        \"Jedi<\/p>\n
        <\/p>\n
        Na taj na\u010din omogu\u0107avamo brisanje samo slabih konvolucija iz distribucija sli\u010dnih desnoj i ne utje\u010demo na brisanje iz distribucija sli\u010dnih lijevoj:<\/p>\n
        <\/p>\n
        \"Jedi<\/p>\n
        <\/p>\n
        Kako se distribucija pribli\u017eava normalnoj, koeficijent pruning_standart_deviation_part mo\u017ee se odabrati iz:<\/p>\n
        <\/p>\n
        \"Jedi
        \nPreporu\u010dujem dopu\u0161tenje od 2 sigma. Ili se ne morate oslanjati na ovu karakteristiku, ostavljaju\u0107i vrijednost < 1.0.<\/p>\n
        <\/p>\n
        Na izlazu dobivamo graf veli\u010dine mre\u017ee, gubitka i vremena izvo\u0111enja mre\u017ee kroz cijeli test, normaliziranog na 1.0. Na primjer, ovdje je veli\u010dina mre\u017ee smanjena gotovo dva puta bez gubitka kvalitete (mala konvolucijska mre\u017ea sa 100k te\u017eina):<\/p>\n
        <\/p>\n
        \"Jedi<\/p>\n
        <\/p>\n
        Brzina izvo\u0111enja podlo\u017ena je normalnim fluktuacijama i prakti\u010dki se nije promijenila. Ovo ima obja\u0161njenje:<\/p>\n
        <\/p>\n
          \n
        1. Broj konvolucija mijenja se s prikladnih (32, 64, 128) na ne ba\u0161 prikladne za grafi\u010dke kartice \u2014 27, 51 i tako dalje. Ovdje mogu grije\u0161iti, ali vjerojatno to utje\u010de.<\/li>\n
        2. Arhitektura nije \u0161iroka, ali je sekvencijalna. Smanjuju\u0107i \u0161irinu, ne diramo dubinu. Na taj na\u010din smanjujemo optere\u0107enje, ali ne mijenjamo brzinu.<\/li>\n<\/ol>\n
          <\/p>\n
          Stoga se pobolj\u0161anje o\u010dituje u smanjenju optere\u0107enja CUDA tijekom izvo\u0111enja za 20-30%, ali ne i u smanjenju vremena izvo\u0111enja.<\/p>\n
          <\/p>\n
          Zaklju\u010dci<\/h3>\n
          <\/p>\n
          Reflektirajmo. Razmotrili smo 2 opcije uklanjanja \u2014 za YOLOv3 (kada moramo raditi ru\u010dno) i za mre\u017ee s jednostavnijim arhitekturama. Vidljivo je da se u oba slu\u010daja mo\u017ee posti\u0107i smanjenje veli\u010dine mre\u017ee i ubrzanje bez gubitka to\u010dnosti. Rezultati:<\/p>\n
          <\/p>\n