{"id":54494,"date":"2019-12-27T00:00:00","date_gmt":"2019-12-26T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning"},"modified":"2020-02-18T14:02:30","modified_gmt":"2020-02-18T11:02:30","slug":"dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/news\/dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning","title":{"rendered":"Technika Jedi redukcji sieci konwolucyjnych \u2014 pruning","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Technika<\/p>\n

<\/p>\n

Przed Tob\u0105 znowu zadanie detekcji obiekt\u00f3w. Priorytetem jest szybko\u015b\u0107 dzia\u0142ania przy akceptowalnej precyzji. U\u017cyj architektury YOLOv3 i dokonaj dalszego treningu. Precyzja (mAp75) powinna wynosi\u0107 ponad 0,95. Jednak pr\u0119dko\u015b\u0107 dzia\u0142ania nadal jest zbyt niska. Cholera. <\/p>\n

<\/p>\n

Dzi\u015b pominiemy kwantyzacj\u0119. A w rozwini\u0119ciu przyjrzymy si\u0119 Model Pruning<\/strong> \u2014 przycinanie zb\u0119dnych cz\u0119\u015bci sieci w celu przyspieszenia dzia\u0142ania bez utraty precyzji. Przyk\u0142adowo \u2014 sk\u0105d, ile i jak mo\u017cna usun\u0105\u0107. Zbadamy, jak zrobi\u0107 to r\u0119cznie i gdzie mo\u017cna to zautomatyzowa\u0107. Na ko\u0144cu \u2014 repozytorium na keras.<\/p>\n

<\/a><\/noindex><\/p>\n

Wprowadzenie<\/h3>\n

<\/p>\n

W poprzedniej pracy, w permiskim Macroscopie, nabra\u0142em nawyku \u2014 zawsze \u015bledzi\u0107 czas dzia\u0142ania algorytm\u00f3w. A czas dzia\u0142ania sieci zawsze sprawdza\u0107 przez filtr adekwatno\u015bci. Zazwyczaj state-of-the-art w produkcji nie przechodzi tego filtr, co doprowadzi\u0142o mnie do Pruning. <\/p>\n

<\/p>\n

Pruning \u2014 temat stary, o kt\u00f3rym m\u00f3wiono na wyk\u0142adach ze Stanfordu<\/a><\/noindex> w 2017 roku. G\u0142\u00f3wna idea \u2014 zmniejszenie rozmiaru wytrenowanej sieci bez utraty precyzji poprzez usuni\u0119cie r\u00f3\u017cnych w\u0119z\u0142\u00f3w. Brzmi \u015bwietnie, ale rzadko s\u0142ysz\u0119 o jego zastosowaniach. Mo\u017ce brakuje implementacji, nie ma artyku\u0142\u00f3w w j\u0119zyku rosyjskim, albo po prostu wszyscy uwa\u017caj\u0105 pruning za tajemnic\u0119 i milcz\u0105.
\nAle przejd\u017amy do rozbioru.<\/p>\n

<\/p>\n

Zerknijmy na biologi\u0119.<\/h3>\n

<\/p>\n

Lubi\u0119, gdy w Deep Learning zagl\u0105daj\u0105 pomys\u0142y, kt\u00f3re przysz\u0142y z biologii. Mo\u017cna im zaufa\u0107, tak jak ewolucji (a czy wiesz, \u017ce ReLU jest bardzo podobna do funkcji aktywacji neuron\u00f3w w m\u00f3zgu?<\/a><\/noindex>?) <\/p>\n

<\/p>\n

Proces Model Pruning jest r\u00f3wnie\u017c bliski biologii. Reakcj\u0119 sieci mo\u017cna por\u00f3wna\u0107 do plastyczno\u015bci m\u00f3zgu. Kilka ciekawych przyk\u0142ad\u00f3w mo\u017cna znale\u017a\u0107 w ksi\u0105\u017cce Normana Doidge'a.<\/a><\/noindex>:<\/p>\n

<\/p>\n

    \n
  1. M\u00f3zg kobiety, kt\u00f3ra od urodzenia mia\u0142a tylko jedn\u0105 p\u00f3\u0142kul\u0119, sam przearan\u017cowa\u0142 si\u0119, by pe\u0142ni\u0107 funkcje brakuj\u0105cej p\u00f3\u0142kuli.<\/li>\n
  2. Ch\u0142opak odgryz\u0142 sobie cz\u0119\u015b\u0107 m\u00f3zgu, odpowiadaj\u0105c\u0105 za wzrok. Z czasem inne cz\u0119\u015bci m\u00f3zgu przej\u0119\u0142y te funkcje. (nie pr\u00f3bujemy tego powtarza\u0107)<\/li>\n<\/ol>\n

    <\/p>\n

    Tak i z Twojego modelu mo\u017cna usun\u0105\u0107 cz\u0119\u015b\u0107 s\u0142abych splot\u00f3w. W ostateczno\u015bci pozosta\u0142e sploty pomog\u0105 zast\u0105pi\u0107 usuni\u0119te. <\/p>\n

    <\/p>\n

    Lubisz Transfer Learning czy uczysz od podstaw?<\/h3>\n

    <\/p>\n

    Opcja numer jeden.<\/strong> U\u017cywasz Transfer Learning z Yolov3, Retina, Mask-RCNN lub U-Net. Jednak najcz\u0119\u015bciej nie musimy rozpoznawa\u0107 80 klas obiekt\u00f3w, jak w COCO. W mojej praktyce wszystko ogranicza si\u0119 do 1-2 klas. Mo\u017cna za\u0142o\u017cy\u0107, \u017ce architektura dla 80 klas jest w tym przypadku nadmierna. Nasuwa si\u0119 my\u015bl, \u017ce architektur\u0119 trzeba zmniejszy\u0107. Chcia\u0142bym to zrobi\u0107 bez utraty istniej\u0105cych wcze\u015bniej wyuczonych wag.<\/p>\n

    <\/p>\n

    Opcja numer dwa.<\/strong> Mo\u017ce masz du\u017co danych i zasob\u00f3w obliczeniowych lub po prostu potrzebujesz super dostosowanej architektury. To nie ma znaczenia. Ale uczysz sie\u0107 od podstaw. Zwyk\u0142y porz\u0105dek \u2014 patrzymy na struktur\u0119 danych, dobieramy NADMIERNIE mocn\u0105 architektur\u0119 i wprowadzamy drop-outy, aby zapobiec przeuczeniu. Widzia\u0142em drop-outy na poziomie 0.6, Karl. <\/p>\n

    <\/p>\n

    W obu przypadkach sie\u0107 mo\u017cna zmniejszy\u0107. Zosta\u0142o to udowodnione. Teraz przejd\u017amy do wyja\u015bnienia, co to jest odcinanie pruning.<\/p>\n

    <\/p>\n

    Og\u00f3lny algorytm<\/h3>\n

    <\/p>\n

    Postanowili\u015bmy, \u017ce mo\u017cemy usun\u0105\u0107 niekt\u00f3re konwolucje. Wygl\u0105da to bardzo prosto:<\/p>\n

    <\/p>\n

    \"Technika<\/p>\n

    <\/p>\n

    Usuni\u0119cie dowolnej konwolucji to stres dla sieci, kt\u00f3ry zwykle prowadzi do pewnego wzrostu b\u0142\u0119du. Z jednej strony, ten wzrost b\u0142\u0119du jest wska\u017anikiem tego, jak dobrze usuwamy konwolucje (na przyk\u0142ad, du\u017cy wzrost m\u00f3wi, \u017ce co\u015b robimy \u017ale). Ale niewielki wzrost jest jak najbardziej dopuszczalny i cz\u0119sto usuwa si\u0119 go dzi\u0119ki lekkiej dalszej nauce z ma\u0142ym LR. Dodajemy krok dalszej nauki:<\/p>\n

    <\/p>\n

    \"Technika<\/p>\n

    <\/p>\n

    Teraz musimy zrozumie\u0107, kiedy chcemy zatrzyma\u0107 nasz cykl Uczenia<->Odcinania. Mo\u017cliwe s\u0105 egzotyczne warianty, gdy musimy zmniejszy\u0107 sie\u0107 do okre\u015blonego rozmiaru i szybko\u015bci dzia\u0142ania (na przyk\u0142ad dla urz\u0105dze\u0144 mobilnych). Jednak najcz\u0119\u015bciej jest to kontynuacja cyklu, dop\u00f3ki b\u0142\u0105d nie wzro\u015bnie powy\u017cej dopuszczalnego poziomu. Dodajemy warunek:<\/p>\n

    <\/p>\n

    \"Technika<\/p>\n

    <\/p>\n

    Tak wi\u0119c algorytm staje si\u0119 jasny. Pozostaje nam rozwi\u0105za\u0107, jak okre\u015bli\u0107 usuwane konwolucje.<\/p>\n

    <\/p>\n

    Wyszukiwanie usuwanych konwolucji<\/h3>\n

    <\/p>\n

    Musimy usun\u0105\u0107 kilka pakiet\u00f3w. Rzucanie si\u0119 na nie i 'strzelanie' do wszystkich to z\u0142a strategia, mimo \u017ce mo\u017ce dzia\u0142a\u0107. Ale maj\u0105c g\u0142ow\u0119 na karku, mo\u017cna pomy\u015ble\u0107, aby spr\u00f3bowa\u0107 wyodr\u0119bni\u0107 do usuni\u0119cia 's\u0142abe' pakiety. Jest kilka opcji:<\/p>\n

    <\/p>\n

      \n
    1. Najmniejszy wska\u017anik L1 lub low_magnitude_pruning<\/a><\/noindex>. Idea g\u0142osi, \u017ce konwolucje o ma\u0142ych warto\u015bciach wag wnosz\u0105 niewielki wk\u0142ad w ostateczne podejmowanie decyzji. <\/li>\n
    2. Najmniejszy wska\u017anik L1 z uwzgl\u0119dnieniem \u015bredniej i odchylenia standardowego. Uzupe\u0142niamy ocen\u0105 charakteru rozk\u0142adu.<\/li>\n
    3. Maskowanie konwolucji i wykluczenie tych o najmniejszym wp\u0142ywie na ko\u0144cow\u0105 dok\u0142adno\u015b\u0107<\/a><\/noindex>. Bardziej precyzyjna identyfikacja ma\u0142o znacz\u0105cych konwolucji, ale bardzo czasoch\u0142onna i kosztowna w zasoby. <\/li>\n
    4. Inne <\/li>\n<\/ol>\n

      <\/p>\n

      Ka\u017cda z opcji ma prawo do \u017cycia i swoje cechy realizacji. Tutaj om\u00f3wimy wariant z najmniejsz\u0105 miar\u0105 L1<\/p>\n

      <\/p>\n

      R\u0119czny proces dla YOLOv3<\/h3>\n

      <\/p>\n

      W pierwotnej architekturze znajduj\u0105 si\u0119 bloki resztkowe. Jednak niezale\u017cnie od tego, jak \u015bwietne s\u0105 dla g\u0142\u0119bokich sieci, mog\u0105 nam w pewnym stopniu przeszkadza\u0107. Problematyczne jest to, \u017ce nie mo\u017cna usuwa\u0107 konwolucji z r\u00f3\u017cnymi indeksami w tych warstwach:<\/p>\n

      <\/p>\n

      \"Technika<\/p>\n

      <\/p>\n

      Dlatego wyodr\u0119bniamy warstwy, z kt\u00f3rych mo\u017cemy swobodnie usuwa\u0107 konwolucje:<\/p>\n

      <\/p>\n

      \"Technika<\/p>\n

      <\/p>\n

      Teraz zbudujmy cykl pracy:<\/p>\n

      <\/p>\n

        \n
      1. Zrzucamy aktywacje<\/li>\n
      2. Szacujemy, ile wyci\u0105\u0107 <\/li>\n
      3. Wycinamy<\/li>\n
      4. Uczymy przez 10 epok z LR=1e-4 <\/li>\n
      5. Testowanie <\/li>\n<\/ol>\n

        <\/p>\n

        Zrzucanie konwolucji jest przydatne, aby oceni\u0107, jak\u0105 cz\u0119\u015b\u0107 mo\u017cemy usun\u0105\u0107 na danym etapie. Przyk\u0142ady zrzut\u00f3w:<\/p>\n

        <\/p>\n

        \"Technika<\/p>\n

        <\/p>\n

        Widzimy, \u017ce praktycznie wsz\u0119dzie 5% konwolucji ma bardzo nisk\u0105 norm\u0119 L1 i mo\u017cemy je usun\u0105\u0107. Na ka\u017cdym etapie taki zrzut powtarzano i dokonywano oceny, z jakich warstw i ile mo\u017cna wyci\u0105\u0107. <\/p>\n

        <\/p>\n

        Ca\u0142y proces zmie\u015bci\u0142 si\u0119 w 4 krokach (tu i wsz\u0119dzie liczby odnosz\u0105 si\u0119 do RTX 2060 Super):<\/p>\n

        <\/p>\n\n\n\n\n\n\n\n\n\n
        Krok<\/th>\nmAp75<\/th>\nLiczba parametr\u00f3w, mln<\/th>\nRozmiar sieci, mb<\/th>\nOd pierwotnego, %<\/th>\nCzas przetwarzania, ms<\/th>\nWarunek ci\u0119cia<\/th>\n<\/tr>\n<\/thead>\n
        0<\/td>\n0.9656<\/td>\n60<\/td>\n241<\/td>\n100<\/td>\n180<\/td>\n\u2014<\/td>\n<\/tr>\n
        1<\/td>\n0.9622<\/td>\n55<\/td>\n218<\/td>\n91<\/td>\n175<\/td>\n5% wszystkich<\/td>\n<\/tr>\n
        2<\/td>\n0.9625<\/td>\n50<\/td>\n197<\/td>\n83<\/td>\n168<\/td>\n5% wszystkich<\/td>\n<\/tr>\n
        3<\/td>\n0.9633<\/td>\n39<\/td>\n155<\/td>\n64<\/td>\n155<\/td>\n15% dla warstw z 400+ konwolucjami<\/td>\n<\/tr>\n
        4<\/td>\n0.9555<\/td>\n31<\/td>\n124<\/td>\n51<\/td>\n146<\/td>\n10% dla warstw z 100+ konwolucjami<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

        <\/p>\n

        W 2 kroku pojawi\u0142 si\u0119 jeden pozytywny efekt \u2014 w pami\u0119ci zmie\u015bci\u0142 si\u0119 rozmiar batcha 4, co znacz\u0105co przyspieszy\u0142o proces dalszego uczenia.
        \nW 4 kroku proces zosta\u0142 zatrzymany, poniewa\u017c nawet d\u0142ugotrwa\u0142e dalsze uczenie nie podnios\u0142o mAp75 do dawnych warto\u015bci.
        \nOstatecznie uda\u0142o si\u0119 przyspieszy\u0107 inference o 15%<\/strong>, zmniejszy\u0107 rozmiar o 35% <\/strong>i nie straci\u0107 dok\u0142adno\u015bci. <\/p>\n

        <\/p>\n

        Automatyzacja dla prostszych architektur<\/h3>\n

        <\/p>\n

        Dla prostszych architektur sieci (bez warunkowych blok\u00f3w add, concatenate i residual) mo\u017cna spokojnie kierowa\u0107 si\u0119 przetwarzaniem wszystkich warstw konwolucyjnych i zautomatyzowa\u0107 proces wycinania konwolucji.<\/p>\n

        <\/p>\n

        Taki wariant zaimplementowa\u0142em tutaj<\/a><\/noindex>.
        \nJest to proste: potrzebujesz tylko funkcji strat, optymalizatora i generator\u00f3w batchy:<\/p>\n

        <\/p>\n

        import pruning\nfrom keras.optimizers import Adam\nfrom keras.utils import Sequence\n\ntrain_batch_generator = BatchGenerator...\nscore_batch_generator = BatchGenerator...\n\nopt = Adam(lr=1e-4)\npruner = pruning.Pruner(\"config.json\", \"categorical_crossentropy\", opt)\n\npruner.prune(train_batch, valid_batch)<\/code><\/pre>\n
        <\/p>\n
        W razie potrzeby mo\u017cna zmieni\u0107 parametry konfiguracji:<\/p>\n
        <\/p>\n
        {\n    \"input_model_path\": \"model.h5\",\n    \"output_model_path\": \"model_pruned.h5\",\n    \"finetuning_epochs\": 10, # liczba epok do treningu mi\u0119dzy krokami przycinania\n    \"stop_loss\": 0.1, # strata do zatrzymania procesu\n    \"pruning_percent_step\": 0.05, # cz\u0119\u015b\u0107 konwolucji do usuni\u0119cia na ka\u017cdym kroku przycinania\n    \"pruning_standart_deviation_part\": 0.2 # przesuni\u0119cie do ograniczenia cz\u0119\u015bci przycinania\n}<\/code><\/pre>\n
        <\/p>\n
        Dodatkowo wprowadzono ograniczenie na podstawie odchylenia standardowego. Celem jest ograniczenie cz\u0119\u015bci usuwanych, wykluczaj\u0105c pakiety z ju\u017c 'wystarczaj\u0105cymi' miarami L1:<\/p>\n
        <\/p>\n
        \"Technika<\/p>\n
        <\/p>\n
        W ten spos\u00f3b pozwalamy usun\u0105\u0107 tylko s\u0142abe konwolucje z rozk\u0142ad\u00f3w podobnych do prawego i nie wp\u0142ywa\u0107 na usuwanie z rozk\u0142ad\u00f3w podobnych do lewego:<\/p>\n
        <\/p>\n
        \"Technika<\/p>\n
        <\/p>\n
        W miar\u0119 zbli\u017cania si\u0119 rozk\u0142adu do normalnego, wsp\u00f3\u0142czynnik pruning_standart_deviation_part mo\u017cna dostosowa\u0107 do:<\/p>\n
        <\/p>\n
        \"Technika
        \nRekomenduj\u0119 tolerancj\u0119 na poziomie 2 sigm. Mo\u017cna r\u00f3wnie\u017c nie kierowa\u0107 si\u0119 t\u0105 cech\u0105, pozostawiaj\u0105c warto\u015b\u0107 < 1.0.<\/p>\n
        <\/p>\n
        Na wyj\u015bciu otrzymujemy wykres rozmiaru sieci, strat i czasu przetwarzania sieci przez ca\u0142y test, znormalizowany do 1.0. Na przyk\u0142ad tutaj rozmiar sieci zosta\u0142 zmniejszony prawie dwukrotnie bez utraty jako\u015bci (ma\u0142a sie\u0107 konwolucyjna z 100k wagami):<\/p>\n
        <\/p>\n
        \"Technika<\/p>\n
        <\/p>\n
        Czas przetwarzania podlega normalnym fluktuacjom i praktycznie si\u0119 nie zmieni\u0142. Istnieje na to wyja\u015bnienie:<\/p>\n
        <\/p>\n
          \n
        1. Liczba konwolucji zmienia si\u0119 z wygodnych (32, 64, 128) na mniej wygodne dla kart graficznych \u2014 27, 51 itd. Mog\u0119 si\u0119 myli\u0107, ale prawdopodobnie ma to wp\u0142yw.<\/li>\n
        2. Architektura nie jest szeroka, ale sekwencyjna. Zmniejszaj\u0105c szeroko\u015b\u0107, nie ingerujemy w g\u0142\u0119boko\u015b\u0107. W ten spos\u00f3b zmniejszamy obci\u0105\u017cenie, ale nie zmieniamy szybko\u015bci.<\/li>\n<\/ol>\n
          <\/p>\n
          Dlatego poprawa przejawia si\u0119 w zmniejszeniu obci\u0105\u017cenia CUDA podczas przetwarzania o 20-30%, ale nie w zmniejszeniu czasu przetwarzania.<\/p>\n
          <\/p>\n
          Podsumowanie<\/h3>\n
          <\/p>\n
          Pochylmy si\u0119 nad tym. Rozwa\u017cali\u015bmy 2 warianty przycinania \u2014 dla YOLOv3 (kiedy trzeba dzia\u0142a\u0107 r\u0119cznie) i dla sieci z prostszymi architekturami. Wida\u0107, \u017ce w obu przypadkach mo\u017cna osi\u0105gn\u0105\u0107 zmniejszenie rozmiaru sieci i przyspieszenie bez utraty dok\u0142adno\u015bci. Wyniki:<\/p>\n
          <\/p>\n