{"id":54494,"date":"2019-12-27T00:00:00","date_gmt":"2019-12-26T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning"},"modified":"2020-02-18T14:02:30","modified_gmt":"2020-02-18T11:02:30","slug":"dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning","status":"publish","type":"post","link":"https:\/\/prohoster.info\/da\/blog\/news\/dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning","title":{"rendered":"Jedi-teknik til reduktion af konvolutionsnetv\u00e6rk \u2014 pruning","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Jedi-teknik<\/p>\n

<\/p>\n

Du st\u00e5r over for en ny opgave med objektdetektering. Prioriteten er hastighed med acceptabel pr\u00e6cision. Du tager YOLOv3-arkitekturen og finjusterer den. Pr\u00e6cisionen (mAp75) skal v\u00e6re over 0,95. Men hastigheden for k\u00f8rsel er stadig lav. Damn. <\/p>\n

<\/p>\n

I dag springer vi kvantisering over. Og under overskriften kigger vi p\u00e5 Model Pruning<\/strong> \u2014 besk\u00e6ring af overfl\u00f8dige dele af netv\u00e6rket for at fremskynde inferensen uden at miste pr\u00e6cision. Illustrativt \u2014 hvor, hvor meget og hvordan man kan sk\u00e6re. Vi vil se p\u00e5, hvordan man g\u00f8r dette manuelt, og hvor man kan automatisere det. Til slut \u2014 et repository p\u00e5 keras.<\/p>\n

<\/a><\/noindex><\/p>\n

Introduktion<\/h3>\n

<\/p>\n

P\u00e5 mit tidligere arbejde, i Perms Macroscop, fik jeg en vane \u2014 altid at holde \u00f8je med udf\u00f8relsestiden for algoritmer. Og jeg tjekker altid tiden for netv\u00e6rk gennem en rimelighedstest. Normalt klarer state-of-the-art ikke denne test i produktion, hvilket f\u00f8rte mig til Pruning. <\/p>\n

<\/p>\n

Pruning er et gammelt emne, der blev pr\u00e6senteret i Stanford-fforel\u00e6sningerne<\/a><\/noindex> i 2017. Hovedideen er at reducere st\u00f8rrelsen p\u00e5 det tr\u00e6nede netv\u00e6rk uden at miste pr\u00e6cision ved at fjerne forskellige noder. Det lyder godt, men jeg h\u00f8rer sj\u00e6ldent om dets anvendelse. M\u00e5ske mangler der implementationer, eller der er ikke artikler p\u00e5 russisk, eller m\u00e5ske mener alle, at pruning er en hemmelighed og holder det skjult.
\nMen lad os dykke ind i det<\/p>\n

<\/p>\n

Et kig ind i biologi<\/h3>\n

<\/p>\n

Jeg elsker, n\u00e5r der i Deep Learning tages ideer fra biologien. Som med evolutionen kan man stole p\u00e5 dem (vidste du, at ReLU ligner meget p\u00e5 neuroner i hjernens aktiveringsfunktion<\/a><\/noindex>?) <\/p>\n

<\/p>\n

Processen med Model Pruning er ogs\u00e5 t\u00e6t knyttet til biologi. Netv\u00e6rkets reaktion her kan sammenlignes med hjernens plastisitet. Der er nogle interessante eksempler i bogen Norman Doidge<\/a><\/noindex>:<\/p>\n

<\/p>\n

    \n
  1. Hjernen hos en kvinde, der siden f\u00f8dslen kun havde den ene hjernehalvdel, omprogrammerede sig selv til at udf\u00f8re funktioner fra den manglende hjernehalvdel.<\/li>\n
  2. En fyr sk\u00f8d en del af sin hjerne, som var ansvarlig for synet. Over tid overtog andre dele af hjernen disse funktioner. (vi pr\u00f8ver ikke at gentage)<\/li>\n<\/ol>\n

    <\/p>\n

    S\u00e5ledes kan du ogs\u00e5 sk\u00e6re svage convolutioner fra din model. I v\u00e6rste fald vil de resterende convolutioner hj\u00e6lpe med at erstatte de sk\u00e5rne. <\/p>\n

    <\/p>\n

    Elsker du Transfer Learning eller tr\u00e6ner du fra bunden?<\/h3>\n

    <\/p>\n

    Mulighed nummer \u00e9t.<\/strong> Du bruger Transfer Learning p\u00e5 Yolov3, Retina, Mask-RCNN eller U-Net. Men oftest har vi ikke brug for at genkende 80 objektklasser, som i COCO. I min erfaring er det ofte 1-2 klasser. Man kan antage, at arkitekturen til 80 klasser her er overfl\u00f8dig. Det giver mening at overveje at reducere arkitekturen. Desuden vil jeg gerne g\u00f8re det uden at miste de forudtr\u00e6nede v\u00e6gte.<\/p>\n

    <\/p>\n

    Variant nummer to.<\/strong> M\u00e5ske har du mange data og beregningsressourcer, eller m\u00e5ske har du blot brug for en supertilpasset arkitektur. Uanset hvad, s\u00e5 tr\u00e6ner du netv\u00e6rket fra bunden. Den s\u00e6dvanlige r\u00e6kkef\u00f8lge er at se p\u00e5 datastrukturen, v\u00e6lge en OVERFL\u00d8DIG arkitektur og trykke dropout for at undg\u00e5 overfitting. Jeg har set dropouts p\u00e5 0.6, Karl. <\/p>\n

    <\/p>\n

    I begge tilf\u00e6lde kan netv\u00e6rket reduceres. Det motiverede os. Nu skal vi unders\u00f8ge, hvad pruning indeb\u00e6rer.<\/p>\n

    <\/p>\n

    Generel algoritme<\/h3>\n

    <\/p>\n

    Vi besluttede, at vi kan fjerne convolutioner. Det ser ganske simpelt ud:<\/p>\n

    <\/p>\n

    \"Jedi-teknik<\/p>\n

    <\/p>\n

    At fjerne en hvilken som helst convolution er en stressfaktor for netv\u00e6rket, som normalt f\u00f8rer til en vis stigning i fejlen. P\u00e5 den ene side er denne fejlstigning et tegn p\u00e5, hvor korrekt vi fjerner convolutionerne (for eksempel siger en stor stigning, at vi g\u00f8r noget forkert). Men en lille stigning er helt acceptabel og kan ofte afhj\u00e6lpes med efterf\u00f8lgende let finjustering med en lille LR. Vi tilf\u00f8jer et fintunings trin:<\/p>\n

    <\/p>\n

    \"Jedi-teknik<\/p>\n

    <\/p>\n

    Nu skal vi forst\u00e5, hvorn\u00e5r vi vil stoppe vores LearningPruning cyklus. Her kan der v\u00e6re eksotiske muligheder, hvor vi \u00f8nsker at reducere netv\u00e6rket til en bestemt st\u00f8rrelse og hastighed (for eksempel til mobile enheder). Men den mest almindelige mulighed er at forts\u00e6tte cyklussen, indtil fejlen overstiger det acceptable niveau. Vi tilf\u00f8jer en betingelse:<\/p>\n

    <\/p>\n

    \"Jedi-teknik<\/p>\n

    <\/p>\n

    S\u00e5 algoritmen bliver klar. Det er tilbage at finde ud af, hvordan man bestemmer, hvilke convolutioner der skal fjernes.<\/p>\n

    <\/p>\n

    S\u00f8gning efter fjernbare convolutioner<\/h3>\n

    <\/p>\n

    Vi skal fjerne nogle sammenfoldninger. At kaste sig hovedl\u00f8st ind i det og 'skyde' p\u00e5 hvilke som helst er en d\u00e5rlig id\u00e9, selvom det ville fungere. Men da vi har fornuft, kan vi t\u00e6nke os om og pr\u00f8ve at fremh\u00e6ve de 'svage' sammenfoldninger, der kan fjernes. Der er flere muligheder:<\/p>\n

    <\/p>\n

      \n
    1. Mindste L1-m\u00e5ling eller low_magnitude_pruning<\/a><\/noindex>. Ideen er, at convolutioner med sm\u00e5 v\u00e6gtv\u00e6rdier bidrager lidt til den endelige beslutning. <\/li>\n
    2. Mindste L1-m\u00e5ling under hensyntagen til gennemsnit og standardafvigelse. Supplerer vurderingen af fordelingens karakter.<\/li>\n
    3. Maskering af konvolutter og undtagelse af de mindst p\u00e5virkende p\u00e5 den samlede n\u00f8jagtighed<\/a><\/noindex>. Mere pr\u00e6cis bestemmelse af uv\u00e6sentlige konvolutter, men meget tids- og ressourcekr\u00e6vende. <\/li>\n
    4. ReadinessGate <\/li>\n<\/ol>\n

      <\/p>\n

      Hver af mulighederne har ret til at eksistere og sine implementeringsspecifikationer. Her ser vi p\u00e5 muligheden med den mindste L1-metric<\/p>\n

      <\/p>\n

      Manuel proces for YOLOv3<\/h3>\n

      <\/p>\n

      I den oprindelige arkitektur er der residualblokke. Men uanset hvor imponerende de er for dybe netv\u00e6rk, kan de v\u00e6re problematic for os. Problemet er, at vi ikke kan fjerne konvolutter med forskellige indekser i disse lag:<\/p>\n

      <\/p>\n

      \"Jedi-teknik<\/p>\n

      <\/p>\n

      Derfor vil vi fremh\u00e6ve de lag, hvorfra vi frit kan fjerne konvolutter:<\/p>\n

      <\/p>\n

      \"Jedi-teknik<\/p>\n

      <\/p>\n

      Lad os nu bygge arbejdscyklussen:<\/p>\n

      <\/p>\n

        \n
      1. Eksporterer aktiveringer<\/li>\n
      2. Vurderer, hvor meget der skal sk\u00e6res <\/li>\n
      3. Sk\u00e6rer<\/li>\n
      4. Tr\u00e6ner i 10 epoker med LR=1e-4 <\/li>\n
      5. Testning <\/li>\n<\/ol>\n

        <\/p>\n

        At eksportere konvolutter er nyttigt for at vurdere, hvilken del vi kan fjerne p\u00e5 en bestemt trin. Eksempler p\u00e5 eksport:<\/p>\n

        <\/p>\n

        \"Jedi-teknik<\/p>\n

        <\/p>\n

        Vi ser, at n\u00e6sten overalt har 5% af konvolutterne en meget lav L1-norm, og vi kan fjerne dem. P\u00e5 hvert trin blev denne eksport gentaget, og der blev foretaget en vurdering af, hvilke lag og hvor mange der kunne sk\u00e6res. <\/p>\n

        <\/p>\n

        Hele processen var opdelt i 4 trin (her og alle steder tal for RTX 2060 Super):<\/p>\n

        <\/p>\n\n\n\n\n\n\n\n\n\n
        Trin<\/th>\nmAp75<\/th>\nAntal parametre, mio<\/th>\nNetv\u00e6rksst\u00f8rrelse, mb<\/th>\nFra den oprindelige, %<\/th>\nK\u00f8retid, ms<\/th>\nBetingelse for besk\u00e6ring<\/th>\n<\/tr>\n<\/thead>\n
        0<\/td>\n0.9656<\/td>\n60<\/td>\n241<\/td>\n100<\/td>\n180<\/td>\n\u2014<\/td>\n<\/tr>\n
        1<\/td>\n0.9622<\/td>\n55<\/td>\n218<\/td>\n91<\/td>\n175<\/td>\n5% af alle<\/td>\n<\/tr>\n
        2<\/td>\n0.9625<\/td>\n50<\/td>\n197<\/td>\n83<\/td>\n168<\/td>\n5% af alle<\/td>\n<\/tr>\n
        3<\/td>\n0.9633<\/td>\n39<\/td>\n155<\/td>\n64<\/td>\n155<\/td>\n15% for lag med 400+ konvolutter<\/td>\n<\/tr>\n
        4<\/td>\n0.9555<\/td>\n31<\/td>\n124<\/td>\n51<\/td>\n146<\/td>\n10% for lag med 100+ konvolutter<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

        <\/p>\n

        Ved trin 2 opstod der en positiv effekt \u2014 batch-st\u00f8rrelse 4 blev muligt i hukommelsen, hvilket betydeligt fremskyndede genuddannelsesprocessen.
        \nVed trin 4 blev processen stoppet, da selv langvarig genuddannelse ikke h\u00e6vede mAp75 til de gamle v\u00e6rdier.
        \nSom et resultat lykkedes det at fremskynde inferensen med 15%<\/strong>, reducere st\u00f8rrelsen med 35% <\/strong>og ikke miste i n\u00f8jagtighed. <\/p>\n

        <\/p>\n

        Automatisering til enklere arkitekturer<\/h3>\n

        <\/p>\n

        For enklere netv\u00e6rksarkitekturer (uden betingede add, concatenate og residualblokke) kan man helt sikkert fokusere p\u00e5 at bearbejde alle konvolutionslag og automatisere besk\u00e6ringsprocessen.<\/p>\n

        <\/p>\n

        Denne mulighed har jeg implementeret her<\/a><\/noindex>.
        \nDet er enkelt: kun tab-funktionen, optimereren og batch-generatorerne er n\u00f8dvendig:<\/p>\n

        <\/p>\n

        import pruning\nfrom keras.optimizers import Adam\nfrom keras.utils import Sequence\n\ntrain_batch_generator = BatchGenerator...\nscore_batch_generator = BatchGenerator...\n\nopt = Adam(lr=1e-4)\npruner = pruning.Pruner(\"config.json\", \"categorical_crossentropy\", opt)\n\npruner.prune(train_batch, valid_batch)<\/code><\/pre>\n
        <\/p>\n
        Hvis n\u00f8dvendigt kan konfigurationsparametrene \u00e6ndres:<\/p>\n
        <\/p>\n
        {\n    \"input_model_path\": \"model.h5\",\n    \"output_model_path\": \"model_pruned.h5\",\n    \"finetuning_epochs\": 10, # antallet af epoker til tr\u00e6ning mellem pruning trin\n    \"stop_loss\": 0.1, # tab for at stoppe processen\n    \"pruning_percent_step\": 0.05, # del af konvolutioner der slettes ved hver pruning trin\n    \"pruning_standart_deviation_part\": 0.2 # skift for at begr\u00e6nse pruning delen\n}<\/code><\/pre>\n
        <\/p>\n
        Der er desuden implementeret en begr\u00e6nsning baseret p\u00e5 standardafvigelsen. M\u00e5let er at begr\u00e6nse antallet af fjernede, ved at udelukke sammenfoldninger med allerede 'tilstr\u00e6kkelige' L1-m\u00e5l:<\/p>\n
        <\/p>\n
        \"Jedi-teknik<\/p>\n
        <\/p>\n
        Hermed tillader vi kun svage konvolutioner at blive fjernet fra fordelinger, der ligner den h\u00f8jre, uden at p\u00e5virke fjernelsen fra fordelinger, der ligner den venstre:<\/p>\n
        <\/p>\n
        \"Jedi-teknik<\/p>\n
        <\/p>\n
        N\u00e5r fordelingen n\u00e6rmer sig normalfordelingen, kan koefficienten pruning_standart_deviation_part v\u00e6lges fra:<\/p>\n
        <\/p>\n
        \"Jedi-teknik
        \nJeg anbefaler et toleranceniveau p\u00e5 2 sigmas. Alternativt kan man v\u00e6lge ikke at tage h\u00f8jde for denne egenskab og lade v\u00e6rdien v\u00e6re < 1.0.<\/p>\n
        <\/p>\n
        Udgangen resulterer i et diagram over netv\u00e6rkets st\u00f8rrelse, tab og k\u00f8retid over hele testen, normaliseret til 1.0. For eksempel, her blev netv\u00e6rkets st\u00f8rrelse n\u00e6sten halveret uden tab af kvalitet (en lille konvolutionel netv\u00e6rk med 100k v\u00e6gte):<\/p>\n
        <\/p>\n
        \"Jedi-teknik<\/p>\n
        <\/p>\n
        K\u00f8retiden er udsat for normale udsving og har stort set ikke \u00e6ndret sig. Der er en forklaring p\u00e5 dette:<\/p>\n
        <\/p>\n
          \n
        1. Antallet af konvolutioner \u00e6ndres fra mere bekvemme (32, 64, 128) til mindre bekvemme for grafikkort \u2014 27, 51 osv. Her kan jeg tage fejl, men sandsynligvis p\u00e5virker det.<\/li>\n
        2. Arkitekturen er ikke bred, men sekventiel. Ved at mindske bredden r\u00f8rer vi ikke dybden. Dette reducerer belastningen, men \u00e6ndrer ikke hastigheden.<\/li>\n<\/ol>\n
          <\/p>\n
          Derfor resulterede forbedringen i en reduktion af CUDA-belastningen under k\u00f8rslen med 20-30%, men ikke i en reduktion af k\u00f8retiden.<\/p>\n
          <\/p>\n
          Resum\u00e9<\/h3>\n
          <\/p>\n
          Lad os reflektere. Vi har overvejet 2 varianter af pruning \u2014 til YOLOv3 (hvor man m\u00e5 arbejde med h\u00e6nderne) og til netv\u00e6rk med simplere arkitekturer. Det er tydeligt, at det i begge tilf\u00e6lde er muligt at reducere netv\u00e6rkets st\u00f8rrelse og opn\u00e5 hurtigere k\u00f8retider uden at miste pr\u00e6cision. Resultaterne:<\/p>\n
          <\/p>\n