{"id":54494,"date":"2019-12-27T00:00:00","date_gmt":"2019-12-26T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning"},"modified":"2020-02-18T14:02:30","modified_gmt":"2020-02-18T11:02:30","slug":"dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/news\/dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning","title":{"rendered":"Jedai tehnika konvolutsiooniv\u00f5rkude v\u00e4hendamiseks \u2014 pruning","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Jedai<\/p>\n

<\/p>\n

Ees on taas objektide tuvastamise \u00fclesanne. Peamine prioriteet on t\u00f6\u00f6 kiirus vastuv\u00f5etava t\u00e4psuse juures. Kasutad YOLOv3 arhitektuuri ja t\u00e4iendad seda. T\u00e4psus (mAp75) \u00fcle 0.95. Kuid t\u00f6\u00f6tlemise kiirus on endiselt madal. Kuradi. <\/p>\n

<\/p>\n

T\u00e4na j\u00e4tame kvantiseerimise k\u00f5rvale. Ja allpool vaatame Model Pruning<\/strong> \u2014 \u00fcleliigsete osade eemaldamine v\u00f5rgu kiirendamiseks ilma t\u00e4psuse kaotamiseta. Selgelt \u2014 kust, kui palju ja kuidas on v\u00f5imalik l\u00f5igata. Arutame, kuidas seda k\u00e4sitsi teha ja kus saab automatiseerida. L\u00f5pus \u2014 repository keras'e jaoks.<\/p>\n

<\/a><\/noindex><\/p>\n

Sissejuhatus<\/h3>\n

<\/p>\n

Eelmisel t\u00f6\u00f6kohtadel, permis Macroscopis, omandasin ma \u00fche harjumuse \u2014 alati j\u00e4lgida algoritmide t\u00e4itmise aega. Ja v\u00f5rgu t\u00f6\u00f6tlemise aega kontrollida alati adekvaatsuse filtri kaudu. Tavaliselt ei vasta state-of-the-art tootmises sellele filtrile, mis viis mind Pruning'uni. <\/p>\n

<\/p>\n

Pruning \u2014 vana teema, millest r\u00e4\u00e4giti Stanfordi loengutes<\/a><\/noindex> 2017. aastal. Peamine idee \u2014 koolitatud v\u00f5rgu suuruse v\u00e4hendamine ilma t\u00e4psuse kaotamiseta, eemaldades mitmesuguseid s\u00f5lmi. K\u00f5lab h\u00e4sti, kuid ma harva kuulen selle rakendamisest. T\u00f5en\u00e4oliselt puuduvad rakendused, ei ole venekeelseid artikleid v\u00f5i lihtsalt peetakse pruning\u2019t omaette teadmisteks ja vaikivad.
\nAga l\u00e4heme siis arutama<\/p>\n

<\/p>\n

Vaade bioloogiale<\/h3>\n

<\/p>\n

Mulle meeldib, kui s\u00fcgavale \u00f5ppimisse toovad ideid bioloogiast. Neile, nagu ka evolutsioonile, v\u00f5ib usaldada (kas teadsite, et ReLU on v\u00e4ga sarnane ajurakkude aktiveerimise funktsiooniga<\/a><\/noindex>?) <\/p>\n

<\/p>\n

Model Pruning protsess on samuti l\u00e4hedane bioloogiale. V\u00f5rgu reaktsiooni saab v\u00f5rrelda aju plastilisusega. Raamatus on paar huvitavat n\u00e4idet Norman Doidge'i<\/a><\/noindex>:<\/p>\n

<\/p>\n

    \n
  1. Naise aju, kellel oli s\u00fcndides vaid \u00fcks pool, programmeeris end ise \u00fcmber, et t\u00e4ita puuduvat poole funktsioone<\/li>\n
  2. Noormees tulistas endale osa ajust, mis vastutab n\u00e4gemise eest. Aja jooksul v\u00f5tsid teised ajupiirkonnad need funktsioonid enda kanda. (ei p\u00fc\u00fca korrata)<\/li>\n<\/ol>\n

    <\/p>\n

    Nii saab ka teie mudelist eemaldada osad n\u00f5rgad konvolutsioonid. \u00c4\u00e4rmisel juhul aitavad allesj\u00e4\u00e4nud konvolutsioonid asendada eemaldatud. <\/p>\n

    <\/p>\n

    Kas armastad Transfer Learningut v\u00f5i \u00f5pid algusest peale?<\/h3>\n

    <\/p>\n

    Variant number \u00fcks.<\/strong> Kasutad Transfer Learningut Yolov3-l. Retina, Mask-RCNN v\u00f5i U-Net. Kuid sageli pole meil vaja tuvastada 80 klassi objekte, nagu COCO-s. Minu praktikas piirduvad asjad 1-2 klassiga. V\u00f5ib eeldada, et 80 klassile m\u00f5eldud arhitektuur on siin \u00fcleliigne. Tundub, et see tuleks v\u00e4hendada. Ja oleks soovitav teha seda ilma olemasolevaid eel\u00f5petatud kehiseid kaotamata.<\/p>\n

    <\/p>\n

    Variant number kaks.<\/strong> V\u00f5ib-olla on sul palju andmeid ja arvutusv\u00f5imekust v\u00f5i lihtsalt vaja \u00fclireguleeritud arhitektuuri. Pole oluline. Kuid \u00f5pid v\u00f5rku algusest peale. Tavaline j\u00e4rjekord \u2014 vaatame andmestruktuuri, valime \u00dcLELIIGSE v\u00f5imsusega arhitektuuri ja pushime dropout'e \u00fcle\u00f5ppimise vastu. Olen n\u00e4inud dropout'e 0.6, Karl. <\/p>\n

    <\/p>\n

    M\u00f5lemal juhul saab v\u00f5rku v\u00e4hendada. Oleme motiveeritud. N\u00fc\u00fcd liigume edasi arutama, mis asi see pruning on.<\/p>\n

    <\/p>\n

    \u00dcldine algoritm<\/h3>\n

    <\/p>\n

    Oleme otsustanud, et saame eemaldada konvolutsioonid. See tundub \u00fcsna lihtne:<\/p>\n

    <\/p>\n

    \"Jedai<\/p>\n

    <\/p>\n

    Iga konvolutsiooni eemaldamine on v\u00f5rgu jaoks stress, mis toob tavaliselt kaasa ka teatud t\u00f5usu vea. \u00dchelt poolt on see vea t\u00f5us m\u00e4rk sellest, kui \u00f5igesti me konvolutsioonide eemaldamisega tegeleme (n\u00e4iteks suur t\u00f5us \u00fctleb, et me teeme midagi valesti). Kuid v\u00e4ike t\u00f5us on t\u00e4iesti aktsepteeritav ja sageli k\u00f5rvaldatakse j\u00e4rgnevate kergete \u00f5petustega v\u00e4ikese LR-ga. Lisame \u00f5petamise etapi:<\/p>\n

    <\/p>\n

    \"Jedai<\/p>\n

    <\/p>\n

    N\u00fc\u00fcd peame aru saama, millal soovime l\u00f5petada meie Learning<->Pruning ts\u00fckli. Siin v\u00f5ivad olla eksootilised variandid, kus peame v\u00f5rku v\u00e4hendama teatud suurusele ja t\u00f6\u00f6tlemise kiiruseni (n\u00e4iteks mobiilseadmete jaoks). Siiski on k\u00f5ige sagedasem variant \u2014 ts\u00fckli j\u00e4tkamine seni, kuni viga ei ole \u00fcle lubatud. Lisame tingimuse:<\/p>\n

    <\/p>\n

    \"Jedai<\/p>\n

    <\/p>\n

    Nii et algoritm on arusaadav. J\u00e4\u00e4b avatuks, kuidas m\u00e4\u00e4rata eemaldatavad konvolutsioonid.<\/p>\n

    <\/p>\n

    Eemaldatavate konvolutsioonide otsimine<\/h3>\n

    <\/p>\n

    Me peame eemaldama teatud pakked. \u00dcksikult r\u00fcnnates ja 'r\u00fcnnates' k\u00f5iki on halb m\u00f5te, kuigi see t\u00f6\u00f6tab. Kuid kuna meil on m\u00f5istus, saame m\u00f5elda ja proovida leida 'n\u00f5rgad' pakked, mis eemaldada. Valikuid on mitu:<\/p>\n

    <\/p>\n

      \n
    1. V\u00e4ikseim L1-m\u00f5\u00f5de v\u00f5i low_magnitude_pruning<\/a><\/noindex>. Idee, mis \u00fctleb, et v\u00e4ikesed kaaludega konvolutsioonid annavad v\u00e4hese panuse l\u00f5ppotsusesse. <\/li>\n
    2. V\u00e4ikseim L1-m\u00f5\u00f5de arvestades keskmist ja \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442h\u00e4lvet. T\u00e4iendame jaotuse iseloomu hindamisega.<\/li>\n
    3. Konvolutsioonide maskeerimine ja nende v\u00e4ike m\u00f5ju l\u00f5ppt\u00e4psusele v\u00e4listamine.<\/a><\/noindex>. T\u00e4psem m\u00e4\u00e4ratlemine v\u00e4ikese t\u00e4htsusega konvolutsioonidest, kuid \u00fcsna ajamahukas ja ressursimahukas. <\/li>\n
    4. Muud <\/li>\n<\/ol>\n

      <\/p>\n

      Igal variandil on elu\u00f5igus ja oma rakenduse omadused. Siin vaatame v\u00e4ikseimale L1-m\u00f5\u00f5tmele p\u00f5hinevat varianti.<\/p>\n

      <\/p>\n

      K\u00e4sitsi protsess YOLOv3 jaoks<\/h3>\n

      <\/p>\n

      Algse arhitektuuris on j\u00e4\u00e4nud j\u00e4\u00e4kplokid. Kuigi need on s\u00fcgavate v\u00f5rkude jaoks \u00e4\u00e4rmiselt kasulikud, v\u00f5ivad need meid siiski takistada. Probleem on selles, et erinevate indeksitega kokkulangevusi ei saa nende kihtide sees kustutada:<\/p>\n

      <\/p>\n

      \"Jedai<\/p>\n

      <\/p>\n

      Seega eristame kihte, kust saame vabalt kokkulangevusi eemaldada:<\/p>\n

      <\/p>\n

      \"Jedai<\/p>\n

      <\/p>\n

      N\u00fc\u00fcd loome t\u00f6\u00f6ts\u00fckli:<\/p>\n

      <\/p>\n

        \n
      1. Laadime v\u00e4lja aktiveeringud<\/li>\n
      2. Kalkuleerime, kui palju k\u00e4rpida <\/li>\n
      3. K\u00e4rpime<\/li>\n
      4. Treeni 10 epohi LR=1e-4 <\/li>\n
      5. Testime <\/li>\n<\/ol>\n

        <\/p>\n

        Kokkusurumine on kasulik, et hinnata, kui palju me teatud sammul eemaldada saame. N\u00e4ited v\u00e4ljalaskmisest:<\/p>\n

        <\/p>\n

        \"Jedai<\/p>\n

        <\/p>\n

        N\u00e4gime, et praktiliselt igal pool on 5% kokkusurumisest \u00fcsna madala L1-normiga ja saame need eemaldada. Igal sammul korrati sellist v\u00e4ljalaset ja hinnati, millistelt kihtidelt ja kui palju saab k\u00e4rpida. <\/p>\n

        <\/p>\n

        Kogu protsess mahtus 4 sammu (siin ja igal pool numbrid RTX 2060 Super jaoks):<\/p>\n

        <\/p>\n\n\n\n\n\n\n\n\n\n
        Samm<\/th>\nmAp75<\/th>\nParameetrite arv, miljonites<\/th>\nV\u00f5rgu suurus, MB<\/th>\nAlgse suuruse %<\/th>\nK\u00e4itamisaeg, ms<\/th>\nK\u00e4rpimise tingimus<\/th>\n<\/tr>\n<\/thead>\n
        0<\/td>\n0.9656<\/td>\n60<\/td>\n241<\/td>\n100<\/td>\n180<\/td>\n—<\/td>\n<\/tr>\n
        1<\/td>\n0.9622<\/td>\n55<\/td>\n218<\/td>\n91<\/td>\n175<\/td>\n5% k\u00f5igist<\/td>\n<\/tr>\n
        2<\/td>\n0.9625<\/td>\n50<\/td>\n197<\/td>\n83<\/td>\n168<\/td>\n5% k\u00f5igist<\/td>\n<\/tr>\n
        3<\/td>\n0.9633<\/td>\n39<\/td>\n155<\/td>\n64<\/td>\n155<\/td>\n15% kihtide jaoks, kus on 400+ kokkusurumist<\/td>\n<\/tr>\n
        4<\/td>\n0.9555<\/td>\n31<\/td>\n124<\/td>\n51<\/td>\n146<\/td>\n10% kihtide jaoks, kus on 100+ kokkusurumist<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

        <\/p>\n

        Teise etapi juurde lisandus \u00fcks positiivne efekt \u2014 m\u00e4lu mahub batch-size 4, mis kiirendas t\u00e4iend\u00f5ppe protsessi.
        \nNeljas etapp peatati, kuna isegi pikaajaline t\u00e4iend\u00f5pe ei t\u00f5stnud mAp75 varasematele tasemetele.
        \nKokkuv\u00f5ttes \u00f5nnestus kiirendada inference'i 15%<\/strong>, v\u00e4hendada suurust 35% <\/strong>ja mitte kaotada t\u00e4psuses. <\/p>\n

        <\/p>\n

        Automatiseerimine lihtsamate arhitektuuride jaoks<\/h3>\n

        <\/p>\n

        Lihtsamate v\u00f5rguarhitektuuride (ilma tingimuslike add, concatenate ja residual plokkideta) puhul on t\u00e4iesti v\u00f5imalik orienteeruda k\u00f5igi kokkusurumiste t\u00f6\u00f6tlemisel ja automatiseerida kokkusurumise eemaldamise protsess.<\/p>\n

        <\/p>\n

        Sellise variandi olen ma rakendanud siit<\/a><\/noindex>.
        \nK\u00f5ik on lihtne: teilt on ainult vajalik kahanemise funktsioon, optimeerija ja batch-generaadoreid:<\/p>\n

        <\/p>\n

        import pruning\nfrom keras.optimizers import Adam\nfrom keras.utils import Sequence\n\ntrain_batch_generator = BatchGenerator...\nscore_batch_generator = BatchGenerator...\n\nopt = Adam(lr=1e-4)\npruner = pruning.Pruner(\"config.json\", \"categorical_crossentropy\", opt)\n\npruner.prune(train_batch, valid_batch)<\/code><\/pre>\n
        <\/p>\n
        Vajadusel saab konfigureerimise parameetreid muuta:<\/p>\n
        <\/p>\n
        {\n    \"input_model_path\": \"model.h5\",\n    \"output_model_path\": \"model_pruned.h5\",\n    \"finetuning_epochs\": 10, # epohhide arv treenimise ajal k\u00e4rpimise etappide vahel\n    \"stop_loss\": 0.1, # kaotus peatamise protsessi jaoks\n    \"pruning_percent_step\": 0.05, # osa konvolutsioonidest, mis eemaldatakse igal k\u00e4rpimise sammul\n    \"pruning_standart_deviation_part\": 0.2 # piiri seotuse k\u00e4rpimise osa\n}<\/code><\/pre>\n
        <\/p>\n
        Lisaks on rakendatud piirang vastavalt standardh\u00e4lbele. Eesm\u00e4rk on piirata eemaldatavate osa, j\u00e4ttes v\u00e4lja pakked, millel on juba 'piisavad' L1-m\u00f5\u00f5tmised:<\/p>\n
        <\/p>\n
        \"Jedai<\/p>\n
        <\/p>\n
        Sellega lubame eemaldada ainult n\u00f5rgad kokkusurumised jaotustest, mis meenutavad paremat, ning mitte m\u00f5jutada eemaldamist jaotustest, mis meenutavad vasakut:<\/p>\n
        <\/p>\n
        \"Jedai<\/p>\n
        <\/p>\n
        Jaotuse l\u00e4henedes normaalsele, saab pruning_standart_deviation_part koosta j\u00e4lgida:<\/p>\n
        <\/p>\n
        \"Jedai
        \nSoovitan 2 sigma piirangut. V\u00f5i v\u00f5ib selle erip\u00e4ra mitte silmas pidada, j\u00e4ttes v\u00e4\u00e4rtuse < 1.0.<\/p>\n
        <\/p>\n
        L\u00f5pptulemusena saadakse v\u00f5rgusuuruse, kaotuse ja k\u00e4itamisaja graafikid kogu katse jooksul, normeeritud 1.0-le. N\u00e4iteks siin oli v\u00f5rgu suurus peaaegu kahekordistunud kvaliteedi kaotamata (v\u00e4ike konvolutsiooniline v\u00f5rgu 100k kaaluga):<\/p>\n
        <\/p>\n
        \"Jedai<\/p>\n
        <\/p>\n
        K\u00e4itamisaeg allub normaalsetele k\u00f5ikumistele ja ei ole praktiliselt muutunud. Sellel on seletus:<\/p>\n
        <\/p>\n
          \n
        1. Kokkusurumiste arv muutub mugavast (32, 64, 128) ebamugavaks videokaartidele \u2014 27, 51 jne. Siin v\u00f5in eksida, kuid t\u00f5en\u00e4oliselt see m\u00f5jutab.<\/li>\n
        2. Arhitektuur ei ole lai, kuid j\u00e4rjestikune. Laidude v\u00e4hendamine ei muuda s\u00fcgavust. Seega v\u00e4hendame koormat, kuid ei muuda kiirus.<\/li>\n<\/ol>\n
          <\/p>\n
          Seet\u00f5ttu v\u00e4ljendub paranemine CUDA koormuse v\u00e4henemises 20-30% k\u00e4itamisel, kuid mitte k\u00e4itamise aja v\u00e4henemises.<\/p>\n
          <\/p>\n
          Kokkuv\u00f5te<\/h3>\n
          <\/p>\n
          Reflekteerime. Oleme vaadanud kahte pruning'i varianti \u2014 YOLOv3 jaoks (kui tuleb k\u00e4tega t\u00f6\u00f6tada) ja lihtsama arhitektuuriga v\u00f5rke. On ilmne, et m\u00f5lemas olukorras saab saavutada v\u00f5rgu suuruse v\u00e4hendamise ja kiirendamise ilma t\u00e4psuse kaotamata. Tulemused:<\/p>\n
          <\/p>\n