{"id":54494,"date":"2019-12-27T00:00:00","date_gmt":"2019-12-26T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning"},"modified":"2020-02-18T14:02:30","modified_gmt":"2020-02-18T11:02:30","slug":"dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning","status":"publish","type":"post","link":"https:\/\/prohoster.info\/fr\/blog\/news\/dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning","title":{"rendered":"Technique Jedi de r\u00e9duction des r\u00e9seaux de neurones convolutifs \u2014 pruning","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Technique<\/p>\n

<\/p>\n

Voici \u00e0 nouveau une t\u00e2che de d\u00e9tection d'objets. La priorit\u00e9 est la rapidit\u00e9 de fonctionnement avec une pr\u00e9cision acceptable. Vous utilisez l'architecture YOLOv3 et vous l'affinez. La pr\u00e9cision (mAp75) est sup\u00e9rieure \u00e0 0,95. Mais la vitesse d'ex\u00e9cution est encore faible. Zut. <\/p>\n

<\/p>\n

Aujourd'hui, nous allons ignorer la quantification. Sous ce lien, nous allons examiner L'\u00e9lagage de mod\u00e8les<\/strong> \u2014 la suppression des parties redondantes du r\u00e9seau pour acc\u00e9l\u00e9rer l'inf\u00e9rence sans perte de pr\u00e9cision. Visuellement \u2014 d'o\u00f9, combien et comment on peut couper. Nous examinerons comment le faire manuellement et o\u00f9 nous pouvons automatiser. \u00c0 la fin \u2014 un d\u00e9p\u00f4t sur keras.<\/p>\n

<\/a><\/noindex><\/p>\n

Introduction<\/h3>\n

<\/p>\n

Dans mon ancien emploi, chez Macroscop \u00e0 Perm, j'ai pris l'habitude de toujours surveiller le temps d'ex\u00e9cution des algorithmes. Et je v\u00e9rifiais toujours le temps d'ex\u00e9cution des r\u00e9seaux \u00e0 travers un filtre d'ad\u00e9quation. En g\u00e9n\u00e9ral, les state-of-the-art ne passent pas ce filtre en production, ce qui m'a conduit \u00e0 l'\u00e9lagage. <\/p>\n

<\/p>\n

L'\u00e9lagage est un sujet ancien, dont il a \u00e9t\u00e9 question dans les cours de Stanford<\/a><\/noindex> en 2017. L'id\u00e9e principale est de r\u00e9duire la taille du r\u00e9seau entra\u00een\u00e9 sans perte de pr\u00e9cision en supprimant divers n\u0153uds. Cela semble cool, mais j'entends rarement parler de son application. Peut-\u00eatre qu'il manque des impl\u00e9mentations, qu'il n'y a pas d'articles en langue russe, ou tout simplement que tout le monde consid\u00e8re l'\u00e9lagage comme un savoir-faire et se tait.
\nMais allons y jeter un \u0153il<\/p>\n

<\/p>\n

Un coup d'\u0153il en biologie<\/h3>\n

<\/p>\n

J'aime quand des id\u00e9es provenant de la biologie p\u00e9n\u00e8trent dans le Deep Learning. Elles peuvent \u00eatre dignes de confiance, tout comme l'\u00e9volution (savais-tu que la ReLU ressemble beaucoup \u00e0 la fonction d'activation des neurones dans le cerveau<\/a><\/noindex>?) <\/p>\n

<\/p>\n

Le processus d'\u00e9lagage de mod\u00e8les est aussi proche de la biologie. La r\u00e9action du r\u00e9seau peut ici \u00eatre compar\u00e9e \u00e0 la plasticit\u00e9 du cerveau. Il y a quelques exemples int\u00e9ressants dans le livre de Norman Doidge<\/a><\/noindex>:<\/p>\n

<\/p>\n

    \n
  1. Le cerveau d'une femme, qui n'avait qu'une moiti\u00e9 depuis sa naissance, s'est reprogramm\u00e9 pour effectuer les fonctions de l'autre moiti\u00e9<\/li>\n
  2. Un gar\u00e7on s'est tir\u00e9 une balle dans la partie du cerveau responsable de la vision. Avec le temps, d'autres parties du cerveau ont pris en charge ces fonctions. (nous ne tentons pas de r\u00e9p\u00e9ter cela)<\/li>\n<\/ol>\n

    <\/p>\n

    Ainsi, il est possible d'\u00e9laguer certaines convolutions faibles de votre mod\u00e8le. En dernier recours, les convolutions restantes peuvent aider \u00e0 remplacer celles qui ont \u00e9t\u00e9 supprim\u00e9es. <\/p>\n

    <\/p>\n

    Aimes-tu le transfert d'apprentissage ou tu commences de z\u00e9ro ?<\/h3>\n

    <\/p>\n

    Option num\u00e9ro un.<\/strong> Vous utilisez le Transfer Learning avec Yolov3, Retina, Mask-RCNN ou U-Net. Mais le plus souvent, nous n'avons pas besoin de reconna\u00eetre 80 classes d'objets comme dans COCO. Dans ma pratique, cela se limite souvent \u00e0 1 ou 2 classes. On peut supposer que l'architecture pour 80 classes est ici excessive. L'id\u00e9e vient alors qu'il faudrait r\u00e9duire l'architecture, et ce, sans perdre les poids pr\u00e9-entra\u00een\u00e9s existants.<\/p>\n

    <\/p>\n

    Option num\u00e9ro deux.<\/strong> Peut-\u00eatre avez-vous beaucoup de donn\u00e9es et de ressources de calcul, ou simplement besoin d'une architecture hyper personnalis\u00e9e. Peu importe. Mais vous entra\u00eenez le r\u00e9seau depuis le d\u00e9but. L'ordre habituel est de regarder la structure des donn\u00e9es, de choisir une architecture DE PUISSANCE EXCESSIVE et de pousser les drops out pour \u00e9viter le surapprentissage. J'ai vu des drops out \u00e0 0,6, Carl. <\/p>\n

    <\/p>\n

    Dans les deux cas, le r\u00e9seau peut \u00eatre r\u00e9duit. Nous en avons \u00e9t\u00e9 motiv\u00e9s. Passons maintenant \u00e0 la question de la r\u00e9duction, le pruning.<\/p>\n

    <\/p>\n

    Algorithme g\u00e9n\u00e9ral<\/h3>\n

    <\/p>\n

    Nous avons d\u00e9cid\u00e9 que nous pouvions supprimer des convolutions. Cela semble assez simple :<\/p>\n

    <\/p>\n

    \"Technique<\/p>\n

    <\/p>\n

    La suppression de toute convolution est un stress pour le r\u00e9seau, ce qui entra\u00eene g\u00e9n\u00e9ralement une certaine augmentation de l'erreur. D'un c\u00f4t\u00e9, cette augmentation de l'erreur est un indicateur de la mani\u00e8re dont nous supprimons correctement les convolutions (par exemple, une grande augmentation signifie que quelque chose ne va pas). Mais une l\u00e9g\u00e8re augmentation est tout \u00e0 fait acceptable et se r\u00e9sout souvent par un l\u00e9ger r\u00e9entra\u00eenement avec un LR faible. Ajoutons une \u00e9tape de r\u00e9entra\u00eenement :<\/p>\n

    <\/p>\n

    \"Technique<\/p>\n

    <\/p>\n

    Nous devons maintenant comprendre quand nous souhaitons arr\u00eater notre cycle Apprentissage<->Pruning. Il peut y avoir des cas exotiques o\u00f9 nous devons r\u00e9duire le r\u00e9seau \u00e0 une certaine taille et vitesse d'ex\u00e9cution (par exemple, pour des appareils mobiles). Cependant, le cas le plus fr\u00e9quent est de poursuivre le cycle tant que l'erreur ne d\u00e9passe pas un seuil acceptable. Ajoutons une condition :<\/p>\n

    <\/p>\n

    \"Technique<\/p>\n

    <\/p>\n

    Ainsi, l'algorithme devient clair. Reste \u00e0 d\u00e9terminer quelles convolutions supprimer.<\/p>\n

    <\/p>\n

    Recherche de convolutions \u00e0 supprimer<\/h3>\n

    <\/p>\n

    Nous devons supprimer certaines enveloppes. Fondre \u00e0 travers et 'tirer' n'importe quelle enveloppe est une mauvaise id\u00e9e, m\u00eame si cela fonctionne. Mais comme nous avons un cerveau, nous pouvons r\u00e9fl\u00e9chir et essayer d'identifier les enveloppes 'faibles' \u00e0 supprimer. Il existe plusieurs options :<\/p>\n

    <\/p>\n

      \n
    1. La plus petite mesure L1 ou low_magnitude_pruning<\/a><\/noindex>. L'id\u00e9e stipule que les convolutions avec de petits poids contribuent peu \u00e0 la prise de d\u00e9cision finale. <\/li>\n
    2. La plus petite mesure L1 prenant en compte la moyenne et l'\u00e9cart type. Compl\u00e9t\u00e9 par une \u00e9valuation de la nature de la distribution.<\/li>\n
    3. Masquer les convolutions et exclure celles ayant le moins d'impact sur la pr\u00e9cision finale.<\/a><\/noindex>. Une d\u00e9finition plus pr\u00e9cise des convolutions insignifiantes, mais tr\u00e8s co\u00fbteuse en temps et en ressources. <\/li>\n
    4. Autres <\/li>\n<\/ol>\n

      <\/p>\n

      Chacune des options a le droit d'exister et ses sp\u00e9cificit\u00e9s de mise en \u0153uvre. Nous allons examiner l'option avec la plus petite mesure L1.<\/p>\n

      <\/p>\n

      Processus manuel pour YOLOv3<\/h3>\n

      <\/p>\n

      L'architecture de base contient des blocs r\u00e9siduels. Mais quel que soit leur niveau de sophistication pour les r\u00e9seaux profonds, ils peuvent nous poser probl\u00e8me. La difficult\u00e9 r\u00e9side dans le fait qu'il n'est pas possible de supprimer des convolutions avec des indices diff\u00e9rents dans ces couches :<\/p>\n

      <\/p>\n

      \"Technique<\/p>\n

      <\/p>\n

      Nous allons donc identifier les couches dont nous pouvons supprimer librement les convolutions :<\/p>\n

      <\/p>\n

      \"Technique<\/p>\n

      <\/p>\n

      Nous allons maintenant construire la boucle de travail :<\/p>\n

      <\/p>\n

        \n
      1. D\u00e9chargeons les activations<\/li>\n
      2. Estimons combien couper <\/li>\n
      3. D\u00e9coupons<\/li>\n
      4. Entra\u00eenons pendant 10 \u00e9poques avec LR=1e-4 <\/li>\n
      5. Testons <\/li>\n<\/ol>\n

        <\/p>\n

        D\u00e9charger les convolutions est utile pour \u00e9valuer quelle partie nous pouvons supprimer \u00e0 un moment donn\u00e9. Exemples de d\u00e9charge :<\/p>\n

        <\/p>\n

        \"Technique<\/p>\n

        <\/p>\n

        Nous voyons que presque partout 5 % des convolutions ont une norme L1 tr\u00e8s faible et nous pouvons les supprimer. \u00c0 chaque \u00e9tape, cette d\u00e9charge \u00e9tait r\u00e9p\u00e9t\u00e9e et il a \u00e9t\u00e9 \u00e9valu\u00e9 de quelles couches et combien il \u00e9tait possible de couper. <\/p>\n

        <\/p>\n

        Le processus entier s'est d\u00e9roul\u00e9 en 4 \u00e9tapes (ici et partout, les nombres pour RTX 2060 Super) :<\/p>\n

        <\/p>\n\n\n\n\n\n\n\n\n\n
        \u00c9tape<\/th>\nmAp75<\/th>\nNombre de param\u00e8tres, millions<\/th>\nTaille du r\u00e9seau, Mo<\/th>\nPar rapport \u00e0 l'initial, %<\/th>\nTemps d'ex\u00e9cution, ms<\/th>\nCondition de coupure<\/th>\n<\/tr>\n<\/thead>\n
        0<\/td>\n0.9656<\/td>\n60<\/td>\n241<\/td>\n100<\/td>\n180<\/td>\n\u2014<\/td>\n<\/tr>\n
        1<\/td>\n0.9622<\/td>\n55<\/td>\n218<\/td>\n91<\/td>\n175<\/td>\n5 % de l'ensemble<\/td>\n<\/tr>\n
        2<\/td>\n0.9625<\/td>\n50<\/td>\n197<\/td>\n83<\/td>\n168<\/td>\n5 % de l'ensemble<\/td>\n<\/tr>\n
        3<\/td>\n0.9633<\/td>\n39<\/td>\n155<\/td>\n64<\/td>\n155<\/td>\n15 % pour les couches avec 400+ convolutions<\/td>\n<\/tr>\n
        4<\/td>\n0.9555<\/td>\n31<\/td>\n124<\/td>\n51<\/td>\n146<\/td>\n10 % pour les couches avec 100+ convolutions<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

        <\/p>\n

        \u00c0 la 2\u00e8me \u00e9tape, un effet positif a \u00e9t\u00e9 ajout\u00e9 : la taille de lot de 4 est entr\u00e9e dans la m\u00e9moire, ce qui a consid\u00e9rablement acc\u00e9l\u00e9r\u00e9 le processus de r\u00e9entra\u00eenement.
        \n\u00c0 la 4\u00e8me \u00e9tape, le processus a \u00e9t\u00e9 arr\u00eat\u00e9, car m\u00eame un long r\u00e9entra\u00eenement n'augmentait pas le mAp75 aux anciens niveaux.
        \nAu final, il a \u00e9t\u00e9 possible d'acc\u00e9l\u00e9rer l'inf\u00e9rence de 15%<\/strong>, de r\u00e9duire la taille de 35% <\/strong>et de ne pas perdre en pr\u00e9cision. <\/p>\n

        <\/p>\n

        Automatisation pour des architectures plus simples<\/h3>\n

        <\/p>\n

        Pour des architectures de r\u00e9seaux plus simples (sans blocs conditionnels add, concaterner et r\u00e9siduels), il est tout \u00e0 fait possible de se concentrer sur le traitement de toutes les couches convolutives et d'automatiser le processus de d\u00e9coupe des convolutions.<\/p>\n

        <\/p>\n

        J'ai impl\u00e9ment\u00e9 une telle option ici<\/a><\/noindex>.
        \nC'est simple : vous avez juste besoin de la fonction de perte, de l'optimiseur et des g\u00e9n\u00e9rateurs de lots :<\/p>\n

        <\/p>\n

        import pruning\nfrom keras.optimizers import Adam\nfrom keras.utils import Sequence\n\ntrain_batch_generator = BatchGenerator...\nscore_batch_generator = BatchGenerator...\n\nopt = Adam(lr=1e-4)\npruner = pruning.Pruner(\"config.json\", \"categorical_crossentropy\", opt)\n\npruner.prune(train_batch, valid_batch)<\/code><\/pre>\n
        <\/p>\n
        Si n\u00e9cessaire, vous pouvez modifier les param\u00e8tres de configuration :<\/p>\n
        <\/p>\n
        {\n    \"input_model_path\": \"model.h5\",\n    \"output_model_path\": \"model_pruned.h5\",\n    \"finetuning_epochs\": 10, # le nombre d'\u00e9poques pour l'entra\u00eenement entre les \u00e9tapes de pruning\n    \"stop_loss\": 0.1, # perte pour arr\u00eater le processus\n    \"pruning_percent_step\": 0.05, # part des convs \u00e0 supprimer \u00e0 chaque \u00e9tape de pruning\n    \"pruning_standart_deviation_part\": 0.2 # d\u00e9calage pour limiter la partie prune\n}<\/code><\/pre>\n
        <\/p>\n
        De plus, une restriction a \u00e9t\u00e9 mise en place bas\u00e9e sur l'\u00e9cart-type. L'objectif est de limiter la part des enveloppes supprim\u00e9es, en excluant celles avec des mesures L1 d\u00e9j\u00e0 'suffisantes' :<\/p>\n
        <\/p>\n
        \"Technique<\/p>\n
        <\/p>\n
        Ainsi, nous permettons de supprimer uniquement les faibles convolutions des distributions similaires \u00e0 celle de droite sans influencer la suppression des distributions similaires \u00e0 celle de gauche :<\/p>\n
        <\/p>\n
        \"Technique<\/p>\n
        <\/p>\n
        \u00c0 mesure que la distribution se rapproche de la normale, le coefficient pruning_standart_deviation_part peut \u00eatre ajust\u00e9 \u00e0 partir de :<\/p>\n
        <\/p>\n
        \"Technique
        \nJe recommande un \u00e9cart de 2 sigmas. Ou vous pouvez ne pas vous fier \u00e0 cette particularit\u00e9, en laissant une valeur < 1,0.<\/p>\n
        <\/p>\n
        Le r\u00e9sultat est un graphique de la taille du r\u00e9seau, de la perte et du temps d'ex\u00e9cution du r\u00e9seau tout au long du test, normalis\u00e9 \u00e0 1,0. Par exemple, ici la taille du r\u00e9seau a \u00e9t\u00e9 presque r\u00e9duite de moiti\u00e9 sans perte de qualit\u00e9 (un petit r\u00e9seau de convolution avec 100k poids) :<\/p>\n
        <\/p>\n
        \"Technique<\/p>\n
        <\/p>\n
        La vitesse d'ex\u00e9cution est sujette \u00e0 des fluctuations normales et n'a pratiquement pas chang\u00e9. Cela s'explique par :<\/p>\n
        <\/p>\n
          \n
        1. Le nombre de convolutions change de pratiques (32, 64, 128) \u00e0 des valeurs moins adapt\u00e9es aux cartes graphiques \u2014 27, 51, etc. Je peux me tromper, mais cela influence probablement.<\/li>\n
        2. L'architecture n'est pas large, mais s\u00e9quentielle. En diminuant la largeur, nous ne touchons pas \u00e0 la profondeur. Ainsi, nous r\u00e9duisons la charge sans changer la vitesse.<\/li>\n<\/ol>\n
          <\/p>\n
          Par cons\u00e9quent, l'am\u00e9lioration s'est traduite par une r\u00e9duction de la charge CUDA lors de l'ex\u00e9cution de 20 \u00e0 30 %, mais pas par une diminution du temps d'ex\u00e9cution.<\/p>\n
          <\/p>\n
          R\u00e9sultats<\/h3>\n
          <\/p>\n
          R\u00e9fl\u00e9chissons. Nous avons consid\u00e9r\u00e9 2 options de pruning \u2014 pour YOLOv3 (quand il faut travailler manuellement) et pour des r\u00e9seaux avec des architectures plus simples. Il est \u00e9vident que dans les deux cas, il est possible d'atteindre une r\u00e9duction de la taille du r\u00e9seau et une acc\u00e9l\u00e9ration sans perte de pr\u00e9cision. R\u00e9sultats :<\/p>\n
          <\/p>\n