{"id":54494,"date":"2019-12-27T00:00:00","date_gmt":"2019-12-26T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning"},"modified":"2020-02-18T14:02:30","modified_gmt":"2020-02-18T11:02:30","slug":"dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/news\/dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning","title":{"rendered":"Jedi-Technik zur Reduzierung von konvolutionalen Netzen \u2014 Pruning","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Jedi-Technik<\/p>\n

<\/p>\n

Vor dir steht wieder die Aufgabe der Objekterkennung. Priorit\u00e4t hat die Arbeitsgeschwindigkeit bei akzeptabler Genauigkeit. Du nimmst die Architektur YOLOv3 und bildest sie weiter. Die Genauigkeit (mAp75) liegt \u00fcber 0,95. Aber die Laufgeschwindigkeit ist immer noch niedrig. Verdammt. <\/p>\n

<\/p>\n

Heute umgehen wir die Quantisierung. Im Nachfolgenden betrachten wir Model Pruning<\/strong> \u2014 das Entfernen \u00fcberfl\u00fcssiger Teile des Netzwerks zur Beschleunigung der Inferenz ohne Verlust der Genauigkeit. Verdeutlicht wird, wo, wie viel und wie man schneiden kann. Wir werden untersuchen, wie man dies manuell durchf\u00fchrt und wo Automatisierung m\u00f6glich ist. Am Ende \u2014 ein Repository auf Keras.<\/p>\n

<\/a><\/noindex><\/p>\n

Einf\u00fchrung<\/h3>\n

<\/p>\n

An meinem vorherigen Arbeitsplatz, dem permischen Macroscop, habe ich mir eine Gewohnheit angeeignet \u2014 immer die Ausf\u00fchrungszeit der Algorithmen zu \u00fcberwachen. Die Laufzeit der Netzwerke \u00fcberpr\u00fcfe ich immer durch einen Angemessenheitsfilter. Normalerweise bestehen state-of-the-art Modelle diesen Filter nicht, was mich zum Pruning gef\u00fchrt hat. <\/p>\n

<\/p>\n

Pruning \u2014 ein altes Thema, das in den Stanford-Vorlesungen<\/a><\/noindex> im Jahr 2017 behandelt wurde. Die Hauptidee ist die Reduzierung der Gr\u00f6\u00dfe eines trainierten Netzwerks, ohne die Genauigkeit zu verlieren, indem verschiedene Knoten entfernt werden. Klingt cool, aber ich h\u00f6re selten von seiner Anwendung. Wahrscheinlich fehlen Umsetzungen, es gibt keine russischsprachigen Artikel oder alle halten Pruning einfach f\u00fcr ein Geheimnis und schweigen.
\nAber lass uns das betrachten.<\/p>\n

<\/p>\n

Ein Blick in die Biologie<\/h3>\n

<\/p>\n

Ich liebe es, wenn im Deep Learning Ideen aus der Biologie aufblitzen. Ihnen, wie der Evolution, kann man vertrauen (wusstest du, dass ReLU sehr \u00e4hnlich ist wie die Aktivierungsfunktion von Neuronen im Gehirn<\/a><\/noindex>?) <\/p>\n

<\/p>\n

Der Prozess des Model Pruning ist auch nahe an der Biologie. Die Reaktion des Netzwerks hier kann mit der Plastizit\u00e4t des Gehirns verglichen werden. Einige interessante Beispiele finden sich im Buch von Norman Doidge.<\/a><\/noindex>:<\/p>\n

<\/p>\n

    \n
  1. Das Gehirn einer Frau, die von Geburt an nur eine Gehirnh\u00e4lfte hatte, hat sich selbst umprogrammiert, um die Funktionen der fehlenden H\u00e4lfte auszuf\u00fchren.<\/li>\n
  2. Ein Junge hat sich einen Teil seines Gehirns entfernt, der f\u00fcr das Sehen verantwortlich war. Im Laufe der Zeit haben andere Teile des Gehirns diese Funktionen \u00fcbernommen. (Wiederholen wir nicht.)<\/li>\n<\/ol>\n

    <\/p>\n

    So kann auch aus deinem Modell ein Teil schwacher Faltungen entfernt werden. Im schlimmsten Fall k\u00f6nnen die verbleibenden Faltungen die entfernten ersetzen. <\/p>\n

    <\/p>\n

    Liebst du Transfer Learning oder lernst du von Grund auf neu?<\/h3>\n

    <\/p>\n

    Option Nummer eins.<\/strong> Du verwendest Transfer Learning f\u00fcr Yolov3. Retina, Mask-RCNN oder U-Net. Aber meistens m\u00fcssen wir nicht 80 Klassen von Objekten erkennen, wie in COCO. In meiner Praxis beschr\u00e4nken sich die Klassen auf 1-2. Man k\u00f6nnte annehmen, dass die Architektur f\u00fcr 80 Klassen hier \u00fcberdimensioniert ist. Es liegt nahe, die Architektur zu reduzieren. Und das m\u00f6chte ich gerne tun, ohne die vorhandenen vortrainierten Gewichte zu verlieren.<\/p>\n

    <\/p>\n

    Variante Nummer zwei.<\/strong> Vielleicht hast du viele Daten und Rechenressourcen oder brauchst einfach eine super individuelle Architektur. Egal. Aber du trainierst das Netzwerk von Grund auf. Der \u00fcbliche Ablauf \u2014 wir schauen uns die Datenstruktur an, w\u00e4hlen eine \u00dcBERDIMENSIONIERTE Architektur aus und dr\u00fccken Dropouts gegen \u00dcberanpassung. Ich habe Dropouts von 0.6 gesehen, Karl. <\/p>\n

    <\/p>\n

    In beiden F\u00e4llen kann das Netzwerk verkleinert werden. Das waren die Anreize. Jetzt lass uns kl\u00e4ren, was es mit dem Pruning auf sich hat.<\/p>\n

    <\/p>\n

    Allgemeiner Algorithmus<\/h3>\n

    <\/p>\n

    Wir haben beschlossen, dass wir Faltungen entfernen k\u00f6nnen. Das sieht ziemlich einfach aus:<\/p>\n

    <\/p>\n

    \"Jedi-Technik<\/p>\n

    <\/p>\n

    Die Entfernung einer beliebigen Faltung ist ein Stress f\u00fcr das Netzwerk, der normalerweise mit einem gewissen Anstieg des Fehlers einhergeht. Einerseits ist dieser Anstieg des Fehlers ein Ma\u00df daf\u00fcr, wie korrekt wir die Faltungen entfernen (zum Beispiel zeigt ein gro\u00dfer Anstieg, dass wir etwas falsch machen). Aber ein kleiner Anstieg ist durchaus akzeptabel und wird oft durch anschlie\u00dfendes leichtes Nachtraining mit einem niedrigen LR behoben. Wir f\u00fcgen einen Schritt zum Nachtraining hinzu:<\/p>\n

    <\/p>\n

    \"Jedi-Technik<\/p>\n

    <\/p>\n

    Jetzt m\u00fcssen wir verstehen, wann wir unseren Zyklus Learning<->Pruning stoppen wollen. Hier kann es exotische F\u00e4lle geben, in denen wir das Netzwerk auf eine bestimmte Gr\u00f6\u00dfe und Geschwindigkeit reduzieren m\u00fcssen (zum Beispiel f\u00fcr mobile Ger\u00e4te). Der h\u00e4ufigste Fall ist jedoch, dass wir den Zyklus fortsetzen, bis der Fehler den zul\u00e4ssigen Wert \u00fcberschreitet. Wir f\u00fcgen eine Bedingung hinzu:<\/p>\n

    <\/p>\n

    \"Jedi-Technik<\/p>\n

    <\/p>\n

    So wird der Algorithmus klar. Es bleibt zu kl\u00e4ren, wie wir die zu entfernenden Faltungen bestimmen.<\/p>\n

    <\/p>\n

    Suche nach zu entfernenden Faltungen<\/h3>\n

    <\/p>\n

    Wir m\u00fcssen einige Zusammenfassungen entfernen. Blind vorw\u00e4rts zu gehen und einfach alles \"abzuschie\u00dfen\" ist keine gute Idee, auch wenn es funktionieren mag. Aber wenn man nachdenkt, kann man versuchen, die \"schwachen\" Zusammenfassungen f\u00fcr die Entfernung zu identifizieren. Es gibt mehrere M\u00f6glichkeiten:<\/p>\n

    <\/p>\n

      \n
    1. Kleinster L1-Ma\u00dfstab oder low_magnitude_pruning<\/a><\/noindex>. Die Idee besagt, dass Faltungen mit kleinen Gewichtswerten, einen geringen Beitrag zur endg\u00fcltigen Entscheidungsfindung leisten. <\/li>\n
    2. Kleinster L1-Ma\u00dfstab unter Ber\u00fccksichtigung von Mittelwert und Standardabweichung. Wir erg\u00e4nzen die Bewertung der Verteilung.<\/li>\n
    3. Maskierung von Faltungen und Ausschluss der am wenigsten einflussreichen auf die Gesamtabweichung<\/a><\/noindex>. Eine genauere Bestimmung der unwesentlichen Faltungen, jedoch zeit- und ressourcenintensiv. <\/li>\n
    4. Andere <\/li>\n<\/ol>\n

      <\/p>\n

      Jede der Varianten hat das Recht auf Existenz und eigene Umsetzungsmerkmale. Hier betrachten wir die Variante mit der kleinsten L1-Metrik<\/p>\n

      <\/p>\n

      Manueller Prozess f\u00fcr YOLOv3<\/h3>\n

      <\/p>\n

      In der urspr\u00fcnglichen Architektur sind Residualbl\u00f6cke enthalten. Doch egal wie beeindruckend sie f\u00fcr tiefe Netzwerke sind, sie st\u00f6ren uns etwas. Das Problem ist, dass Faltungen mit unterschiedlichen Indizes in diesen Schichten nicht entfernt werden k\u00f6nnen:<\/p>\n

      <\/p>\n

      \"Jedi-Technik<\/p>\n

      <\/p>\n

      Deshalb bestimmen wir die Schichten, aus denen wir Faltungen frei entfernen k\u00f6nnen:<\/p>\n

      <\/p>\n

      \"Jedi-Technik<\/p>\n

      <\/p>\n

      Jetzt erstellen wir den Arbeitszyklus:<\/p>\n

      <\/p>\n

        \n
      1. Wir laden die Aktivierungen hoch<\/li>\n
      2. Wir sch\u00e4tzen ein, wie viel ausgeschnitten werden soll <\/li>\n
      3. Wir schneiden aus<\/li>\n
      4. Wir trainieren 10 Epochen mit LR=1e-4 <\/li>\n
      5. Wir testen <\/li>\n<\/ol>\n

        <\/p>\n

        Das Entfernen der Faltungen ist n\u00fctzlich, um zu bewerten, welchen Teil wir in einem bestimmten Schritt entfernen k\u00f6nnen. Beispiele f\u00fcr das Entfernen:<\/p>\n

        <\/p>\n

        \"Jedi-Technik<\/p>\n

        <\/p>\n

        Wir sehen, dass fast \u00fcberall 5% der Faltungen eine sehr niedrige L1-Norm aufweisen und wir sie entfernen k\u00f6nnen. In jedem Schritt wurde solch ein Entfernen wiederholt und eine Bewertung durchgef\u00fchrt, aus welchen Schichten und wie viel entfernt werden kann. <\/p>\n

        <\/p>\n

        Der gesamte Prozess war in 4 Schritte unterteilt (hier und \u00fcberall die Zahlen f\u00fcr RTX 2060 Super):<\/p>\n

        <\/p>\n\n\n\n\n\n\n\n\n\n
        Schritt<\/th>\nmAp75<\/th>\nAnzahl der Parameter, Mio.<\/th>\nGr\u00f6\u00dfe des Netzwerks, MB<\/th>\nVon der urspr\u00fcnglichen, %<\/th>\nLaufzeit, ms<\/th>\nBedingung zum Ausschneiden<\/th>\n<\/tr>\n<\/thead>\n
        0<\/td>\n0.9656<\/td>\n60<\/td>\n241<\/td>\n100<\/td>\n180<\/td>\n\u2014<\/td>\n<\/tr>\n
        1<\/td>\n0.9622<\/td>\n55<\/td>\n218<\/td>\n91<\/td>\n175<\/td>\n5% von allen<\/td>\n<\/tr>\n
        2<\/td>\n0.9625<\/td>\n50<\/td>\n197<\/td>\n83<\/td>\n168<\/td>\n5% von allen<\/td>\n<\/tr>\n
        3<\/td>\n0.9633<\/td>\n39<\/td>\n155<\/td>\n64<\/td>\n155<\/td>\n15% f\u00fcr Schichten mit 400+ Faltungen<\/td>\n<\/tr>\n
        4<\/td>\n0.9555<\/td>\n31<\/td>\n124<\/td>\n51<\/td>\n146<\/td>\n10% f\u00fcr Schichten mit 100+ Faltungen<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

        <\/p>\n

        Zu Schritt 2 kam ein positiver Effekt hinzu \u2013 eine Batch-Gr\u00f6\u00dfe von 4 passte in den Speicher, was den Prozess des weiteren Trainings erheblich beschleunigte.
        \nIm Schritt 4 wurde der Prozess gestoppt, da auch ein l\u00e4ngeres weiteres Training mAp75 nicht auf die alten Werte erh\u00f6hen konnte.
        \nLetztendlich konnte der Inferenzprozess beschleunigt werden um 15%<\/strong>, die Gr\u00f6\u00dfe reduziert werden um 35% <\/strong>und es ging keine Genauigkeit verloren. <\/p>\n

        <\/p>\n

        Automatisierung f\u00fcr einfachere Architekturen<\/h3>\n

        <\/p>\n

        F\u00fcr einfachere Netzwerkarchitekturen (ohne bedingte add, concatenate und residual Bl\u00f6cke) kann man sich ganz auf die Verarbeitung aller Faltungsschichten konzentrieren und den Prozess des Ausschneidens von Faltungen automatisieren.<\/p>\n

        <\/p>\n

        Solch eine Variante habe ich implementiert hier<\/a><\/noindex>.
        \nEs ist ganz einfach: Sie ben\u00f6tigen nur die Verlustfunktion, den Optimierer und die Batch-Generatoren:<\/p>\n

        <\/p>\n

        import pruning\nfrom keras.optimizers import Adam\nfrom keras.utils import Sequence\n\ntrain_batch_generator = BatchGenerator...\nscore_batch_generator = BatchGenerator...\n\nopt = Adam(lr=1e-4)\npruner = pruning.Pruner(\"config.json\", \"categorical_crossentropy\", opt)\n\npruner.prune(train_batch, valid_batch)<\/code><\/pre>\n
        <\/p>\n
        Falls n\u00f6tig, k\u00f6nnen die Konfigurationsparameter ge\u00e4ndert werden:<\/p>\n
        <\/p>\n
        {\n    \"input_model_path\": \"model.h5\",\n    \"output_model_path\": \"model_pruned.h5\",\n    \"finetuning_epochs\": 10, # die Anzahl der Epochen zum Trainieren zwischen den Pruning-Schritten\n    \"stop_loss\": 0.1, # Verlust zum Stoppen des Prozesses\n    \"pruning_percent_step\": 0.05, # Anteil der Konvolutionen, die bei jedem Pruning-Schritt gel\u00f6scht werden\n    \"pruning_standart_deviation_part\": 0.2 # Verschiebung zur Begrenzung des Pruning-Anteils\n}<\/code><\/pre>\n
        <\/p>\n
        Zus\u00e4tzlich wurde eine Begrenzung auf Basis der Standardabweichung implementiert. Ziel ist es, den Teil der entfernten Zusammenfassungen zu beschr\u00e4nken, wobei Zusammenfassungen mit bereits \"ausreichenden\" L1-Ma\u00dfnahmen ausgeschlossen werden:<\/p>\n
        <\/p>\n
        \"Jedi-Technik<\/p>\n
        <\/p>\n
        Damit erlauben wir es, nur schwache Konvolutionen aus Verteilungen \u00e4hnlich der rechten zu l\u00f6schen und nicht die L\u00f6schung aus Verteilungen \u00e4hnlich der linken zu beeinflussen:<\/p>\n
        <\/p>\n
        \"Jedi-Technik<\/p>\n
        <\/p>\n
        Bei der Ann\u00e4herung der Verteilung an die Normalverteilung kann der Koeffizient pruning_standart_deviation_part ausgew\u00e4hlt werden aus:<\/p>\n
        <\/p>\n
        \"Jedi-Technik
        \nIch empfehle eine Toleranz von 2 Sigma. Alternativ kann man diese Besonderheit ignorieren und den Wert < 1.0 belassen.<\/p>\n
        <\/p>\n
        Das Ergebnis ist ein Diagramm der Netzwerkgr\u00f6\u00dfe, Verluste und der Laufzeit des Netzwerks \u00fcber den gesamten Test, normiert auf 1.0. Zum Beispiel wurde hier die Netzwerkgr\u00f6\u00dfe fast halbiert, ohne an Qualit\u00e4t zu verlieren (ein kleines Convolutional-Netzwerk mit 100k Gewichten):<\/p>\n
        <\/p>\n
        \"Jedi-Technik<\/p>\n
        <\/p>\n
        Die Laufgeschwindigkeit unterliegt normalen Schwankungen und hat sich praktisch nicht ver\u00e4ndert. Das hat einen Grund:<\/p>\n
        <\/p>\n
          \n
        1. Die Anzahl der Konvolutionen wechselt von bequemen (32, 64, 128) zu weniger bequemen f\u00fcr Grafikkarten \u2014 27, 51 usw. Hier kann ich mich irren, aber wahrscheinlich hat das einen Einfluss.<\/li>\n
        2. Die Architektur ist nicht breit, sondern durchg\u00e4ngig. Indem wir die Breite reduzieren, \u00e4ndern wir nicht die Tiefe. So verringern wir die Last, ohne die Geschwindigkeit zu beeinflussen.<\/li>\n<\/ol>\n
          <\/p>\n
          Daher zeigt sich die Verbesserung in der Reduzierung der CUDA-Last beim Durchlauf um 20-30%, jedoch nicht in der Verringerung der Durchlaufzeit.<\/p>\n
          <\/p>\n
          Ergebnisse<\/h3>\n
          <\/p>\n
          Lass uns reflektieren. Wir haben zwei Varianten des Pruning betrachtet \u2014 f\u00fcr YOLOv3 (wenn man manuell arbeiten muss) und f\u00fcr Netzwerke mit einfacheren Architekturen. Es ist klar, dass in beiden F\u00e4llen eine Verringerung der Netzwerkgr\u00f6\u00dfe und Beschleunigung ohne Verlust an Genauigkeit erreicht werden kann. Ergebnisse:<\/p>\n
          <\/p>\n