Ein Set von Patches wurde veröffentlicht, die den Linux-Kernel-Bau um 50-80 % beschleunigen

Ingo Molnar, ein bekannter Entwickler des Linux-Kernels und Autor des Completely Fair Scheduler (CFS), hat in der Mailingliste der Kernel-Entwickler eine Reihe von Patches zur Diskussion vorgeschlagen, die mehr als die Hälfte aller Dateien im Quellcode des Kernels betreffen und eine Geschwindigkeitssteigerung der vollständigen Neukompilierung des Kernels um 50-80% je nach Einstellungen ermöglichen. Die implementierte Optimierung ist bemerkenswert, da sie mit der Einführung des größten Satzes an Änderungen in der Geschichte der Kern-Entwicklung verbunden ist – es werden insgesamt 2297 Patches angeboten, die mehr als 25.000 Dateien ändern (10.000 Header-Dateien in den Verzeichnissen „include/“ und „arch/*/include/“ und 15.000 Quellcodedateien).

Die Leistungssteigerung wird durch eine Änderung der Methode zur Verarbeitung von Header-Dateien erreicht. Es wird festgestellt, dass der Zustand der Header-Dateien nach dreißig Jahren der Kernel-Entwicklung aufgrund einer Vielzahl von kreuzweisen Abhängigkeiten zwischen den Dateien besorgniserregend ist. Die Arbeit an der Umstrukturierung der Header-Dateien dauerte mehr als ein Jahr und erforderte eine erhebliche Überarbeitung der Hierarchie und Abhängigkeiten. Im Zuge der Umstrukturierung wurde die Arbeit zur Trennung der Typdefinitionen und APIs für verschiedene Subsysteme des Kernels durchgeführt.

Zu den vorgenommenen Änderungen gehören: die Trennung der hochrangigen Header-Dateien voneinander, der Ausschluss von verbindenden Header-Dateien für Inline-Funktionen, die Schaffung von Header-Dateien für Typen und APIs, die Gewährleistung einer eigenständigen Kompilierung der Header-Dateien (etwa 80 Dateien wiesen störende, indirekte Abhängigkeiten auf, die über andere Header-Dateien deklariert waren), die automatische Hinzufügung von Abhängigkeiten zu den „.h“- und „.c“-Dateien, eine schrittweise Optimierung der Header-Dateien, die Verwendung des Modus „CONFIG_KALLSYMS_FAST=y“ sowie die selektive Konsolidierung von C-Dateien in Kompilierungseinheiten zur Reduzierung der Anzahl der Objektdateien.

Insgesamt hat die getätigte Arbeit es ermöglicht, die Größe der Header-Dateien, die in der Post-Preprocessing-Phase verarbeitet werden, um 1-2 Größenordnungen zu reduzieren. Zum Beispiel führte die Verwendung der Header-Datei „linux/gfp.h“ vor der Optimierung zu 13543 hinzugefügten Codezeilen und 303 abhängigen Header-Dateien, während die Größe nach der Optimierung auf 181 Zeilen und 26 abhängige Dateien reduziert wurde. Ein weiteres Beispiel: Bei der Präprocessierung der Datei „kernel/pid.c“ werden ohne Patch 94 Tausend Codezeilen eingebunden, von denen der Großteil in pid.c nicht verwendet wird. Die Trennung der Header-Dateien hat es ermöglicht, das Volumen des verarbeiteten Codes um das Drei fache zu reduzieren, wodurch die Anzahl der verarbeiteten Zeilen auf 36 Tausend gesenkt wurde.

Bei dem vollständigen Neuaufbau des Kernels mit dem Befehl „make -j96 vmlinux“ hat sich bei der Testsystemanwendung von Patches die Build-Zeit des Branches v5.16-rc7 von 231,34 auf 129,97 Sekunden verkürzt (von 15,5 auf 27,7 Builds pro Stunde) und die Effizienz der CPU-Kernauslastung während des Builds erhöht. Bei einer inkrementellen Erneuerung ist der Effekt der Optimierung noch ausgeprägter – die Zeit für die erneute Neukompilierung des Kernels nach Änderungen an den Header-Dateien ist um ein Vielfaches gesenkt worden (von 112% bis 173%, abhängig von der geänderten Header-Datei). Optimierungen sind derzeit nur für die Architekturen ARM64, MIPS, Sparc und x86 (32-Bit und 64-Bit) verfügbar.

Quelle: opennet.ru