Es wurde eine Reihe von Patches veröffentlicht, um die Kernel-Kompilierung zu beschleunigen. Linux auf 50-80%

Ingo Molnar, ein renommierter Bauträger Linux Der Entwickler des Kernels und der Autor des CFS-Task-Schedulers (Completely Fair Scheduler) schlugen es zur Diskussion auf der Mailingliste der Kernel-Entwickler vor. Linux Eine Reihe von Patches betrifft mehr als die Hälfte aller Dateien im Kernel-Quellcode und ermöglicht je nach Einstellungen eine Geschwindigkeitssteigerung von 50–80 % bei vollständigen Kernel-Neukompilierungen. Diese Optimierung ist bemerkenswert, da sie die größte Menge an Änderungen in der Geschichte der Kernelentwicklung umfasst: 2297 gleichzeitig vorgeschlagene Patches, die mehr als 25 Dateien verändern (10 Header-Dateien in den Verzeichnissen „include/“ und „arch/*/include/“ sowie 15 Quellcodedateien).

Die Leistungssteigerungen werden durch eine Änderung der Verarbeitung von Header-Dateien erreicht. Es ist bekannt, dass sich der Zustand der Header-Dateien im Laufe von dreißig Jahren Kernel-Entwicklung aufgrund der Vielzahl von Abhängigkeiten zwischen den Dateien verschlechtert hat. Die Umstrukturierung der Header-Dateien dauerte über ein Jahr und erforderte eine umfassende Überarbeitung der Hierarchie und Abhängigkeiten. Im Zuge der Umstrukturierung wurden Typdefinitionen und APIs für verschiedene Kernel-Subsysteme getrennt.

Zu den vorgenommenen Änderungen gehören: Trennung der Header-Dateien auf hoher Ebene voneinander, Ausschluss von Inline-Funktionen, die Header-Dateien verknüpfen, Zuweisung von Header-Dateien für Typen und APIs, Bereitstellung einer separaten Assembly von Header-Dateien (etwa 80 Dateien hatten indirekte Abhängigkeiten, die die Assembly störten und durch andere Header-Dateien offengelegt wurden), automatisches Hinzufügen von Abhängigkeiten zu „.h“- und „.c“-Dateien, schrittweise Optimierung von Header-Dateien, Verwendung des Modus „CONFIG_KALLSYMS_FAST=y“, selektive Konsolidierung von C-Dateien in Assembly-Blöcke, um die Anzahl der Objektdateien zu reduzieren.

Die durchgeführte Arbeit ermöglichte es uns, die Größe der in der Post-Preprocessing-Phase verarbeiteten Header-Dateien um ein bis zwei Größenordnungen zu reduzieren. Beispielsweise führte die Verwendung der Header-Datei „linux/gfp.h“ vor der Optimierung zum Hinzufügen von 1 Codezeilen und zum Verbinden von 2 abhängigen Header-Dateien. Nach der Optimierung reduzierte sich die Größe auf 13543 Zeilen und 303 abhängige Dateien. Oder ein anderes Beispiel: Bei der Vorverarbeitung der Datei „kernel/pid.c“ ohne Patch werden 181 Codezeilen verbunden, von denen die meisten in pid.c nicht verwendet werden. Durch die Trennung der Header-Dateien konnten wir die Menge des verarbeiteten Codes um das Dreifache reduzieren und die Anzahl der verarbeiteten Zeilen auf 26 reduzieren.

Beim vollständigen Neuaufbau des Kernels mit dem Befehl „make -j96 vmlinux“ auf dem Testsystem reduzierte sich durch die Anwendung der Patches die Buildzeit des v5.16-rc7-Zweigs von 231.34 auf 129.97 Sekunden (von 15.5 auf 27.7 Builds pro Stunde) und erhöhte gleichzeitig die Effizienz der CPU-Nutzung während des Builds. Bei der inkrementellen Assemblierung ist der Effekt der Optimierung noch deutlicher: Die Zeit für den Neuaufbau des Kernels nach Änderungen an den Header-Dateien verringerte sich um ein Vielfaches (von 112 % auf 173 %, abhängig von der geänderten Header-Datei). Optimierungen sind derzeit nur für die Architekturen ARM64, MIPS, Sparc und x86 (32- und 64-Bit) verfügbar.

Source: opennet.ru