re2c 4.0

Am Dienstag, dem 19. November, wurde die Veröffentlichung re2c – des Lexikalischen Analysewerkzeugs (auch bekannt als Compiler für reguläre Ausdrücke in den Zielprogrammiersprachen). re2c ist auf die Generierung von schnellen und einfach einbettbaren Lexern spezialisiert. Es unterscheidet sich von dem bekannteren Pendant flex durch eine flexible Schnittstelle, die Generierung optimierter, nicht-tabellarischer Lexer und die Unterstützung von Submatch-Extraktionen, die auf deterministischen endlichen Automaten mit Tags basieren (TDFA). re2c wird in Projekten eingesetzt, bei denen die Geschwindigkeit des Lexers wichtig ist, beispielsweise in Ninja und PHP.

In der Version 4.0 wurde das Untersystem zur Codegenerierung grundlegend überarbeitet, was die Unterstützung von acht neuen Sprachen (D, Haskell, Java, JavaScript, OCaml, Python, V, Zig) zusätzlich zu den bereits unterstützten (C/C++, Go, Rust) ermöglichte sowie einen allgemeinen Mechanismus zum Hinzufügen neuer Sprachen über Konfigurationsdateien. Der Code-Generator ist verantwortlich für die Übersetzung des bereits erstellten und optimierten endlichen Automaten in Code, das heißt, seine Aufgabe besteht darin, die für die Zielsprache passenden Steueranweisungen, Datentypen, das allgemeine Modell des Programms usw. auszuwählen. Früher war diese gesamte Logik Teil des Quellcodes von re2c, und um sie zu ändern oder eine neue Sprache hinzuzufügen, musste man den Quellcode patchen und re2c neu kompilieren. Solche Patches wurden im Hauptrepository nicht angenommen, ohne dass eine Standardreihe von Beispielen und Tests implementiert wurde, was den gesamten Prozess zusätzlich erschwerte. Nun wurde diese gesamte Logik in die Syntaxdateien – textbasierte Konfigurationsdateien, die vom Benutzer bereitgestellt werden können (standardmäßig verwendet re2c die Standardkonfiguration). Der Quellcode von re2c ist völlig unabhängig von den Details einer bestimmten Sprache und stützt sich ausschließlich auf die Syntaxdatei. Der Benutzer kann bestehende Syntaxdateien teilweise überschreiben oder eine neue von Grund auf neu schreiben. Für alle offiziell unterstützten Sprachen gibt es eine vollständige Dokumentation mit Beispielen.

Übrigens stammt die Idee der Syntaxdateien von einem Kommentar auf LOR, dafür ein Dankeschön an the_coder.

Im Release sind viele weitere Änderungen zur Vereinfachung der Benutzeroberfläche, zur Verbesserung der Arbeit mit den capturing groups sowie eine Online-Umgebung zur Bearbeitung und Kompilierung von Beispielen enthalten: http://re2c.org/playground.

Quelle: linux.org.ru