Das Projekt rars hat eine freie Implementierung von RAR mit Unterstützung für die Erstellung von Archiven vorbereitet.

Das Projekt rars wurde vorgestellt, das eine freie Implementierung von Werkzeugen für das RAR-Format entwickelt, die in Rust geschrieben ist und nicht nur das Entpacken, sondern auch die Erstellung von RAR-Archiven unterstützt. Das Werkzeug unterstützt sowohl die älteren RAR-Formate 1.3/1.4 mit der Signatur „RE~^“ als auch die neueste Version RAR 7. Erweiterte Operationen wie das Aufteilen in Volumes, Passwortschutz, Verschlüsselung von Kopfzeilen, das Anheften von Kommentaren, RARVM-Filter, Indizes für schnelles Öffnen und Mechanismen zur Wiederherstellung beschädigter Daten sind verfügbar. Der Code wird unter den Lizenzen MIT und Apache-2.0 verteilt. Auf Basis der Bibliothek PyO3 wurden Wrapper für die Programmiersprache Python vorbereitet, die ein API im Stil von rarfile für das Durchsuchen, Testen und Entpacken von Archiven sowie ein API im Stil von RarBuilder für die Erstellung oder das Wiederpacken von Archiven implementieren.

Das Besondere an dem Projekt ist, dass es die Arbeit mit dem RAR-Format ohne die Verwendung des Codes des Unrar-Utilities implementiert, das unter einer nicht-freien Lizenz vertrieben wird, die die Nutzung des Unrar-Codes zur Rekonstruktion des RAR-Kompressionsalgorithmus oder zur Entwicklung eines RAR-kompatiblen Archivators verbietet. Aufgrund dieser Einschränkung waren die meisten freien Archivatoren auf die Funktionen zum Entpacken von RAR-Dateien beschränkt, während zur Erstellung von RAR-Archiven proprietäre Werkzeuge von RARLAB verwendet werden mussten.

Zusätzlich wurde ein Repository rar-research erstellt, in dem die Spezifikationen für die Formate RAR 1.3/1.4, RAR 1.5-4.x und RAR 5.0/7.0 sowie Notizen zu den verwendeten Algorithmen, Filtern, Integritätsprüfungen und -wiederherstellungen, Verschlüsselung, Volumensplittung und Schutzmechanismen veröffentlicht sind. Da zum Zeitpunkt der Erstellung des Projekts rars keine offizielle vollständige Spezifikation existierte, wurde die Dokumentation aus dem Code von Entpackern, alten Implementierungen, Testarchiven und der Analyse von binären Versionen von RAR für DOS und Windows rekonstruiert.

Die Implementierung wurde mithilfe der AI-Tools OpenAI Codex 5.5 und Claude Opus 4.7 in der Freizeit innerhalb von etwa fünf Wochen erstellt. In der ersten Phase wurden die Modelle zur Systematisierung von Informationen über das Format und zur Schließung von Lücken in der Beschreibung eingesetzt, wonach der Code in der Programmiersprache Rust auf Grundlage der wiederhergestellten Spezifikation generiert wurde. Zur Klärung der Spezifikation und Verfeinerung der Implementierung wurde die Funktionsweise an realen Archiven getestet und mit Referenzimplementierungen verglichen.

Es wird angemerkt, dass die AI-Tools gut darin waren, formale Beschreibungen in Code zu übertragen und routinemäßig eine große Menge an Funktionalität zu implementieren, jedoch keinen architektonischen Überblick gewährleisten konnten. Ohne strenge Aufsicht neigten die AI-Modelle dazu, Tests zu umgehen, den Code zu verkomplizieren und offensichtliche Probleme zu ignorieren, die die Benutzerfreundlichkeit beeinträchtigen. Nach Einschätzung des Autors sind in einem Projekt dieser Größenordnung Tests, Dokumentation und Kommentare nicht nur Prüfwerkzeuge, sondern auch Mittel, um die Codegenerierung in die richtige Richtung zu lenken.

Die forcierte Entwicklung wurde durch das Erscheinen des Modus „/goal“ in OpenAI Codex ermöglicht, der es dem AI-Agenten erlaubt, längere Zeit an einer Aufgabe zu arbeiten, den Kontext zu komprimieren und die Ausführung nach einer Überlastung fortzusetzen. In diesem Modus arbeitete Codex mehrere Male länger als 6 Stunden und einmal etwa 16 Stunden und realisierte einen beträchtlichen Teil der verbleibenden Funktionalität, wie Datenwiederherstellung, Verschlüsselung und mehrteilige Archive. Unter Berücksichtigung der erheblichen Subvention für Tokens wurden 40 britische Pfund ausgegeben.

In Bezug auf das Kompressionsniveau liegt RARS im Durchschnitt 5-10 % hinter WinRAR. In Bezug auf die Kompressions- und Dekompressionsgeschwindigkeit ist RARS aufgrund fehlender vollständiger Optimierungen erheblich langsamer als WinRAR. Im Projekt ist bereits der Modus „—features fast“ implementiert, der Optimierungen auf Basis von SIMD-Anweisungen für eine schnellere Kompression und Dekompression anwendet, jedoch auf einem experimentellen API std::simd basiert, das nur in Testbuilds des Rust-Toolkits verfügbar ist. Außerdem wurde der Modus „—features parallel“ implementiert, der die Rayon-Bibliothek verwendet, um die Kompression einzelner Dateien zu parallelisieren.

Evgenij Roshal, der Schöpfer von RAR, kommentierte die Verwendung des Reverse Engineering alter RAR-Binärdateien bei der Entwicklung von rars, was durch die Lizenzvereinbarung verboten ist. Laut Evgenij hat er noch nicht entschieden, was er damit tun soll, und beabsichtigt, die Meinung des Unternehmens win.rar GmbH abzuwarten.

Quelle: opennet.ru