libunicode 0.9.0

Die Version 0.9.0 der C++ Bibliothek (C++20 Standard) ist erschienen. libunicode. Das Projekt wird von einem Team von Entwicklern des Terminalemulators Contour und der Benutzeroberfläche Endo (in aktiver Entwicklung) und wird unter der Apache 2.0 Lizenz verbreitet.

Funktionen der Bibliothek:

• Unterstützung für Standards Unicode 17.0:
  • UAX #11 East Asian Width,
  • UAX #15 Unicode Normalisierungsformen,
  • UAX #24 Unicode Script Property,
  • UAX #29 Unicode Text Segmentation,
  • UTS #51 Unicode Emoji;
• API zur Abfrage von Unicode-Eigenschaften;
• SIMD-Optimierung bestimmter Funktionen (unter Verwendung von std::simd oder std::experimental::simd, falls verfügbar);
• optimierte Konvertierung zwischen UTF-8 ↔ UTF-16/UTF-32;
• Äquivalent zur Funktion wcwidth (int unicode::width(char32_t));
• Textsegmentierung nach Graphemen, Symbolen, Emojis und Schriften;
• Groß-/Kleinschreibung umwandeln und Strings vergleichen;
• hoch-niveau API zur Textsegmentierung, geeignet für die Implementierung Textschichtung.
• Umfangreiche Tests für die meisten Funktionen der Bibliothek (Zeichenbreite und Segmentierung).

Das Paket enthält auch das Konsolenwerkzeug unicode-query zur detaillierten Abfrage von Strings.

Änderungen:

• API für grapheme_cluster_width hinzugefügt;
• Verbesserungen im Umgang mit Unicode-Versionen („Age“);
• vollständige Unterstützung UAX #15 Unicode Normalisierungsformen mit Unterstützung für Streaming-Verarbeitung:

normalizer norm(Normalization_Form::NFC); // Füttere dekomponiertes e + kombinierendes Akut, dann einen neuen Starter, um die Ausgabe zu triggern auto result = norm.feed(U’e’); CHECK(result.empty()); // noch im Buffer result = norm.feed(U’u0301′); CHECK(result.empty()); // noch im Buffer (kombinierendes Zeichen) result = norm.feed(U’x’); // Starter löst Ausgabe des vorherigen Segments aus REQUIRE_FALSE(result.empty()); CHECK(result == U"u00E9"); // e + Akut komprimiert zu e-Akut result = norm.flush(); CHECK(result == U"x"); // finales Segment

• Die Funktion script_extensions gibt jetzt std::optional<std::span>& zurück;
• Regel GB9c zur Segmentierung von Graphemen für Zeichenkombinationen in Sprachen der Indischen Gruppe implementiert;
• In grapheme_segmenter wurden die Regeln für GB11 und GB4/GB5 korrigiert; veraltete API entfernt;
• SIMD-optimierte Konvertierung von UTF-8 nach UTF-16/UTF-32 implementiert;
• Die Breite von Hangul-V/T-Verbindungszeichen beträgt jetzt null;
• Wortgrenzen-Segmentierung implementiert;
• Fehlerbehebungen im C API;
• Refactoring des Build-Systems und des Hilfsgenerators für C++;
• Umfassende Tests für die Umwandlung von UTF-16/UTF-32 hinzugefügt;
• Statische Build-Utility unicode-query in CI hinzugefügt.

Quelle: linux.org.ru