re2c 1.2

В пятницу 2-го августа вышел релиз re2c — свободного генератора лексических анализаторов для языков C и C++. Напомним, что re2c был написан в 1993 году Питером Бамбулисом как экспериментальный генератор очень быстрых лексических анализаторов, отличающийся от других генераторов скоростью сгенерированного кода и необычно гибким пользовательским интерфейсом, который позволяет легко и эффективно встривать анализаторы в существующую кодовую базу. С тех пор проект развивается сообществом и продолжает оставаться площадкой для экспериментов и исследований в области формальных грамматик и конечных автоматов.

Основные новшества в версии 1.2:

• Добавлен новый (упрощённый) способ проверки на конец входных данных
  (англ. «EOF rule»).
  Для этого добавлена конфигурация re2c:eof,
  позволяющая выбрать терминальный символ,
  и специальное правило $, которое срабатывает если лексер
  успешно достиг конца входных данных.
  Исторически re2c предоставляет на выбор несколько способов проверки на
  конец входных данных, варьирующихся по ограниченности, эффективности и простоте
  применения. Новый способ призван упростить написание кода, при этом
  оставаясь эффективным и широко применимым. Старые способы
  по-прежнему работают и могут быть предпочтительными в отдельных случаях.

• Добавлена возможность включения внешних файлов с помощью директивы
  /*!include:re2c "file.re" */, где file.re
  это имя включаемго файла. Re2c ищет файлы в директории включащего файла,
  а также в списке путей заданных с помощью опции -I.
  Включённые файлы могут включать другие файлы.
  Re2c предоставляет «стандартные» файлы в директории include/
  проекта — предполагается, что там будут накапливаться полезные определения
  регулярных выражений, что-то в духе стандартной библиотеки.
  Пока что по просьбам трудящихся добавлен один файл с определениями категорий Unicode.

• Добавлена возможность генерировать заголовочные файлы с произвольным
  содержанием при помощи опций -t —type-header (или соответствующих
  конфигураций) и новых директив /*!header:re2c:on*/ и
  /*!header:re2c:off*/. Это может быть полезно в случаях,
  когда re2c должен сгенерировать определения переменных, структур и макросов,
  использующихся в других единицах трансляции.

• Re2c теперь понимает UTF8-литералы и классы символов в регулярных выражениях.
  По умолчанию, re2c парсит выражения вроде "∀x ∃y" как.
  последовательность 1-битных ASCII-символов e2 88 80 78 20 e2 88 83 79
  (hex-коды), и пользователям приходится экранировать Unicode-символы вручную:
  "u2200x u2203y". Это очень неудобно и неожиданно для многих
  пользователей (о чём свидетельствуют постоянные баг репорты). Поэтому теперь
  re2c предоставляет опцию —input-encoding <ascii | utf8>,
  которая позволяет изменить поведение и распарсить "∀x ∃y" как
  2200 78 20 2203 79.

• Re2c теперь позволяет использовать обычные re2c-блоки в режиме -r —reuse.
  Это удобно, если входной файл содержит много блоков, и только часть из них
  нуждается в повторном использовании.

• Появилась возможность задавать формат предупреждений и сообщений об ошибках
  с помощью новой опции —location-format <gnu | msvc>. GNU-формат отображается
  как filename:line:column:, а MSVC-формат — как filename(line,column).
  Эта возможность может пригодиться любителям IDE.
  Также была добавлена опция —verbose, которая выводит краткое победоносное сообщение в случае успеха.

• Был доработан режим «совместимости» с flex — исправлены некоторые ошибки разбора и
  неправильный приоритет операторов в редких случаях.
  Исторически опция -F —flex-support позволяет писать код
  вперемешку в стиле flex и в стиле re2c, что немного затрудняет синтаксический разбор.
  Режим совместимости с flex редко используется в новом коде,
  но re2c продолжает поддерживать его для обратной совместимости.

• Оператор вычитания символьных классов / теперь применяется
  до разворачивания кодировки, что позволяет применять его в большем числе случаев,
  если используется кодировка с переменной длиной символа (например UTF8).

• Выходной файл теперь создаётся атомарно: re2c сначала создаёт временный файл
  и пишет в него результат, а потом переименовывает временный файл в выходной
  одной операцией.

• Документация была дописана и переписана; в частности, были добавлены новые
  главы про заполнение буфера
  и про способы проверки на конец входных данных.
  Новая документация собрана в виде
  исчерпывающейго одностраничного мануала
  с примерами (одни и те же исходники отрисовываются в manpage и в онлайн-документацию).
  Были предприняты слабые попытки улучшить читаемость сайта на телефонах.

• С точки зрения разработчиков, re2c обзавёлся более полноценной подсистемой
  отладки. Отладочный код теперь отключён в релизных сборках и
  может быть включен с помощью configure-опции —enable-debug.

Этот релиз занял долгое время — почти целый год.
Большинство времени, как всегда, ушло на разработку теоретической базы и написание
статьи «Efficient POSIX Submatch Extraction on NFA».
Алгоритмы, описанные в статье, реализованы в экспериментальной библиотеке libre2c
(сборка библиотеки и бенчмарков выключена по умолчанию и включается configure-опцией
—enable-libs). Библиотека задумана не как конкурент уже существующим
проектам вроде RE2, а как исследовательская площадка для разработки новых
алгоритмов (которые потом могут использоваться в re2c или в других проектах).
Также это удобно с точки зрения тестирования, бенчмарков и создания биндингов к другим языкам.

Cпасибо от разработчиков re2c всем, кто помог этому релизу состояться,
и в целом сообществу за идеи, баг репорты, патчи, боевой дух и т.д. ;]

Источник: linux.org.ru