релиз , свободного генератора лексических анализаторов для языков C и C++. Напомним, что re2c был написан в 1993 году Питером Бамбулисом как экспеиментальный генератор очень быстрых лексических анализаторов, отличающийся от других генераторов скоростью сгенерированного кода и необычно гибким пользовательским интерфейсом, который позволяет легко и эффективно встривать анализаторы в существующую кодовую базу. С тех пор проект развивается сообществом и продолжает оставаться площадкой для экспериментов и исследований в области формальных грамматик и конечных автоматов.
Подготовка релиза заняла почти целый год. Большинство времени, как всегда, ушло на разработку теоретической базы и написание
статьи ««.
Алгоритмы, описанные в статье, реализованы в экспериментальной библиотеке libre2c
(сборка библиотеки и тестов производительности выключена по умолчанию и включается configure-опцией «—enable-libs»). Библиотека задумана не как конкурент уже существующим проектам, таким как RE2, а как исследовательская площадка для разработки новых
алгоритмов (которые потом могут использоваться в re2c или в других проектах). Также это удобно с точки зрения тестирования, измерения производительности и создания биндингов к другим языкам.
Основные новшества в версии re2c 1.2:
- Добавлен новый упрощённый способ проверки конца входных данных («EOF rule»). Для этого добавлена конфигурация «re2c:eof»,
позволяющая выбрать терминальный символ,
и специальное правило «$», которое срабатывает если лексер
успешно достиг конца входных данных.
Исторически re2c предоставляет на выбор несколько способов проверки на
конец входных данных, варьирующихся по ограниченности, эффективности и простоте
применения. Новый способ призван упростить написание кода, при этом
оставаясь эффективным и широко применимым. Старые способы
по-прежнему работают и могут быть предпочтительными в отдельных случаях. - Добавлена возможность включения внешних файлов с помощью директивы
«/*!include:re2c «file.re» */», где «file.re» — это имя включаемго файла. Re2c ищет файлы в директории включащего файла,
а также в списке путей заданных с помощью опции «-I».
Включённые файлы могут включать другие файлы.
Re2c предоставляет «стандартные» файлы в директории «include/»
проекта — предполагается, что там будут накапливаться полезные определения
регулярных выражений, что-то в духе стандартной библиотеки.
Пока что по просьбам трудящихся добавлен один файл с определениями категорий Unicode. - Добавлена возможность генерировать заголовочные файлы с произвольным
содержанием при помощи опций «-t —type-header» (или соответствующих
конфигураций) и новых директив «/*!header:re2c:on*/» и
«/*!header:re2c:off*/». Это может быть полезно в случаях,
когда re2c должен сгенерировать определения переменных, структур и макросов,
использующихся в других единицах трансляции. - Re2c теперь понимает UTF8-литералы и классы символов в регулярных выражениях.
По умолчанию, re2c парсит выражения вроде «∀x ∃y» как
последовательность 1-битных ASCII-символов «e2 88 80 78 20 e2 88 83 79»
(hex-коды), и пользователям приходится экранировать Unicode-символы вручную:
«\\u2200x \\u2203y». Это очень неудобно и неожиданно для многих
пользователей (о чём свидетельствуют постоянные баг репорты). Поэтому теперь
re2c предоставляет опцию «—input-encoding {ascii | utf8}»,
которая позволяет изменить поведение и распарсить «∀x ∃y» как
«2200 78 20 2203 79». - Re2c теперь позволяет использовать обычные re2c-блоки в режиме «-r —reuse».
Это удобно, если входной файл содержит много блоков, и только часть из них
нуждается в повторном использовании. - Появилась возможность задавать формат предупреждений и сообщений об ошибках
с помощью новой опции «—location-format {gnu | msvc}». GNU-формат отображается
как «filename:line:column:», а MSVC-формат — как «filename(line,column)».
Эта возможность может пригодиться любителям IDE.
Также была добавлена опция «—verbose», которая выводит краткое победоносное сообщение в случае успеха. - Доработан режим «совместимости» с flex — исправлены некоторые ошибки разбора и
неправильный приоритет операторов в редких случаях.
Исторически опция «-F —flex-suppor» позволяет писать код
вперемешку в стиле flex и в стиле re2c, что немного затрудняет синтаксический разбор.
Режим совместимости с flex редко используется в новом коде,
но re2c продолжает поддерживать его для обратной совместимости. - Оператор вычитания символьных классов «/» теперь применяется
до разворачивания кодировки, что позволяет применять его в большем числе случаев,
если используется кодировка с переменной длиной символа (например UTF8). - Выходной файл теперь создаётся атомарно: re2c сначала создаёт временный файл
и пишет в него результат, а потом переименовывает временный файл в выходной
одной операцией. - Документация была дописана и переписана; в частности, были добавлены новые
главы про
и .
Новая документация собрана в виде
с примерами (одни и те же исходники отрисовываются в manpage и в онлайн-документацию).
Были предприняты слабые попытки улучшить читаемость сайта на телефонах. - С точки зрения разработчиков, re2c обзавёлся более полноценной подсистемой
отладки. Отладочный код теперь отключён в релизных сборках и
может быть включен с помощью configure-опции «—enable-debug».
Источник: opennet.ru
