re2c 렉서 생성기 1.2 출시

일어났다 석방하다 재2C, C 및 C++ 언어용 무료 어휘 분석기 생성기입니다. re2c는 1993년 Peter Bambulis에 의해 매우 빠른 어휘 분석기의 실험적 생성기로 작성되었으며, 생성된 코드의 속도와 분석기를 기존 코드에 쉽고 효율적으로 통합할 수 있는 비정상적으로 유연한 사용자 인터페이스 측면에서 다른 생성기와 다릅니다. 베이스. 그 이후로 이 프로젝트는 커뮤니티에 의해 개발되었으며 형식 문법 및 유한 상태 기계 분야의 실험과 연구를 위한 플랫폼으로 계속 사용되고 있습니다.

출시 준비에는 거의 XNUMX년이 걸렸습니다. 언제나 그렇듯이 대부분의 시간은 이론적 틀을 개발하고 글을 쓰는 데 소비되었습니다.
기사 "NFA에서 효율적인 POSIX 부분 일치 추출".
기사에 설명된 알고리즘은 실험 라이브러리 libre2c에서 구현됩니다.
(라이브러리 구축 및 성능 테스트는 기본적으로 비활성화되어 있으며 구성 옵션 “—enable-libs”에 의해 활성화됩니다). 이 라이브러리는 RE2와 같은 기존 프로젝트의 경쟁자가 아니라 새로운 프로젝트 개발을 위한 연구 플랫폼으로 만들어졌습니다.
알고리즘(re2c 또는 다른 프로젝트에서 사용할 수 있음) 또한 테스트, 성능 측정 및 다른 언어에 대한 바인딩 생성의 관점에서도 편리합니다.

버전 re2c 1.2의 주요 혁신 사항:

• 입력 데이터의 끝을 확인하기 위한 새로운 단순화된 방법("EOF 규칙")을 추가했습니다. 이를 위해 "re2c:eof" 구성이 추가되었습니다.
  터미널 문자를 선택할 수 있습니다.
  그리고 어휘 분석기가 실행되는 경우 트리거되는 특수 규칙 "$"
  입력 데이터의 끝에 성공적으로 도달했습니다.
  역사적으로 re2c는 다음과 같은 여러 검증 방법을 선택할 수 있습니다.
  제한, 효율성 및 단순성이 다양한 입력 끝
  응용 프로그램. 새로운 방법은 코드 작성을 단순화하도록 설계되었습니다.
  효과적이고 널리 적용 가능합니다. 옛날 방식
  여전히 작동하며 어떤 경우에는 선호될 수 있습니다.

• 지시문을 사용하여 외부 파일을 포함하는 기능이 추가되었습니다.
  "/*!include:re2c "file.re" */", 여기서 "file.re"는 포함할 파일의 이름입니다. Re2c는 포함 파일 디렉터리에서 파일을 찾습니다.
  "-I" 옵션을 사용하여 지정된 경로 목록에도 표시됩니다.
  포함된 파일에는 다른 파일이 포함될 수 있습니다.
  Re2c는 "include/" 디렉토리에 "표준" 파일을 제공합니다.
  프로젝트 - 유용한 정의가 거기에 축적될 것으로 예상됩니다.
  표준 라이브러리와 같은 정규식입니다.
  지금까지 작업자의 요청에 따라 유니코드 범주 정의가 포함된 파일 하나가 추가되었습니다.

• 임의의 헤더 파일을 생성하는 기능이 추가되었습니다.
  "-t --type-header" 옵션을 사용하는 콘텐츠(또는 적절한
  구성) 및 새로운 지시문 "/*!header:re2c:on*/" 및
  "/*!헤더:re2c:off*/". 이는 다음과 같은 경우에 유용할 수 있습니다.
  re2c가 변수, 구조 및 매크로의 정의를 생성해야 할 때,
  다른 번역 단위에 사용됩니다.

• Re2c는 이제 정규식의 UTF8 리터럴과 문자 클래스를 이해합니다.
  기본적으로 re2c는 "∀x ∃y"와 같은 표현식을 다음과 같이 구문 분석합니다.
  1비트 ASCII 문자 "e2 88 80 78 20 e2 88 83 79"의 시퀀스
  (XNUMX진수 코드)이며 사용자는 유니코드 문자를 수동으로 이스케이프해야 합니다.
  “\\u2200x \\u2203y.” 이것은 많은 사람들에게 매우 불편하고 예상치 못한 일입니다.
  (지속적인 버그 보고로 입증됨) 그래서 지금
  re2c는 "--input-encoding {ascii | utf8}",
  이를 통해 동작을 변경하고 "∀x ∃y"를 다음과 같이 구문 분석할 수 있습니다.
  “2200 78 20 2203 79.”

• 이제 Re2c에서는 "-r --reuse" 모드에서 일반 re2c 블록을 사용할 수 있습니다.
  입력 파일에 많은 블록이 포함되어 있고 그 중 일부만 포함되어 있는 경우 편리합니다.
  재사용이 필요합니다.

• 이제 경고 및 오류 메시지의 형식을 설정할 수 있습니다
  새로운 옵션 "--location-format {gnu | msvc}". GNU 형식이 표시됩니다
  "파일 이름:줄:열:"이고 MSVC 형식은 "파일 이름(줄, 열)"입니다.
  이 기능은 IDE 애호가에게 유용할 수 있습니다.
  성공할 경우 짧은 승리 메시지를 표시하는 "--verbose" 옵션도 추가되었습니다.

• flex의 "호환성" 모드가 개선되었습니다. 일부 구문 분석 오류가 수정되었으며
  드문 경우지만 연산자 우선순위가 올바르지 않습니다.
  역사적으로 "-F --flex-suppor" 옵션을 사용하면 코드를 작성할 수 있었습니다.
  flex 스타일과 re2c 스타일이 혼합되어 있어 구문 분석이 약간 어렵습니다.
  Flex 호환 모드는 새 코드에서는 거의 사용되지 않습니다.
  그러나 re2c는 이전 버전과의 호환성을 위해 계속 지원합니다.

• 이제 문자 클래스 빼기 연산자 "/"가 적용됩니다.
  더 많은 경우에 사용할 수 있도록 인코딩을 확장하기 전에,
  가변 문자 길이 인코딩이 사용되는 경우(예: UTF8)

• 이제 출력 파일이 원자적으로 생성됩니다. re2c는 먼저 임시 파일을 생성합니다.
  결과를 여기에 쓴 다음 임시 파일의 이름을 출력으로 바꿉니다.
  하나의 작업.

• 문서가 완성되고 다시 작성되었습니다. 특히 새로운 것이 추가되었습니다
  에 관한 장 http://re2c.org/manual/manual.html#buffer-refilling заполнение буфера
  и 입력 데이터의 끝을 확인하는 방법에 대해.
  새 문서는 다음 형식으로 수집됩니다.
  포괄적인 한 페이지짜리 가이드
  예제가 포함되어 있습니다(동일한 소스가 맨페이지와 온라인 설명서에 렌더링되어 있습니다).
  휴대폰에서 사이트의 가독성을 향상시키려는 시도는 제대로 이루어지지 않았습니다.

• 개발자의 관점에서 re2c는 보다 완전한 하위 시스템을 획득했습니다.
  디버깅 이제 릴리스 빌드에서는 디버깅 코드가 비활성화되고
  구성 옵션 "--enable-debug"를 사용하여 활성화할 수 있습니다.

출처 : opennet.ru