re2c 1.2

Fredag den 2 august släpptes re2c - en fri generator för lexikala analysatorer för C och C++. Det bör påminnas om att re2c skrevs av Peter Bamlis år 1993 som en experimentell generator för mycket snabba lexikala analysatorer, som skiljer sig från andra generatorer genom hastigheten på den genererade koden och den ovanligt flexibla användargränssnittet, vilket gör det enkelt och effektivt att integrera analysatorer i befintlig kodbas. Sedan dess har projektet utvecklats av communityn och fortsätter att vara en plattform för experiment och forskning inom formella grammatik och slutna automater.

Huvudsakliga nyheter i version 1.2:

• En ny (förenklad) metod för att kontrollera slutet av indata har lagts till
  (eng. "EOF rule").
  För detta ändamål har konfigurationen re2c:eof lagts till,
  som låter dig välja en terminalsymbol,
  och en speciell regel $ som triggas om lexern
  framgångsrikt når slutet av indata.
  Historiskt sett har re2c erbjudit flera sätt att kontrollera för
  slutet av indata, som varierar i begränsning, effektivitet och enkelhet
  av tillämpning. Den nya metoden syftar till att förenkla skrivandet av kod, samtidigt som den
  förblir effektiv och allmänt tillämplig. De gamla metoderna
  fungerar fortfarande och kan vara att föredra i vissa fall.

• Möjlighet att inkludera externa filer med hjälp av direktivet har lagts till,
  /*!include:re2c "file.re" */, где file.re
  detta är namnet på den inkluderade filen. Re2c letar efter filer i katalogen för den inkluderande filen,
  liksom i listan över vägar angivna med hjälp av alternativet -I.
  Inkluderade filer kan inkludera andra filer.
  Re2c tillhandahåller "standard" filer i katalogen include/
  i projektet - det antas att nyttiga definitioner
  av reguljära uttryck kommer att samlas där, något i stil med standardbiblioteket.
  Hitintills har ett fil med definitioner av Unicode-kategorier lagts till efter önskemål från användarna.

• Möjlighet att generera headerfiler med godtyckligt
  innehåll har lagts till genom alternativ -t —type-header (eller motsvarande
  konfigurationer) och nya direktiv !header:re2c:on och
  /*!header:re2c:off*/. Это может быть полезно в случаях,
  när re2c ska generera definitioner av variabler, strukturer och makron,
  som används i andra översättningsenheter.

• Re2c förstår nu UTF8-litteraler och teckenkategorier i reguljära uttryck.
  Som standard tolkar re2c uttryck som "∀x ∃y" som.
  en sekvens av 1-bit ASCII-tecken e2 88 80 78 20 e2 88 83 79
  (hex-koder), och användare måste manuellt skala Unicode-tecken:
  "u2200x u2203y". Detta är mycket besvärligt och oväntat för många
  användare (som bevisas av ständiga buggrapporter). Därför
  tillhandahåller re2c nu alternativet —input-encoding ,
  som tillåter att ändra beteendet och analysera "∀x ∃y" som
  2200 78 20 2203 79.

• Re2c gör det möjligt att använda vanliga re2c-block i läget -r —reuse.
  Detta är praktiskt om ingångsfilen innehåller många block, och bara en del av dem
  behöver återanvändas.

• Det har blivit möjligt att ställa in formatet för varningar och felmeddelanden
  genom det nya alternativet —location-format . GNU-formatet visas
  som filnamn:rad:kollumn:, medan MSVC-formatet visas som filnamn(rad,kollumn).
  Denna funktion kan vara användbar för IDE-entusiaster.
  Det har också lagts till ett alternativ —verbose, vilket skriver ut ett kort framgångsmeddelande vid lyckande.

• Kompatibilitetsläget med flex har förbättrats — vissa parserfel har rättats till och
  fel prioritering av operatorer i sällsynta fall.
  Historiskt sett tillåter alternativet -F —flex-support att skriva kod
  i blandad stil av flex och re2c, vilket något komplicerar syntaktisk analys.
  Flex-kompatibilitetsläget används sällan i ny kod,
  men re2c fortsätter att stödja det för bakåtkompatibilitet.

• Operatorn för subtraktion av teckenklasser / tillämpas nu
  före avkodning av kodningen, vilket möjliggör dess tillämpning i fler fall,
  om variabel-längd teckenkodning (t.ex. UTF8) används.

• Utkastfilen skapas nu atomärt: re2c skapar först en temporär fil
  och skriver resultatet till den, och döper sedan om den temporära filen till utdata
  i en enda operation.

• Dokumentationen har uppdaterats och skrivits om; nya
  kapitel har lagts till om buffertfyllning
  och om metoder för att kontrollera slutet av indatan.
  Den nya dokumentationen har sammanställts i form av
  en omfattande endagarsmanual
  med exempel (samma källkoder ritas ut i manpage och i online-dokumentationen).
  Svaga försök har gjorts för att förbättra webbplatsens läsbarhet på telefoner.

• Ur ett utvecklarperspektiv har re2c fått ett mer komplett system för
  felsökning. Felsökningskoden är nu avstängd i release-versioner och
  kan aktiveras med configure-alternativet —enable-debug.

Den här versionen har tagit lång tid — nästan ett helt år.
Det mesta av tiden har, som alltid, gått åt till att utveckla den teoretiska grunden och skriva
artiklar «Efficient POSIX Submatch Extraction on NFA».
Algoritmerna som beskrivs i artikeln har implementerats i det experimentella biblioteket libre2c
(bygge av biblioteket och benchmark-testning är avstängt som standard och aktiveras med configure-alternativet
—enable-libs). Biblioteket är inte tänkt att vara en konkurrent till befintliga
projekt som RE2, utan som en forskningsplattform för att utveckla nya
algoritmer (som senare kan användas i re2c eller andra projekt).
Detta är också praktiskt med avseende på testning, benchmarking och skapande av bindningar till andra språk.

Tack från utvecklarna av re2c till alla som hjälpt till att göra denna version möjlig,
och till hela gemenskapen för idéer, buggrapporter, patchar, kämpaanda osv. ;]

Källa: linux.org.ru