re2c 1.2

U petak, 2. avgusta, objavljen je re2c - besplatni generator leksičkih analizatora za jezike C i C++. Podsećamo, da je re2c 1993. godine napisao Piter Bambulis kao eksperimentalni generator vrlo brzih leksičkih analizatora, koji se od drugih generatora razlikuje brzinom generisanog koda i neobično fleksibilnim korisničkim interfejsom, koji omogućava lako i efikasno ugravljanje analizatora u postojeći kod. Od tada se projekat razvija uz podršku zajednice i i dalje ostaje platforma za eksperimente i istraživanja u oblasti formalnih gramatika i konačnih automata.

Glavne novine u verziji 1.2:

  • Dodata je nova (pojednostavljena) metoda za proveru kraja ulaznih podataka
    (eng. „EOF rule“).
    Za ovo je dodata konfiguracija re2c:eof,
    koja omogućava izbor terminalnog simbola,
    i posebno pravilo $, koje se aktivira ako leksik
    uspešno dostigne kraj ulaznih podataka.
    Istorijski, re2c pruža više načina za proveru kraja ulaznih podataka, koji se razlikuju po ograničenjima, efikasnosti i jednostavnosti
    primene. Nova metoda treba da pojednostavi pisanje koda, dok je ujedno
    ostajući efikasna i široko primenljiva. Stare metode
    i dalje funkcionišu i mogu biti preferirane u pojedinim slučajevima.
    Dodata je mogućnost uključivanja spoljašnjih datoteka putem direktive

  • "/*!include:re2c "file.re" */", gde je "file.re" naziv uključene datoteke. Re2c traži datoteke u direktorijumu uključene datoteke,
    /*!include:re2c "file.re" */, где file.re
    to je ime uključeno u datoteku. Re2c traži datoteke u direktorijumu uključujuće datoteke,
    kao i na listi putanja definisanih pomoću opcije -I.
    Uključeni fajlovi mogu uključivati druge fajlove.
    Re2c pruža „standardne“ datoteke u direktorijumu include/
    projekta — predviđa se da će tamo biti akumulirane korisne definicije
    regularnih izraza, nešto poput standardne biblioteke.
    Za sada je na zahtev dodan jedan fajl sa definicijama kategorija Unicode.

  • Dodana je mogućnost generisanja zaglavlja sa proizvoljnim
    čiji sadržaj definisano opcijama -t —type-header (ili odgovarajućim
    konfiguracijama) i novim direktivama /*!header:re2c:on*\u001e i
    /*!header:re2c:off*/. Это может быть полезно в случаях,
    kada re2c treba da generiše definicije varijabli, struktura i makroa
    koji se koriste u drugim jedinicama translacije.

  • Re2c sada razume UTF8-litere i klase simbola u regularnim izrazima.
    Po defaultu, re2c parsira izraze kao što je "∀x ∃y" kao.
    niz 1-bitnih ASCII simbola e2 88 80 78 20 e2 88 83 79
    (hex-kodovi), i korisnicima je potrebno da ručno escapingaju Unicode-simboli:
    "u2200x u2203y". Ovo je veoma nezgodno i neočekivano za mnoge
    korisnike (o čemu svedoče stalni izveštaji o greškama). Zato sada
    re2c pruža opciju —input-encoding ,
    koja omogućava promenu ponašanja i parsiranje "∀x ∃y" kao
    2200 78 20 2203 79.

  • Re2c sada dopušta korišćenje običnih re2c blokova u režimu -r —reuse.
    To je zgodno, ako ulazni fajl sadrži mnogo blokova, a samo deo od njih
    ima potrebu za ponovnom upotrebom.

  • Pojavila se mogućnost definisanja formata upozorenja i poruka o greškama
    uz novu opciju —location-format . GNU format se prikazuje
    kao filename:line:column:, a MSVC format — kao filename(line,column).
    Ova mogućnost može biti korisna ljubiteljima IDE.
    Takođe je dodata opcija —verbose, koja ispisuje kratku pobedonosnu poruku u slučaju uspeha.

  • Režim „kompatibilnosti“ sa flex-om je dorađen — ispravljene su neke greške u parsiranju i
    nepravilnim prioritetom operatora u retkim slučajevima.
    Istorijski, opcija -F —flex-support omogućava pisanje koda
    u mešavini stila flex i u stilu re2c, što malo otežava sintaktičko razumevanje.
    Režim kompatibilnosti sa flex se retko koristi u novom kodu,
    ali re2c nastavlja da ga podržava radi unazadne kompatibilnosti.

  • Operator oduzimanja simbola / sada se primenjuje
    prije nego što se napravi kodiranje, što omogućava njegovu primjenu u većem broju slučajeva,
    ako se koristi kodiranje s varijabilnom dužinom simbola (na primjer, UTF8).

  • Izlazna datoteka se sada stvara atomarno: re2c prvo stvara privremenu datoteku
    i piše u nju rezultat, a zatim preimenuje privremenu datoteku u izlaznu
    u jednom postupku.

  • Dokumentacija je dopisana i prepisana; posebno su dodana nova
    poglavlja o punjenju bafera
    i o načinima provjere kraja ulaznih podataka.
    Nova dokumentacija je prikupljena u obliku
    sveobuhvatnog jednogodišnjeg priručnika
    s primjerima (isti izvori se prikazuju u manpage i u online dokumentaciji).
    Preuzeti su slabi pokušaji poboljšanja čitljivosti sajta na telefonima.

  • Sa tačke gledišta programera, re2c je dobio potpuniji podsistem
    za debagovanje. Debag kod je sada isključen u izdanjima i
    može se uključiti pomoću configure opcije —enable-debug.

Ovo izdanje je trajalo dugo — skoro celu godinu.
Većina vremena, kao i uvek, potrošena je na razvoj teorijske osnove i pisanje
članka „Efikasno vađenje podudaranja za POSIX na NFA“.
Algoritmi opisani u članku implementirani su u eksperimentalnoj biblioteci libre2c
(izrada biblioteke i benchmarka je prema zadanim postavkama isključena i uključuje se configure-opcijom
—enable-libs). Biblioteka nije zamišljena kao konkurent postojećim
projektima poput RE2, već kao istraživačka platforma za razvoj novih
algoritama (koji se kasnije mogu koristiti u re2c ili drugim projektima).
Također je korisno s aspekta testiranja, benchmarka i stvaranja veziva za druge jezike.

Zahvaljujući programerima re2c svima koji su pomogli da se ovaj izdanak ostvari,
i cijeloj zajednici na idejama, izvještajima o greškama, zakrpama, borbenom duhu itd. ;]

Izvor: linux.org.ru

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster