U petak, 2. avgusta, objavljen je re2c - besplatni generator leksičkih analizatora za jezike C i C++. Podsećamo, da je re2c 1993. godine napisao Piter Bambulis kao eksperimentalni generator vrlo brzih leksičkih analizatora, koji se od drugih generatora razlikuje brzinom generisanog koda i neobično fleksibilnim korisničkim interfejsom, koji omogućava lako i efikasno ugravljanje analizatora u postojeći kod. Od tada se projekat razvija uz podršku zajednice i i dalje ostaje platforma za eksperimente i istraživanja u oblasti formalnih gramatika i konačnih automata.
Glavne novine u verziji 1.2:
Dodata je nova (pojednostavljena) metoda za proveru kraja ulaznih podataka
(eng. „EOF rule“).
Za ovo je dodata konfiguracija re2c:eof,
koja omogućava izbor terminalnog simbola,
i posebno pravilo $, koje se aktivira ako leksik
uspešno dostigne kraj ulaznih podataka.
Istorijski, re2c pruža više načina za proveru kraja ulaznih podataka, koji se razlikuju po ograničenjima, efikasnosti i jednostavnosti
primene. Nova metoda treba da pojednostavi pisanje koda, dok je ujedno
ostajući efikasna i široko primenljiva. Stare metode
i dalje funkcionišu i mogu biti preferirane u pojedinim slučajevima.
Dodata je mogućnost uključivanja spoljašnjih datoteka putem direktive"/*!include:re2c "file.re" */", gde je "file.re" naziv uključene datoteke. Re2c traži datoteke u direktorijumu uključene datoteke,
/*!include:re2c "file.re" */, где file.re
to je ime uključeno u datoteku. Re2c traži datoteke u direktorijumu uključujuće datoteke,
kao i na listi putanja definisanih pomoću opcije -I.
Uključeni fajlovi mogu uključivati druge fajlove.
Re2c pruža „standardne“ datoteke u direktorijumu include/
projekta — predviđa se da će tamo biti akumulirane korisne definicije
regularnih izraza, nešto poput standardne biblioteke.
Za sada je na zahtev dodan jedan fajl sa definicijama kategorija Unicode.Dodana je mogućnost generisanja zaglavlja sa proizvoljnim
čiji sadržaj definisano opcijama -t —type-header (ili odgovarajućim
konfiguracijama) i novim direktivama /*!header:re2c:on*\u001e i
/*!header:re2c:off*/. Это может быть полезно в случаях,
kada re2c treba da generiše definicije varijabli, struktura i makroa
koji se koriste u drugim jedinicama translacije.Re2c sada razume UTF8-litere i klase simbola u regularnim izrazima.
Po defaultu, re2c parsira izraze kao što je "∀x ∃y" kao.
niz 1-bitnih ASCII simbola e2 88 80 78 20 e2 88 83 79
(hex-kodovi), i korisnicima je potrebno da ručno escapingaju Unicode-simboli:
"u2200x u2203y". Ovo je veoma nezgodno i neočekivano za mnoge
korisnike (o čemu svedoče stalni izveštaji o greškama). Zato sada
re2c pruža opciju —input-encoding ,
koja omogućava promenu ponašanja i parsiranje "∀x ∃y" kao
2200 78 20 2203 79.Re2c sada dopušta korišćenje običnih re2c blokova u režimu -r —reuse.
To je zgodno, ako ulazni fajl sadrži mnogo blokova, a samo deo od njih
ima potrebu za ponovnom upotrebom.Pojavila se mogućnost definisanja formata upozorenja i poruka o greškama
uz novu opciju —location-format . GNU format se prikazuje
kao filename:line:column:, a MSVC format — kao filename(line,column).
Ova mogućnost može biti korisna ljubiteljima IDE.
Takođe je dodata opcija —verbose, koja ispisuje kratku pobedonosnu poruku u slučaju uspeha.Režim „kompatibilnosti“ sa flex-om je dorađen — ispravljene su neke greške u parsiranju i
nepravilnim prioritetom operatora u retkim slučajevima.
Istorijski, opcija -F —flex-support omogućava pisanje koda
u mešavini stila flex i u stilu re2c, što malo otežava sintaktičko razumevanje.
Režim kompatibilnosti sa flex se retko koristi u novom kodu,
ali re2c nastavlja da ga podržava radi unazadne kompatibilnosti.Operator oduzimanja simbola / sada se primenjuje
prije nego što se napravi kodiranje, što omogućava njegovu primjenu u većem broju slučajeva,
ako se koristi kodiranje s varijabilnom dužinom simbola (na primjer, UTF8).Izlazna datoteka se sada stvara atomarno: re2c prvo stvara privremenu datoteku
i piše u nju rezultat, a zatim preimenuje privremenu datoteku u izlaznu
u jednom postupku.Dokumentacija je dopisana i prepisana; posebno su dodana nova
i o načinima provjere kraja ulaznih podataka.
Nova dokumentacija je prikupljena u obliku
sveobuhvatnog jednogodišnjeg priručnika
s primjerima (isti izvori se prikazuju u manpage i u online dokumentaciji).
Preuzeti su slabi pokušaji poboljšanja čitljivosti sajta na telefonima.Sa tačke gledišta programera, re2c je dobio potpuniji podsistem
za debagovanje. Debag kod je sada isključen u izdanjima i
može se uključiti pomoću configure opcije —enable-debug.
Ovo izdanje je trajalo dugo — skoro celu godinu.
Većina vremena, kao i uvek, potrošena je na razvoj teorijske osnove i pisanje
članka „Efikasno vađenje podudaranja za POSIX na NFA“.
Algoritmi opisani u članku implementirani su u eksperimentalnoj biblioteci libre2c
(izrada biblioteke i benchmarka je prema zadanim postavkama isključena i uključuje se configure-opcijom
—enable-libs). Biblioteka nije zamišljena kao konkurent postojećim
projektima poput RE2, već kao istraživačka platforma za razvoj novih
algoritama (koji se kasnije mogu koristiti u re2c ili drugim projektima).
Također je korisno s aspekta testiranja, benchmarka i stvaranja veziva za druge jezike.
Zahvaljujući programerima re2c svima koji su pomogli da se ovaj izdanak ostvari,
i cijeloj zajednici na idejama, izvještajima o greškama, zakrpama, borbenom duhu itd. ;]
Izvor: linux.org.ru
