Re2c लेक्सर जनरेटर 1.2 का विमोचन

हुआ релиз re2c, C और C++ भाषाओं के लिए एक निःशुल्क लेक्सिकल विश्लेषक जनरेटर। याद रखें कि re2c को 1993 में पीटर बम्बुलिस द्वारा बहुत तेज़ लेक्सिकल एनालाइज़र के प्रायोगिक जनरेटर के रूप में लिखा गया था, जो जेनरेट किए गए कोड की गति और असामान्य रूप से लचीले उपयोगकर्ता इंटरफ़ेस में अन्य जनरेटर से भिन्न था जो एनालाइज़र को आसानी से और कुशलता से मौजूदा कोड में एकीकृत करने की अनुमति देता है। आधार। तब से, यह परियोजना समुदाय द्वारा विकसित की गई है और औपचारिक व्याकरण और परिमित राज्य मशीनों के क्षेत्र में प्रयोगों और अनुसंधान के लिए एक मंच बनी हुई है।

रिलीज़ की तैयारी में लगभग पूरा एक साल लग गया। हमेशा की तरह, अधिकांश समय सैद्धांतिक रूपरेखा विकसित करने और लिखने में व्यतीत हुआ
लेख "एनएफए पर कुशल पॉज़िक्स सबमैच एक्सट्रैक्शन"।
लेख में वर्णित एल्गोरिदम प्रयोगात्मक लाइब्रेरी libre2c में लागू किए गए हैं
(लाइब्रेरी का निर्माण और प्रदर्शन परीक्षण डिफ़ॉल्ट रूप से अक्षम है और कॉन्फ़िगर विकल्प "-enable-libs" द्वारा सक्षम है)। लाइब्रेरी का उद्देश्य RE2 जैसी मौजूदा परियोजनाओं के प्रतिस्पर्धी के रूप में नहीं है, बल्कि नई परियोजनाओं के विकास के लिए एक शोध मंच के रूप में है
एल्गोरिदम (जिसे फिर re2c या अन्य परियोजनाओं में उपयोग किया जा सकता है)। यह परीक्षण, प्रदर्शन को मापने और अन्य भाषाओं के लिए बाइंडिंग बनाने के दृष्टिकोण से भी सुविधाजनक है।

संस्करण re2c 1.2 में मुख्य नवाचार:

• इनपुट डेटा के अंत की जाँच के लिए एक नई सरलीकृत विधि जोड़ी गई ("ईओएफ नियम")। इसके लिए, "re2c:eof" कॉन्फ़िगरेशन जोड़ा गया है,
  आपको टर्मिनल वर्ण का चयन करने की अनुमति देता है,
  और एक विशेष नियम "$", जो लेक्सर होने पर चालू हो जाता है
  सफलतापूर्वक इनपुट डेटा के अंत तक पहुंच गया।
  ऐतिहासिक रूप से, re2c कई सत्यापन विधियों का विकल्प प्रदान करता है
  सीमा, दक्षता और सरलता में भिन्न-भिन्न इनपुट का अंत
  अनुप्रयोग। नई विधि लेखन कोड को सरल बनाने के लिए डिज़ाइन की गई है
  प्रभावी और व्यापक रूप से लागू रहते हुए। पुराने तरीके
  अभी भी काम करता है और कुछ मामलों में इसे प्राथमिकता दी जा सकती है।

• एक निर्देश का उपयोग करके बाहरी फ़ाइलों को शामिल करने की क्षमता जोड़ी गई
  "/*!include:re2c "file.re" */", जहां "file.re" शामिल की जाने वाली फ़ाइल का नाम है। Re2c फ़ाइल निर्देशिका सहित फ़ाइलों की तलाश करता है,
  साथ ही "-I" विकल्प का उपयोग करके निर्दिष्ट पथों की सूची में भी।
  शामिल फ़ाइलों में अन्य फ़ाइलें शामिल हो सकती हैं.
  Re2c "include/" निर्देशिका में "मानक" फ़ाइलें प्रदान करता है
  प्रोजेक्ट - उम्मीद है कि उपयोगी परिभाषाएँ वहां जमा होंगी
  रेगुलर एक्सप्रेशन, मानक लाइब्रेरी जैसा कुछ।
  अब तक, श्रमिकों के अनुरोध पर, यूनिकोड श्रेणियों की परिभाषाओं वाली एक फ़ाइल जोड़ी गई है।

• मनमाने ढंग से हेडर फ़ाइलें उत्पन्न करने की क्षमता जोड़ी गई
  "-t --type-header" विकल्प (या उपयुक्त) का उपयोग करने वाली सामग्री
  कॉन्फ़िगरेशन) और नए निर्देश "/*!header:re2c:on*/" और
  "/*!हेडर:re2c:off*/"। यह उन मामलों में उपयोगी हो सकता है जहां
  जब re2c को चर, संरचनाओं और मैक्रोज़ की परिभाषाएँ उत्पन्न करने की आवश्यकता होती है,
  अन्य अनुवाद इकाइयों में उपयोग किया जाता है।

• Re2c अब नियमित अभिव्यक्तियों में UTF8 शाब्दिक और वर्ण वर्गों को समझता है।
  डिफ़ॉल्ट रूप से, re2c "∀x ∃y" जैसे भावों को पार्स करता है
  1-बिट ASCII वर्णों का अनुक्रम "e2 88 80 78 20 e2 88 83 79"
  (हेक्स कोड), और उपयोगकर्ताओं को यूनिकोड वर्णों से मैन्युअल रूप से बचना होगा:
  “\\u2200x \\u2203y।” यह कई लोगों के लिए बहुत असुविधाजनक और अप्रत्याशित है
  उपयोगकर्ता (जैसा कि लगातार बग रिपोर्टों से पता चलता है)। तो अब
  re2c "--इनपुट-एन्कोडिंग {ascii |" विकल्प प्रदान करता है utf8}",
  जो आपको व्यवहार बदलने और "∀x ∃y" को पार्स करने की अनुमति देता है
  "2200 78 20 2203 79।"

• Re2c अब नियमित re2c ब्लॉक को "-r --reuse" मोड में उपयोग करने की अनुमति देता है।
  यह सुविधाजनक है यदि इनपुट फ़ाइल में कई ब्लॉक हों और उनमें से केवल कुछ ही हों
  पुन: उपयोग की आवश्यकता है।

• अब आप चेतावनियों और त्रुटि संदेशों का प्रारूप सेट कर सकते हैं
  नए विकल्प "--स्थान-प्रारूप {gnu |" का उपयोग करना एमएसवीसी}"। जीएनयू प्रारूप प्रदर्शित होता है
  "फ़ाइल नाम: लाइन: कॉलम:" के रूप में, और MSVC प्रारूप "फ़ाइल नाम (लाइन, कॉलम)" के रूप में।
  यह सुविधा आईडीई प्रेमियों के लिए उपयोगी हो सकती है।
  एक "--verbose" विकल्प भी जोड़ा गया है, जो सफल होने पर एक संक्षिप्त विजय संदेश प्रदर्शित करता है।

• फ्लेक्स के साथ "संगतता" मोड में सुधार किया गया है - कुछ पार्सिंग त्रुटियों को ठीक किया गया है और
  दुर्लभ मामलों में गलत ऑपरेटर प्राथमिकता।
  ऐतिहासिक रूप से, "-F --flex-suppor" विकल्प आपको कोड लिखने की अनुमति देता है
  फ्लेक्स शैली और re2c शैली में मिश्रित, जिससे पार्स करना थोड़ा कठिन हो जाता है।
  नए कोड में फ्लेक्स संगतता मोड का उपयोग शायद ही कभी किया जाता है,
  लेकिन re2c पश्चगामी संगतता के लिए इसका समर्थन करना जारी रखता है।

• वर्ण वर्ग घटाव ऑपरेटर "/" अब लागू होता है
  एन्कोडिंग का विस्तार करने से पहले, जो इसे बड़ी संख्या में मामलों में उपयोग करने की अनुमति देता है,
  यदि एक परिवर्तनीय वर्ण लंबाई एन्कोडिंग का उपयोग किया जाता है (उदाहरण के लिए UTF8)।

• आउटपुट फ़ाइल अब परमाणु रूप से बनाई गई है: re2c पहले एक अस्थायी फ़ाइल बनाता है
  और उसमें परिणाम लिखता है, और फिर अस्थायी फ़ाइल का नाम बदलकर आउटपुट कर देता है
  एक ऑपरेशन.

• दस्तावेज़ीकरण पूरा किया गया और पुनः लिखा गया; विशेष रूप से, नए जोड़े गए
  के बारे में अध्याय http://re2c.org/manual/manual.html#buffer-refilling заполнение буфера
  и इनपुट डेटा के अंत की जाँच करने के तरीकों के बारे में.
  नया दस्तावेज़ प्रपत्र में एकत्र किया जाता है
  एक पेज की विस्तृत मार्गदर्शिका
  उदाहरणों के साथ (समान स्रोत मैनपेज और ऑनलाइन दस्तावेज़ में प्रस्तुत किए गए हैं)।
  फ़ोन पर साइट की पठनीयता में सुधार करने के लिए ख़राब प्रयास किए गए हैं।

• डेवलपर्स के दृष्टिकोण से, re2c ने एक अधिक संपूर्ण सबसिस्टम हासिल कर लिया है
  डिबगिंग डिबगिंग कोड अब रिलीज़ बिल्ड में अक्षम है
  कॉन्फ़िगर विकल्प "--सक्षम-डीबग" का उपयोग करके सक्षम किया जा सकता है।

स्रोत: opennet.ru