बारा वर्षांच्या एका छोट्या प्रकल्पाची कहाणी (BIRMA.NET बद्दल प्रथमच आणि स्पष्टपणे प्रथमच)

या प्रकल्पाचा जन्म ही एक छोटीशी कल्पना मानली जाऊ शकते जी मला 2007 च्या शेवटी कुठेतरी आली होती, ज्याचे अंतिम स्वरूप केवळ 12 वर्षांनंतर सापडले होते (या वेळी - अर्थातच, जरी सध्याच्या अंमलबजावणीनुसार, लेखकासाठी, खूप समाधानकारक आहे).

हे सर्व तेव्हा सुरू झाले जेव्हा, लायब्ररीतील माझी तत्कालीन अधिकृत कर्तव्ये पार पाडण्याच्या प्रक्रियेत, मी या वस्तुस्थितीकडे लक्ष वेधले की पुस्तकाच्या (आणि संगीत) प्रकाशनांच्या सामग्रीच्या सारणीच्या स्कॅन केलेल्या मजकुरातून विद्यमान डेटाबेसमध्ये डेटा प्रविष्ट करण्याची प्रक्रिया, वरवर पाहता, लेखाच्या लेखकाचे नाव (जर आपण लेखांच्या संग्रहाबद्दल बोलत असाल तर) इनपुटसाठी आवश्यक असलेल्या सर्व डेटाच्या सुव्यवस्थितपणा आणि पुनरावृत्तीक्षमतेच्या गुणधर्माचा फायदा घेऊन लक्षणीयरीत्या सरलीकृत आणि स्वयंचलित केले जाऊ शकते. लेख (किंवा सामग्री सारणीमध्ये प्रतिबिंबित केलेले उपशीर्षक) आणि सामग्रीच्या वर्तमान सारणीचा पृष्ठ क्रमांक. सुरुवातीला, मला व्यावहारिकपणे खात्री पटली की हे कार्य करण्यासाठी योग्य प्रणाली इंटरनेटवर सहजपणे आढळू शकते. जेव्हा मला असा प्रकल्प सापडला नाही या वस्तुस्थितीमुळे आश्चर्यचकित झाले, तेव्हा मी स्वतःच तो अंमलात आणण्याचा प्रयत्न करण्याचा निर्णय घेतला.

बर्‍याच थोड्या वेळानंतर, पहिल्या प्रोटोटाइपने कार्य करण्यास सुरवात केली, जी मी माझ्या दैनंदिन क्रियाकलापांमध्ये त्वरित वापरण्यास सुरुवात केली, एकाच वेळी माझ्या हातात आलेल्या सर्व उदाहरणांवर ते डीबग केले. सुदैवाने, माझ्या नेहमीच्या कामाच्या ठिकाणी, जिथे मी कोणत्याही प्रकारे प्रोग्रामर नव्हतो, तरीही मी माझ्या कामात दृश्यमान "डाउनटाइम" सोडले, ज्या दरम्यान मी माझ्या ब्रेनचाइल्डला गहनपणे डीबग करत होतो - सध्याच्या वास्तविकतेमध्ये जवळजवळ अकल्पनीय गोष्ट, ज्याचा अर्थ असा होतो की दिवसभरात केलेल्या कामाचा दैनिक अहवाल. प्रोग्राम पॉलिश करण्याच्या प्रक्रियेस एकूण सुमारे एक वर्षापेक्षा कमी कालावधी लागला, परंतु त्यानंतरही परिणाम पूर्णपणे यशस्वी म्हणता येणार नाही - सुरुवातीला बर्याच भिन्न संकल्पना मांडल्या गेल्या ज्या अंमलबजावणीसाठी पूर्णपणे स्पष्ट नव्हत्या: पर्यायी घटक जे करू शकतात वगळणे; घटकांचे फॉरवर्ड व्ह्यूइंग (मागील घटक शोध परिणामांमध्ये बदलण्याच्या उद्देशाने); रेग्युलर एक्स्प्रेशन्स (ज्यात एक अद्वितीय वाक्यरचना आहे) सारखे काहीतरी अंमलात आणण्याचा आमचा स्वतःचा प्रयत्न देखील. मला असे म्हणायचे आहे की याआधी मी प्रोग्रामिंग काहीसे सोडले होते (सुमारे 8 वर्षे, जर जास्त नाही), म्हणून माझे कौशल्य एका मनोरंजक आणि आवश्यक कार्यासाठी लागू करण्याच्या नवीन संधीने माझे लक्ष वेधून घेतले. हे आश्चर्यकारक नाही की परिणामी स्त्रोत कोड - माझ्याकडून त्याच्या डिझाइनसाठी कोणत्याही स्पष्ट दृष्टिकोन नसतानाही - C++ च्या काही घटकांसह आणि व्हिज्युअल प्रोग्रामिंगच्या पैलूंसह सी भाषेतील भिन्न तुकड्यांचा एक अकल्पनीय मिशमॅश बनला (सुरुवातीला तो बोरलँड सी++ बिल्डर - “जवळजवळ डेल्फी, परंतु सी मध्ये”) अशी डिझाइन सिस्टम वापरण्याचा निर्णय घेण्यात आला. तथापि, हे सर्व शेवटी आमच्या लायब्ररीच्या दैनंदिन क्रियाकलापांना स्वयंचलित करण्यात फळ देते.

त्याच वेळी, मी व्यावसायिक सॉफ्टवेअर डेव्हलपरला प्रशिक्षण देण्यासाठी अभ्यासक्रम घेण्याचा निर्णय घेतला. मला माहित नाही की "प्रोग्रामर होण्यासाठी" सुरवातीपासून शिकणे खरोखर शक्य आहे की नाही, परंतु त्या वेळी माझ्याकडे आधीपासून असलेली कौशल्ये लक्षात घेऊन, मी त्या काळात अधिक संबंधित असलेल्या तंत्रज्ञानावर काही प्रमाणात प्रभुत्व मिळवू शकलो, जसे की नेट अंतर्गत विकासासाठी C#, व्हिज्युअल स्टुडिओ, तसेच Java, HTML आणि SQL शी संबंधित काही तंत्रज्ञान. संपूर्ण प्रशिक्षणाला एकूण दोन वर्षे लागली, आणि माझ्या दुसर्‍या प्रकल्पासाठी प्रारंभ बिंदू म्हणून काम केले, जे शेवटी अनेक वर्षांपर्यंत पसरले - परंतु हा वेगळ्या प्रकाशनाचा विषय आहे. येथे फक्त हे लक्षात घेणे योग्य ठरेल की मी आधीच वर्णन केलेल्या प्रकल्पात आवश्यक कार्यक्षमतेची अंमलबजावणी करणार्‍या C# आणि WinForms मध्ये पूर्ण वाढ झालेला विंडो ऍप्लिकेशन तयार करण्यासाठी माझ्याकडे असलेल्या घडामोडींना अनुकूल करण्याचा प्रयत्न केला आहे आणि त्याचा आधार म्हणून वापर केला आहे. आगामी डिप्लोमा प्रकल्प.
कालांतराने, ही कल्पना मला “LIBKOM” आणि “CRIMEA” सारख्या विविध ग्रंथालयांच्या प्रतिनिधींच्या सहभागाने अशा वार्षिक परिषदांमध्ये आवाज देण्यास पात्र वाटू लागली. कल्पना, होय, परंतु त्या वेळी माझी अंमलबजावणी झाली नाही. मग मलाही आशा होती की कोणीतरी अधिक सक्षम दृष्टिकोन वापरून ते पुन्हा लिहील. एक ना एक मार्ग, 2013 पर्यंत मी माझ्या प्राथमिक कामाचा अहवाल लिहून कॉन्फरन्समध्ये सहभागी होण्यासाठी अनुदानासाठी अर्जासह कॉन्फरन्स ऑर्गनायझिंग कमिटीकडे पाठवण्याचा निर्णय घेतला. मला काहीसे आश्चर्य वाटले, माझा अर्ज मंजूर झाला आणि मी कॉन्फरन्समध्ये सादरीकरणासाठी प्रकल्प तयार करण्यासाठी काही सुधारणा करण्यास सुरुवात केली.

तोपर्यंत, प्रकल्पाला आधीच एक नवीन नाव BIRMA प्राप्त झाले होते, त्याने विविध अतिरिक्त (इतकी पूर्ण अंमलबजावणी केलेली नाही, परंतु गृहीत धरलेली) क्षमता प्राप्त केली होती - सर्व तपशील माझ्या अहवालात आढळू शकतात.

खरे सांगायचे तर, BIRMA 2013 ला काहीतरी पूर्ण म्हणणे कठीण होते; खरे सांगायचे तर, ते घाईघाईने बनवलेले एक अतिशय हटके शिल्प होते. कोडच्या संदर्भात, IRBIS 64 स्वरूपन भाषेची आठवण करून देणार्‍या (आणि खरं तर, ISIS प्रणाली देखील - पार्सरसाठी काही प्रकारचे युनिफाइड सिंटॅक्स तयार करण्याचा एक असहाय्य प्रयत्न वगळता व्यावहारिकपणे कोणतेही विशेष नवकल्पना नव्हते. चक्रीय रचना म्हणून कंसांसह; का त्या वेळी मला वाटले की ते खूपच छान दिसते). विश्लेषक हताशपणे योग्य प्रकारच्या कंसांच्या या वर्तुळांवर अडखळला (कारण कंसाने दुसरी भूमिका देखील पार पाडली, म्हणजे, त्यांनी वगळले जाऊ शकणारे पार्सिंग दरम्यान पर्यायी संरचना चिन्हांकित केल्या). त्यावेळच्या माझ्या अहवालात BIRMA च्या त्यावेळच्या कल्पना करणे कठीण, अन्यायकारक वाक्यरचनेशी परिचित होऊ इच्छिणाऱ्या प्रत्येकाचा मी पुन्हा संदर्भ देतो.

सर्वसाधारणपणे, माझ्या स्वतःच्या पार्सरशी संघर्ष करण्याव्यतिरिक्त, माझ्याकडे या आवृत्तीच्या कोडबद्दल अधिक काही सांगायचे नाही - .NET कोडची काही वैशिष्ट्यपूर्ण वैशिष्ट्ये जतन करताना विद्यमान स्त्रोतांचे C++ मध्ये रिव्हर्स रूपांतरण वगळता (प्रामाणिकपणे, ते आहे. समजणे कठीण , नेमके कशाने मला सर्व काही मागे हलवण्यास प्रवृत्त केले - कदाचित माझे स्त्रोत कोड गुप्त ठेवण्याची काही मूर्ख भीती, जणू काही ते कोका-कोलाच्या गुप्त रेसिपीच्या बरोबरीचे आहे).

इलेक्ट्रॉनिक कॅटलॉगमध्ये डेटा प्रविष्ट करण्यासाठी घरगुती वर्कस्टेशनच्या विद्यमान इंटरफेससह परिणामी डीएलएल लायब्ररी जोडण्यात अडचणी येण्याचे कारण कदाचित हा मूर्ख निर्णय देखील आहे (होय, मी आणखी एक महत्त्वाची वस्तुस्थिती नमूद केली नाही: आतापासून, सर्व BIRMA “इंजिन” चा कोड अपेक्षेप्रमाणे होता, तो इंटरफेसच्या भागापासून वेगळा केला जातो आणि योग्य DLL मध्ये पॅक केला जातो). या हेतूंसाठी स्वतंत्र वर्कस्टेशन लिहिणे का आवश्यक होते, जे तरीही, त्याच्या देखाव्यामध्ये आणि वापरकर्त्याशी संवाद साधण्याच्या पद्धतीमध्ये, निर्लज्जपणे IRBIS 64 सिस्टमचे समान वर्कस्टेशन "कॅटलॉगायझर" कॉपी केले - हा एक वेगळा प्रश्न आहे. थोडक्यात: माझ्या ग्रॅज्युएशन प्रोजेक्टसाठी माझ्या त्यावेळच्या घडामोडींना त्याने आवश्यक ठोसता दिली (अन्यथा एकटे अपचनीय पार्सर इंजिन पुरेसे नव्हते). या व्यतिरिक्त, मला नंतर कॅटलॉगर वर्कस्टेशनचा इंटरफेस माझ्या स्वतःच्या मॉड्यूलसह ​​लागू करण्यात, C++ आणि C# दोन्हीमध्ये लागू करण्यात आणि माझ्या इंजिनमध्ये थेट प्रवेश करण्यात काही अडचणी आल्या.

सर्वसाधारणपणे, विचित्रपणे, भविष्यातील BIRMA.NET चा हा अनाठायी प्रोटोटाइप होता जो पुढील चार वर्षांसाठी माझा “वर्कहॉर्स” बनण्याचे ठरले होते. असे म्हणता येणार नाही की या काळात मी दीर्घकालीन कल्पनेच्या नवीन, अधिक पूर्ण अंमलबजावणीसाठी मार्ग शोधण्याचा प्रयत्न केला नाही. इतर नवकल्पनांमध्ये, आधीच नेस्टेड चक्रीय अनुक्रम असायला हवे होते ज्यात पर्यायी घटकांचा समावेश असू शकतो - अशा प्रकारे मी प्रकाशने आणि इतर विविध मनोरंजक गोष्टींच्या ग्रंथसूची वर्णनासाठी सार्वभौमिक टेम्पलेट्सची कल्पना प्रत्यक्षात आणणार आहे. तथापि, त्या वेळी माझ्या व्यावहारिक क्रियाकलापांमध्ये, या सर्व गोष्टींना फार कमी मागणी होती आणि त्या वेळी माझ्याकडे असलेली अंमलबजावणी सामग्रीच्या तक्त्यामध्ये प्रवेश करण्यासाठी पुरेशी होती. याव्यतिरिक्त, आमच्या लायब्ररीच्या विकासाचा वेक्टर संग्रहालय संग्रहण, अहवाल आणि माझ्यासाठी कमी स्वारस्य असलेल्या इतर क्रियाकलापांच्या डिजिटायझेशनकडे अधिकाधिक विचलित होऊ लागला, ज्यामुळे शेवटी मला ते सोडण्यास भाग पाडले गेले, ज्यांना मार्ग मिळाला. या सर्व गोष्टींमुळे अधिक आनंदी व्हा.

विरोधाभास म्हणजे, या नाट्यमय घटनांनंतरच त्या वेळी एका विशिष्ट दीर्घकालीन बांधकाम प्रकल्पाची सर्व वैशिष्ट्यपूर्ण वैशिष्ट्ये असलेल्या BIRMA प्रकल्पाने त्याचे दीर्घ-प्रतीक्षित नवीन जीवन सुरू केल्याचे दिसते! माझ्याकडे निष्क्रिय विचारांसाठी अधिक मोकळा वेळ होता, मी पुन्हा अशाच गोष्टीच्या शोधात वर्ल्ड वाईड वेबला कंघी करू लागलो (सुदैवाने, आता मी हे सर्व कुठेही नाही तर गिटहबवर शोधण्याचा अंदाज लावू शकतो), आणि कुठेतरी अ‍ॅट द. या वर्षाच्या सुरुवातीस, मला शेवटी क्षुल्लक नावाखाली सुप्रसिद्ध सेल्सफोर्स कंपनीचे संबंधित उत्पादन मिळाले. गोर्प. अशा पार्सर इंजिनमधून मला आवश्यक असलेले जवळजवळ सर्व काही ते स्वतःच करू शकते - म्हणजे, स्वैर, परंतु स्पष्टपणे संरचित मजकूरापासून वैयक्तिक तुकड्यांना बुद्धिमानपणे वेगळे करणे, अंतिम वापरकर्त्यासाठी योग्य वापरकर्ता-अनुकूल इंटरफेस असताना, अशा समजण्यायोग्य सारांसह, जसे की एक नमुना, टेम्पलेट आणि घटना आणि त्याच वेळी नियमित अभिव्यक्तींचा परिचित वाक्यरचना वापरणे, जे पार्सिंगसाठी नियुक्त शब्दार्थ गटांमध्ये विभागल्यामुळे अतुलनीयपणे अधिक वाचनीय बनते.

सर्वसाधारणपणे, मी ठरवले की हे एक आहे गोर्प (मला आश्चर्य वाटते की या नावाचा अर्थ काय आहे? कदाचित काही प्रकारचे "सामान्य ओरिएंटेड रेग्युलर पार्सर"?) - नेमके काय मी बर्याच काळापासून शोधत होतो. खरे आहे, माझ्या स्वत: च्या गरजांसाठी त्याची त्वरित अंमलबजावणी अशी समस्या होती की या इंजिनला स्त्रोत मजकूराच्या स्ट्रक्चरल अनुक्रमांचे कठोर पालन करणे आवश्यक होते. लॉग फायलींसारख्या काही अहवालांसाठी (म्हणजे, ते विकासकांनी प्रोजेक्ट वापरण्याची स्पष्ट उदाहरणे म्हणून ठेवली होती), हे अगदी योग्य आहे, परंतु स्कॅन केलेल्या सामग्री सारणीच्या समान मजकुरासाठी, हे संभव नाही. शेवटी, सामग्रीच्या सारणीसह समान पृष्ठ "सामग्री सारणी", "सामग्री" आणि इतर कोणत्याही प्राथमिक वर्णनाने सुरू होऊ शकते जे आम्हाला अपेक्षित विश्लेषणाच्या परिणामांमध्ये ठेवण्याची आवश्यकता नाही (आणि ते व्यक्तिचलितपणे कापून टाकणे). प्रत्येक वेळी देखील गैरसोयीचे असते). याव्यतिरिक्त, लेखकाचे नाव, शीर्षक आणि पृष्ठ क्रमांक यासारख्या वैयक्तिक पुनरावृत्ती घटकांमध्ये, पृष्ठामध्ये विशिष्ट प्रमाणात कचरा असू शकतो (उदाहरणार्थ, रेखाचित्रे आणि फक्त यादृच्छिक वर्ण), ज्यास सक्षम असणे देखील चांगले होईल. कापला तथापि, शेवटचा पैलू अद्याप इतका महत्त्वपूर्ण नव्हता, परंतु पहिल्यामुळे, विद्यमान अंमलबजावणी एका विशिष्ट ठिकाणाहून मजकूरातील आवश्यक संरचना शोधणे सुरू करू शकले नाही, परंतु त्याऐवजी अगदी सुरुवातीपासूनच त्यावर प्रक्रिया केली, ती सापडली नाही. तेथे नमुने निर्दिष्ट केले आणि... माझे काम संपले. साहजिकच, पुनरावृत्ती होणाऱ्या स्ट्रक्चर्समध्ये कमीत कमी काही जागा मिळण्यासाठी काही ट्वीकिंगची गरज होती आणि त्यामुळे मला कामावर परत आले.

आणखी एक समस्या अशी होती की प्रकल्प स्वतः जावामध्ये लागू केला गेला होता आणि जर मी भविष्यात विद्यमान डेटाबेसेसमध्ये डेटा प्रविष्ट करण्यासाठी परिचित अनुप्रयोगांसह हे तंत्रज्ञान इंटरफेस करण्याचे काही माध्यम लागू करण्याची योजना आखली असेल (जसे की Irbis चे "Cataloguer"), तर किमान हे C# आणि .NET मध्ये करा. असे नाही की जावा स्वतःच एक वाईट भाषा आहे - मी एकदा ती घरगुती प्रोग्राम करण्यायोग्य कॅल्क्युलेटरची कार्यक्षमता (कोर्स प्रोजेक्टचा भाग म्हणून) कार्यान्वित करणार्‍या मनोरंजक विंडो ऍप्लिकेशनची अंमलबजावणी करण्यासाठी वापरली होती. आणि सिंटॅक्सच्या बाबतीत ते समान C-sharp सारखे आहे. बरं, हे फक्त एक प्लस आहे: विद्यमान प्रकल्पाला अंतिम रूप देणे माझ्यासाठी सोपे होईल. तथापि, मला जावा तंत्रज्ञानाच्या (किंवा त्याऐवजी डेस्कटॉप) विंडोच्या या असामान्य जगात पुन्हा डुंबायचे नव्हते - शेवटी, भाषा स्वतःच अशा वापरासाठी "अनुरूप" नव्हती आणि मला याची पुनरावृत्ती करण्याची अजिबात इच्छा नव्हती. मागील अनुभव. कदाचित हे तंतोतंत कारण आहे कारण C# WinForms च्या संयोगाने डेल्फीच्या अगदी जवळ आहे, ज्याने आपल्यापैकी अनेकांनी एकदा सुरुवात केली होती. सुदैवाने, आवश्यक उपाय त्वरीत सापडला - प्रकल्पाच्या स्वरूपात IKVM.NET, जे विद्यमान Java प्रोग्राम्सचे व्यवस्थापित .NET कोडमध्ये भाषांतर करणे सोपे करते. खरे आहे, तो प्रकल्प लेखकांनी आधीच सोडला होता, परंतु त्याच्या नवीनतम अंमलबजावणीमुळे मला स्त्रोत मजकूरासाठी आवश्यक क्रिया यशस्वीपणे पार पाडता आल्या. गोर्प.

म्हणून मी सर्व आवश्यक बदल केले आणि ते सर्व योग्य प्रकारच्या DLL मध्ये एकत्र केले, जे व्हिज्युअल स्टुडिओमध्ये तयार केलेल्या .NET फ्रेमवर्कसाठी कोणत्याही प्रकल्पाद्वारे सहजपणे "पिकअप" केले जाऊ शकते. यादरम्यान, परत आलेल्या निकालांच्या सोयीस्कर सादरीकरणासाठी मी दुसरा स्तर तयार केला गोर्प, संबंधित डेटा स्ट्रक्चर्सच्या स्वरूपात जे टेबल व्ह्यूमध्ये प्रक्रिया करणे सोयीचे असेल (दोन्ही पंक्ती आणि स्तंभ; दोन्ही शब्दकोष की आणि संख्यात्मक अनुक्रमणिका आधार म्हणून घेणे). बरं, परिणामांवर प्रक्रिया करण्यासाठी आणि प्रदर्शित करण्यासाठी आवश्यक उपयुक्तता स्वतःच पटकन लिहिल्या गेल्या.

तसेच, सामग्री सारणीच्या स्कॅन केलेल्या मजकुराचे विद्यमान नमुने विश्लेषित करण्यास शिकवण्यासाठी नवीन इंजिनसाठी टेम्पलेट्स अनुकूल करण्याच्या प्रक्रियेमुळे कोणतीही विशेष गुंतागुंत झाली नाही. खरं तर, मला माझ्या मागील टेम्पलेट्सचा संदर्भ घेण्याची गरज नव्हती: मी फक्त सुरवातीपासून सर्व आवश्यक टेम्पलेट्स तयार केले. शिवाय, जर सिस्टमच्या मागील आवृत्तीसह कार्य करण्यासाठी डिझाइन केलेल्या टेम्पलेट्सने त्यांच्या मदतीने योग्यरित्या विश्लेषित केल्या जाऊ शकणार्‍या मजकूरांसाठी बर्‍यापैकी अरुंद फ्रेमवर्क सेट केले असेल तर, नवीन इंजिनने आधीच येथे अनेक प्रकारच्या मार्कअपसाठी योग्य सार्वत्रिक टेम्पलेट विकसित करणे शक्य केले आहे. एकदा मी कोणत्याही अनियंत्रित मजकूर सारणीसाठी काही प्रकारचे सर्वसमावेशक टेम्पलेट लिहिण्याचा प्रयत्न केला, जरी, अर्थातच, माझ्यासाठी सर्व नवीन शक्यता उघडल्या असताना, विशेषतः, समान नेस्टेड पुनरावृत्ती क्रम लागू करण्याची मर्यादित क्षमता ( जसे की, उदाहरणार्थ, आडनाव आणि आद्याक्षरे सलग अनेक लेखक), हे एक यूटोपिया असल्याचे दिसून आले.

कदाचित भविष्यात मेटा-टेम्प्लेट्सची एक विशिष्ट संकल्पना अंमलात आणणे शक्य होईल, जे एकाच वेळी उपलब्ध असलेल्या अनेक टेम्पलेट्सच्या अनुपालनासाठी स्त्रोत मजकूर तपासण्यास सक्षम असेल आणि नंतर, प्राप्त परिणामांनुसार, निवडा. सर्वात योग्य, काही प्रकारचे बुद्धिमान अल्गोरिदम वापरून. पण आता मला आणखी एका प्रश्नाची काळजी वाटत होती. सारखे पार्सर गोर्प, त्याच्या सर्व अष्टपैलुत्व आणि मी केलेल्या सुधारणा असूनही, माझ्या स्वत: ची लिखित पार्सर अगदी पहिल्या आवृत्तीपासून करू शकणारी एक वरवर सोपी गोष्ट करण्यास मूळतः अक्षम आहे. उदाहरणार्थ: दिलेल्या मजकुरात या तुकड्यांमधील मोकळ्या जागेत काय समाविष्ट आहे याबद्दल त्याला अजिबात स्वारस्य नसताना, योग्य ठिकाणी वापरलेल्या टेम्पलेटमध्ये निर्दिष्ट केलेल्या मुखवटाशी जुळणारे सर्व तुकडे स्त्रोत मजकूरातून शोधण्याची आणि काढण्याची क्षमता त्याच्याकडे होती. आत्तापर्यंत, मी नवीन इंजिनमध्ये फक्त किंचित सुधारणा केली आहे, ज्यामुळे ते सध्याच्या स्थितीतून अशा मास्कच्या दिलेल्या क्रमाच्या सर्व संभाव्य नवीन पुनरावृत्ती शोधण्याची परवानगी देते, पूर्णपणे अनियंत्रित वर्णांच्या संचाच्या मजकुरात उपस्थितीची शक्यता सोडून देते. पार्सिंगमध्ये बेहिशेबी, आढळलेल्या पुनरावृत्ती संरचनांमध्ये संलग्न. तथापि, यामुळे संबंधित मुखवटा वापरून मागील तुकड्याचा शोध घेण्याच्या परिणामांची पर्वा न करता पुढील मुखवटा सेट करणे शक्य झाले नाही: वर्णित मजकूर संरचनेच्या कठोरतेने अद्याप अनियमित वर्णांच्या अनियंत्रित समावेशासाठी जागा सोडली नाही.

आणि जर मला आढळलेल्या सामग्रीच्या सारण्यांच्या उदाहरणांसाठी ही समस्या अद्याप इतकी गंभीर वाटली नाही, तर वेबसाइटच्या सामग्रीचे (म्हणजे समान पार्सिंग) करण्याच्या तत्सम कार्यासाठी नवीन पार्सिंग यंत्रणा लागू करण्याचा प्रयत्न करताना, त्याचे मर्यादा येथे आहेत ते त्यांच्या सर्व स्पष्टतेसह दिसून आले. शेवटी, वेब मार्कअपच्या तुकड्यांसाठी आवश्यक मुखवटे सेट करणे अगदी सोपे आहे, ज्या दरम्यान आपण शोधत असलेला डेटा (ज्याला काढणे आवश्यक आहे) स्थित असले पाहिजे, परंतु आपण पार्सरला त्वरित पुढीलकडे जाण्यास कसे भाग पाडू शकतो? सर्व संभाव्य टॅग आणि एचटीएमएल विशेषता असूनही त्यांच्या दरम्यानच्या मोकळ्या जागेत ठेवता येणारे समान खंड?

थोडा विचार केल्यावर, मी दोन सेवा नमुने सादर करण्याचे ठरवले (%all_before) и (%all_after), स्त्रोत मजकूरात समाविष्ट असलेली प्रत्येक गोष्ट त्यांना फॉलो करणार्‍या कोणत्याही पॅटर्नच्या (मुखवटा) आधी वगळली जाईल याची खात्री करण्याच्या स्पष्ट उद्देशाने. शिवाय, जर (%all_before) नंतर या सर्व अनियंत्रित समावेशांकडे दुर्लक्ष केले (%all_after), त्याउलट, त्यांना मागील तुकड्यातून हलवल्यानंतर इच्छित तुकड्यात जोडण्याची परवानगी दिली. हे अगदी सोपे वाटते, परंतु ही संकल्पना अंमलात आणण्यासाठी मला आवश्यक ते बदल करण्यासाठी पुन्हा गोर्प स्त्रोतांद्वारे कंघी करावी लागली जेणेकरून आधीच लागू केलेले तर्क खंडित होऊ नये. सरतेशेवटी, आम्ही हे करण्यात व्यवस्थापित केले (जरी अगदी, अगदी प्रथम, अगदी बग्गी असूनही, माझ्या पार्सरची अंमलबजावणी लिहिली गेली होती, आणि आणखी वेगवान - दोन आठवड्यांत). आतापासून, सिस्टमने खरोखर सार्वत्रिक स्वरूप धारण केले - ते कार्य करण्याच्या पहिल्या प्रयत्नांनंतर 12 वर्षांपेक्षा कमी नाही.

अर्थात, हे आपल्या स्वप्नांचा अंत नाही. मोफत व्याकरण कार्यान्वित करण्यासाठी उपलब्ध लायब्ररींपैकी कोणतीही वापरून तुम्ही C# मध्ये gorp टेम्पलेट पार्सर पूर्णपणे पुन्हा लिहू शकता. मला वाटते की कोड लक्षणीयरीत्या सरलीकृत केला पाहिजे आणि हे आम्हाला विद्यमान जावा स्त्रोतांच्या रूपात वारसा काढून टाकण्यास अनुमती देईल. परंतु विद्यमान प्रकारच्या इंजिनसह, मी आधीच नमूद केलेल्या मेटा-टेम्प्लेट्सची अंमलबजावणी करण्याचा प्रयत्न यासह विविध मनोरंजक गोष्टी करणे देखील शक्य आहे, विविध वेबसाइट्सवरील विविध डेटा पार्स करण्याचा उल्लेख न करणे (तथापि, मी नाकारत नाही. विद्यमान विशेष सॉफ्टवेअर साधने यासाठी अधिक योग्य आहेत – मला अद्याप त्यांचा वापर करण्याचा योग्य अनुभव आलेला नाही).

तसे, या उन्हाळ्यात मला आधीच सेल्सफोर्स तंत्रज्ञान वापरणाऱ्या कंपनीकडून ईमेलद्वारे आमंत्रण मिळाले आहे (मूळचा विकसक गोर्प), रीगा मध्ये त्यानंतरच्या कामासाठी मुलाखत पास करा. दुर्दैवाने, याक्षणी मी अशा रीडिप्लॉयमेंटसाठी तयार नाही.

जर या सामग्रीने काही स्वारस्य निर्माण केले, तर दुसऱ्या भागात मी सेल्सफोर्समध्ये वापरल्या जाणार्‍या अंमलबजावणीचे उदाहरण वापरून टेम्प्लेट्सचे संकलन आणि नंतर विश्लेषित करण्याच्या तंत्रज्ञानाचे अधिक तपशीलवार वर्णन करण्याचा प्रयत्न करेन. गोर्प (माझ्या स्वतःच्या जोडण्या, आधीच वर्णन केलेल्या काही फंक्शन शब्दांचा अपवाद वगळता, टेम्पलेट वाक्यरचनामध्ये अक्षरशः कोणतेही बदल करत नाहीत, त्यामुळे मूळ प्रणालीसाठी जवळजवळ सर्व दस्तऐवजीकरण गोर्प माझ्या आवृत्तीसाठी देखील योग्य).

स्त्रोत: www.habr.com