Hackathon DevDays'19 (भाग २): IntelliJ IDEA मा टेलिग्राम र व्याकरण जाँचका लागि अडियो सन्देश पार्सर

हामी वसन्त ह्याकाथन देवडेजका परियोजनाहरूको बारेमा कुरा गर्न जारी राख्छौं, जसमा मास्टर कार्यक्रमका विद्यार्थीहरूले भाग लिएका थिए। "सफ्टवेयर विकास / सफ्टवेयर इन्जिनियरिङ्".

खैर, हामी पाठकहरूलाई सामेल हुन आमन्त्रित गर्न चाहन्छौं VK - मास्टर विद्यार्थीहरूको समूह। यसमा हामी भर्ती र अध्ययन बारे नवीनतम समाचार प्रकाशित गर्नेछौं। खुला दिनको भिडियो पनि समूहमा फेला पार्न सकिन्छ। हामी तपाईंलाई सम्झाउँछौं: घटना अप्रिल 29 मा हुनेछ, विवरण अनलाइन.

टेलिग्राम डेस्कटप भ्वाइस सन्देश पार्सर

विचारका लेखक
खोरोशेव आर्ट्योम

लाइन मा

Khoroshev Artem - परियोजना प्रबन्धक / विकासकर्ता / QA
Eliseev Anton – व्यापार विश्लेषक / मार्केटिङ विशेषज्ञ
मारिया कुक्लिना – UI डिजाइनर/विकासकर्ता
Bakhvalov Pavel – UI डिजाइनर/विकासकर्ता/QA

हाम्रो दृष्टिकोणबाट, टेलिग्राम एक आधुनिक र सुविधाजनक मेसेन्जर हो, र यसको पीसी संस्करण लोकप्रिय र खुला स्रोत हो, जसले यसलाई परिमार्जन गर्न सम्भव बनाउँछ। ग्राहकले धेरै समृद्ध कार्यक्षमता प्रदान गर्दछ। मानक पाठ सन्देशहरूको अतिरिक्त, यसले भ्वाइस कलहरू, भिडियो सन्देशहरू, र भ्वाइस सन्देशहरू समावेश गर्दछ। र यो पछिल्लो हो कि कहिलेकाहीँ तिनीहरूको प्राप्तकर्तालाई असुविधा ल्याउँछ। कम्प्युटर वा ल्यापटपमा भ्वाइस सन्देश सुन्न प्रायः सम्भव हुँदैन। त्यहाँ परिवेशको आवाज हुन सक्छ, हेडफोनको अभाव हुन सक्छ, वा तपाईं सन्देशको सामग्री कसैले सुन्न चाहनुहुन्न। यदि तपाइँ स्मार्टफोनमा टेलिग्राम प्रयोग गर्नुहुन्छ भने त्यस्ता समस्याहरू प्रायः कहिल्यै उत्पन्न हुँदैनन्, किनकि तपाइँ यसलाई तपाइँको कानमा ल्याउन सक्नुहुन्छ, ल्यापटप वा पीसीको विपरीत। हामीले यो समस्या समाधान गर्ने प्रयास गरेका छौं।

DevDays मा हाम्रो परियोजनाको लक्ष्य टेलीग्राम डेस्कटप क्लाइन्टमा प्राप्त भ्वाइस सन्देशहरूलाई पाठमा अनुवाद गर्ने क्षमता थप्नु थियो (यसपछि टेलिग्राम डेस्कटप भनिन्छ)।

यस समयमा सबै एनालॉगहरू बटहरू हुन् जसमा तपाईंले अडियो सन्देश पठाउन र प्रतिक्रियामा पाठ प्राप्त गर्न सक्नुहुन्छ। हामी यससँग धेरै खुसी छैनौं: बोटमा सन्देश फर्वार्ड गर्नु धेरै सुविधाजनक छैन; हामी नेटिभ कार्यक्षमता पाउन चाहन्छौं। थप रूपमा, कुनै पनि बट तेस्रो पक्ष हो जसले वाक् पहिचान API र प्रयोगकर्ता बीच मध्यस्थको रूपमा कार्य गर्दछ, र यो कम्तिमा, असुरक्षित छ।

पहिले उल्लेख गरिएझैं, टेलिग्राम-डेस्कटपमा दुईवटा महत्त्वपूर्ण फाइदाहरू छन्: सजिलो र सञ्चालनको गति। र यो कुनै संयोग होइन, किनकि यो पूर्ण रूपमा C++ मा लेखिएको छ। र हामीले सीधै ग्राहकमा नयाँ कार्यक्षमता थप्ने निर्णय गरेपछि, हामीले यसलाई C++ मा विकास गर्नुपर्‍यो।

हाम्रो टोलीमा ४ जना थिए । सुरुमा, दुई व्यक्ति वाक् पहिचानको लागि उपयुक्त पुस्तकालय खोजिरहेका थिए, एक व्यक्ति टेलिग्राम-डेस्कटपको स्रोत कोड अध्ययन गर्दै थिए, अर्कोले निर्माण परियोजनालाई प्रयोग गर्दै थियो। टेलीग्राम डेस्कटप। पछि, सबैजना UI फिक्स गर्न र डिबग गर्न व्यस्त थिए।

यस्तो लाग्थ्यो कि इच्छित कार्यक्षमता लागू गर्न गाह्रो हुनेछैन, तर, सधैं जस्तै, कठिनाइहरू उत्पन्न भयो।

समस्याको समाधानमा दुईवटा स्वतन्त्र उपकार्यहरू समावेश थिए: उपयुक्त वाक् पहिचान उपकरण छनोट गर्ने र नयाँ कार्यक्षमताका लागि UI लागू गर्ने।

आवाज पहिचानको लागि पुस्तकालय छनोट गर्दा, हामीले तुरुन्तै सबै अफलाइन API हरू त्याग्नुपर्छ, किनभने भाषा मोडेलहरूले धेरै ठाउँ लिन्छन्। तर हामी एउटै भाषाको मात्र कुरा गर्दैछौं। यो स्पष्ट भयो कि हामीले अनलाइन एपीआई प्रयोग गर्नुपर्नेछ। पछि यो पत्ता लाग्यो कि गुगल, यान्डेक्स र माइक्रोसफ्ट जस्ता दिग्गजहरूको वाणी पहिचान सेवाहरू नि: शुल्क छैनन्, र हामीले परीक्षण अवधिमा सन्तुष्ट हुनुपर्दछ। नतिजाको रूपमा, गुगल स्पीच-टु-टेक्स्ट छनोट गरियो किनभने यसले तपाईंलाई सेवा प्रयोग गर्नको लागि टोकन प्राप्त गर्न अनुमति दिन्छ, जुन पूरै वर्षसम्म रहनेछ।

हामीले सामना गरेको दोस्रो समस्या C++ को केही कमजोरीहरूसँग सम्बन्धित छ - केन्द्रीकृत भण्डारको अभावमा विभिन्न पुस्तकालयहरूको चिडियाखाना। यस्तो हुन्छ कि टेलिग्राम डेस्कटप धेरै अन्य संस्करण-विशिष्ट पुस्तकालयहरूमा निर्भर गर्दछ। आधिकारिक भण्डार छ म्यानुअल परियोजना संयोजनको लागि। र उदाहरणका लागि निर्माण समस्याहरूको बारेमा खुला मुद्दाहरूको ठूलो संख्या पटक и два। सबै समस्याहरू उबुन्टु 14.04 को लागि बिल्ड स्क्रिप्ट लेखिएको तथ्यसँग सम्बन्धित थिए, र Ubuntu 18.04 अन्तर्गत सफलतापूर्वक टेलिग्राम निर्माण गर्न, परिवर्तनहरू गर्न आवश्यक थियो।

टेलिग्राम डेस्कटपले आफैंलाई भेला हुन धेरै समय लिन्छ: Intel Core i5-7200U भएको ल्यापटपमा, सबै निर्भरताहरूका साथ पूरा एसेम्बली (झण्डा -j 4) लगभग तीन घण्टा लाग्छ। यी मध्ये, लगभग 30 मिनेट क्लाइन्ट आफैलाई लिङ्क गरेर लिइन्छ (पछि यो पत्ता लाग्यो कि डिबग कन्फिगरेसनमा, लिङ्क गर्न लगभग 10 मिनेट लाग्छ), तर लिङ्किङ चरण प्रत्येक पटक परिवर्तन गरेपछि दोहोर्याउनु पर्छ।

समस्याहरूको बावजुद, हामीले कल्पना गरिएको विचार, साथै अद्यावधिक कार्यान्वयन गर्न व्यवस्थित गर्यौं स्क्रिप्ट निर्माण Ubuntu 18.04 को लागी। काम को एक प्रदर्शन मा देख्न सकिन्छ लिङ्क। हामीले धेरै एनिमेसनहरू पनि समावेश गर्दछौं। सबै भ्वाइस सन्देशहरूको छेउमा एउटा बटन देखा परेको छ, जसले तपाईंलाई सन्देशलाई पाठमा अनुवाद गर्न अनुमति दिन्छ। दायाँ क्लिक गरेर, तपाइँ थप रूपमा प्रसारणको लागि प्रयोग गरिने भाषा निर्दिष्ट गर्न सक्नुहुन्छ। द्वारा लिङ्क ग्राहक डाउनलोड को लागी उपलब्ध छ।

भण्डार।

हाम्रो विचारमा, यो धेरै प्रयोगकर्ताहरूको लागि सुविधाजनक हुने कार्यक्षमताको अवधारणाको राम्रो प्रमाण साबित भयो। हामी यसलाई टेलीग्राम डेस्कटपको भविष्यका रिलीजहरूमा हेर्ने आशा गर्दछौं।

IntelliJ IDEA मा परिष्कृत प्राकृतिक भाषा समर्थन

विचारका लेखक

Tankov Vladislav

लाइन मा

Tankov Vladislav (टोली नेतृत्व, LanguageTool र IntelliJ IDEA सँग काम गर्दै)
निकिता सोकोलोभ (LanguageTool सँग काम गर्दै UI सिर्जना गर्दै)
Khvorov Alexander (LanguageTool सँग काम गर्दै र प्रदर्शनलाई अनुकूलन गर्दै)
Sadovnikov अलेक्जेंडर (मार्कअप भाषा र कोड पार्सिङको लागि समर्थन)

हामीले IntelliJ IDEA को लागी एक प्लगइन विकास गरेका छौं जसले व्याकरण, हिज्जे र शैलीगत शुद्धता (अंग्रेजीमा यसलाई प्रूफरीडिङ भनिन्छ) को लागि विभिन्न पाठहरू (टिप्पणी र कागजातहरू, कोडमा शाब्दिक रेखाहरू, मार्कडाउन वा XML मार्कअपमा पाठ ढाँचा) जाँच गर्दछ।

परियोजनाको विचार मानक हिज्जे जाँच IntelliJ IDEA लाई व्याकरणको स्केलमा विस्तार गर्नु थियो, IDE भित्र एक प्रकारको व्याकरण बनाउन।

के भयो देख्न सक्नुहुन्छ लिङ्क.

ठीक छ, तल हामी प्लगइनको क्षमताहरू, साथै यसको निर्माणको क्रममा उत्पन्न भएका कठिनाइहरूको बारेमा थप विस्तारमा कुरा गर्नेछौं।

प्रेरणा

प्राकृतिक भाषाहरूमा पाठ लेख्नका लागि डिजाइन गरिएका धेरै उत्पादनहरू छन्, तर कागजातहरू र कोड टिप्पणीहरू प्रायः विकास वातावरणमा लेखिएका हुन्छन्। एकै समयमा, IDE हरूले कोडमा त्रुटिहरू फेला पार्ने उत्कृष्ट काम गर्छन्, तर प्राकृतिक भाषाहरूमा पाठहरूको लागि कमजोर रूपमा उपयुक्त छन्। यसले व्याकरण, विराम चिह्न, वा शैलीमा गल्तीहरू गर्न धेरै सजिलो बनाउँदछ विकास वातावरणले तिनीहरूलाई औंल्याउन बिना। प्रयोगकर्ता इन्टरफेस लेख्न गल्ती गर्न यो सबैभन्दा महत्त्वपूर्ण छ, किनकि यसले कोडको बुझाइ मात्र होइन, तर विकसित अनुप्रयोगका प्रयोगकर्ताहरूलाई पनि असर गर्नेछ।

सबैभन्दा लोकप्रिय र विकसित विकास वातावरण मध्ये एक IntelliJ IDEA, साथै IntelliJ प्लेटफर्ममा आधारित IDEs हो। IntelliJ प्लेटफर्ममा पहिले नै बिल्ट-इन स्पेलचेकर छ, तर यसले सरल व्याकरणीय त्रुटिहरूबाट पनि छुटकारा पाउन सक्दैन। हामीले एक लोकप्रिय प्राकृतिक भाषा विश्लेषण प्रणालीलाई IntelliJ IDEA मा एकीकृत गर्ने निर्णय गर्यौं।

कार्यान्वयन

हामीले हाम्रो आफ्नै पाठ प्रमाणिकरण प्रणाली सिर्जना गर्ने कार्य आफैलाई सेट गरेका छैनौं, त्यसैले हामीले अवस्थित समाधान प्रयोग गर्यौं। सबैभन्दा उपयुक्त विकल्प बाहिर निस्कियो भाषा टूल। इजाजतपत्रले हामीलाई हाम्रो उद्देश्यका लागि यसलाई स्वतन्त्र रूपमा प्रयोग गर्न अनुमति दियो: यो निःशुल्क छ, जाभामा लेखिएको र खुला स्रोत। थप रूपमा, यसले 25 भाषाहरूलाई समर्थन गर्दछ र पन्ध्र वर्ष भन्दा बढीको लागि विकासमा रहेको छ। यसको खुलापनको बावजुद, LanguageTool सशुल्क पाठ प्रमाणिकरण समाधानहरूको लागि एक गम्भीर प्रतिस्पर्धी हो, र यसले स्थानीय रूपमा काम गर्न सक्छ भन्ने तथ्य शाब्दिक रूपमा यसको हत्यारा विशेषता हो।

प्लगइन कोड छ GitHub मा भण्डारहरू। सम्पूर्ण परियोजना UI को लागि जाभा को एक सानो थप संग कोटलिन मा लेखिएको थियो। ह्याकाथनको समयमा, हामीले Markdown, JavaDoc, HTML र Plain Text को लागि समर्थन कार्यान्वयन गर्न व्यवस्थित गर्यौं। ह्याकाथन पछि, एक प्रमुख अपडेटले XML को लागि समर्थन थप्यो, जाभा, कोटलिन र पाइथनमा स्ट्रिङ लिटरल, र हिज्जे जाँच।

कठिनाइहरू

धेरै चाँडै हामीले महसुस गर्यौं कि यदि हामीले हरेक पटक निरीक्षणको लागि सबै पाठ LanguageTool मा फिड गर्छौं भने, त्यसपछि IDEA इन्टरफेस कुनै पनि कम वा कम गम्भीर पाठमा स्थिर हुनेछ, किनकि निरीक्षणले UI प्रवाहलाई रोक्छ। समस्या `ProgressManager.checkCancelled` चेक मार्फत हल गरिएको थियो - यदि IDEA ले निरीक्षण रद्द गर्ने समय हो भनी विश्वास गर्छ भने यो प्रकार्यले अपवाद दिन्छ।

यसले फ्रिजहरू पूर्ण रूपमा हटायो, तर यो प्रयोग गर्न असम्भव छ: पाठ प्रक्रिया गर्न धेरै लामो समय लाग्छ। यसबाहेक, हाम्रो अवस्थामा, प्राय: पाठको धेरै सानो भाग परिवर्तन हुन्छ र हामी परिणामहरू कुनै न कुनै रूपमा क्यास गर्न चाहन्छौं। हामीले ठ्याक्कै त्यही गर्यौं। प्रत्येक पटक सबै कुरा जाँच नगर्नको लागि, हामीले निश्चित रूपमा पाठलाई टुक्राहरूमा विभाजित गर्यौं र परिवर्तन भएकाहरूलाई मात्र जाँच गर्यौं। पाठहरू ठूला हुनसक्ने हुनाले र हामी क्यास लोड गर्न चाहँदैनौं, हामीले पाठहरू आफैंले होइन, तर तिनीहरूको ह्यासहरू भण्डारण गर्यौं। यसले प्लगइनलाई ठूला फाइलहरूमा पनि सहज रूपमा सञ्चालन गर्न अनुमति दियो।

LanguageTool ले २५ भन्दा बढी भाषाहरूलाई समर्थन गर्दछ, तर कुनै एक प्रयोगकर्तालाई ती सबै आवश्यक पर्ने सम्भावना छैन। म अनुरोधमा विशेष भाषाको लागि पुस्तकालयहरू डाउनलोड गर्ने अवसर दिन चाहन्थें (यदि तपाईंले UI मा टिक गर्नुभयो भने)। हामीले यसलाई लागू पनि गर्यौं, तर यो धेरै जटिल र अविश्वसनीय भयो। विशेष गरी, हामीले छुट्टै क्लासलोडर प्रयोग गरेर भाषाहरूको नयाँ सेटको साथ LanguageTool लोड गर्नुपर्ने थियो, र त्यसपछि यसलाई सावधानीपूर्वक प्रारम्भ गर्नुपर्छ। यसबाहेक, सबै पुस्तकालयहरू प्रयोगकर्ता .m25 भण्डारमा थिए, र प्रत्येक सुरुमा हामीले तिनीहरूको अखण्डता जाँच गर्नुपर्थ्यो। अन्तमा, हामीले निर्णय गर्यौं कि यदि प्रयोगकर्ताहरूलाई प्लगइनको आकारमा समस्या छ भने, हामी धेरै लोकप्रिय भाषाहरूको लागि छुट्टै प्लगइन प्रदान गर्नेछौं।

ह्याकाथन पछि

ह्याकाथन समाप्त भयो, तर प्लगइनमा काम साँघुरो टोलीसँग जारी रह्यो। म स्ट्रिङहरू, टिप्पणीहरू, र भाषा निर्माणहरू जस्तै चर र वर्ग नामहरू समर्थन गर्न चाहन्थे। हाल यो Java, Kotlin र Python को लागि मात्र समर्थित छ, तर हामी आशा गर्छौं कि यो सूची बढ्नेछ। हामीले धेरै साना बगहरू फिक्स गरेका छौं र Idea को निर्मित हिज्जे परीक्षकसँग थप उपयुक्त भएका छौं। थप रूपमा, XML समर्थन र हिज्जे जाँच देखा परेको छ। यो सबै हामीले हालै प्रकाशित गरेको दोस्रो संस्करणमा फेला पार्न सकिन्छ।

के अर्को छ?

यस्तो प्लगइन विकासकर्ताहरूको लागि मात्र होइन, प्राविधिक लेखकहरूको लागि पनि उपयोगी हुन सक्छ (प्रायः काम गर्दछ, उदाहरणका लागि, IDE मा XML सँग)। सम्भावित त्रुटिहरूको बारेमा सम्पादक सुझावहरूको रूपमा सहायक बिना तिनीहरूले हरेक दिन प्राकृतिक भाषाको साथ काम गर्नुपर्छ। हाम्रो प्लगइनले त्यस्ता संकेतहरू प्रदान गर्दछ र यसलाई उच्च स्तरको शुद्धतासँग गर्दछ।
हामी नयाँ भाषाहरू थपेर र पाठ जाँच व्यवस्थित गर्नको लागि सामान्य दृष्टिकोण अन्वेषण गरेर, प्लगइन विकास गर्ने योजना बनाउँछौं। हाम्रो तत्काल योजनाहरूमा शैलीगत प्रोफाइलहरूको कार्यान्वयन (नियमहरूको सेट जसले पाठको लागि शैली गाइड परिभाषित गर्दछ, उदाहरणका लागि, "जस्तै नलेख्नुहोस्, तर पूर्ण फारम लेख्नुहोस्"), शब्दकोश विस्तार गर्ने र प्रयोगकर्ता इन्टरफेस सुधार गर्ने (विशेष गरी, हामी प्रयोगकर्तालाई कुनै शब्दलाई बेवास्ता गर्ने मात्र होइन, वाणीको अंशलाई सङ्केत गर्दै शब्दकोषमा थप्ने अवसर दिन चाहन्छौं।

स्रोत: www.habr.com