DevDays'19 Hackathon (Part 2): IntelliJ IDEA-তে টেলিগ্রাম এবং গ্রামার চেকারের জন্য ভয়েস মেসেজ পার্সার

আমরা বসন্ত হ্যাকাথন DevDays এর প্রকল্পগুলি সম্পর্কে কথা বলতে থাকি, যেখানে মাস্টার্স প্রোগ্রামের ছাত্ররা অংশগ্রহণ করেছিল "সফটওয়্যার ডেভেলপমেন্ট / সফটওয়্যার ইঞ্জিনিয়ারিং".

যাইহোক, আমরা পাঠকদের যোগদানের জন্য আমন্ত্রণ জানাতে চাই VK- মাস্টার্সের ছাত্রদের গ্রুপ. এতে আমরা নিয়োগ ও অধ্যয়নের সর্বশেষ খবর প্রকাশ করব। গ্রুপে খোলা দিনের একটি ভিডিওও পাওয়া যাবে। আমরা আপনাকে মনে করিয়ে দিচ্ছি: ইভেন্টটি 29 এপ্রিল, বিস্তারিত হবে অনলাইন.

টেলিগ্রাম ডেস্কটপ ভয়েস মেসেজ পার্সার

ধারণার লেখক
খোরোশেভ আর্টিওম

সারিবদ্ধ

খোরোশেভ আর্টেম - প্রজেক্ট ম্যানেজার/ডেভেলপার/কিউএ
এলিসিভ অ্যান্টন - ব্যবসা বিশ্লেষক/বিপণন বিশেষজ্ঞ
মারিয়া কুকলিনা - UI ডিজাইনার/ডেভেলপার
বাখভালভ পাভেল – UI ডিজাইনার/ডেভেলপার/QA

আমাদের দৃষ্টিকোণ থেকে, টেলিগ্রাম একটি আধুনিক এবং সুবিধাজনক মেসেঞ্জার, এবং এর পিসি সংস্করণ জনপ্রিয় এবং ওপেন সোর্স, যা এটিকে সংশোধন করা সম্ভব করে তোলে। ক্লায়েন্ট বেশ সমৃদ্ধ কার্যকারিতা অফার করে। সাধারণ পাঠ্য বার্তাগুলি ছাড়াও, এতে ভয়েস কল, ভিডিও বার্তা এবং ভয়েস বার্তা রয়েছে৷ এবং এটি পরেরটি যা কখনও কখনও তাদের প্রাপকের অসুবিধা নিয়ে আসে। কম্পিউটার বা ল্যাপটপে থাকা অবস্থায় প্রায়ই ভয়েস মেসেজ শোনা সম্ভব হয় না। পারিপার্শ্বিক শব্দ হতে পারে, হেডফোনের অভাব হতে পারে, অথবা আপনি চান না যে কেউ বার্তার বিষয়বস্তু শুনুক। আপনি যদি স্মার্টফোনে টেলিগ্রাম ব্যবহার করেন তবে এই জাতীয় সমস্যাগুলি প্রায় কখনওই উদ্ভূত হয় না, কারণ আপনি ল্যাপটপ বা পিসির বিপরীতে এটি আপনার কানে আনতে পারেন। আমরা এই সমস্যা সমাধানের চেষ্টা করেছি।

DevDays-এ আমাদের প্রকল্পের লক্ষ্য ছিল টেলিগ্রাম ডেস্কটপ ক্লায়েন্টে প্রাপ্ত ভয়েস বার্তাগুলিকে পাঠ্যে অনুবাদ করার ক্ষমতা যোগ করা (এরপরে টেলিগ্রাম ডেস্কটপ হিসাবে উল্লেখ করা হয়েছে)।

এই মুহুর্তে সমস্ত অ্যানালগগুলি বট যা আপনি একটি অডিও বার্তা পাঠাতে এবং প্রতিক্রিয়া হিসাবে একটি পাঠ্য পেতে পারেন৷ আমরা এতে খুব খুশি নই: বটে একটি বার্তা ফরোয়ার্ড করা খুব সুবিধাজনক নয়; আমরা নেটিভ কার্যকারিতা পেতে চাই। উপরন্তু, যেকোনো বট হল একটি তৃতীয় পক্ষ যেটি স্পিচ রিকগনিশন API এবং ব্যবহারকারীর মধ্যে মধ্যস্থতাকারী হিসাবে কাজ করে এবং এটি সর্বনিম্নভাবে অনিরাপদ।

যেমনটি আগেই উল্লেখ করা হয়েছে, টেলিগ্রাম-ডেস্কটপের দুটি উল্লেখযোগ্য সুবিধা রয়েছে: সহজ এবং কাজ করার গতি। এবং এটি কোন কাকতালীয় নয়, কারণ এটি সম্পূর্ণভাবে C++ এ লেখা। এবং যেহেতু আমরা সরাসরি ক্লায়েন্টে নতুন কার্যকারিতা যোগ করার সিদ্ধান্ত নিয়েছি, তাই আমাদের এটি C++ এ বিকাশ করতে হয়েছিল।

আমাদের দলে ছিল ৪ জন। প্রাথমিকভাবে, দুই ব্যক্তি বক্তৃতা শনাক্তকরণের জন্য একটি উপযুক্ত লাইব্রেরি খুঁজছিলেন, একজন ব্যক্তি টেলিগ্রাম-ডেস্কটপের সোর্স কোড অধ্যয়ন করছিলেন, অন্যজন নির্মাণ প্রকল্পটি স্থাপন করছিলেন টেলিগ্রাম ডেস্কটপ. পরে, সবাই ইউআই ঠিক করতে এবং ডিবাগিং করতে ব্যস্ত ছিল।

দেখে মনে হয়েছিল যে উদ্দেশ্যমূলক কার্যকারিতা বাস্তবায়ন করা কঠিন হবে না, তবে, সবসময়ের মতো, অসুবিধা দেখা দিয়েছে।

সমস্যার সমাধান দুটি স্বাধীন সাবটাস্ক নিয়ে গঠিত: একটি উপযুক্ত বক্তৃতা শনাক্তকরণ টুল নির্বাচন করা এবং নতুন কার্যকারিতার জন্য একটি UI প্রয়োগ করা।

ভয়েস স্বীকৃতির জন্য একটি লাইব্রেরি বেছে নেওয়ার সময়, আমাদের অবিলম্বে সমস্ত অফলাইন API ত্যাগ করতে হয়েছিল, কারণ ভাষা মডেলগুলি অনেক জায়গা নেয়৷ কিন্তু আমরা শুধু একটি ভাষার কথা বলছি। এটা পরিষ্কার হয়ে গেল যে আমাদের অনলাইন API ব্যবহার করতে হবে। পরে দেখা গেল যে গুগল, ইয়ানডেক্স এবং মাইক্রোসফ্টের মতো দৈত্যদের স্পিচ রিকগনিশন পরিষেবাগুলি একেবারেই বিনামূল্যে নয় এবং আমাদের একটি পরীক্ষার সময় নিয়ে সন্তুষ্ট থাকতে হবে। ফলস্বরূপ, Google স্পিচ-টু-টেক্সট বেছে নেওয়া হয়েছিল কারণ এটি আপনাকে পরিষেবাটি ব্যবহার করার জন্য একটি টোকেন পেতে দেয়, যা পুরো বছর ধরে চলবে।

আমরা যে দ্বিতীয় সমস্যার সম্মুখীন হয়েছি তা হল C++-এর কিছু ত্রুটির সাথে সম্পর্কিত - একটি কেন্দ্রীভূত সংগ্রহস্থলের অনুপস্থিতিতে বিভিন্ন লাইব্রেরির একটি চিড়িয়াখানা। এটি তাই ঘটে যে টেলিগ্রাম ডেস্কটপ অন্যান্য অনেক সংস্করণ-নির্দিষ্ট লাইব্রেরির উপর নির্ভর করে। সরকারী ভান্ডার আছে নির্দেশ প্রকল্প একত্রিত করার জন্য। এবং বিল্ড সমস্যা সম্পর্কে একটি বড় সংখ্যক উন্মুক্ত সমস্যা, উদাহরণস্বরূপ সময় и два. সমস্ত সমস্যা উবুন্টু 14.04 এর জন্য বিল্ড স্ক্রিপ্ট লেখা হয়েছিল এবং উবুন্টু 18.04 এর অধীনে সফলভাবে টেলিগ্রাম তৈরি করার জন্য, পরিবর্তনগুলি করতে হয়েছিল।

টেলিগ্রাম ডেস্কটপ নিজেই একত্রিত হতে বেশ দীর্ঘ সময় নেয়: একটি ইন্টেল কোর i5-7200U সহ একটি ল্যাপটপে, সমস্ত নির্ভরতা সহ সম্পূর্ণ সমাবেশ (পতাকা -j 4) প্রায় তিন ঘন্টা সময় নেয়। এর মধ্যে, ক্লায়েন্ট নিজেই লিঙ্ক করার মাধ্যমে প্রায় 30 মিনিট নেওয়া হয় (পরে দেখা গেল যে ডিবাগ কনফিগারেশনে, লিঙ্ক করতে প্রায় 10 মিনিট সময় লাগে), তবে পরিবর্তন করার পর প্রতিবার লিঙ্কিং পর্যায়ে পুনরাবৃত্তি করতে হবে।

সমস্যা থাকা সত্ত্বেও, আমরা কল্পিত ধারণা বাস্তবায়নের পাশাপাশি আপডেট করতে পেরেছি স্ক্রিপ্ট তৈরি করুন উবুন্টু 18.04 এর জন্য। কাজের একটি প্রদর্শনী এ দেখা যাবে লিংক. আমরা বেশ কিছু অ্যানিমেশনও অন্তর্ভুক্ত করি। সমস্ত ভয়েস বার্তাগুলির পাশে একটি বোতাম উপস্থিত হয়েছে, যা আপনাকে বার্তাটিকে পাঠ্যে অনুবাদ করতে দেয়৷ ডান-ক্লিক করে, আপনি অতিরিক্তভাবে যে ভাষাটি সম্প্রচারের জন্য ব্যবহার করা হবে তা নির্দিষ্ট করতে পারেন। দ্বারা লিংক ক্লায়েন্ট ডাউনলোডের জন্য উপলব্ধ।

ভান্ডার।

আমাদের মতে, এটি কার্যকারিতার ধারণার একটি ভাল প্রমাণ হিসাবে পরিণত হয়েছে যা অনেক ব্যবহারকারীর জন্য সুবিধাজনক হবে। আমরা টেলিগ্রাম ডেস্কটপের ভবিষ্যতের রিলিজে এটি দেখতে পাব বলে আশা করি।

IntelliJ IDEA-তে উন্নত প্রাকৃতিক ভাষা সমর্থন

ধারণার লেখক

ট্যাঙ্কভ ভ্লাদিস্লাভ

সারিবদ্ধ

ট্যাঙ্কভ ভ্লাদিস্লাভ (টিম লিড, ল্যাঙ্গুয়েজটুল এবং ইন্টেলিজে আইডিইএর সাথে কাজ করা)
নিকিতা সোকোলভ (LanguageTool এর সাথে কাজ করা এবং UI তৈরি করা)
খভোরভ আলেকজান্ডার (LanguageTool এর সাথে কাজ করা এবং কর্মক্ষমতা অপ্টিমাইজ করা)
সাদভনিকভ আলেকজান্ডার (মার্কআপ ভাষা এবং কোড পার্স করার জন্য সমর্থন)

আমরা IntelliJ IDEA-এর জন্য একটি প্লাগইন তৈরি করেছি যা ব্যাকরণগত, বানান এবং শৈলীগত নির্ভুলতার জন্য বিভিন্ন পাঠ্য (মন্তব্য এবং ডকুমেন্টেশন, কোডের আক্ষরিক লাইন, মার্কডাউন বা XML মার্কআপে ফর্ম্যাট করা) পরীক্ষা করে (ইংরেজিতে একে প্রুফরিডিং বলা হয়)।

প্রজেক্টের ধারণাটি ছিল স্ট্যান্ডার্ড বানান চেক IntelliJ IDEA কে গ্রামারলি স্কেলে প্রসারিত করা, IDE-এর ভিতরে এক ধরনের গ্রামারলি তৈরি করা।

আপনি কি ঘটেছে দেখতে পারেন লিংক.

ঠিক আছে, নীচে আমরা প্লাগইনটির ক্ষমতা সম্পর্কে আরও বিশদে কথা বলব, সেইসাথে এটি তৈরির সময় যে অসুবিধাগুলি দেখা দিয়েছে।

প্রেরণা

প্রাকৃতিক ভাষায় পাঠ্য লেখার জন্য ডিজাইন করা অনেক পণ্য রয়েছে, তবে ডকুমেন্টেশন এবং কোড মন্তব্যগুলি প্রায়শই উন্নয়ন পরিবেশে লেখা হয়। একই সময়ে, আইডিইগুলি কোডে ত্রুটি খুঁজে বের করার জন্য একটি চমৎকার কাজ করে, কিন্তু প্রাকৃতিক ভাষায় পাঠ্যের জন্য খারাপভাবে উপযুক্ত। এটি বিকাশের পরিবেশকে নির্দেশ না করে ব্যাকরণ, বিরাম চিহ্ন বা শৈলীতে ভুল করা খুব সহজ করে তোলে। ইউজার ইন্টারফেস লিখতে ভুল করা সবচেয়ে গুরুত্বপূর্ণ, কারণ এটি শুধুমাত্র কোডের বোধগম্যতাকেই প্রভাবিত করবে না, বরং উন্নত অ্যাপ্লিকেশনের ব্যবহারকারীদেরও প্রভাবিত করবে।

সবচেয়ে জনপ্রিয় এবং উন্নত উন্নয়ন পরিবেশগুলির মধ্যে একটি হল IntelliJ IDEA, সেইসাথে IntelliJ প্ল্যাটফর্মের উপর ভিত্তি করে আইডিই। IntelliJ প্ল্যাটফর্মে ইতিমধ্যে একটি অন্তর্নির্মিত বানান পরীক্ষক রয়েছে, তবে এটি এমনকি সহজতম ব্যাকরণগত ত্রুটিগুলি থেকেও মুক্তি পায় না। আমরা IntelliJ IDEA-তে জনপ্রিয় প্রাকৃতিক ভাষা বিশ্লেষণ সিস্টেমগুলির মধ্যে একটিকে সংহত করার সিদ্ধান্ত নিয়েছি।

বাস্তবায়ন

আমরা আমাদের নিজস্ব পাঠ্য যাচাইকরণ সিস্টেম তৈরি করার কাজটি সেট করিনি, তাই আমরা একটি বিদ্যমান সমাধান ব্যবহার করেছি। সবচেয়ে উপযুক্ত বিকল্প হতে পরিণত ল্যাঙ্গুয়েজুল. লাইসেন্সটি আমাদের উদ্দেশ্যে এটিকে অবাধে ব্যবহার করার অনুমতি দিয়েছে: এটি বিনামূল্যে, জাভা এবং ওপেন সোর্সে লেখা। উপরন্তু, এটি 25টি ভাষা সমর্থন করে এবং পনের বছরেরও বেশি সময় ধরে বিকাশে রয়েছে। এর উন্মুক্ততা সত্ত্বেও, LanguageTool হল অর্থপ্রদত্ত পাঠ্য যাচাইকরণ সমাধানগুলির একটি গুরুতর প্রতিযোগী, এবং এটি যে স্থানীয়ভাবে কাজ করতে পারে তা আক্ষরিক অর্থেই এর হত্যাকারী বৈশিষ্ট্য।

প্লাগইন কোড আছে GitHub এ সংগ্রহস্থল. পুরো প্রকল্পটি UI-এর জন্য জাভা-এর একটি ছোট সংযোজন সহ কোটলিনে লেখা হয়েছিল। হ্যাকাথনের সময়, আমরা মার্কডাউন, জাভাডক, এইচটিএমএল এবং প্লেইন টেক্সটের জন্য সমর্থন বাস্তবায়ন করতে পেরেছি। হ্যাকাথনের পরে, একটি বড় আপডেট XML-এর জন্য সমর্থন যোগ করেছে, জাভা, কোটলিন এবং পাইথনে স্ট্রিং লিটারেল এবং বানান পরীক্ষা।

অসুবিধা

বেশ দ্রুতই আমরা বুঝতে পেরেছি যে আমরা যদি প্রতিবার পরিদর্শনের জন্য LanguageTool-এ সমস্ত টেক্সট ফিড করি, তাহলে IDEA ইন্টারফেস কম-বেশি গুরুতর টেক্সটে জমা হয়ে যাবে, যেহেতু পরিদর্শন নিজেই UI প্রবাহকে ব্লক করে। সমস্যাটি `ProgressManager.checkCancelled` চেকের মাধ্যমে সমাধান করা হয়েছে - যদি IDEA বিশ্বাস করে যে পরিদর্শন বাতিল করার সময় এসেছে তবে এই ফাংশনটি একটি ব্যতিক্রম ছুঁড়েছে।

এটি হিমায়িতগুলি সম্পূর্ণরূপে নির্মূল করেছে, তবে এটি ব্যবহার করা অসম্ভব: পাঠ্যটি প্রক্রিয়া করতে খুব দীর্ঘ সময় নেয়। তদুপরি, আমাদের ক্ষেত্রে, প্রায়শই পাঠ্যের একটি খুব ছোট অংশ পরিবর্তিত হয় এবং আমরা ফলাফলগুলিকে কোনওভাবে ক্যাশে করতে চাই। আমরা ঠিক কি তাই. প্রতিবার সবকিছু পরীক্ষা না করার জন্য, আমরা পাঠ্যটিকে নির্দিষ্টভাবে টুকরো টুকরো করে বিভক্ত করেছি এবং শুধুমাত্র যেগুলি পরিবর্তিত হয়েছে তা পরীক্ষা করেছি। যেহেতু পাঠ্যগুলি বড় হতে পারে এবং আমরা ক্যাশে লোড করতে চাইনি, তাই আমরা পাঠ্যগুলি নিজেরাই সংরক্ষণ করিনি, তবে তাদের হ্যাশগুলি সংরক্ষণ করেছি। এটি প্লাগইনটিকে এমনকি বড় ফাইলগুলিতেও মসৃণভাবে কাজ করার অনুমতি দেয়।

LanguageTool 25 টিরও বেশি ভাষা সমর্থন করে, তবে এটি অসম্ভাব্য যে কোনও এক ব্যবহারকারীর সেগুলি সবগুলির প্রয়োজন। আমি অনুরোধের ভিত্তিতে একটি নির্দিষ্ট ভাষার জন্য লাইব্রেরি ডাউনলোড করার সুযোগ দিতে চেয়েছিলাম (যদি আপনি এটি UI এ টিক দেন)। আমরা এমনকি এটি বাস্তবায়ন করেছি, কিন্তু এটি খুব জটিল এবং অবিশ্বস্ত হতে পরিণত হয়েছে। বিশেষ করে, আমাদের আলাদা ক্লাসলোডার ব্যবহার করে ভাষার একটি নতুন সেট সহ LanguageTool লোড করতে হয়েছিল এবং তারপর সাবধানে এটি শুরু করতে হয়েছিল। একই সময়ে, সমস্ত লাইব্রেরি একটি ব্যবহারকারী .m2 সংগ্রহস্থলে ছিল এবং প্রতিটি শুরুতে আমাদের তাদের সততা পরীক্ষা করতে হয়েছিল। শেষ পর্যন্ত, আমরা সিদ্ধান্ত নিয়েছি যে যদি ব্যবহারকারীদের প্লাগইনের আকার নিয়ে সমস্যা হয়, তাহলে আমরা বেশ কয়েকটি জনপ্রিয় ভাষার জন্য একটি পৃথক প্লাগইন প্রদান করব।

হ্যাকাথনের পর

হ্যাকাথন শেষ হয়েছে, কিন্তু প্লাগইনের কাজ একটি সংকীর্ণ দলের সাথে অব্যাহত রয়েছে। আমি স্ট্রিং, মন্তব্য এবং এমনকি ভেরিয়েবল এবং ক্লাসের নামগুলির মতো ভাষা গঠনগুলিকে সমর্থন করতে চেয়েছিলাম। বর্তমানে এটি শুধুমাত্র Java, Kotlin এবং Python এর জন্য সমর্থিত, কিন্তু আমরা আশা করি এই তালিকাটি বাড়বে। আমরা অনেক ছোট বাগ সংশোধন করেছি এবং Idea-এর অন্তর্নির্মিত বানান পরীক্ষকের সাথে আরও সামঞ্জস্যপূর্ণ হয়েছি। উপরন্তু, XML সমর্থন এবং বানান পরীক্ষা প্রদর্শিত হয়েছে. এই সমস্ত দ্বিতীয় সংস্করণে পাওয়া যাবে, যা আমরা সম্প্রতি প্রকাশ করেছি।

এরপরে কী?

এই জাতীয় প্লাগইন কেবল বিকাশকারীদের জন্যই নয়, প্রযুক্তিগত লেখকদের জন্যও কার্যকর হতে পারে (প্রায়শই কাজ করে, উদাহরণস্বরূপ, একটি IDE-তে XML সহ)। সম্ভাব্য ত্রুটি সম্পর্কে সম্পাদকের টিপস আকারে একজন সহকারী ছাড়াই প্রতিদিন তাদের স্বাভাবিক ভাষা দিয়ে কাজ করতে হবে। আমাদের প্লাগইন এই ধরনের ইঙ্গিত প্রদান করে এবং এটি উচ্চ মাত্রার নির্ভুলতার সাথে করে।
আমরা নতুন ভাষা যোগ করে এবং পাঠ্য পরীক্ষা সংগঠিত করার জন্য একটি সাধারণ পদ্ধতির অন্বেষণ করে প্লাগইনটি বিকাশ করার পরিকল্পনা করছি। আমাদের তাৎক্ষণিক পরিকল্পনার মধ্যে রয়েছে স্টাইলিস্টিক প্রোফাইল বাস্তবায়ন (নিয়মগুলির সেট যা পাঠ্যের জন্য একটি শৈলী নির্দেশিকা সংজ্ঞায়িত করে, উদাহরণস্বরূপ, "উদাহরণস্বরূপ লিখবেন না, তবে সম্পূর্ণ ফর্মটি লিখুন"), অভিধান প্রসারিত করা এবং ব্যবহারকারীর ইন্টারফেস উন্নত করা (বিশেষ করে, আমরা ব্যবহারকারীকে শুধুমাত্র একটি শব্দ উপেক্ষা করার সুযোগ দিতে চাই না, তবে এটি অভিধানে যোগ করার সুযোগ দিতে চাই, বক্তৃতার অংশ নির্দেশ করে)।

সূত্র: www.habr.com