DevDays'19 Hackathon (Част 2): Анализатор на гласови съобщения за Telegram и проверка на граматиката в IntelliJ IDEA

Продължаваме да говорим за проектите на пролетния хакатон DevDays, в който участваха студенти от магистърската програма "Разработка на софтуер / Софтуерно инженерство".

Между другото, бихме искали да поканим читателите да се присъединят VK група студенти-магистри. В него ще публикуваме последните новини за набиране и обучение. Видео от деня на отворените врати може да намерите и в групата. Напомняме ви: събитието ще се проведе на 29 април, подробности онлайн.

Анализатор на гласови съобщения на Telegram Desktop

Авторът на идеята
Хорошев Артьом

Структура на командата

Хорошев Артем – ръководител на проекта/разработчик/QA
Елисеев Антон – бизнес анализатор/маркетинг специалист
Мария Куклина – UI дизайнер/разработчик
Бахвалов Павел – UI дизайнер/разработчик/QA

От наша гледна точка Telegram е модерен и удобен месинджър, а компютърната му версия е популярна и с отворен код, което дава възможност за нейното модифициране. Клиентът предлага доста богата функционалност. В допълнение към стандартните текстови съобщения, той съдържа гласови повиквания, видео съобщения и гласови съобщения. И именно последните понякога носят неудобство на своя получател. Често не е възможно да слушате гласово съобщение, докато сте на компютър или лаптоп. Може да има околен шум, липса на слушалки или не искате никой да чуе съдържанието на съобщението. Такива проблеми почти никога не възникват, ако използвате Telegram на смартфон, защото можете просто да го донесете до ухото си, за разлика от лаптоп или компютър. Опитахме се да разрешим този проблем.

Целта на нашия проект в DevDays беше да добавим възможността за превод на получени гласови съобщения в текст към настолния клиент на Telegram (наричан по-нататък Telegram Desktop).

Всички аналози в момента са ботове, на които можете да изпратите аудио съобщение и да получите текст в отговор. Не сме много доволни от това: препращането на съобщение до бот не е много удобно; бихме искали да имаме естествена функционалност. Освен това всеки бот е трета страна, която действа като посредник между API за разпознаване на реч и потребителя, а това е най-малкото опасно.

Както беше отбелязано по-рано, telegram-desktop има две значителни предимства: лекота и скорост на работа. И това не е случайно, защото е написана изцяло на C++. И тъй като решихме да добавим нова функционалност директно към клиента, трябваше да я разработим в C++.

В екипа ни имаше 4 човека. Първоначално двама души търсеха подходяща библиотека за разпознаване на реч, един човек изучаваше изходния код на работния плот на Telegram, друг внедряваше проекта за изграждане Телеграма Desktop. По-късно всички бяха заети с коригиране на потребителския интерфейс и отстраняване на грешки.

Изглеждаше, че прилагането на предвидената функционалност няма да е трудно, но, както винаги се случва, възникнаха трудности.

Решението на проблема се състоеше от две независими подзадачи: избор на подходящ инструмент за разпознаване на реч и внедряване на потребителски интерфейс за нова функционалност.

Когато избирахме библиотека за гласово разпознаване, веднага трябваше да изоставим всички офлайн API, тъй като езиковите модели заемат много място. Но ние говорим само за един език. Стана ясно, че ще трябва да използваме онлайн API. По-късно се оказа, че услугите за разпознаване на реч на такива гиганти като Google, Yandex и Microsoft изобщо не са безплатни и ще трябва да се задоволим с пробен период. В резултат на това беше избран Google Speech-To-Text, защото ви позволява да получите токен за използване на услугата, който ще продължи цяла година.

Вторият проблем, който срещнахме, е свързан с някои от недостатъците на C++ - зоопарк от различни библиотеки при липса на централизирано хранилище. Случва се така, че Telegram Desktop зависи от много други библиотеки, специфични за версията. Официалното хранилище има инструкция за сглобяване на проекта. А също и голям брой отворени въпроси относно проблеми с изграждането, например път и два. Всички проблеми се оказаха свързани с факта, че скриптът за изграждане е написан за Ubuntu 14.04 и за да се изгради успешно telegram под Ubuntu 18.04, трябваше да се направят промени.

Самият Telegram Desktop отнема доста време за сглобяване: на лаптоп с Intel Core i5-7200U пълното сглобяване (флаг -j 4) с всички зависимости отнема около три часа. От тях около 30 минути отнема свързването на самия клиент (по-късно се оказа, че в конфигурацията за отстраняване на грешки свързването отнема около 10 минути), но въпреки това етапът на свързване трябва да се повтаря всеки път след извършване на промени.

Въпреки проблемите, успяхме да реализираме замислената идея, както и да актуализираме скрипт за изграждане за Ubuntu 18.04. Демонстрация на работата може да се види на връзка. Включваме и няколко анимации. До всички гласови съобщения се появи бутон, който ви позволява да преведете съобщението в текст. Чрез щракване с десен бутон можете допълнително да посочите езика, който ще се използва за излъчване. от връзка клиент, достъпен за изтегляне.

Хранилище.

По наше мнение се оказа добро доказателство за концепцията за функционалност, което би било удобно за много потребители. Надяваме се да го видим в бъдещите версии на Telegram Desktop.

Подобрена поддръжка на естествен език в IntelliJ IDEA

Авторът на идеята

Танков Владислав

Структура на командата

Танков Владислав (ръководител на екип, работа с LanguageTool и IntelliJ IDEA)
Никита Соколов (работа с LanguageTool и създаване на UI)
Хворов Александър (работа с LanguageTool и оптимизиране на производителността)
Садовников Александър (поддръжка за разбор на езици за маркиране и код)

Разработихме плъгин за IntelliJ IDEA, който проверява различни текстове (коментари и документация, буквални редове в кода, текст, форматиран в Markdown или XML маркиране) за граматична, правописна и стилистична точност (на английски това се нарича корекция).

Идеята на проекта беше да се разшири стандартната проверка на правописа IntelliJ IDEA до мащаба на Grammarly, за да се направи един вид Grammarly в IDE.

Можете да видите какво се случи по ссылке.

Е, по-долу ще говорим по-подробно за възможностите на плъгина, както и за трудностите, възникнали по време на неговото създаване.

Мотивиране

Има много продукти, предназначени за писане на текст на естествени езици, но документацията и коментарите на кода най-често се пишат в среди за разработка. В същото време IDE вършат отлична работа за намиране на грешки в кода, но не са подходящи за текстове на естествени езици. Това прави много лесно да се правят грешки в граматиката, пунктуацията или стила, без средата за разработка да ги посочи. Най-критично е да направите грешка при писането на потребителския интерфейс, тъй като това ще засегне не само разбираемостта на кода, но и самите потребители на разработеното приложение.

Една от най-популярните и развити среди за разработка е IntelliJ IDEA, както и IDE, базирани на платформата IntelliJ. IntelliJ Platform вече има вградена проверка на правописа, но тя не премахва дори най-простите граматически грешки. Решихме да интегрираме една от популярните системи за анализ на естествен език в IntelliJ IDEA.

Изпълнение

Не си поставихме за задача да създадем собствена система за проверка на текста, затова използвахме съществуващо решение. Най-подходящият вариант се оказа Езиков инструмент. Лицензът ни позволи свободно да го използваме за нашите цели: той е безплатен, написан на Java и с отворен код. В допълнение, той поддържа 25 езика и се разработва повече от петнадесет години. Въпреки своята отвореност, LanguageTool е сериозен конкурент на платените решения за проверка на текст и фактът, че може да работи локално, е буквално убийствената му функция.

Кодът на приставката е вътре хранилища в GitHub. Целият проект е написан на Kotlin с малка добавка на Java за потребителския интерфейс. По време на хакатона успяхме да внедрим поддръжка за Markdown, JavaDoc, HTML и Plain Text. След хакатона голяма актуализация добави поддръжка за XML, низови литерали в Java, Kotlin и Python и проверка на правописа.

затруднения

Доста бързо разбрахме, че ако подаваме целия текст към LanguageTool за проверка всеки път, тогава интерфейсът на IDEA ще замръзне върху всеки повече или по-малко сериозен текст, тъй като самата проверка блокира потока на потребителския интерфейс. Проблемът беше разрешен чрез проверката `ProgressManager.checkCancelled` - тази функция хвърля изключение, ако IDEA смята, че е време да прекъсне проверката.

Това напълно елиминира замръзванията, но е невъзможно да се използва: обработката на текста отнема много време. Освен това в нашия случай най-често се променя много малка част от текста и искаме някак да кешираме резултатите. Точно това направихме. За да не проверяваме всичко всеки път, детерминистично разделихме текста на части и проверихме само тези, които са се променили. Тъй като текстовете могат да бъдат големи и не искахме да зареждаме кеша, съхранихме не самите текстове, а техните хешове. Това позволи на плъгина да работи гладко дори при големи файлове.

LanguageTool поддържа повече от 25 езика, но е малко вероятно някой потребител да има нужда от всички. Исках да дам възможност за изтегляне на библиотеки за определен език при поискване (ако го отметнете в потребителския интерфейс). Дори внедрихме това, но се оказа твърде сложно и ненадеждно. По-специално, трябваше да заредим LanguageTool с нов набор от езици, използвайки отделен зареждащ клас и след това внимателно да го инициализираме. В същото време всички библиотеки бяха в потребителско хранилище .m2 и при всяко стартиране трябваше да проверяваме тяхната цялост. В крайна сметка решихме, че ако потребителите имат проблеми с размера на плъгина, ще предоставим отделен плъгин за няколко от най-популярните езици.

След хакатона

Хакатонът приключи, но работата по плъгина продължи с по-тесен екип. Исках да поддържам низове, коментари и дори езикови конструкции като имена на променливи и класове. Понастоящем това се поддържа само за Java, Kotlin и Python, но се надяваме, че този списък ще расте. Поправихме много малки грешки и станахме по-съвместими с вградената програма за проверка на правописа на Idea. Освен това се появи XML поддръжка и проверка на правописа. Всичко това можете да намерите във втората версия, която публикувахме наскоро.

Каква е следващата?

Такъв плъгин може да бъде полезен не само за разработчици, но и за технически писатели (често работещи, например, с XML в IDE). Всеки ден те трябва да работят с естествен език, без да имат помощник под формата на съвети на редактора за възможни грешки. Нашият плъгин предоставя такива съвети и го прави с висока степен на точност.
Планираме да разработим плъгина, както чрез добавяне на нови езици, така и чрез проучване на общ подход за организиране на проверка на текст. Нашите непосредствени планове включват внедряване на стилистични профили (набори от правила, които определят стилово ръководство за текст, например „не пишете напр., а пишете пълната форма“), разширяване на речника и подобряване на потребителския интерфейс (по-специално, искаме да дадем на потребителя възможност не просто да игнорира дума, но и да я добави в речника, като посочи частта на речта).

Източник: www.habr.com