Hackathon DevDays'19 (дел 2): анализатор на аудио пораки за проверка на телеграма и граматика во IntelliJ IDEA

Продолжуваме да зборуваме за проектите на пролетниот хакатон DevDays, во кој учествуваа студенти на магистерската програма „Развој на софтвер / софтверско инженерство“.

Патем, би сакале да ги поканиме читателите да се придружат VK група студенти на магистерски студии. Во него ќе ги објавиме најновите вести за регрутирање и студирање. Во групата може да се најде и видео од отворениот ден. Потсетуваме: настанот ќе се одржи на 29 април, детали онлајн.

Парсер за гласовни пораки на работната површина на Telegram

Автор на идеја
Хорошев Артјом

Командна структура

Хорошев Артем – проект менаџер/програмер/QA
Елисеев Антон – деловен аналитичар/маркетинг специјалист
Марија Куклина – дизајнер/програмер на UI
Бахвалов Павел – дизајнер на кориснички интерфејс/програмер/QA

Од наша гледна точка, Telegram е модерен и удобен гласник, а неговата верзија за компјутер е популарна и со отворен код, што овозможува нејзино менување. Клиентот нуди доста богата функционалност. Покрај стандардните текстуални пораки, содржи гласовни повици, видео пораки и гласовни пораки. И тоа е второто што понекогаш му носи непријатности на нивниот примач. Честопати не е можно да се слуша говорна порака додека сте на компјутер или лаптоп. Може да има амбиентален шум, недостаток на слушалки или не сакате некој да ја слушне содржината на пораката. Вакви проблеми речиси никогаш не се јавуваат ако користите Telegram на паметен телефон, бидејќи едноставно можете да го доведете до уво, за разлика од лаптоп или компјутер. Се обидовме да го решиме овој проблем.

Целта на нашиот проект на DevDays беше да додадеме можност за преведување на примените гласовни пораки во текст на десктоп клиентот на Telegram (во натамошниот текст како Telegram Desktop).

Сите аналози во моментот се ботови на кои можете да испратите аудио порака и да добиете текст како одговор. Не сме многу задоволни со ова: препраќањето порака до бот не е многу погодно; ние би сакале да имаме мајчин функционалност. Дополнително, секој бот е трета страна која делува како посредник помеѓу API за препознавање говор и корисникот, и ова е, во најмала рака, небезбедно.

Како што беше забележано претходно, телеграма-десктоп има две значајни предности: леснотија и брзина на работа. И ова не е случајно, бидејќи е целосно напишано во C++. И бидејќи решивме да додадеме нова функционалност директно на клиентот, моравме да ја развиеме во C++.

Во нашиот тим имаше 4 лица. Првично, две лица бараа соодветна библиотека за препознавање говор, едно лице го проучуваше изворниот код на Telegram-desktop, друго го распоредуваше проектот за изградба Telegram Desktop. Подоцна, сите беа зафатени со поправање на интерфејсот и дебагирање.

Се чинеше дека спроведувањето на планираната функционалност нема да биде тешко, но, како и секогаш се случува, се појавија тешкотии.

Решението на проблемот се состоеше од две независни подзадачи: избор на соодветна алатка за препознавање говор и имплементирање на UI за нова функционалност.

При изборот на библиотека за препознавање глас, веднаш моравме да ги напуштиме сите офлајн API, бидејќи јазичните модели заземаат многу простор. Но, ние зборуваме само за еден јазик. Стана јасно дека ќе треба да го користиме онлајн API. Подоцна се покажа дека услугите за препознавање говор на такви гиганти како Google, Yandex и Microsoft не се воопшто бесплатни и ќе мора да бидеме задоволни со пробен период. Како резултат на тоа, беше избран Google Speech-To-Text бидејќи ви овозможува да добиете токен за користење на услугата, кој ќе трае цела година.

Вториот проблем на кој наидовме е поврзан со некои од недостатоците на C++ - зоолошка градина од различни библиотеки во отсуство на централизирано складиште. Се случува Telegram Desktop да зависи од многу други библиотеки специфични за верзијата. Официјалното складиште има настава за склопување на проектот. И, исто така, голем број отворени прашања за проблеми со изградбата, на пример време и два. Сите проблеми се покажаа поврзани со фактот дека скриптата за изградба е напишана за Ubuntu 14.04, а за успешно да се изгради телеграма под Ubuntu 18.04, требаше да се направат промени.

Самата работна површина на Telegram трае доста долго време за да се состави: на лаптоп со Intel Core i5-7200U, комплетното склопување (знаме -j 4) со сите зависности трае околу три часа. Од нив, околу 30 минути се одземаат со поврзување на самиот клиент (подоцна се покажа дека во конфигурацијата Debug, поврзувањето трае околу 10 минути), но фазата на поврзување треба да се повторува секој пат откако ќе се направат промени.

И покрај проблемите, успеавме да ја спроведеме замислената идеја, но и да ја ажурираме изгради скрипта за Ubuntu 18.04. Демонстрација на работата може да се види на линк. Вклучуваме и неколку анимации. До сите гласовни пораки се појави копче кое ви овозможува да ја преведете пораката во текст. Со десен клик, можете дополнително да го одредите јазикот што ќе се користи за емитување. Од страна на линк клиентот достапен за преземање.

Складиште.

Според наше мислење, тоа се покажа како добар Доказ за концепт за функционалност што ќе биде погодно за многу корисници. Се надеваме дека ќе го видиме во идните изданија на Telegram Desktop.

Подобрена поддршка за природен јазик во IntelliJ IDEA

Автор на идеја

Танков Владислав

Командна структура

Танков Владислав (главен тим, работи со LanguageTool и IntelliJ IDEA)
Никита Соколов (работа со LanguageTool и креирање UI)
Хворов Александар (работа со LanguageTool и оптимизирање на перформансите)
Садовников Александар (поддршка за парсирање на јазици за означување и код)

Развивме додаток за IntelliJ IDEA кој проверува различни текстови (коментари и документација, буквални линии во кодот, текст форматиран во Markdown или XML ознака) за граматичка, правописна и стилска точност (на англиски ова се нарекува лекторирање).

Идејата на проектот беше да се прошири стандардната проверка на правопис IntelliJ IDEA до скалата на Grammarly, за да се направи еден вид Grammarly внатре во IDE.

Можете да видите што се случило по ссылке.

Па, подолу ќе разговараме подетално за можностите на приклучокот, како и за тешкотиите што се појавија при неговото создавање.

Мотивација

Постојат многу производи дизајнирани за пишување текст на природни јазици, но документацијата и коментарите на кодот најчесто се пишуваат во развојни средини. Во исто време, IDE-ите прават одлична работа во пронаоѓањето на грешки во кодот, но се слабо прилагодени за текстови на природни јазици. Ова го прави многу лесно да се прават грешки во граматиката, интерпункцијата или стилот без развојната околина да ги посочи. Најкритично е да се направи грешка при пишувањето на корисничкиот интерфејс, бидејќи тоа ќе влијае не само на разбирливоста на кодот, туку и на самите корисници на развиената апликација.

Една од најпопуларните и најразвиените развојни средини е IntelliJ IDEA, како и IDE базирани на платформата IntelliJ. Платформата IntelliJ веќе има вградено проверка на правопис, но не се ослободува ниту од наједноставните граматички грешки. Решивме да интегрираме еден од популарните системи за анализа на природен јазик во IntelliJ IDEA.

Реализация

Не си поставивме задача да создадеме сопствен систем за верификација на текст, па затоа користевме постоечко решение. Се покажа дека е најсоодветната опција Јазична алатка. Лиценцата ни овозможи слободно да ја користиме за нашите цели: таа е бесплатна, напишана во Java и со отворен код. Покрај тоа, тој поддржува 25 јазици и е во развој повеќе од петнаесет години. И покрај неговата отвореност, LanguageTool е сериозен конкурент на решенијата за проверка на платени текстови, а фактот што може да работи локално е буквално негова убиствена карактеристика.

Кодот на приклучокот е вклучен складишта на GitHub. Целиот проект беше напишан во Котлин со мал додаток на Java за UI. За време на хакатонот, успеавме да имплементираме поддршка за Markdown, JavaDoc, HTML и Plain Text. По хакатонот, големото ажурирање додаде поддршка за XML, жици во Java, Kotlin и Python и проверка на правопис.

Тешкотии

Доста брзо сфативме дека ако секој пат го внесуваме целиот текст на LanguageTool за проверка, тогаш интерфејсот IDEA ќе се замрзне на кој било повеќе или помалку сериозен текст, бидејќи самата проверка го блокира протокот на UI. Проблемот беше решен преку проверката `ProgressManager.checkCancelled` - оваа функција дава исклучок ако IDEA верува дека е време да се прекине проверката.

Ова целосно ги елиминираше замрзнувањата, но е невозможно да се користи: текстот трае многу долго за да се обработи. Згора на тоа, во нашиот случај, најчесто се менува многу мал дел од текстот и сакаме некако да ги кешираме резултатите. Токму тоа го направивме. За да не проверуваме сè секој пат, детерминистички го поделивме текстот на парчиња и ги проверувавме само оние што се сменија. Бидејќи текстовите можат да бидат големи и не сакавме да го вчитаме кешот, не ги складиравме самите текстови, туку нивните хаши. Ова му овозможи на приклучокот да работи непречено дури и на големи датотеки.

LanguageTool поддржува повеќе од 25 јазици, но малку е веројатно дека на некој корисник му требаат сите. Сакав да дадам можност да преземам библиотеки за одреден јазик по барање (ако го штиклирате во UI). Ние дури и го имплементиравме ова, но се покажа дека е премногу комплицирано и несигурно. Конкретно, моравме да ја вчитаме LanguageTool со нов сет на јазици користејќи посебен класнатовар, а потоа внимателно да го иницијализираме. Во исто време, сите библиотеки беа во корисничко складиште .m2 и при секој почеток моравме да го проверуваме нивниот интегритет. На крајот, решивме дека доколку корисниците имаат проблеми со големината на приклучокот, тогаш ќе обезбедиме посебен додаток за неколку од најпопуларните јазици.

По хакатонот

Хакатонот заврши, но работата на додатокот продолжи со потесен тим. Сакав да поддржам низи, коментари, па дури и јазични конструкции како што се имиња на променливи и класи. Во моментов ова е поддржано само за Java, Kotlin и Python, но се надеваме дека оваа листа ќе расте. Поправивме многу мали грешки и станавме покомпатибилни со вградената проверка на правописот на Idea. Покрај тоа, се појави поддршка за XML и проверка на правопис. Сето ова може да се најде во втората верзија, која ја објавивме неодамна.

Што е следно?

Таквиот приклучок може да биде корисен не само за програмери, туку и за технички писатели (често работат, на пример, со XML во IDE). Секојдневно мора да работат со природен јазик, без да имаат помошник во форма на совети на уредникот за можни грешки. Нашиот приклучок дава такви совети и го прави тоа со висок степен на точност.
Планираме да го развиеме приклучокот, и со додавање нови јазици и со истражување на општ пристап за организирање на проверка на текстот. Нашите непосредни планови вклучуваат имплементација на стилски профили (множества правила кои дефинираат стилски водич за текст, на пример, „не пишувај на пр., туку пишувај ја целосната форма“), проширување на речникот и подобрување на корисничкиот интерфејс (особено, сакаме да му дадеме на корисникот можност не само да игнорира збор, туку да го додаде во речникот, означувајќи го делот од говорот).

Извор: www.habr.com