Hackathon DevDays'19(2부): IntelliJ IDEA의 텔레그램 및 문법 검사를 위한 오디오 메시지 파서

석사과정 학생들이 참여한 봄 해커톤 DevDays 프로젝트에 대해 계속해서 이야기하겠습니다. "소프트웨어 개발 / 소프트웨어 엔지니어링".

그건 그렇고, 우리는 독자들의 참여를 초대하고 싶습니다 VK 석사 학생 그룹. 여기에는 채용 및 학습에 관한 최신 뉴스가 게시됩니다. 그룹 오픈일의 영상도 그룹에서 보실 수 있습니다. 알림: 이벤트는 29월 XNUMX일에 진행됩니다. 온라인으로.

텔레그램 데스크탑 음성 메시지 파서

아이디어 작성자
코로셰프 아르템

명령 구조

Khoroshev Artem – 프로젝트 관리자/개발자/QA
Eliseev Anton – 비즈니스 분석가/마케팅 전문가
Maria Kuklina – UI 디자이너/개발자
Bakhvalov Pavel – UI 디자이너/개발자/QA

우리의 관점에서 볼 때 텔레그램은 현대적이고 편리한 메신저이며, PC 버전은 대중적이고 오픈 소스이므로 수정이 가능합니다. 클라이언트는 매우 풍부한 기능을 제공합니다. 표준 문자 메시지 외에도 음성 통화, 영상 메시지, 음성 메시지가 포함됩니다. 그리고 때때로 수신자에게 불편을 끼치는 것은 후자입니다. 컴퓨터나 노트북을 사용하는 동안에는 음성 메시지를 들을 수 없는 경우가 많습니다. 주변 소음이 있거나 헤드폰이 부족하거나 다른 사람이 메시지 내용을 듣지 못하게 하고 싶을 수도 있습니다. 텔레그램을 스마트폰에서 사용하면 노트북이나 PC와 달리 귀에 대고 사용하기만 하면 이러한 문제가 거의 발생하지 않습니다. 우리는 이 문제를 해결하려고 노력했습니다.

DevDays 프로젝트의 목표는 수신된 음성 메시지를 텍스트로 변환하는 기능을 Telegram 데스크톱 클라이언트(이하 Telegram Desktop)에 추가하는 것이었습니다.

현재 모든 아날로그는 오디오 메시지를 보내고 이에 대한 응답으로 텍스트를 받을 수 있는 봇입니다. 우리는 이에 별로 만족하지 않습니다. 메시지를 봇에 전달하는 것은 그리 편리하지 않습니다. 우리는 기본 기능을 갖고 싶습니다. 또한 모든 봇은 음성 인식 API와 사용자 사이의 중개자 역할을 하는 제XNUMX자이므로 최소한 안전하지 않습니다.

앞서 언급했듯이 Telegram-desktop에는 작업 용이성과 속도라는 두 가지 중요한 장점이 있습니다. 그리고 이것은 전적으로 C++로 작성되었기 때문에 우연이 아닙니다. 그리고 새로운 기능을 클라이언트에 직접 추가하기로 결정했기 때문에 C++로 개발해야 했습니다.

우리 팀에는 4 명이있었습니다. 처음에는 두 사람이 음성 인식에 적합한 라이브러리를 찾고 있었고, 한 사람은 Telegram-desktop의 소스 코드를 연구하고 있었고, 다른 한 사람은 빌드 프로젝트를 배포하고 있었습니다. 데스크톱 전보. 나중에는 모두가 UI를 수정하고 디버깅하느라 바빴습니다.

의도한 기능을 구현하는 것은 어렵지 않을 것 같았지만 늘 그렇듯이 어려움이 발생했습니다.

문제에 대한 해결책은 두 가지 독립적인 하위 작업, 즉 적절한 음성 인식 도구를 선택하고 새로운 기능을 위한 UI를 구현하는 것으로 구성되었습니다.

음성 인식을 위한 라이브러리를 선택할 때 언어 모델이 많은 공간을 차지하기 때문에 즉시 모든 오프라인 API를 포기해야 했습니다. 그러나 우리는 단 하나의 언어에 대해서만 이야기하고 있습니다. 온라인 API를 사용해야 한다는 것이 분명해졌습니다. 나중에 Google, Yandex 및 Microsoft와 같은 거대 기업의 음성 인식 서비스는 전혀 무료가 아니며 평가판 기간에 만족해야 한다는 것이 밝혀졌습니다. 결과적으로 XNUMX년 동안 지속되는 서비스 사용을 위한 토큰을 얻을 수 있는 Google Speech-To-Text가 선택되었습니다.

우리가 직면한 두 번째 문제는 중앙 집중식 저장소가 없는 다양한 라이브러리의 동물원인 C++의 일부 단점과 관련이 있습니다. Telegram Desktop은 다른 많은 버전별 라이브러리에 의존하는 경우가 많습니다. 공식 저장소에는 교수 프로젝트를 조립하기 위해. 또한 빌드 문제에 관한 수많은 미해결 문제도 있습니다. 예를 들어 시간 и два. 모든 문제는 빌드 스크립트가 Ubuntu 14.04용으로 작성되었다는 사실과 관련된 것으로 밝혀졌으며 Ubuntu 18.04에서 텔레그램을 성공적으로 빌드하려면 변경이 필요했습니다.

Telegram Desktop 자체는 조립하는 데 꽤 오랜 시간이 걸립니다. Intel Core i5-7200U가 탑재된 노트북에서는 모든 종속성을 포함한 전체 조립(플래그 -j 4)이 약 30시간이 걸립니다. 이 중 클라이언트 자체를 연결하는 데 약 10분 정도가 소요되지만(나중에 Debug 구성에서는 연결에 약 XNUMX분 정도 소요된 것으로 밝혀졌습니다), 변경 후 매번 연결 단계를 반복해야 합니다.

문제에도 불구하고 우리는 구상한 아이디어를 구현하고 업데이트하는 데 성공했습니다. 빌드 스크립트 우분투 18.04용. 작품 시연은 다음에서 볼 수 있습니다. 링크. 우리는 또한 여러 애니메이션을 포함합니다. 모든 음성 메시지 옆에 버튼이 표시되어 메시지를 텍스트로 번역할 수 있습니다. 마우스 오른쪽 버튼을 클릭하면 방송에 사용할 언어를 추가로 지정할 수 있습니다. 에 의해 링크 클라이언트를 다운로드할 수 있습니다.

저장소.

우리의 의견으로는 이는 많은 사용자에게 편리할 수 있는 기능에 대한 좋은 개념 증명으로 판명되었습니다. Telegram Desktop의 향후 릴리스에서 이를 볼 수 있기를 바랍니다.

IntelliJ IDEA의 향상된 자연어 지원

아이디어 작성자

탄코프 블라디슬라프

명령 구조

Tankov Vladislav(팀장, LanguageTool 및 IntelliJ IDEA 작업)
Nikita Sokolov(LanguageTool 작업 및 UI 생성)
Khvorov Alexander(LanguageTool 작업 및 성능 최적화)
Sadovnikov Alexander(마크업 언어 및 코드 구문 분석 지원)

우리는 다양한 텍스트(주석 및 문서, 코드의 리터럴 줄, Markdown 또는 XML 마크업 형식의 텍스트)의 문법, 철자 및 문체 정확성(영어에서는 교정이라고 함)을 검사하는 IntelliJ IDEA용 플러그인을 개발했습니다.

이 프로젝트의 아이디어는 표준 맞춤법 검사 IntelliJ IDEA를 Grammarly 규모로 확장하여 IDE 내부에 일종의 Grammarly를 만드는 것이었습니다.

무슨 일이 일어났는지 볼 수 있어요 링크.

자, 아래에서는 플러그인의 기능과 플러그인 생성 중에 발생한 어려움에 대해 더 자세히 설명하겠습니다.

자극

자연어로 텍스트를 작성하도록 설계된 제품이 많이 있지만 문서와 코드 주석은 대부분 개발 환경에서 작성됩니다. 동시에 IDE는 코드에서 오류를 찾는 데는 탁월하지만 자연어로 된 텍스트에는 적합하지 않습니다. 이로 인해 개발 환경에서 지적하지 않고도 문법, 구두점 또는 스타일에서 실수를 저지르기가 매우 쉽습니다. 사용자 인터페이스를 작성할 때 실수를 저지르는 것이 가장 중요합니다. 왜냐하면 이는 코드의 이해 가능성뿐만 아니라 개발된 애플리케이션 사용자 자신에게도 영향을 미치기 때문입니다.

가장 널리 사용되고 개발된 개발 환경 중 하나는 IntelliJ IDEA와 IntelliJ 플랫폼 기반 IDE입니다. IntelliJ 플랫폼에는 이미 맞춤법 검사기가 내장되어 있지만 가장 간단한 문법 오류도 제거하지 못합니다. 우리는 널리 사용되는 자연어 분석 시스템 중 하나를 IntelliJ IDEA에 통합하기로 결정했습니다.

Реализация

우리는 자체 텍스트 확인 시스템을 만드는 작업을 스스로 설정하지 않았기 때문에 기존 솔루션을 사용했습니다. 가장 적합한 옵션은 다음과 같습니다. 언어 도구. 라이센스를 통해 우리는 이를 목적에 맞게 자유롭게 사용할 수 있었습니다. 라이센스는 무료이고 Java로 작성되었으며 오픈 소스입니다. 게다가 25개 언어를 지원하며 XNUMX년 넘게 개발을 진행해왔다. 개방성에도 불구하고 LanguageTool은 유료 텍스트 확인 솔루션에 대한 심각한 경쟁자이며 로컬에서 작동할 수 있다는 사실은 말 그대로 언어 도구의 핵심 기능입니다.

플러그인 코드는 다음과 같습니다. GitHub의 리포지토리. 전체 프로젝트는 UI용 Java를 약간 추가하여 Kotlin으로 작성되었습니다. 해커톤 동안 우리는 Markdown, JavaDoc, HTML 및 일반 텍스트에 대한 지원을 구현했습니다. 해커톤 이후 주요 업데이트에는 XML, Java, Kotlin 및 Python의 문자열 리터럴, 맞춤법 검사에 대한 지원이 추가되었습니다.

난이도

우리는 매번 검사를 위해 모든 텍스트를 LanguageTool에 공급하면 검사 자체가 UI 흐름을 차단하기 때문에 IDEA 인터페이스가 다소 심각한 텍스트에서 정지된다는 것을 아주 빨리 깨달았습니다. 문제는 `ProgressManager.checkCancelled` 검사를 통해 해결되었습니다. IDEA가 검사를 중단할 시간이라고 판단하면 이 함수는 예외를 발생시킵니다.

이로 인해 정지 현상이 완전히 제거되었지만 사용할 수 없습니다. 텍스트를 처리하는 데 매우 오랜 시간이 걸립니다. 더욱이 우리의 경우 텍스트의 매우 작은 부분이 변경되는 경우가 가장 많으며 어떻게든 결과를 캐시하려고 합니다. 그것이 바로 우리가 한 일입니다. 매번 모든 것을 확인하지 않기 위해 결정론적으로 텍스트를 조각으로 나누고 변경된 부분만 확인했습니다. 텍스트가 클 수 있고 캐시를 로드하고 싶지 않았기 때문에 텍스트 자체가 아닌 해시를 저장했습니다. 이를 통해 대용량 파일에서도 플러그인이 원활하게 작동할 수 있었습니다.

LanguageTool은 25개 이상의 언어를 지원하지만 한 사용자가 모든 언어를 필요로 하는 경우는 거의 없습니다. 요청 시(UI에서 선택한 경우) 특정 언어에 대한 라이브러리를 다운로드할 수 있는 기회를 제공하고 싶었습니다. 우리는 이것을 구현하기도 했지만 너무 복잡하고 신뢰할 수 없는 것으로 나타났습니다. 특히, 별도의 클래스로더를 사용하여 새로운 언어 세트로 LanguageTool을 로드한 다음 조심스럽게 초기화해야 했습니다. 동시에 모든 라이브러리는 사용자 .m2 저장소에 있었고 시작할 때마다 무결성을 확인해야 했습니다. 결국 우리는 사용자가 플러그인 크기에 문제가 있는 경우 가장 널리 사용되는 여러 언어에 대해 별도의 플러그인을 제공하기로 결정했습니다.

해커톤 이후

해커톤은 종료되었지만 소규모 팀을 대상으로 플러그인 작업이 계속되었습니다. 저는 문자열, 주석, 심지어 변수 및 클래스 이름과 같은 언어 구성도 지원하고 싶었습니다. 현재 이는 Java, Kotlin, Python에서만 지원되지만 이 목록이 더 많아지기를 바랍니다. 많은 작은 버그를 수정했으며 Idea에 내장된 맞춤법 검사기와의 호환성이 더욱 향상되었습니다. 또한 XML 지원과 맞춤법 검사도 나타났습니다. 이 모든 내용은 최근에 게시된 두 번째 버전에서 확인할 수 있습니다.

다음은 뭐지?

이러한 플러그인은 개발자뿐만 아니라 기술 작성자(예를 들어 IDE에서 XML을 사용하여 작업하는 경우가 많음)에게도 유용할 수 있습니다. 매일 그들은 가능한 오류에 대한 편집자 팁 형태의 보조자 없이 자연어로 작업해야 합니다. 우리 플러그인은 이러한 힌트를 제공하며 높은 정확도로 이를 수행합니다.
우리는 새로운 언어를 추가하고 텍스트 검사를 구성하는 일반적인 접근 방식을 탐색하여 플러그인을 개발할 계획입니다. 우리의 즉각적인 계획에는 스타일 프로필(텍스트에 대한 스타일 가이드를 정의하는 규칙 세트, 예를 들어 "예를 들어 쓰지 말고 전체 형식을 작성하십시오")의 구현, 사전 확장 및 사용자 인터페이스 개선(특히, 우리는 사용자에게 단어를 무시할 뿐만 아니라 단어를 사전에 추가하여 품사를 표시할 수 있는 기회를 제공하고 싶습니다.

출처: www.habr.com