Hackathon DevDays'19 (חלק 2): מנתח הודעות אודיו לבדיקת טלגרם ודקדוק ב- IntelliJ IDEA

אנו ממשיכים לדבר על הפרויקטים של האקתון האביב DevDays, בו השתתפו תלמידי התכנית לתואר שני "פיתוח תוכנה / הנדסת תוכנה".

אגב, ברצוננו להזמין את הקוראים להצטרף VK-קבוצת סטודנטים לתואר שני. בו נפרסם את החדשות האחרונות בנושא גיוס ולימודים. ניתן למצוא בקבוצה גם סרטון מהיום הפתוח. מזכירים לכם: האירוע יתקיים ב-29 באפריל, פרטים מקוון.

מנתח הודעות קוליות של טלגרם שולחני

מחבר הרעיון
חורושב ארטיום

עמדו בשורה

חורושב ארטם – מנהל פרויקט/מפתח/QA
אליסייב אנטון – אנליסט עסקי/מומחה שיווק
מריה קוקלינה – מעצבת/מפתחת ממשק משתמש
Bakhvalov Pavel – מעצב/מפתח/QA

מנקודת המבט שלנו, טלגרם הוא שליח מודרני ונוח, וגרסת ה-PC שלו פופולרית וקוד פתוח, מה שמאפשר לשנות אותו. הלקוח מציע פונקציונליות עשירה למדי. בנוסף להודעות טקסט רגילות, הוא מכיל שיחות קוליות, הודעות וידאו והודעות קוליות. והאחרונים הם שמביאים לפעמים אי נוחות למקבלם. לעתים קרובות לא ניתן להאזין להודעה קולית בזמן מחשב או מחשב נייד. ייתכן שיש רעשי סביבה, חוסר באוזניות, או שאתה לא רוצה שאף אחד ישמע את תוכן ההודעה. בעיות כאלה כמעט אף פעם לא מתעוררות אם אתה משתמש בטלגרם בסמארטפון, כי אתה יכול פשוט להביא אותו לאוזן שלך, בניגוד למחשב נייד או מחשב. ניסינו לפתור את הבעיה הזו.

מטרת הפרויקט שלנו ב-DevDays הייתה להוסיף את היכולת לתרגם הודעות קוליות שהתקבלו לטקסט ללקוח שולחן העבודה של טלגרם (להלן טלגרם שולחן העבודה).

כל האנלוגים כרגע הם בוטים אליהם ניתן לשלוח הודעת שמע ולקבל טקסט בתגובה. אנחנו לא מאוד מרוצים מכך: העברת הודעה לבוט אינה נוחה במיוחד; נרצה שתהיה לנו פונקציונליות מקורית. בנוסף, כל בוט הוא צד שלישי שפועל כמתווך בין ה-API לזיהוי דיבור והמשתמש, וזה, לכל הפחות, לא בטוח.

כפי שצוין קודם לכן, לטלגרם-שולחן העבודה שני יתרונות משמעותיים: קלות ומהירות הפעלה. וזה לא מקרי, כי זה כתוב כולו ב-C++. ומכיוון שהחלטנו להוסיף פונקציונליות חדשה ישירות ללקוח, היינו צריכים לפתח אותה ב-C++.

היו 4 אנשים בצוות שלנו. בתחילה, שני אנשים חיפשו ספרייה מתאימה לזיהוי דיבור, אדם אחד למד את קוד המקור של Telegram-desktop, אחר פרש את פרויקט הבנייה שולחן העבודה של מברק. מאוחר יותר, כולם היו עסוקים בתיקון ממשק המשתמש ובניפוי באגים.

נראה היה שיישום הפונקציונליות המיועדת לא יהיה קשה, אבל, כמו תמיד קורה, התעוררו קשיים.

הפתרון לבעיה כלל שתי משימות משנה עצמאיות: בחירת כלי מתאים לזיהוי דיבור והטמעת ממשק משתמש לפונקציונליות חדשה.

כשבחרנו ספרייה לזיהוי קולי, נאלצנו מיד לנטוש את כל ממשקי ה-API הלא מקוונים, מכיוון שמודלים של שפה תופסים הרבה מקום. אבל אנחנו מדברים רק על שפה אחת. התברר שנצטרך להשתמש ב-API המקוון. מאוחר יותר התברר ששירותי זיהוי הדיבור של ענקיות כמו גוגל, יאנדקס ומיקרוסופט אינם חינמיים כלל, ונצטרך להסתפק בתקופת ניסיון. כתוצאה מכך, Google Speech-To-Text נבחר מכיוון שהוא מאפשר לקבל אסימון לשימוש בשירות, שיימשך שנה שלמה.

הבעיה השנייה שנתקלנו בה קשורה לחלק מהחסרונות של C++ - גן חיות של ספריות שונות בהיעדר מאגר מרכזי. במקרה זה, Telegram Desktop תלוי בספריות רבות אחרות ספציפיות לגרסה. למאגר הרשמי יש הוראה להרכבת הפרויקט. וגם מספר רב של נושאים פתוחים על בעיות בנייה, למשל זמן и два. כל הבעיות התבררו קשורות לעובדה שתסריט הבנייה נכתב עבור אובונטו 14.04, וכדי לבנות בהצלחה טלגרם תחת אובונטו 18.04, היה צורך לבצע שינויים.

ל-Telegram Desktop עצמו לוקח די הרבה זמן להרכיב: במחשב נייד עם Intel Core i5-7200U, הרכבה מלאה (flag -j 4) עם כל התלות אורכת כשלוש שעות. מתוכם כ-30 דקות נלקחות בקישור הלקוח עצמו (מאוחר יותר התברר שבתצורת Debug הקישור לוקח כ-10 דקות), ובכל זאת יש לחזור על שלב הקישור בכל פעם לאחר ביצוע שינויים.

למרות הבעיות, הצלחנו ליישם את הרעיון שהגה, כמו גם לעדכן לבנות סקריפט עבור אובונטו 18.04. ניתן לראות הדגמה של העבודה ב קשר. אנו כוללים גם מספר אנימציות. ליד כל ההודעות הקוליות הופיע כפתור המאפשר לך לתרגם את ההודעה לטקסט. על ידי לחיצה ימנית, תוכל לציין בנוסף את השפה שתשמש לשידור. על ידי קשר לקוח זמין להורדה.

מאגר.

לדעתנו, זה התברר כהוכחה טובה לפונקציונליות שתהיה נוחה למשתמשים רבים. אנו מקווים לראות את זה במהדורות עתידיות של Telegram Desktop.

תמיכה משופרת בשפה טבעית ב- IntelliJ IDEA

מחבר הרעיון

טנקוב ולדיסלב

עמדו בשורה

Tankov Vladislav (ראש צוות, עובד עם LanguageTool ו- IntelliJ IDEA)
ניקיטה סוקולוב (עובד עם LanguageTool ויוצר ממשק משתמש)
Khvorov אלכסנדר (עובד עם LanguageTool ומיטוב ביצועים)
Sadovnikov Alexander (תמיכה בניתוח שפות סימון וקוד)

פיתחנו תוסף עבור IntelliJ IDEA שבודק טקסטים שונים (הערות ותיעוד, שורות מילוליות בקוד, טקסט מעוצב ב-Markdown או XML) לדיוק דקדוק, איות וסגנוני (באנגלית זה נקרא הגהה).

הרעיון של הפרויקט היה להרחיב את בדיקת האיות הסטנדרטית IntelliJ IDEA לסקאלה של Grammarly, כדי ליצור מעין Grammarly בתוך IDE.

אתה יכול לראות מה קרה по ссылке.

ובכן, להלן נדבר ביתר פירוט על היכולות של התוסף, כמו גם על הקשיים שהתעוררו במהלך יצירתו.

מוטיבציה

ישנם מוצרים רבים המיועדים לכתיבת טקסט בשפות טבעיות, אך תיעוד והערות קוד נכתבים לרוב בסביבות פיתוח. יחד עם זאת, IDEs עושים עבודה מצוינת באיתור שגיאות בקוד, אך מתאימים בצורה גרועה לטקסטים בשפות טבעיות. זה מקל מאוד לעשות טעויות בדקדוק, פיסוק או סגנון מבלי שסביבת הפיתוח תצביע עליהן. הכי קריטי לטעות בכתיבת ממשק המשתמש, שכן הדבר ישפיע לא רק על הבנת הקוד, אלא גם על המשתמשים באפליקציה שפותחה בעצמם.

אחת מסביבות הפיתוח הפופולריות והמפותחות ביותר היא IntelliJ IDEA, כמו גם IDEs המבוססים על IntelliJ Platform. ל- IntelliJ Platform כבר יש בודק איות מובנה, אך הוא אינו נפטר אפילו משגיאות הדקדוק הפשוטות ביותר. החלטנו לשלב את אחת ממערכות ניתוח השפה הטבעית הפופולריות לתוך IntelliJ IDEA.

Реализация

לא הצבנו לעצמנו את המשימה ליצור מערכת אימות טקסט משלנו, אז השתמשנו בפתרון קיים. האפשרות המתאימה ביותר התבררה כלי שפה. הרישיון איפשר לנו להשתמש בו באופן חופשי למטרותינו: הוא חינמי, כתוב ב-Java וקוד פתוח. בנוסף, הוא תומך ב-25 שפות ונמצא בפיתוח כבר יותר מחמש עשרה שנים. למרות הפתיחות שלו, LanguageTool היא מתחרה רצינית לפתרונות אימות טקסט בתשלום, והעובדה שהוא יכול לעבוד באופן מקומי היא ממש התכונה הקטלנית שלו.

קוד הפלאגין נמצא ב מאגרים ב- GitHub. הפרויקט כולו נכתב בקוטלין עם תוספת קטנה של Java עבור ממשק המשתמש. במהלך ההאקתון, הצלחנו ליישם תמיכה ב-Markdown, JavaDoc, HTML ו-Plain Text. לאחר ההאקתון, עדכון גדול הוסיף תמיכה ב-XML, מילולי מחרוזת ב-Java, Kotlin ו-Python ובדיקת איות.

קשיים

די מהר הבנו שאם נזין את כל הטקסט ל- LanguageTool לבדיקה בכל פעם, אז ממשק IDEA יקפא על כל טקסט רציני יותר או פחות, שכן הבדיקה עצמה חוסמת את זרימת ה-UI. הבעיה נפתרה באמצעות הסימון `ProgressManager.checkCancelled` - פונקציה זו זורקת חריג אם IDEA סבור שהגיע הזמן לבטל את הבדיקה.

זה ביטל לחלוטין את ההקפאות, אבל זה בלתי אפשרי להשתמש: הטקסט לוקח הרבה מאוד זמן לעבד. יתרה מכך, במקרה שלנו, לרוב חלק קטן מאוד מהטקסט משתנה ואנחנו רוצים לאחסן את התוצאות איכשהו. זה בדיוק מה שעשינו. כדי לא לבדוק הכל בכל פעם, חילקנו באופן דטרמיניסטי את הטקסט לחתיכות ובדקנו רק את אלו שהשתנו. מכיוון שהטקסטים יכולים להיות גדולים ולא רצינו לטעון את המטמון, אחסנו לא את הטקסטים עצמם, אלא את ה-hash שלהם. זה אפשר לתוסף לפעול בצורה חלקה גם על קבצים גדולים.

LanguageTool תומך ביותר מ-25 שפות, אך לא סביר שמשתמש אחד צריך את כולן. רציתי לתת את ההזדמנות להוריד ספריות לשפה ספציפית לפי בקשה (אם תסמן את זה בממשק המשתמש). אפילו יישמנו את זה, אבל התברר שזה מסובך מדי ולא אמין. במיוחד, היינו צריכים לטעון את LanguageTool עם קבוצה חדשה של שפות באמצעות טוען כיתות נפרד, ולאחר מכן לאתחל אותו בזהירות. במקביל, כל הספריות היו במאגר משתמש .m2, ובכל התחלה היינו צריכים לבדוק את תקינותן. בסופו של דבר החלטנו שאם למשתמשים יהיו בעיות בגודל התוסף, נספק תוסף נפרד לכמה מהשפות הפופולריות ביותר.

אחרי ההאקתון

ההאקתון הסתיים, אבל העבודה על התוסף נמשכה עם צוות מצומצם יותר. רציתי לתמוך במחרוזות, הערות ואפילו בבני שפה כמו משתנים ושמות מחלקות. כרגע זה נתמך רק עבור Java, Kotlin ו- Python, אבל אנחנו מקווים שהרשימה הזו תגדל. תיקנו הרבה באגים קטנים והפכנו להיות תואמים יותר עם בודק האיות המובנה של Idea. בנוסף, הופיעו תמיכה ב-XML ובדיקת איות. את כל זה ניתן למצוא בגרסה השנייה, שפרסמנו לאחרונה.

מה הלאה?

תוסף כזה יכול להיות שימושי לא רק עבור מפתחים, אלא גם עבור כותבים טכניים (לעתים קרובות עובדים, למשל, עם XML ב-IDE). כל יום הם צריכים לעבוד עם שפה טבעית, מבלי שיהיה להם עוזר בצורת טיפים לעורך לגבי שגיאות אפשריות. התוסף שלנו מספק רמזים כאלה ועושה זאת ברמת דיוק גבוהה.
אנו מתכננים לפתח את התוסף, הן על ידי הוספת שפות חדשות והן על ידי בחינת גישה כללית לארגון בדיקת טקסט. התוכניות המיידיות שלנו כוללות יישום של פרופילים סגנוניים (מערכות כללים המגדירים מדריך סגנון לטקסט, למשל, "אל תכתוב למשל, אלא כתוב את הטופס המלא"), הרחבת המילון ושיפור ממשק המשתמש (בפרט, אנחנו רוצים לתת למשתמש את ההזדמנות לא רק להתעלם ממילה, אלא להוסיף אותה למילון, תוך ציון חלק הדיבור).

מקור: www.habr.com