שחרור מערכת זיהוי הטקסט Tesseract 5.0

פרסום מערכת זיהוי הטקסט האופטי Tesseract 4.1, התומכת בזיהוי של תווים וטקסטים של UTF-8 ביותר מ-100 שפות, כולל רוסית, קזחית, בלארוסית ואוקראינית. ניתן לשמור את התוצאה בטקסט רגיל או בפורמטים HTML (hOCR), ALTO (XML), PDF ו-TSV. המערכת נוצרה במקור בשנים 1985-1995 במעבדת Hewlett Packard; בשנת 2005, הקוד נפתח תחת רישיון Apache ופותח בהמשך בהשתתפות עובדי גוגל. קוד המקור של הפרויקט מופץ תחת רישיון Apache 2.0.

Tesseract כוללת כלי עזר למסוף ואת ספריית libtesseract להטמעת פונקציונליות OCR באפליקציות אחרות. ממשקי GUI של צד שלישי התומכים ב-Tesseract כוללים gImageReader, VietOCR ו-YAGF. מוצעים שני מנועי זיהוי: קלאסי המזהה טקסט ברמה של תבניות תווים בודדות, וחדש המבוסס על שימוש במערכת למידת מכונה המבוססת על רשת עצבית חוזרת LSTM, מותאמת לזיהוי מחרוזות שלמות ומאפשרת עלייה משמעותית ברמת הדיוק. דגמים מאומנים מוכנים פורסמו עבור 123 שפות. כדי לייעל את הביצועים, מוצעים מודולים המשתמשים בהוראות OpenMP ו- SIMD AVX2, AVX, NEON או SSE4.1.

שיפורים עיקריים ב-Tesseract 5.0:

• שינוי משמעותי במספר הגרסה נובע משינויים שבוצעו ב-API ששוברים את התאימות. במיוחד, ה-API הזמין לציבור של libtesseract אינו קשור עוד לסוגי הנתונים הקנייניים GenericVector ו-STRING, לטובת std::string ו-std::vector.
• עץ טקסט המקור אורגן מחדש. קובצי כותרות ציבוריות הועברו לספריית include/tesseract.
• ניהול הזיכרון עוצב מחדש, כל השיחות של malloc והחינמיות הוחלפו בקוד C++. בוצעה מודרניזציה כללית של הקוד.
• נוספו אופטימיזציות לארכיטקטורות ARM ו-ARM64; הוראות ARM NEON משמשות להאצת חישובים. בוצע מיטוב ביצועים המשותף לכל הארכיטקטורות.
• הוטמעו מצבים חדשים לאימון מודלים וזיהוי טקסט המבוססים על שימוש בחישובי נקודה צפה. המצבים החדשים מציעים ביצועים גבוהים יותר וצריכת זיכרון נמוכה יותר. במנוע LSTM, מצב מהיר float32 מופעל כברירת מחדל.
• בוצע מעבר לשימוש בנורמליזציה של Unicode באמצעות הטופס NFC (Normalization Form Canonical).
• נוספה אפשרות להגדרת פירוט יומן (--loglevel).
• מערכת הבנייה המבוססת על Autotools עוצבה מחדש והועברה לבנייה במצב לא רקורסיבי.
• סניף "מאסטר" ב-Git שונה ל"ראשי".
• נוספה תמיכה במהדורות חדשות של מערכות macOS ואפל המבוססות על שבב M1.
  
  מקור: OpenNet.ru