Релиз на системата за разпознаване на текст Tesseract 5.0

Публикуван е релиз на системата за оптично разпознаване на текст Tesseract 4.1, която поддържа разпознаване на UTF-8 символи и текстове на повече от 100 езика, включително руски, казахски, белоруски и украински. Резултатът може да се запази както в отворен текстов формат, така и в форматите HTML (hOCR), ALTO (XML), PDF и TSV. Първоначално системата е била разработена в периода 1985-1995 г. в лаборатория на компанията Hewlett Packard, а през 2005 г. кодът е бил оповестен с лиценз Apache и впоследствие е бил развиван с участието на служители на компанията Google. Изходните текстове на проекта се разпространяват под лиценз Apache 2.0.

Tesseract включва конзолна утилита и библиотека libtesseract за интегриране на функции за разпознаване на текст в други приложения. От поддържаните Tesseract външни GUI интерфейси, можем да споменем gImageReader, VietOCR и YAGF. Предлага се два двигателя за разпознаване: класически, който разпознава текст на базата на шаблони от отделни символи, и нов, основан на прилагането на система за машинно обучение, базирана на рекуррентни невронни мрежи LSTM, оптимизирана за разпознаване на цели редове и позволяваща значително увеличаване на точността. Готовите обучени модели са публикувани за 123 езика. За оптимизация на производителността се предлагат модули, които използват OpenMP и SIMD-инструкции AVX2, AVX, NEON или SSE4.1.

Основни подобрения в Tesseract 5.0:

• Същественото изменение на номера на версията е свързано с включването на промени в API, които нарушават съвместимостта. В частност, публично достъпният API libtesseract вече не е привързан към собственически типове данни GenericVector и STRING, вместо които в кода се използват std::string и std::vector.
• Проведена е реорганизация на дървото на изходните текстове. Публичните заглавни файлове са преместени в директорията include/tesseract.
• Реорганизирано е управлението на паметта, всички повици на malloc и free са заменени с код на C++. Проведена е обща модернизация на кода.
• Добавени са оптимизации за архитектури ARM и ARM64, за ускоряване на изчисленията са използвани инструкции ARM NEON. Извършена е обща оптимизация на производителността за всички архитектури.
• Реализирани са нови режими на тренировка на модели и разпознаване на текст, основаващи се на използването на изчисления с плаваща запетая. Новите режими отличават с по-висока производителност и понижено потребление на памет. В LSTM енджина, бързият режим float32 е активиран по подразбиране.
• Предоставено е преминаване към използване на унификационна нормализация Unicode с форма NFC (Normalization Form Canonical).
• Добавена е опция за настройка на детайлността на логовете (—loglevel).
• Преработена е системата на сглобяване на базата на Autotools, която е пренасочена към сглобяване в нерекурсивен режим.
• Клонът „master“ в Git е преименуван на „main“.
• Добавена е поддръжка за нови версии на macOS и системи на Apple, базирани на чипа M1.
  
  Източник: opennet.ru