Използване на AI за свръхкомпресиране на изображения

Алгоритми, управлявани от данни, като невронни мрежи, превзеха света като буря. Тяхното развитие се дължи на няколко причини, включително евтино и мощно оборудване и огромно количество данни. Невронните мрежи в момента са в челните редици на всичко, свързано с "когнитивни" задачи като разпознаване на изображения, разбиране на естествен език и т.н. Но те не трябва да се ограничават до такива задачи. Тази статия говори за това как да компресирате изображения с помощта на невронни мрежи, използвайки остатъчно обучение. Подходът, представен в статията, е по-бърз и по-добър от стандартните кодеци. Схеми, уравнения и, разбира се, таблица с тестове под разреза.

Тази статия се основава на това работа. Предполага се, че сте запознати с невронните мрежи и техните концепции. намотка и загуба функция.

Какво е компресиране на изображения и как работи?

Компресирането на изображението е процес на конвертиране на изображение, така че да заема по-малко място. Простото съхраняване на изображения би заело много място, поради което има кодеци като JPEG и PNG, които имат за цел да намалят размера на оригиналното изображение.

Както знаете, има два вида компресиране на изображения: без загуба и със загуби. Както подсказват имената, компресията без загуби може да запази оригиналните данни на изображението, докато компресията със загуби губи някои данни по време на компресията. например JPG са алгоритми със загуба [прибл. превод - основно, нека също не забравяме за JPEG без загуби], а PNG е алгоритъм без загуби.

Сравнение на компресия без загуби и компресия със загуби

Забележете, че има много блокови артефакти в изображението вдясно. Това е загубена информация. Съседните пиксели с подобни цветове се компресират като една област, за да се спести място, но информацията за действителните пиксели се губи. Разбира се, алгоритмите, използвани в кодеците JPEG, PNG и др., са много по-сложни, но това е добър интуитивен пример за компресия със загуби. Компресията без загуби е добра, но компресираните файлове без загуби заемат много дисково пространство. Има по-добри начини за компресиране на изображения, без да се губи много информация, но те са доста бавни и много използват итеративни подходи. Това означава, че те не могат да се изпълняват паралелно на множество CPU или GPU ядра. Това ограничение ги прави напълно непрактични за ежедневна употреба.

Вход на конволюционна невронна мрежа

Ако нещо трябва да се изчисли и изчисленията могат да бъдат приблизителни, добавете невронна мрежа. Авторите са използвали доста стандартна конволюционна невронна мрежа, за да подобрят компресията на изображението. Представеният метод не само се представя наравно с най-добрите решения (ако не и по-добре), но също така може да използва паралелно изчисление, което води до драматично увеличение на скоростта. Причината е, че конволюционните невронни мрежи (CNN) са много добри в извличането на пространствена информация от изображения, които след това се представят в по-компактна форма (например запазват се само „важните“ битове от изображението). Авторите искаха да използват тази възможност на CNN, за да представят по-добре изображенията.

архитектура

Авторите предложиха двойна мрежа. Първата мрежа приема изображение като вход и генерира компактно представяне (ComCNN). След това изходът от тази мрежа се обработва от стандартен кодек (напр. JPEG). След като бъде обработено от кодека, изображението се предава на втора мрежа, която "поправя" изображението от кодека в опит да върне оригиналното изображение. Авторите нарекоха тази мрежа Reconstructive CNN (RecCNN). Подобно на GAN, и двете мрежи се обучават итеративно.

Компактното представяне на ComCNN се предава на стандартен кодек

RecCNN. Изходът на ComCNN се мащабира и се подава към RecCNN, който ще се опита да научи остатъка

Изходът от кодека се мащабира и след това се предава на RecCNN. RecCNN ще се опита да направи изображението възможно най-близо до оригинала.

Рамка за компресиране на изображения от край до край. Co(.) е алгоритъм за компресиране на изображения. Авторите са използвали JPEG, JPEG2000 и BPG

Какво е остатък?

Остатъкът може да се разглежда като стъпка за последваща обработка за „подобряване“ на изображението, декодирано от кодека. Имайки много „информация“ за света, невронната мрежа може да вземе когнитивни решения за това какво да коригира. Тази идея се основава на остатъчно обучение, прочетете подробностите, за които можете тук.

Функции на загуба

Двете функции на загуба се използват, защото имаме две невронни мрежи. Първият от тях, ComCNN, е означен като L1 и се дефинира, както следва:

Функция за загуба за ComCNN

обяснение

Това уравнение може да изглежда сложно, но всъщност е стандартът (средна квадратична грешка) MSE. ||² означава нормата на вектора, който обхващат.

Уравнение 1.1

Cr обозначава изхода на ComCNN. θ означава обучаемостта на параметрите на ComCNN, XK е входното изображение

Уравнение 1.2

Re() означава RecCNN. Това уравнение просто предава значението на уравнение 1.1 на RecCNN. θ обозначава обучаемите параметри на RecCNN (шапка отгоре означава, че параметрите са фиксирани).

Интуитивно определение

Уравнение 1.0 ще накара ComCNN да промени своите тегла, така че когато бъде пресъздадено с RecCNN, крайното изображение да изглежда възможно най-подобно на входното изображение. Втората функция за загуба на RecCNN се дефинира, както следва:

Уравнение 2.0

обяснение

Отново функцията може да изглежда сложна, но в по-голямата си част това е стандартна функция за загуба на невронна мрежа (MSE).

Уравнение 2.1

Co() означава изход на кодек, x с шапка отгоре означава изход на ComCNN. θ2 са обучаеми параметри на RecCNN, res() е само остатъчната продукция на RecCNN. Струва си да се отбележи, че RecCNN се обучава на разликата между Co() и входното изображение, но не и на входното изображение.

Интуитивно определение

Уравнение 2.0 ще накара RecCNN да промени своите тегла, така че изходът да изглежда възможно най-подобен на входното изображение.

Схема на обучение

Моделите се обучават итеративно, като GAN. Теглата на първия модел се фиксират, докато теглата на втория модел се актуализират, след това теглата на втория модел се фиксират, докато първият модел се обучава.

тестове

Авторите сравняват своя метод със съществуващи методи, включително прости кодеци. Техният метод се представя по-добре от другите, като същевременно поддържа висока скорост на подходящия хардуер. Освен това авторите се опитаха да използват само една от двете мрежи и отбелязаха спад в производителността.

Сравнение на индекса на структурно сходство (SSIM). Високите стойности показват по-добра прилика с оригинала. Удебеленият шрифт показва резултата от работата на авторите

Заключение

Разгледахме нов начин за прилагане на задълбочено обучение към компресиране на изображения и говорихме за възможността за използване на невронни мрежи в задачи извън „общите“ задачи като класификация на изображения и езикова обработка. Този метод не само не отстъпва на съвременните изисквания, но също така ви позволява да обработвате изображения много по-бързо.

Изучаването на невронни мрежи стана по-лесно, защото направихме промоционален код специално за Habravchan ХАБР, давайки допълнителна отстъпка от 10% към отстъпката, посочена на банера.

• Преподаване на професията Data Science от нулата
• Онлайн учебен лагер за наука за данни
• Обучение на професията Data Analyst от нулата
• Онлайн учебен лагер за анализ на данни
• Python за курс за уеб разработка

Още курсове

• Курс за анализ на данни
• DevOps курс
• Професия уеб програмист
• Професия iOS разработчик от нулата
• Професия Android разработчик от нулата
• Професия Java разработчик от нулата
• Курс по JavaScript
• Курс за машинно обучение
• Курс „Математика и машинно обучение за наука за данни“
• Курс за напреднали "Machine Learning Pro + Deep Learning"

Препоръчани статии

• Как да станете специалист по данни без онлайн курсове
• 450 безплатни курса от Ivy League
• Как да изучавате машинно обучение 5 дни в седмицата в продължение на 9 месеца подред
• Колко печели анализатор на данни: преглед на заплатите и свободните работни места в Русия и чужбина през 2020 г.
• Машинно обучение и компютърно зрение в минната индустрия

Източник: www.habr.com