ইমেজ ওভারকম্প্রেস করতে AI ব্যবহার করে

নিউরাল নেটওয়ার্কের মতো ডেটা-চালিত অ্যালগরিদম বিশ্বকে ঝড় তুলেছে। সস্তা এবং শক্তিশালী সরঞ্জাম এবং বিপুল পরিমাণ ডেটা সহ বিভিন্ন কারণে তাদের বিকাশ ঘটে। নিউরাল নেটওয়ার্ক বর্তমানে "কগনিটিভ" কাজ যেমন ইমেজ রিকগনিশন, ন্যাচারাল ল্যাঙ্গুয়েজ বোঝার ইত্যাদির সাথে সম্পর্কিত সবকিছুর অগ্রভাগে রয়েছে। তবে তাদের এই ধরনের কাজের মধ্যে সীমাবদ্ধ থাকা উচিত নয়। এই নিবন্ধটি কীভাবে স্নায়ু নেটওয়ার্ক ব্যবহার করে, অবশিষ্ট শিক্ষা ব্যবহার করে চিত্রগুলিকে সংকুচিত করতে হয় সে সম্পর্কে কথা বলে। নিবন্ধে উপস্থাপিত পদ্ধতিটি স্ট্যান্ডার্ড কোডেকের চেয়ে দ্রুত এবং ভাল। স্কিম, সমীকরণ এবং, অবশ্যই, কাটা অধীনে পরীক্ষা সঙ্গে একটি টেবিল.

এই নিবন্ধটি উপর ভিত্তি করে এই কাজ এটা ধরে নেওয়া হয় যে আপনি নিউরাল নেটওয়ার্ক এবং তাদের ধারণার সাথে পরিচিত। আবর্তন и ক্ষতি ফাংশন.

ইমেজ কম্প্রেশন কি এবং এটি কিভাবে কাজ করে?

ইমেজ কম্প্রেশন হল একটি ছবিকে রূপান্তর করার প্রক্রিয়া যাতে এটি কম জায়গা নেয়। শুধু ছবি সংরক্ষণ করা অনেক জায়গা নেয়, এই কারণেই জেপিইজি এবং পিএনজির মতো কোডেক রয়েছে যা আসল ছবির আকার কমিয়ে দেয়।

আপনি জানেন, দুটি ধরনের ইমেজ কম্প্রেশন আছে: কোন ক্ষতি и ক্ষতির সাথে. নাম অনুসারে, লসলেস কম্প্রেশন মূল ইমেজ ডেটা ধরে রাখতে পারে, যখন ক্ষতিকর কম্প্রেশন কম্প্রেশনের সময় কিছু ডেটা হারায়। উদাহরণস্বরূপ, JPG হল ক্ষতিকর অ্যালগরিদম [প্রায় অনুবাদ - মূলত, আসুন ক্ষতিহীন JPEG সম্পর্কেও ভুলে যাই], এবং PNG একটি ক্ষতিহীন অ্যালগরিদম।

ক্ষতিহীন এবং ক্ষতিকর কম্প্রেশনের তুলনা

লক্ষ্য করুন যে ডানদিকে চিত্রটিতে প্রচুর ব্লকি আর্টিফ্যাক্ট রয়েছে। এই তথ্য হারিয়ে গেছে. একই রঙের প্রতিবেশী পিক্সেলগুলি স্থান বাঁচাতে একক এলাকা হিসাবে সংকুচিত হয়, কিন্তু প্রকৃত পিক্সেল সম্পর্কে তথ্য হারিয়ে যায়। অবশ্যই, JPEG, PNG, ইত্যাদি কোডেকগুলিতে ব্যবহৃত অ্যালগরিদমগুলি অনেক বেশি জটিল, তবে এটি ক্ষতিকারক কম্প্রেশনের একটি ভাল স্বজ্ঞাত উদাহরণ। লসলেস কম্প্রেশন ভালো, কিন্তু লসলেস কমপ্রেসড ফাইল অনেক ডিস্ক স্পেস নেয়। অনেক তথ্য না হারিয়ে ইমেজ কম্প্রেস করার আরও ভালো উপায় আছে, কিন্তু সেগুলো বেশ ধীরগতির এবং অনেকেই পুনরাবৃত্তিমূলক পন্থা ব্যবহার করে। এর মানে হল যে সেগুলি একাধিক CPU বা GPU কোরে সমান্তরালভাবে চালানো যাবে না। এই সীমাবদ্ধতা তাদের দৈনন্দিন ব্যবহারে সম্পূর্ণরূপে অকার্যকর করে তোলে।

কনভোল্যুশনাল নিউরাল নেটওয়ার্ক ইনপুট

যদি কিছু গণনা করা প্রয়োজন এবং গণনা আনুমানিক হতে পারে, যোগ করুন নিউরাল নেটওয়ার্ক. লেখক ইমেজ কম্প্রেশন উন্নত করার জন্য একটি মোটামুটি স্ট্যান্ডার্ড কনভোলিউশনাল নিউরাল নেটওয়ার্ক ব্যবহার করেছেন। উপস্থাপিত পদ্ধতিটি শুধুমাত্র সেরা সমাধানগুলির সাথে সমানভাবে কাজ করে না (যদি ভাল না হয়), এটি সমান্তরাল কম্পিউটিংও ব্যবহার করতে পারে, যা গতিতে নাটকীয় বৃদ্ধির দিকে পরিচালিত করে। কারণ হল কনভোল্যুশনাল নিউরাল নেটওয়ার্ক (CNNs) ছবি থেকে স্থানিক তথ্য বের করতে খুব ভাল, যেগুলিকে আরও কমপ্যাক্ট আকারে উপস্থাপন করা হয় (উদাহরণস্বরূপ, ছবির শুধুমাত্র "গুরুত্বপূর্ণ" বিটগুলি সংরক্ষণ করা হয়)। লেখকরা চিত্রগুলিকে আরও ভালভাবে উপস্থাপন করতে এই সিএনএন ক্ষমতা ব্যবহার করতে চেয়েছিলেন।

স্থাপত্য

লেখক একটি ডবল নেটওয়ার্ক প্রস্তাব. প্রথম নেটওয়ার্ক ইনপুট হিসাবে একটি ছবি নেয় এবং একটি কমপ্যাক্ট উপস্থাপনা (ComCNN) তৈরি করে। এই নেটওয়ার্কের আউটপুট তারপর একটি স্ট্যান্ডার্ড কোডেক (যেমন JPEG) দ্বারা প্রক্রিয়া করা হয়। কোডেক দ্বারা প্রক্রিয়া করার পরে, ছবিটি একটি দ্বিতীয় নেটওয়ার্কে প্রেরণ করা হয়, যা মূল চিত্রটি ফেরত দেওয়ার প্রয়াসে কোডেক থেকে চিত্রটিকে "স্থির" করে। লেখকরা এই নেটওয়ার্কের নাম দিয়েছেন পুনর্গঠনমূলক CNN (RecCNN)। GAN-এর মতো, উভয় নেটওয়ার্কই পুনরাবৃত্তিমূলকভাবে প্রশিক্ষিত।

ComCNN কমপ্যাক্ট উপস্থাপনা স্ট্যান্ডার্ড কোডেকে পাস করা হয়

RecCNN। ComCNN আউটপুট স্কেল করা হয়েছে এবং RecCNN কে খাওয়ানো হয়েছে, যা বাকিটা শেখার চেষ্টা করবে

কোডেক আউটপুট স্কেল আপ করা হয় এবং তারপর RecCNN এ পাস করা হয়। RecCNN ছবিটি যতটা সম্ভব আসলটির কাছাকাছি রেন্ডার করার চেষ্টা করবে।

এন্ড-টু-এন্ড ইমেজ কম্প্রেশন ফ্রেমওয়ার্ক। Co(.) হল একটি ইমেজ কম্প্রেশন অ্যালগরিদম। লেখকরা JPEG, JPEG2000 এবং BPG ব্যবহার করেছেন

একটি অবশিষ্ট কি?

অবশিষ্টটিকে কোডেক দ্বারা ডিকোড করা চিত্রটিকে "উন্নত" করার জন্য একটি পোস্ট-প্রসেসিং পদক্ষেপ হিসাবে বিবেচনা করা যেতে পারে। বিশ্ব সম্পর্কে প্রচুর "তথ্য" থাকার কারণে, একটি নিউরাল নেটওয়ার্ক কী ঠিক করতে হবে সে সম্পর্কে জ্ঞানীয় সিদ্ধান্ত নিতে পারে। এই ধারণা উপর ভিত্তি করে অবশিষ্ট শিক্ষা, আপনি পারেন যা সম্পর্কে বিস্তারিত পড়ুন এখানে.

ক্ষতি ফাংশন

দুটি ক্ষতি ফাংশন ব্যবহার করা হয় কারণ আমাদের দুটি নিউরাল নেটওয়ার্ক রয়েছে। এর মধ্যে প্রথমটি, ComCNN, L1 লেবেলযুক্ত এবং নিম্নরূপ সংজ্ঞায়িত করা হয়েছে:

ComCNN-এর জন্য লস ফাংশন

ব্যাখ্যা

এই সমীকরণটি জটিল বলে মনে হতে পারে, তবে এটি আসলে আদর্শ (রুট মানে বর্গ ত্রুটি) MSE. ||² মানে ভেক্টরের আদর্শ যা তারা ঘেরা।

সমীকরণ 1.1

Cr ComCNN এর আউটপুট নির্দেশ করে। θ ComCNN প্যারামিটারের শিখনযোগ্যতা বোঝায়, XK হল ইনপুট চিত্র

সমীকরণ 1.2

Re() RecCNN এর পূর্ণরূপ। এই সমীকরণটি সহজভাবে সমীকরণ 1.1-এর অর্থ RecCNN-কে বোঝায়। θ RecCNN প্রশিক্ষণযোগ্য পরামিতিগুলিকে বোঝায় (উপরে একটি টুপি মানে প্যারামিটারগুলি স্থির করা হয়েছে)।

স্বজ্ঞাত সংজ্ঞা

সমীকরণ 1.0 ComCNN এর ওজন পরিবর্তন করতে বাধ্য করবে যাতে RecCNN দিয়ে পুনরায় তৈরি করা হলে, চূড়ান্ত চিত্রটি ইনপুট চিত্রের সাথে যতটা সম্ভব অনুরূপ দেখায়। দ্বিতীয় RecCNN ক্ষতি ফাংশন নিম্নরূপ সংজ্ঞায়িত করা হয়:

সমীকরণ 2.0

ব্যাখ্যা

আবার, ফাংশনটি জটিল মনে হতে পারে, তবে এটি বেশিরভাগ অংশের জন্য একটি স্ট্যান্ডার্ড নিউরাল নেটওয়ার্ক লস ফাংশন (MSE)।

সমীকরণ 2.1

Co() কোডেক আউটপুট মানে, উপরে টুপি সহ x মানে ComCNN আউটপুট। θ2 হল RecCNN প্রশিক্ষণযোগ্য প্যারামিটার, res() শুধুমাত্র RecCNN এর অবশিষ্ট আউটপুট। এটি লক্ষণীয় যে RecCNN Co() এবং ইনপুট চিত্রের মধ্যে পার্থক্য সম্পর্কে প্রশিক্ষিত, তবে ইনপুট চিত্রে নয়।

স্বজ্ঞাত সংজ্ঞা

সমীকরণ 2.0 এর কারণে RecCNN এর ওজন পরিবর্তন করবে যাতে আউটপুটটি ইনপুট চিত্রের সাথে যতটা সম্ভব অনুরূপ দেখায়।

প্রশিক্ষণ প্রকল্প

মডেলগুলি পুনরাবৃত্তিমূলকভাবে প্রশিক্ষিত হয়, যেমন GAN. দ্বিতীয় মডেলের ওজন আপডেট করার সময় প্রথম মডেলের ওজন স্থির করা হয়, তারপর প্রথম মডেলের প্রশিক্ষণের সময় দ্বিতীয় মডেলের ওজন নির্ধারণ করা হয়।

পরীক্ষা

লেখকরা তাদের পদ্ধতিকে সাধারণ কোডেক সহ বিদ্যমান পদ্ধতির সাথে তুলনা করেছেন। উপযুক্ত হার্ডওয়্যারে উচ্চ গতি বজায় রাখার সময় তাদের পদ্ধতি অন্যদের চেয়ে ভাল পারফর্ম করে। উপরন্তু, লেখক দুটি নেটওয়ার্কের মধ্যে শুধুমাত্র একটি ব্যবহার করার চেষ্টা করেছেন এবং কর্মক্ষমতা হ্রাস লক্ষ্য করেছেন।

কাঠামোগত সাদৃশ্য সূচক তুলনা (SSIM)। উচ্চ মানগুলি আসলটির সাথে আরও ভাল সাদৃশ্য নির্দেশ করে। বোল্ড টাইপ লেখকদের কাজের ফলাফল নির্দেশ করে

উপসংহার

আমরা ইমেজ কম্প্রেশনে গভীর শিক্ষা প্রয়োগ করার একটি নতুন উপায় দেখেছি, এবং "সাধারণ" কাজ যেমন চিত্র শ্রেণীবিভাগ এবং ভাষা প্রক্রিয়াকরণের বাইরে কাজগুলিতে নিউরাল নেটওয়ার্ক ব্যবহার করার সম্ভাবনা সম্পর্কে কথা বলেছি। এই পদ্ধতিটি শুধুমাত্র আধুনিক প্রয়োজনীয়তাগুলির থেকে নিকৃষ্ট নয়, তবে আপনাকে ছবিগুলিকে আরও দ্রুত প্রক্রিয়া করার অনুমতি দেয়।

নিউরাল নেটওয়ার্ক শেখা সহজ হয়ে গেছে, কারণ আমরা বিশেষ করে হাব্রাভচানের জন্য একটি প্রচার কোড তৈরি করেছি HABR, ব্যানারে নির্দেশিত ডিসকাউন্টে অতিরিক্ত 10% ডিসকাউন্ট প্রদান করে।

• স্ক্র্যাচ থেকে ডেটা সায়েন্সের পেশা শিক্ষকতা
• ডেটা সায়েন্স অনলাইন বুটক্যাম্প
• স্ক্র্যাচ থেকে ডেটা বিশ্লেষক পেশা প্রশিক্ষণ
• ডেটা বিশ্লেষণ অনলাইন বুটক্যাম্প
• ওয়েব ডেভেলপমেন্ট কোর্সের জন্য পাইথন

আরও কোর্স

• ডেটা অ্যানালিটিক্স কোর্স
• DevOps কোর্স
• পেশা ওয়েব ডেভেলপার
• স্ক্র্যাচ থেকে পেশা iOS বিকাশকারী
• স্ক্র্যাচ থেকে পেশা অ্যান্ড্রয়েড বিকাশকারী
• স্ক্র্যাচ থেকে পেশা জাভা বিকাশকারী
• জাভাস্ক্রিপ্ট কোর্স
• মেশিন লার্নিং কোর্স
• কোর্স "ডেটা সায়েন্সের জন্য গণিত এবং মেশিন লার্নিং"
• উন্নত কোর্স "মেশিন লার্নিং প্রো + ডিপ লার্নিং"

বৈশিষ্ট্যযুক্ত প্রবন্ধ

• অনলাইন কোর্স ছাড়াই কীভাবে ডেটা সায়েন্টিস্ট হওয়া যায়
• 450 ফ্রি আইভি লীগ কোর্স
• কিভাবে সপ্তাহে 5 দিন মেশিন লার্নিং পড়া যায় একটানা 9 মাস
• একজন ডেটা বিশ্লেষক কত উপার্জন করেন: 2020 সালে রাশিয়া এবং বিদেশে বেতন এবং শূন্যপদগুলির একটি ওভারভিউ
• মাইনিং শিল্পে মেশিন লার্নিং এবং কম্পিউটার ভিশন

উত্স: www.habr.com