Влизане
В тази статия ще говоря за добре познатия алгоритъм на Huffman, както и за приложението му при компресиране на данни.
В резултат на това ще напишем прост архиватор. Това вече е било , но без практическа реализация. Теоретичният материал на настоящата публикация е взет от уроците по информатика в училище и книгата на Робърт Лафорет „Структури на данни и алгоритми в Java“. И така, всичко е под разрез!
Малко размисъл
В нормален текстов файл един знак е кодиран с 8 бита (ASCII кодиране) или 16 (Unicode кодиране). След това ще разгледаме ASCII кодирането. Например вземете низа s1 = "SUSIE SAYS IT IS SYN". Общо в реда има 22 символа, разбира се, включително интервалите и знака за нов ред - 'n'. Файлът, съдържащ този ред, ще тежи 22*8 = 176 бита. Веднага възниква въпросът: рационално ли е да се използват всичките 8 бита за кодиране на 1 знак? Ние не използваме всички ASCII знаци. Дори и да бяха, би било по-рационално на най-често срещаната буква - S - да дадете възможно най-краткия код, а на най-рядката буква - T (или U, или 'n') - да дадете кода по-автентичен. Това е алгоритъмът на Huffman: трябва да намерите най-добрата опция за кодиране, при която файлът ще бъде с минимално тегло. Съвсем нормално е различните символи да имат различна дължина на кода - това е основата на алгоритъма.
Кодиране
Защо не дадете на знака 'S' код, например с дължина 1 бит: 0 или 1. Нека бъде 1. Тогава вторият най-често срещан знак - ' ' (интервал) - ще дадем 0. Представете си, че сте започнали да декодирайте вашето съобщение - кодиран низ s1 - и виждате, че кодът започва с 1. И така, какво да направите: знакът S ли е, или е някакъв друг знак, като A? Следователно възниква важно правило:
Никой код не трябва да бъде префикс на друг
Това правило е ключът към алгоритъма. Следователно създаването на кода започва с честотна таблица, която показва честотата (броя на срещания) на всеки символ:
Знаците с най-много срещания трябва да бъдат кодирани с най-малко възможен броя на битовете. Ще дам пример за една от възможните кодови таблици:
Така че кодираното съобщение ще изглежда така:
10 01111 10 110 1111 00 10 010 1110 10 00 110 0110 00 110 10 00 1111 010 10 1110 01110
Отделих кода на всеки знак с интервал. Това наистина няма да се случи в компресиран файл!
Възниква въпросът: как този новобранец измисли код как да създаде кодова таблица? Това ще бъде обсъдено по-долу.
Изграждане на дърво на Хъфман
Тук на помощ идват бинарните дървета за търсене. Не се притеснявайте, тук няма да имате нужда от методите за търсене, вмъкване и изтриване. Ето дървовидната структура в java:
public class Node {
private int frequence;
private char letter;
private Node leftChild;
private Node rightChild;
...
}
class BinaryTree {
private Node root;
public BinaryTree() {
root = new Node();
}
public BinaryTree(Node root) {
this.root = root;
}
...
}
Това не е пълният код, пълният код ще бъде по-долу.
Ето алгоритъма за изграждане на дърво:
- Създайте обект Node за всеки знак от съобщението (ред s1). В нашия случай ще има 9 възела (Node objects). Всеки възел се състои от две полета с данни: символ и честота
- Създайте обект Tree (BinaryTree) за всеки от възлите на Node. Възелът става корен на дървото.
- Вмъкнете тези дървета в опашката с приоритети. Колкото по-ниска е честотата, толкова по-висок е приоритетът. Така при извличане винаги се избира дървото с най-ниска честота.
След това трябва циклично да направите следното:
- Извлечете две дървета от опашката с приоритети и ги направете деца на нов възел (новосъздаден възел без буква). Честотата на новия възел е равна на сумата от честотите на двете наследствени дървета.
- За този възел създайте дърво с корени в този възел. Вмъкнете това дърво обратно в опашката с приоритети. (Тъй като дървото има нова честота, то най-вероятно ще попадне на ново място в опашката)
- Продължете стъпки 1 и 2, докато остане едно дърво в опашката - дървото на Huffman
Помислете за този алгоритъм на ред s1:
Тук символът "lf" (преминаване на ред) означава нов ред, "sp" (интервал) е интервал.
И после какво?
Имаме дървото на Хъфман. ДОБРЕ. И какво да правя с него? Те няма да го вземат безплатно И тогава трябва да проследите всички възможни пътища от корена до листата на дървото. Съгласни сме да обозначим ребро с 0, ако води до лявото дете и с 1, ако води до дясното. Строго погледнато, в тези обозначения кодът на символа е пътят от корена на дървото до листа, съдържащ същия този знак.
Така се получи таблицата с кодове. Имайте предвид, че ако разгледаме тази таблица, можем да заключим за "теглото" на всеки знак - това е дължината на неговия код. След това, в компресиран вид, изходният файл ще тежи: 2 * 3 + 2 * 4 + 3 * 3 + 6 * 2 + 1 * 4 + 1 * 5 + 2 * 4 + 4 * 2 + 1 * 5 = 65 бита . Първоначално тежеше 176 бита. Затова го намалихме с цели 176/65 = 2.7 пъти! Но това е утопия. Такова съотношение едва ли ще се получи. Защо? Това ще бъде обсъдено малко по-късно.
Декодиране
Е, може би най-простото нещо, което остава, е декодирането. Мисля, че много от вас се досещат, че е невъзможно просто да се създаде компресиран файл без никакви указания за това как е бил кодиран - няма да можем да го декодираме! Да, да, трудно ми беше да осъзная това, но трябва да създам текстов файл table.txt с таблица за компресия:
01110
00
A010
E1111
I110
S10
T0110
U01111
Y1110
Запис в таблица във формата 'символ'"символен код". Защо 01110 е без символ? Всъщност е със символ, просто java инструментите, които използвам при извеждане във файл, символът за нов ред - 'n' - се преобразува в нов ред (колкото и глупаво да звучи). Следователно празният ред по-горе е знакът за код 01110. За код 00 знакът е интервал в началото на реда. Веднага трябва да кажа, че този метод за съхраняване на таблицата може да се счита за най-нерационален за нашия коефициент на хан. Но е лесно за разбиране и изпълнение. Ще се радвам да чуя вашите препоръки в коментарите относно оптимизацията.
С тази таблица е много лесно да се декодира. Нека си спомним от какво правило се ръководихме при създаването на кодирането:
Никой код не трябва да бъде префикс на друг
Тук той играе улесняваща роля. Ние четем бит по бит последователно и веднага щом полученият низ d, състоящ се от прочетените битове, съвпадне с кодирането, съответстващо на символния знак, веднага знаем, че символният знак (и само той!) е бил кодиран. След това записваме знак в декодиращия низ (низът, съдържащ декодираното съобщение), нулираме d низа и четем кодирания файл допълнително.
Изпълнение
Време е да унижа моя код, като напиша архиватор. Нека го наречем Компресор.
Започни отначало. Първо, ние пишем класа Node:
public class Node {
private int frequence;//частота
private char letter;//буква
private Node leftChild;//левый потомок
private Node rightChild;//правый потомок
public Node(char letter, int frequence) { //собственно, конструктор
this.letter = letter;
this.frequence = frequence;
}
public Node() {}//перегрузка конструтора для безымянных узлов(см. выше в разделе о построении дерева Хаффмана)
public void addChild(Node newNode) {//добавить потомка
if (leftChild == null)//если левый пустой=> правый тоже=> добавляем в левый
leftChild = newNode;
else {
if (leftChild.getFrequence() <= newNode.getFrequence()) //в общем, левым потомком
rightChild = newNode;//станет тот, у кого меньше частота
else {
rightChild = leftChild;
leftChild = newNode;
}
}
frequence += newNode.getFrequence();//итоговая частота
}
public Node getLeftChild() {
return leftChild;
}
public Node getRightChild() {
return rightChild;
}
public int getFrequence() {
return frequence;
}
public char getLetter() {
return letter;
}
public boolean isLeaf() {//проверка на лист
return leftChild == null && rightChild == null;
}
}
Сега дървото:
class BinaryTree {
private Node root;
public BinaryTree() {
root = new Node();
}
public BinaryTree(Node root) {
this.root = root;
}
public int getFrequence() {
return root.getFrequence();
}
public Node getRoot() {
return root;
}
}
Приоритетна опашка:
import java.util.ArrayList;//да-да, очередь будет на базе списка
class PriorityQueue {
private ArrayList<BinaryTree> data;//список очереди
private int nElems;//кол-во элементов в очереди
public PriorityQueue() {
data = new ArrayList<BinaryTree>();
nElems = 0;
}
public void insert(BinaryTree newTree) {//вставка
if (nElems == 0)
data.add(newTree);
else {
for (int i = 0; i < nElems; i++) {
if (data.get(i).getFrequence() > newTree.getFrequence()) {//если частота вставляемого дерева меньше
data.add(i, newTree);//чем част. текущего, то cдвигаем все деревья на позициях справа на 1 ячейку
break;//затем ставим новое дерево на позицию текущего
}
if (i == nElems - 1)
data.add(newTree);
}
}
nElems++;//увеличиваем кол-во элементов на 1
}
public BinaryTree remove() {//удаление из очереди
BinaryTree tmp = data.get(0);//копируем удаляемый элемент
data.remove(0);//собственно, удаляем
nElems--;//уменьшаем кол-во элементов на 1
return tmp;//возвращаем удаленный элемент(элемент с наименьшей частотой)
}
}
Класът, който създава дървото на Хъфман:
public class HuffmanTree {
private final byte ENCODING_TABLE_SIZE = 127;//длина кодировочной таблицы
private String myString;//сообщение
private BinaryTree huffmanTree;//дерево Хаффмана
private int[] freqArray;//частотная таблица
private String[] encodingArray;//кодировочная таблица
//----------------constructor----------------------
public HuffmanTree(String newString) {
myString = newString;
freqArray = new int[ENCODING_TABLE_SIZE];
fillFrequenceArray();
huffmanTree = getHuffmanTree();
encodingArray = new String[ENCODING_TABLE_SIZE];
fillEncodingArray(huffmanTree.getRoot(), "", "");
}
//--------------------frequence array------------------------
private void fillFrequenceArray() {
for (int i = 0; i < myString.length(); i++) {
freqArray[(int)myString.charAt(i)]++;
}
}
public int[] getFrequenceArray() {
return freqArray;
}
//------------------------huffman tree creation------------------
private BinaryTree getHuffmanTree() {
PriorityQueue pq = new PriorityQueue();
//алгоритм описан выше
for (int i = 0; i < ENCODING_TABLE_SIZE; i++) {
if (freqArray[i] != 0) {//если символ существует в строке
Node newNode = new Node((char) i, freqArray[i]);//то создать для него Node
BinaryTree newTree = new BinaryTree(newNode);//а для Node создать BinaryTree
pq.insert(newTree);//вставить в очередь
}
}
while (true) {
BinaryTree tree1 = pq.remove();//извлечь из очереди первое дерево.
try {
BinaryTree tree2 = pq.remove();//извлечь из очереди второе дерево
Node newNode = new Node();//создать новый Node
newNode.addChild(tree1.getRoot());//сделать его потомками два извлеченных дерева
newNode.addChild(tree2.getRoot());
pq.insert(new BinaryTree(newNode);
} catch (IndexOutOfBoundsException e) {//осталось одно дерево в очереди
return tree1;
}
}
}
public BinaryTree getTree() {
return huffmanTree;
}
//-------------------encoding array------------------
void fillEncodingArray(Node node, String codeBefore, String direction) {//заполнить кодировочную таблицу
if (node.isLeaf()) {
encodingArray[(int)node.getLetter()] = codeBefore + direction;
} else {
fillEncodingArray(node.getLeftChild(), codeBefore + direction, "0");
fillEncodingArray(node.getRightChild(), codeBefore + direction, "1");
}
}
String[] getEncodingArray() {
return encodingArray;
}
public void displayEncodingArray() {//для отладки
fillEncodingArray(huffmanTree.getRoot(), "", "");
System.out.println("======================Encoding table====================");
for (int i = 0; i < ENCODING_TABLE_SIZE; i++) {
if (freqArray[i] != 0) {
System.out.print((char)i + " ");
System.out.println(encodingArray[i]);
}
}
System.out.println("========================================================");
}
//-----------------------------------------------------
String getOriginalString() {
return myString;
}
}
Класът, съдържащ което кодира/декодира:
public class HuffmanOperator {
private final byte ENCODING_TABLE_SIZE = 127;//длина таблицы
private HuffmanTree mainHuffmanTree;//дерево Хаффмана (используется только для сжатия)
private String myString;//исходное сообщение
private int[] freqArray;//частотаная таблица
private String[] encodingArray;//кодировочная таблица
private double ratio;//коэффициент сжатия
public HuffmanOperator(HuffmanTree MainHuffmanTree) {//for compress
this.mainHuffmanTree = MainHuffmanTree;
myString = mainHuffmanTree.getOriginalString();
encodingArray = mainHuffmanTree.getEncodingArray();
freqArray = mainHuffmanTree.getFrequenceArray();
}
public HuffmanOperator() {}//for extract;
//---------------------------------------compression-----------------------------------------------------------
private String getCompressedString() {
String compressed = "";
String intermidiate = "";//промежуточная строка(без добавочных нулей)
//System.out.println("=============================Compression=======================");
//displayEncodingArray();
for (int i = 0; i < myString.length(); i++) {
intermidiate += encodingArray[myString.charAt(i)];
}
//Мы не можем писать бит в файл. Поэтому нужно сделать длину сообщения кратной 8=>
//нужно добавить нули в конец(можно 1, нет разницы)
byte counter = 0;//количество добавленных в конец нулей (байта в полне хватит: 0<=counter<8<127)
for (int length = intermidiate.length(), delta = 8 - length % 8;
counter < delta ; counter++) {//delta - количество добавленных нулей
intermidiate += "0";
}
//склеить кол-во добавочных нулей в бинарном предаствлении и промежуточную строку
compressed = String.format("%8s", Integer.toBinaryString(counter & 0xff)).replace(" ", "0") + intermidiate;
//идеализированный коэффициент
setCompressionRatio();
//System.out.println("===============================================================");
return compressed;
}
private void setCompressionRatio() {//посчитать идеализированный коэффициент
double sumA = 0, sumB = 0;//A-the original sum
for (int i = 0; i < ENCODING_TABLE_SIZE; i++) {
if (freqArray[i] != 0) {
sumA += 8 * freqArray[i];
sumB += encodingArray[i].length() * freqArray[i];
}
}
ratio = sumA / sumB;
}
public byte[] getBytedMsg() {//final compression
StringBuilder compressedString = new StringBuilder(getCompressedString());
byte[] compressedBytes = new byte[compressedString.length() / 8];
for (int i = 0; i < compressedBytes.length; i++) {
compressedBytes[i] = (byte) Integer.parseInt(compressedString.substring(i * 8, (i + 1) * 8), 2);
}
return compressedBytes;
}
//---------------------------------------end of compression----------------------------------------------------------------
//------------------------------------------------------------extract-----------------------------------------------------
public String extract(String compressed, String[] newEncodingArray) {
String decompressed = "";
String current = "";
String delta = "";
encodingArray = newEncodingArray;
//displayEncodingArray();
//получить кол-во вставленных нулей
for (int i = 0; i < 8; i++)
delta += compressed.charAt(i);
int ADDED_ZEROES = Integer.parseInt(delta, 2);
for (int i = 8, l = compressed.length() - ADDED_ZEROES; i < l; i++) {
//i = 8, т.к. первым байтом у нас идет кол-во вставленных нулей
current += compressed.charAt(i);
for (int j = 0; j < ENCODING_TABLE_SIZE; j++) {
if (current.equals(encodingArray[j])) {//если совпало
decompressed += (char)j;//то добавляем элемент
current = "";//и обнуляем текущую строку
}
}
}
return decompressed;
}
public String getEncodingTable() {
String enc = "";
for (int i = 0; i < encodingArray.length; i++) {
if (freqArray[i] != 0)
enc += (char)i + encodingArray[i] + 'n';
}
return enc;
}
public double getCompressionRatio() {
return ratio;
}
public void displayEncodingArray() {//для отладки
System.out.println("======================Encoding table====================");
for (int i = 0; i < ENCODING_TABLE_SIZE; i++) {
//if (freqArray[i] != 0) {
System.out.print((char)i + " ");
System.out.println(encodingArray[i]);
//}
}
System.out.println("========================================================");
}
}
Клас, който улеснява писането във файл:
import java.io.File;
import java.io.PrintWriter;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.Closeable;
public class FileOutputHelper implements Closeable {
private File outputFile;
private FileOutputStream fileOutputStream;
public FileOutputHelper(File file) throws FileNotFoundException {
outputFile = file;
fileOutputStream = new FileOutputStream(outputFile);
}
public void writeByte(byte msg) throws IOException {
fileOutputStream.write(msg);
}
public void writeBytes(byte[] msg) throws IOException {
fileOutputStream.write(msg);
}
public void writeString(String msg) {
try (PrintWriter pw = new PrintWriter(outputFile)) {
pw.write(msg);
} catch (FileNotFoundException e) {
System.out.println("Неверный путь, или такого файла не существует!");
}
}
@Override
public void close() throws IOException {
fileOutputStream.close();
}
public void finalize() throws IOException {
close();
}
}
Клас, който улеснява четенето от файл:
import java.io.FileInputStream;
import java.io.EOFException;
import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.io.Closeable;
import java.io.File;
import java.io.IOException;
public class FileInputHelper implements Closeable {
private FileInputStream fileInputStream;
private BufferedReader fileBufferedReader;
public FileInputHelper(File file) throws IOException {
fileInputStream = new FileInputStream(file);
fileBufferedReader = new BufferedReader(new InputStreamReader(fileInputStream));
}
public byte readByte() throws IOException {
int cur = fileInputStream.read();
if (cur == -1)//если закончился файл
throw new EOFException();
return (byte)cur;
}
public String readLine() throws IOException {
return fileBufferedReader.readLine();
}
@Override
public void close() throws IOException{
fileInputStream.close();
}
}
Е, и основният клас:
import java.io.File;
import java.nio.charset.MalformedInputException;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.NoSuchFileException;
import java.nio.file.Paths;
import java.util.List;
import java.io.EOFException;
public class Main {
private static final byte ENCODING_TABLE_SIZE = 127;
public static void main(String[] args) throws IOException {
try {//указываем инструкцию с помощью аргументов командной строки
if (args[0].equals("--compress") || args[0].equals("-c"))
compress(args[1]);
else if ((args[0].equals("--extract") || args[0].equals("-x"))
&& (args[2].equals("--table") || args[2].equals("-t"))) {
extract(args[1], args[3]);
}
else
throw new IllegalArgumentException();
} catch (ArrayIndexOutOfBoundsException | IllegalArgumentException e) {
System.out.println("Неверный формат ввода аргументов ");
System.out.println("Читайте Readme.txt");
e.printStackTrace();
}
}
public static void compress(String stringPath) throws IOException {
List<String> stringList;
File inputFile = new File(stringPath);
String s = "";
File compressedFile, table;
try {
stringList = Files.readAllLines(Paths.get(inputFile.getAbsolutePath()));
} catch (NoSuchFileException e) {
System.out.println("Неверный путь, или такого файла не существует!");
return;
} catch (MalformedInputException e) {
System.out.println("Текущая кодировка файла не поддерживается");
return;
}
for (String item : stringList) {
s += item;
s += 'n';
}
HuffmanOperator operator = new HuffmanOperator(new HuffmanTree(s));
compressedFile = new File(inputFile.getAbsolutePath() + ".cpr");
compressedFile.createNewFile();
try (FileOutputHelper fo = new FileOutputHelper(compressedFile)) {
fo.writeBytes(operator.getBytedMsg());
}
//create file with encoding table:
table = new File(inputFile.getAbsolutePath() + ".table.txt");
table.createNewFile();
try (FileOutputHelper fo = new FileOutputHelper(table)) {
fo.writeString(operator.getEncodingTable());
}
System.out.println("Путь к сжатому файлу: " + compressedFile.getAbsolutePath());
System.out.println("Путь к кодировочной таблице " + table.getAbsolutePath());
System.out.println("Без таблицы файл будет невозможно извлечь!");
double idealRatio = Math.round(operator.getCompressionRatio() * 100) / (double) 100;//идеализированный коэффициент
double realRatio = Math.round((double) inputFile.length()
/ ((double) compressedFile.length() + (double) table.length()) * 100) / (double)100;//настоящий коэффициент
System.out.println("Идеализированный коэффициент сжатия равен " + idealRatio);
System.out.println("Коэффициент сжатия с учетом кодировочной таблицы " + realRatio);
}
public static void extract(String filePath, String tablePath) throws FileNotFoundException, IOException {
HuffmanOperator operator = new HuffmanOperator();
File compressedFile = new File(filePath),
tableFile = new File(tablePath),
extractedFile = new File(filePath + ".xtr");
String compressed = "";
String[] encodingArray = new String[ENCODING_TABLE_SIZE];
//read compressed file
//!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!check here:
try (FileInputHelper fi = new FileInputHelper(compressedFile)) {
byte b;
while (true) {
b = fi.readByte();//method returns EOFException
compressed += String.format("%8s", Integer.toBinaryString(b & 0xff)).replace(" ", "0");
}
} catch (EOFException e) {
}
//--------------------
//read encoding table:
try (FileInputHelper fi = new FileInputHelper(tableFile)) {
fi.readLine();//skip first empty string
encodingArray[(byte)'n'] = fi.readLine();//read code for 'n'
while (true) {
String s = fi.readLine();
if (s == null)
throw new EOFException();
encodingArray[(byte)s.charAt(0)] = s.substring(1, s.length());
}
} catch (EOFException ignore) {}
extractedFile.createNewFile();
//extract:
try (FileOutputHelper fo = new FileOutputHelper(extractedFile)) {
fo.writeString(operator.extract(compressed, encodingArray));
}
System.out.println("Путь к распакованному файлу " + extractedFile.getAbsolutePath());
}
}
Ще трябва сами да напишете файла с инструкции за readme.txt 🙂
Заключение
Предполагам, че това е всичко, което исках да кажа. Ако имате какво да кажете за моята некомпетентност за подобрения в кода, алгоритъма, като цяло, всяка оптимизация, тогава не се колебайте да пишете. Ако не съм обяснил нещо, моля също пишете. Ще се радвам да чуя от вас в коментарите!
PS
Да, да, все още съм тук, защото не забравих за коефициента. За низа s1 кодиращата таблица тежи 48 байта - много повече от оригиналния файл и не са забравили за допълнителните нули (броят на добавените нули е 7) => съотношението на компресия ще бъде по-малко от едно: 176 /(65 + 48*8 + 7) = 0.38. Ако и вие сте забелязали това, тогава просто не в лицето сте добре направено. Да, тази реализация ще бъде изключително неефективна за малки файлове. Но какво се случва с големите файлове? Размерите на файловете са много по-големи от размера на таблицата за кодиране. Тук алгоритъмът работи както трябва! Например за архиваторът дава реален (не идеализиран) коефициент, равен на 1.46 - почти един и половина пъти! И да, файлът трябваше да е на английски.
Източник: www.habr.com