පාඨමාලාව ආරම්භ කිරීමට පෙර තවත් ප්‍රයෝජනවත් ද්‍රව්‍යයක පරිවර්තනයක් ඔබ වෙනුවෙන් සූදානම් කර ඇත.
හෆ්මන් කේතීකරණය යනු ගොනු සම්පීඩනය පිළිබඳ මූලික අදහස සකස් කරන දත්ත සම්පීඩන ඇල්ගොරිතමයකි. මෙම ලිපියෙන් අපි ස්ථාවර සහ විචල්ය දිග කේතනය, අද්විතීය ලෙස විකේතනය කළ හැකි කේත, උපසර්ග නීති සහ හෆ්මන් ගසක් තැනීම ගැන කතා කරමු.
සෑම අක්ෂරයක්ම 0 සහ 1 අනුපිළිවෙලක් ලෙස ගබඩා කර බිටු 8 ක් ගන්නා බව අපි දනිමු. එක් එක් අක්ෂර ගබඩා කිරීම සඳහා එකම ස්ථාවර බිටු ගණන භාවිතා කරන බැවින් මෙය ස්ථාවර දිග කේතනය ලෙස හැඳින්වේ.
අපි කියමු අපිට පෙළක් දුන්නා කියලා. තනි අක්ෂරයක් ගබඩා කිරීමට අවශ්ය ඉඩ ප්‍රමාණය අඩු කරන්නේ කෙසේද?
ප්රධාන අදහස විචල්ය දිග කේතනය වේ. පෙළෙහි සමහර අක්ෂර අනෙක් ඒවාට වඩා බොහෝ විට සිදුවන බව අපට භාවිතා කළ හැකිය () අඩු බිටු වලින් එකම අක්ෂර අනුපිළිවෙල නියෝජනය කරන ඇල්ගොරිතමයක් සංවර්ධනය කිරීමට. විචල්ය දිග කේතීකරණයේදී, අපි අක්ෂරවලට විචල්ය බිටු සංඛ්‍යාවක් පවරමු, ඒවා ලබා දී ඇති පෙළක කොපමණ වාරයක් දිස්වේද යන්න මත පදනම්ව. අවසානයේදී, සමහර අක්ෂර සඳහා බිට් 1ක් වැනි සුළු ප්‍රමාණයක් ගත හැකි අතර අනෙක් අය බිටු 2ක්, 3ක් හෝ වැඩි ගණනක් ගත හැක. විචල්ය දිග කේතනය කිරීමේ ගැටලුව වන්නේ අනුක්‍රමයේ පසුව විකේතනය කිරීම පමණි.
බිටු අනුපිළිවෙල දැනගෙන එය නිසැක ලෙස විකේතනය කරන්නේ කෙසේද?
රේඛාව සලකා බලන්න "abacdab". එහි අක්ෂර 8 ක් ඇති අතර, ස්ථාවර දිගක් කේතනය කරන විට, එය ගබඩා කිරීමට බිටු 64 ක් අවශ්ය වනු ඇත. සංකේත සංඛ්යාතය බව සලකන්න "a", "b", "c" и "ඩී" පිළිවෙලින් 4, 2, 1, 1 ට සමාන වේ. අපි සිතින් මවා ගැනීමට උත්සාහ කරමු "abacdab" අඩු බිටු, යන කරුණ භාවිතා කරමින් "දක්වා" වඩා නිතර නිතර සිදු වේ "බී"හා "බී" වඩා නිතර නිතර සිදු වේ "c" и "ඩී". අපි කේතීකරණයෙන් පටන් ගනිමු "දක්වා" 0 ට සමාන බිට් එකක් සමඟ, "බී" අපි බිටු දෙකේ කේතය 11 පවරමු, සහ බිටු 100 සහ 011 භාවිතා කරමින් අපි කේතනය කරන්නෙමු "c" и "ඩී".
ප්රතිඵලයක් වශයෙන්, අපට ලැබෙනු ඇත:
a
0
b
11
c
100
d
011
ඉතින් රේඛාව "abacdab" අපි ලෙස කේතනය කරන්නෙමු 00110100011011 (0|0|11|0|100|011|0|11)ඉහත කේත භාවිතා කරමින්. කෙසේ වෙතත්, ප්රධාන ගැටළුව වන්නේ විකේතනය කිරීමයි. අපි string විකේතනය කිරීමට උත්සාහ කරන විට 00110100011011, අපට අපැහැදිලි ප්රතිඵලයක් ලැබේ, මන්ද එය නිරූපණය කළ හැක්කේ:
0|011|0|100|011|0|11 adacdab
0|0|11|0|100|0|11|011 aabacabd
0|011|0|100|0|11|0|11 adacabab
...
සහ එසේ ය.
මෙම අපැහැදිලි බව මඟහරවා ගැනීම සඳහා, අපගේ කේතනය එවැනි සංකල්පයක් තෘප්තිමත් කරන බවට සහතික විය යුතුය උපසර්ග රීතිය, එයින් ඇඟවෙන්නේ කේත විකේතනය කළ හැක්කේ එක් අද්විතීය ආකාරයකින් පමණක් බවයි. උපසර්ග රීතිය කිසිදු කේතයක් වෙනත් කේතයක් නොවන බව සහතික කරයි. කේතයෙන්, අපි අදහස් කරන්නේ යම් අක්ෂරයක් නියෝජනය කිරීමට භාවිතා කරන බිටු ය. ඉහත උදාහරණයේ 0 උපසර්ගයකි 011, උපසර්ග රීතිය උල්ලංඝනය කරයි. එබැවින්, අපගේ කේත උපසර්ග රීතිය තෘප්තිමත් කරන්නේ නම්, අපට අද්විතීය ලෙස විකේතනය කළ හැකිය (සහ අනෙක් අතට).
ඉහත උදාහරණය නැවත සලකා බලමු. මෙවර අපි සංකේත සඳහා පවරමු "a", "b", "c" и "ඩී" උපසර්ග රීතිය තෘප්තිමත් කරන කේත.
a
0
b
10
c
110
d
111
මෙම කේතනය සමඟ, තන්තුව "abacdab" ලෙස කේතනය කරනු ලැබේ 00100100011010 (0|0|10|0|100|011|0|10). මෙන්න 00100100011010 අපට දැනටමත් නොපැහැදිලි ලෙස විකේතනය කර අපගේ මුල් තන්තුව වෙත ආපසු යාමට හැකි වනු ඇත "abacdab".
හෆ්මන් කේතීකරණය
දැන් අපි විචල්ය දිග කේතනය සහ උපසර්ග රීතිය සමඟ කටයුතු කර ඇති බැවින්, අපි හෆ්මන් කේතීකරණය ගැන කතා කරමු.
මෙම ක්රමය ද්විමය ගස් නිර්මාණය කිරීම මත පදනම් වේ. එහි දී, නෝඩය අවසාන හෝ අභ්යන්තර විය හැකිය. මුලදී, සියලුම නෝඩ් කොළ (පර්යන්ත) ලෙස සලකනු ලැබේ, එය සංකේතය සහ එහි බර (එනම් සිදුවීමේ වාර ගණන) නියෝජනය කරයි. අභ්යන්තර නෝඩ් වල චරිතයේ බර අඩංගු වන අතර පැවත එන නෝඩ් දෙකක් වෙත යොමු වේ. පොදු එකඟතාව අනුව, ටිකක් «0» වම් ශාඛාව අනුගමනය කිරීම නියෝජනය කරයි, සහ «1» - දකුණේ. සම්පූර්ණ ගසක N කොළ සහ N-1 අභ්යන්තර නෝඩ්. හෆ්මන් ගසක් තැනීමේදී ප්‍රශස්ත දිග කේත ලබා ගැනීම සඳහා භාවිත නොකළ සංකේත ඉවත දැමීම නිර්දේශ කෙරේ.
හෆ්මන් ගසක් තැනීම සඳහා අපි ප්‍රමුඛතා පෝලිමක් භාවිතා කරන්නෙමු, එහිදී අඩුම සංඛ්යාතය සහිත නෝඩයට ඉහළම ප්‍රමුඛතාවය දෙනු ලැබේ. ඉදිකිරීම් පියවර පහත විස්තර කෙරේ:
- එක් එක් අක්ෂර සඳහා කොළ නෝඩයක් සාදා ඒවා ප්‍රමුඛතා පෝලිමට එක් කරන්න.
- පෝලිමේ පත්‍ර එකකට වඩා ඇති අතර, පහත දේ කරන්න:
- පෝලිමේ සිට ඉහළම ප්රමුඛත්වය (අඩුම සංඛ්යාතය) සහිත නෝඩ් දෙක ඉවත් කරන්න;
- නව අභ්යන්තර නෝඩයක් සාදන්න, එහිදී මෙම නෝඩ් දෙක ළමයින් වනු ඇත, සහ සිදුවීමේ සංඛ්යාතය මෙම නෝඩ් දෙකේ සංඛ්‍යාතවල එකතුවට සමාන වේ.
- ප්‍රමුඛතා පෝලිමට නව නෝඩයක් එක් කරන්න.
- ඉතිරිව ඇති එකම නෝඩය මූල වනු ඇත, මෙය ගස ඉදිකිරීම සම්පූර්ණ කරනු ඇත.
අපට අක්ෂර වලින් පමණක් සමන්විත පෙළක් ඇති බව සිතන්න "ඒ බී සී ඩී" и "සහ", සහ ඒවායේ සිදුවීම් සංඛ්‍යාත පිළිවෙලින් 15, 7, 6, 6 සහ 5 වේ. පහත දැක්වෙන්නේ ඇල්ගොරිතමයේ පියවරයන් පිළිබිඹු කරන රූප සටහන් ය.
මූලයේ සිට ඕනෑම අවසන් නෝඩයක් දක්වා මාර්ගයක් එම අවසන් නෝඩයට සම්බන්ධ අක්ෂරයට අනුරූප වන ප්‍රශස්ත උපසර්ග කේතය (හෆ්මන් කේතය ලෙසද හැඳින්වේ) ගබඩා කරයි.
හෆ්මන් ගස
C++ සහ Java හි Huffman සම්පීඩන ඇල්ගොරිතම ක්‍රියාත්මක කිරීම ඔබට පහතින් සොයාගත හැකිය:
#include <iostream>
#include <string>
#include <queue>
#include <unordered_map>
using namespace std;
// A Tree node
struct Node
{
char ch;
int freq;
Node *left, *right;
};
// Function to allocate a new tree node
Node* getNode(char ch, int freq, Node* left, Node* right)
{
Node* node = new Node();
node->ch = ch;
node->freq = freq;
node->left = left;
node->right = right;
return node;
}
// Comparison object to be used to order the heap
struct comp
{
bool operator()(Node* l, Node* r)
{
// highest priority item has lowest frequency
return l->freq > r->freq;
}
};
// traverse the Huffman Tree and store Huffman Codes
// in a map.
void encode(Node* root, string str,
unordered_map<char, string> &huffmanCode)
{
if (root == nullptr)
return;
// found a leaf node
if (!root->left && !root->right) {
huffmanCode[root->ch] = str;
}
encode(root->left, str + "0", huffmanCode);
encode(root->right, str + "1", huffmanCode);
}
// traverse the Huffman Tree and decode the encoded string
void decode(Node* root, int &index, string str)
{
if (root == nullptr) {
return;
}
// found a leaf node
if (!root->left && !root->right)
{
cout << root->ch;
return;
}
index++;
if (str[index] =='0')
decode(root->left, index, str);
else
decode(root->right, index, str);
}
// Builds Huffman Tree and decode given input text
void buildHuffmanTree(string text)
{
// count frequency of appearance of each character
// and store it in a map
unordered_map<char, int> freq;
for (char ch: text) {
freq[ch]++;
}
// Create a priority queue to store live nodes of
// Huffman tree;
priority_queue<Node*, vector<Node*>, comp> pq;
// Create a leaf node for each character and add it
// to the priority queue.
for (auto pair: freq) {
pq.push(getNode(pair.first, pair.second, nullptr, nullptr));
}
// do till there is more than one node in the queue
while (pq.size() != 1)
{
// Remove the two nodes of highest priority
// (lowest frequency) from the queue
Node *left = pq.top(); pq.pop();
Node *right = pq.top(); pq.pop();
// Create a new internal node with these two nodes
// as children and with frequency equal to the sum
// of the two nodes' frequencies. Add the new node
// to the priority queue.
int sum = left->freq + right->freq;
pq.push(getNode('', sum, left, right));
}
// root stores pointer to root of Huffman Tree
Node* root = pq.top();
// traverse the Huffman Tree and store Huffman Codes
// in a map. Also prints them
unordered_map<char, string> huffmanCode;
encode(root, "", huffmanCode);
cout << "Huffman Codes are :n" << 'n';
for (auto pair: huffmanCode) {
cout << pair.first << " " << pair.second << 'n';
}
cout << "nOriginal string was :n" << text << 'n';
// print encoded string
string str = "";
for (char ch: text) {
str += huffmanCode[ch];
}
cout << "nEncoded string is :n" << str << 'n';
// traverse the Huffman Tree again and this time
// decode the encoded string
int index = -1;
cout << "nDecoded string is: n";
while (index < (int)str.size() - 2) {
decode(root, index, str);
}
}
// Huffman coding algorithm
int main()
{
string text = "Huffman coding is a data compression algorithm.";
buildHuffmanTree(text);
return 0;
}import java.util.HashMap;
import java.util.Map;
import java.util.PriorityQueue;
// A Tree node
class Node
{
char ch;
int freq;
Node left = null, right = null;
Node(char ch, int freq)
{
this.ch = ch;
this.freq = freq;
}
public Node(char ch, int freq, Node left, Node right) {
this.ch = ch;
this.freq = freq;
this.left = left;
this.right = right;
}
};
class Huffman
{
// traverse the Huffman Tree and store Huffman Codes
// in a map.
public static void encode(Node root, String str,
Map<Character, String> huffmanCode)
{
if (root == null)
return;
// found a leaf node
if (root.left == null && root.right == null) {
huffmanCode.put(root.ch, str);
}
encode(root.left, str + "0", huffmanCode);
encode(root.right, str + "1", huffmanCode);
}
// traverse the Huffman Tree and decode the encoded string
public static int decode(Node root, int index, StringBuilder sb)
{
if (root == null)
return index;
// found a leaf node
if (root.left == null && root.right == null)
{
System.out.print(root.ch);
return index;
}
index++;
if (sb.charAt(index) == '0')
index = decode(root.left, index, sb);
else
index = decode(root.right, index, sb);
return index;
}
// Builds Huffman Tree and huffmanCode and decode given input text
public static void buildHuffmanTree(String text)
{
// count frequency of appearance of each character
// and store it in a map
Map<Character, Integer> freq = new HashMap<>();
for (int i = 0 ; i < text.length(); i++) {
if (!freq.containsKey(text.charAt(i))) {
freq.put(text.charAt(i), 0);
}
freq.put(text.charAt(i), freq.get(text.charAt(i)) + 1);
}
// Create a priority queue to store live nodes of Huffman tree
// Notice that highest priority item has lowest frequency
PriorityQueue<Node> pq = new PriorityQueue<>(
(l, r) -> l.freq - r.freq);
// Create a leaf node for each character and add it
// to the priority queue.
for (Map.Entry<Character, Integer> entry : freq.entrySet()) {
pq.add(new Node(entry.getKey(), entry.getValue()));
}
// do till there is more than one node in the queue
while (pq.size() != 1)
{
// Remove the two nodes of highest priority
// (lowest frequency) from the queue
Node left = pq.poll();
Node right = pq.poll();
// Create a new internal node with these two nodes as children
// and with frequency equal to the sum of the two nodes
// frequencies. Add the new node to the priority queue.
int sum = left.freq + right.freq;
pq.add(new Node('', sum, left, right));
}
// root stores pointer to root of Huffman Tree
Node root = pq.peek();
// traverse the Huffman tree and store the Huffman codes in a map
Map<Character, String> huffmanCode = new HashMap<>();
encode(root, "", huffmanCode);
// print the Huffman codes
System.out.println("Huffman Codes are :n");
for (Map.Entry<Character, String> entry : huffmanCode.entrySet()) {
System.out.println(entry.getKey() + " " + entry.getValue());
}
System.out.println("nOriginal string was :n" + text);
// print encoded string
StringBuilder sb = new StringBuilder();
for (int i = 0 ; i < text.length(); i++) {
sb.append(huffmanCode.get(text.charAt(i)));
}
System.out.println("nEncoded string is :n" + sb);
// traverse the Huffman Tree again and this time
// decode the encoded string
int index = -1;
System.out.println("nDecoded string is: n");
while (index < sb.length() - 2) {
index = decode(root, index, sb);
}
}
public static void main(String[] args)
{
String text = "Huffman coding is a data compression algorithm.";
buildHuffmanTree(text);
}
}සටහන: ආදාන තන්තුව විසින් භාවිතා කරන මතකය 47 * 8 = 376 බිටු වන අතර කේතනය කරන ලද තන්තුව බිටු 194 ක් පමණි i.e. දත්ත 48% කින් පමණ සම්පීඩිත වේ. ඉහත C++ වැඩසටහනේ, අපි ක්‍රමලේඛය කියවිය හැකි බවට පත් කිරීම සඳහා කේතනය කරන ලද තන්තුව ගබඩා කිරීමට තන්තු පන්තිය භාවිතා කරමු.
කාර්යක්ෂම ප්‍රමුඛතා පෝලිම් දත්ත ව්‍යුහයන් ඇතුළත් කිරීමකට අවශ්ය වන බැවිනි O(log(N)) කාලය, නමුත් සමඟ සම්පූර්ණ ද්විමය ගසක N පවතින කොළ 2N-1 නෝඩ්, සහ හෆ්මන් ගස සම්පූර්ණ ද්විමය ගසකි, එවිට ඇල්ගොරිතම ක්‍රියාත්මක වේ O(Nlog(N)) කාලය, කොහෙද N - චරිත.
මූලාශ්ර:
මූලාශ්රය: www.habr.com