Dane można kompresować przy użyciu techniki kodowania Huffmana, aby zmniejszyć je bez utraty jakichkolwiek informacji. Po Davidzie Huffmanie, kto stworzył go na początku? Dane zawierające często powtarzające się znaki są zwykle kompresowane przy użyciu kodowania Huffmana.
Dobrze znanym algorytmem zachłannym jest kodowanie Huffmana. Rozmiar kodu przydzielonego do znaku zależy od częstotliwości znaku, dlatego określa się go mianem algorytmu zachłannego. Kod zmienny o krótkiej długości jest przypisany do znaku o najwyższej częstotliwości i odwrotnie do znaków o niższych częstotliwościach. Wykorzystuje kodowanie o zmiennej długości, co oznacza, że każdemu znakowi w dostarczonym strumieniu danych nadaje inny kod o zmiennej długości.
Reguła przedrostka
Zasadniczo zasada ta stanowi, że kod przypisany do znaku nie może być przedrostkiem innego kodu. Jeśli ta zasada zostanie złamana, przy dekodowaniu utworzonego drzewa Huffmana mogą pojawić się różne niejasności.
Spójrzmy na ilustrację tej reguły, aby ją lepiej zrozumieć: dla każdego znaku podany jest kod, taki jak:
a - 0 b - 1 c - 01
Zakładając, że wygenerowany strumień bitów to 001, kod można wyrazić w następujący sposób po zdekodowaniu:
0 0 1 = aab 0 01 = ac
Na czym polega proces kodowania Huffmana?
Kod Huffmana uzyskuje się dla każdego odrębnego znaku głównie w dwóch etapach:
zmień programowanie w Javie
- Najpierw utwórz drzewo Huffmana, używając wyłącznie unikalnych znaków w dostarczonym strumieniu danych.
- Po drugie, musimy przejść przez skonstruowane Drzewo Huffmana, przypisać kody do postaci, a następnie użyć tych kodów do zdekodowania dostarczonego tekstu.
Kroki, które należy podjąć w kodowaniu Huffmana
Kroki użyte do skonstruowania drzewa Huffmana przy użyciu podanych znaków
Input: string str = 'abbcdbccdaabbeeebeab'
Jeżeli w tym przypadku do kompresji danych zastosowano kodowanie Huffmana, do dekodowania należy określić następujące informacje:
- Dla każdego znaku kod Huffmana
- Długość wiadomości zakodowanej metodą Huffmana (w bitach), średnia długość kodu
- Korzystając z poniższych wzorów, odkrywamy dwa ostatnie z nich.
Jak można zbudować drzewo Huffmana na podstawie znaków wejściowych?
Najpierw należy określić częstotliwość każdego znaku w podanym ciągu.
| Postać | Częstotliwość |
|---|---|
| A | 4 |
| B | 7 |
| C | 3 |
| D | 2 |
| To jest | 4 |
- Sortuj znaki rosnąco według częstotliwości. Są one przechowywane w kolejce priorytetowej sterty Q/min.
- Dla każdego odrębnego znaku i jego częstotliwości w strumieniu danych utwórz węzeł liścia.
- Usuń z węzłów dwa węzły o dwóch najniższych częstotliwościach, a nowy korzeń drzewa zostanie utworzony na podstawie sumy tych częstotliwości.
- Ustaw pierwszy wyodrębniony węzeł jako lewe dziecko, a drugi wyodrębniony węzeł jako prawe dziecko, jednocześnie wyodrębniając węzły o najniższej częstotliwości ze sterty min.
- Do sterty min dodaj ten węzeł.
- Ponieważ lewa strona pierwiastka powinna zawsze zawierać minimalną częstotliwość.
- Powtarzaj kroki 3 i 4, aż na stercie pozostanie tylko jeden węzeł lub wszystkie znaki będą reprezentowane przez węzły w drzewie. Drzewo jest gotowe, gdy pozostaje tylko węzeł główny.
Przykłady kodowania Huffmana
Użyjmy ilustracji do wyjaśnienia algorytmu:
Algorytm kodowania Huffmana
Krok 1: Zbuduj mini-stertę, w której każdy węzeł reprezentuje korzeń drzewa z pojedynczym węzłem i zawiera 5 (liczbę unikalnych znaków z dostarczonego strumienia danych).
Krok 2: Uzyskaj dwa węzły minimalnej częstotliwości ze sterty min w kroku drugim. Dodaj trzeci węzeł wewnętrzny, częstotliwość 2 + 3 = 5, który powstaje poprzez połączenie dwóch wyodrębnionych węzłów.
jak otworzyć ukryte aplikacje na Androidzie
- Teraz na stercie min znajdują się 4 węzły, z których 3 to korzenie drzew z jednym elementem każdy, a 1 z nich jest korzeniem drzewa z dwoma elementami.
Krok 3: Uzyskaj dwa węzły minimalnej częstotliwości ze sterty w podobny sposób w kroku trzecim. Dodatkowo dodaj nowy węzeł wewnętrzny utworzony przez połączenie dwóch wyodrębnionych węzłów; jego częstotliwość w drzewie powinna wynosić 4 + 4 = 8.
- Teraz, gdy minimalna sterta ma trzy węzły, jeden węzeł służy jako korzeń drzew z jednym elementem, a dwa węzły sterty służą jako korzeń drzew z wieloma węzłami.
Krok 4: Zdobądź dwa węzły minimalnej częstotliwości w kroku czwartym. Dodatkowo dodaj nowy węzeł wewnętrzny utworzony przez połączenie dwóch wyodrębnionych węzłów; jego częstotliwość w drzewie powinna wynosić 5 + 7 = 12.
- Tworząc drzewo Huffmana, musimy zadbać o to, aby minimalna wartość znajdowała się zawsze po lewej stronie, a druga wartość zawsze po prawej stronie. Obecnie zdjęcie poniżej przedstawia drzewo, które się utworzyło:
Krok 5: W kroku 5 uzyskaj następujące dwa węzły częstotliwości minimalnej. Dodatkowo dodaj nowy węzeł wewnętrzny utworzony przez połączenie dwóch wyodrębnionych węzłów; jego częstotliwość w drzewie powinna wynosić 12 + 8 = 20.
Kontynuuj, aż wszystkie charakterystyczne znaki zostaną dodane do drzewa. Drzewo Huffmana utworzone dla określonej obsady postaci pokazano na powyższym obrazku.
Teraz dla każdego węzła innego niż liść przypisz 0 do lewej krawędzi i 1 do prawej krawędzi, aby utworzyć kod dla każdej litery.
Zasady, których należy przestrzegać przy określaniu ciężarów krawędzi:
- Prawym krawędziom powinniśmy nadać wagę 1, jeśli lewym krawędziom nadajemy wagę 0.
- Jeśli lewym krawędziom przypisano wagę 1, prawym krawędziom należy nadać wagę 0.
- Można zastosować dowolną z dwóch wyżej wymienionych konwencji.
- Jednak podczas dekodowania drzewa postępuj zgodnie z tym samym protokołem.
Po ważeniu zmodyfikowane drzewo jest wyświetlane w następujący sposób:
Zrozumienie Kodeksu
- Musimy przejść przez drzewo Huffmana, aż dotrzemy do węzła liścia, w którym występuje element, aby zdekodować kod Huffmana dla każdego znaku z powstałego drzewa Huffmana.
- Wagi w węzłach muszą być rejestrowane podczas przechodzenia i przypisywane do pozycji znajdujących się w konkretnym węźle liścia.
- Poniższy przykład pomoże lepiej zilustrować, co mamy na myśli:
- Aby uzyskać kod dla każdego znaku z powyższego obrazka, musimy przejść całe drzewo (aż zostaną zakryte wszystkie węzły liści).
- W rezultacie utworzone drzewo służy do dekodowania kodów dla każdego węzła. Poniżej znajduje się lista kodów dla każdej postaci:
| Postać | Częstotliwość/liczba | Kod |
|---|---|---|
| A | 4 | 01 |
| B | 7 | jedenaście |
| C | 3 | 101 |
| D | 2 | 100 |
| To jest | 4 | 00 |
Poniżej implementacja w programowaniu C:
// C program for Huffman Coding #include #include // This constant can be avoided by explicitly // calculating height of Huffman Tree #define MAX_TREE_HT 100 // A Huffman tree node struct MinHeapNode { // One of the input characters char data; // Frequency of the character unsigned freq; // Left and right child of this node struct MinHeapNode *left, *right; }; // A Min Heap: Collection of // min-heap (or Huffman tree) nodes struct MinHeap { // Current size of min heap unsigned size; // capacity of min heap unsigned capacity; // Array of minheap node pointers struct MinHeapNode** array; }; // A utility function allocate a new // min heap node with given character // and frequency of the character struct MinHeapNode* newNode(char data, unsigned freq) { struct MinHeapNode* temp = (struct MinHeapNode*)malloc( sizeof(struct MinHeapNode)); temp->left = temp->right = NULL; temp->data = data; temp->freq = freq; return temp; } // A utility function to create // a min heap of given capacity struct MinHeap* createMinHeap(unsigned capacity) { struct MinHeap* minHeap = (struct MinHeap*)malloc(sizeof(struct MinHeap)); // current size is 0 minHeap->size = 0; minHeap->capacity = capacity; minHeap->array = (struct MinHeapNode**)malloc( minHeap->capacity * sizeof(struct MinHeapNode*)); return minHeap; } // A utility function to // swap two min heap nodes void swapMinHeapNode(struct MinHeapNode** a, struct MinHeapNode** b) { struct MinHeapNode* t = *a; *a = *b; *b = t; } // The standard minHeapify function. void minHeapify(struct MinHeap* minHeap, int idx) { int smallest = idx; int left = 2 * idx + 1; int right = 2 * idx + 2; if (left size && minHeap->array[left]->freq array[smallest]->freq) smallest = left; if (right size && minHeap->array[right]->freq array[smallest]->freq) smallest = right; if (smallest != idx) { swapMinHeapNode(&minHeap->array[smallest], &minHeap->array[idx]); minHeapify(minHeap, smallest); } } // A utility function to check // if size of heap is 1 or not int isSizeOne(struct MinHeap* minHeap) { return (minHeap->size == 1); } // A standard function to extract // minimum value node from heap struct MinHeapNode* extractMin(struct MinHeap* minHeap) { struct MinHeapNode* temp = minHeap->array[0]; minHeap->array[0] = minHeap->array[minHeap->size - 1]; --minHeap->size; minHeapify(minHeap, 0); return temp; } // A utility function to insert // a new node to Min Heap void insertMinHeap(struct MinHeap* minHeap, struct MinHeapNode* minHeapNode) { ++minHeap->size; int i = minHeap->size - 1; while (i && minHeapNode->freq array[(i - 1) / 2]->freq) { minHeap->array[i] = minHeap->array[(i - 1) / 2]; i = (i - 1) / 2; } minHeap->array[i] = minHeapNode; } // A standard function to build min heap void buildMinHeap(struct MinHeap* minHeap) { int n = minHeap->size - 1; int i; for (i = (n - 1) / 2; i >= 0; --i) minHeapify(minHeap, i); } // A utility function to print an array of size n void printArr(int arr[], int n) { int i; for (i = 0; i left) && !(root->right); } // Creates a min heap of capacity // equal to size and inserts all character of // data[] in min heap. Initially size of // min heap is equal to capacity struct MinHeap* createAndBuildMinHeap(char data[], int freq[], int size) { struct MinHeap* minHeap = createMinHeap(size); for (int i = 0; i array[i] = newNode(data[i], freq[i]); minHeap->size = size; buildMinHeap(minHeap); return minHeap; } // The main function that builds Huffman tree struct MinHeapNode* buildHuffmanTree(char data[], int freq[], int size) { struct MinHeapNode *left, *right, *top; // Step 1: Create a min heap of capacity // equal to size. Initially, there are // modes equal to size. struct MinHeap* minHeap = createAndBuildMinHeap(data, freq, size); // Iterate while size of heap doesn't become 1 while (!isSizeOne(minHeap)) { // Step 2: Extract the two minimum // freq items from min heap left = extractMin(minHeap); right = extractMin(minHeap); // Step 3: Create a new internal // node with frequency equal to the // sum of the two nodes frequencies. // Make the two extracted node as // left and right children of this new node. // Add this node to the min heap // '$' is a special value for internal nodes, not // used top = newNode('$', left->freq + right->freq); top->left = left; top->right = right; insertMinHeap(minHeap, top); } // Step 4: The remaining node is the // root node and the tree is complete. return extractMin(minHeap); } // Prints huffman codes from the root of Huffman Tree. // It uses arr[] to store codes void printCodes(struct MinHeapNode* root, int arr[], int top) { // Assign 0 to left edge and recur if (root->left) { arr[top] = 0; printCodes(root->left, arr, top + 1); } // Assign 1 to right edge and recur if (root->right) { arr[top] = 1; printCodes(root->right, arr, top + 1); } // If this is a leaf node, then // it contains one of the input // characters, print the character // and its code from arr[] if (isLeaf(root)) { printf('%c: ', root->data); printArr(arr, top); } } // The main function that builds a // Huffman Tree and print codes by traversing // the built Huffman Tree void HuffmanCodes(char data[], int freq[], int size) { // Construct Huffman Tree struct MinHeapNode* root = buildHuffmanTree(data, freq, size); // Print Huffman codes using // the Huffman tree built above int arr[MAX_TREE_HT], top = 0; printCodes(root, arr, top); } // Driver code int main() { char arr[] = { 'a', 'b', 'c', 'd', 'e', 'f' }; int freq[] = { 5, 9, 12, 13, 16, 45 }; int size = sizeof(arr) / sizeof(arr[0]); HuffmanCodes(arr, freq, size); return 0; } Wyjście
f: 0 c: 100 d: 101 a: 1100 b: 1101 e: 111 …………… Process executed in 1.11 seconds Press any key to continue.
Implementacja Java powyższego kodu:
import java.util.Comparator; import java.util.PriorityQueue; import java.util.Scanner; class Huffman { // recursive function to print the // huffman-code through the tree traversal. // Here s is the huffman - code generated. public static void printCode(HuffmanNode root, String s) { // base case; if the left and right are null // then its a leaf node and we print // the code s generated by traversing the tree. if (root.left == null && root.right == null && Character.isLetter(root.c)) { // c is the character in the node System.out.println(root.c + ':' + s); return; } // if we go to left then add '0' to the code. // if we go to the right add'1' to the code. // recursive calls for left and // right sub-tree of the generated tree. printCode(root.left, s + '0'); printCode(root.right, s + '1'); } // main function public static void main(String[] args) { Scanner s = new Scanner(System.in); // number of characters. int n = 6; char[] charArray = { 'a', 'b', 'c', 'd', 'e', 'f' }; int[] charfreq = { 5, 9, 12, 13, 16, 45 }; // creating a priority queue q. // makes a min-priority queue(min-heap). PriorityQueue q = new PriorityQueue( n, new MyComparator()); for (int i = 0; i <n; i++) { creating a huffman node object and add it to the priority queue. huffmannode hn="new" huffmannode(); hn.c="charArray[i];" hn.data="charfreq[i];" hn.left="null;" hn.right="null;" functions adds q.add(hn); } create root here we will extract two minimum value from heap each time until its size reduces 1, all nodes are extracted. while (q.size()> 1) { // first min extract. HuffmanNode x = q.peek(); q.poll(); // second min extract. HuffmanNode y = q.peek(); q.poll(); // new node f which is equal HuffmanNode f = new HuffmanNode(); // to the sum of the frequency of the two nodes // assigning values to the f node. f.data = x.data + y.data; f.c = '-'; // first extracted node as left child. f.left = x; // second extracted node as the right child. f.right = y; // marking the f node as the root node. root = f; // add this node to the priority-queue. q.add(f); } // print the codes by traversing the tree printCode(root, ''); } } // node class is the basic structure // of each node present in the Huffman - tree. class HuffmanNode { int data; char c; HuffmanNode left; HuffmanNode right; } // comparator class helps to compare the node // on the basis of one of its attribute. // Here we will be compared // on the basis of data values of the nodes. class MyComparator implements Comparator { public int compare(HuffmanNode x, HuffmanNode y) { return x.data - y.data; } } </n;> Wyjście
f: 0 c: 100 d: 101 a: 1100 b: 1101 e: 111 ………………. Process executed in 1.11 seconds Press any key to continue.
Wyjaśnienie:
Podczas przechodzenia drzewo Huffmana jest tworzone i dekodowane. Wartości zebrane podczas przechodzenia należy następnie zastosować do znaku znajdującego się w węźle liścia. W ten sposób za pomocą Kodu Huffmana można zidentyfikować każdy unikalny znak w dostarczonym strumieniu danych. O (nlogn), gdzie n to całkowita liczba znaków, to złożoność czasowa. ExtractMin() jest wywoływana 2*(n - 1) razy, jeśli jest n węzłów. Ponieważ ekstraktMin() wywołuje minHeapify(), czas wykonania wynosi O (logn). Całkowita złożoność wynosi zatem O (nlogn). Jeśli tablica wejściowa jest posortowana, istnieje algorytm czasu liniowego. Zostanie to omówione bardziej szczegółowo w naszym nadchodzącym artykule.
Problemy z kodowaniem Huffmana
Porozmawiajmy o wadach kodowania Huffmana w tej części i dlaczego nie zawsze jest to najlepsza opcja:
- Jeśli nie wszystkie prawdopodobieństwa lub częstotliwości znaków są ujemnymi potęgami liczby 2, nie jest to uważane za idealne.
- Chociaż do ideału można zbliżyć się grupując symbole i rozszerzając alfabet, metoda blokowania wymaga obsługi większego alfabetu. Dlatego kodowanie Huffmana może nie zawsze być bardzo skuteczne.
- Chociaż istnieje wiele skutecznych sposobów policzenia częstotliwości występowania każdego symbolu lub znaku, rekonstrukcja całego drzewa dla każdego z nich może być bardzo czasochłonna. Zwykle tak jest, gdy alfabet jest duży i rozkłady prawdopodobieństwa zmieniają się szybko z każdym symbolem.
Algorytm konstrukcji kodu Chciwego Huffmana
- Huffman opracował zachłanną technikę, która generuje kod Huffmana, idealny kod przedrostkowy, dla każdego odrębnego znaku w strumieniu danych wejściowych.
- Podejście to wykorzystuje za każdym razem najmniejszą liczbę węzłów do tworzenia drzewa Huffmana od dołu do góry.
- Ponieważ każdy znak otrzymuje długość kodu na podstawie tego, jak często pojawia się w danym strumieniu danych, metoda ta nazywana jest podejściem zachłannym. Jest to element powszechnie występujący w danych, jeśli rozmiar pobranego kodu jest mniejszy.
Zastosowanie kodowania Huffmana
- Tutaj porozmawiamy o kilku praktycznych zastosowaniach kodowania Huffmana:
- Konwencjonalne formaty kompresji, takie jak PKZIP, GZIP itp., zazwyczaj wykorzystują kodowanie Huffmana.
- Kodowanie Huffmana jest używane do przesyłania danych faksem i tekstem, ponieważ minimalizuje rozmiar pliku i zwiększa prędkość transmisji.
- Kodowanie Huffmana (w szczególności kody prefiksów) jest wykorzystywane do kompresji plików w kilku formatach przechowywania multimediów, w tym JPEG, PNG i MP3.
- Kodowanie Huffmana jest najczęściej używane do kompresji obrazu.
- Może to być bardziej pomocne, gdy trzeba wysłać ciąg często powtarzających się znaków.
Wniosek
- Ogólnie rzecz biorąc, kodowanie Huffmana jest pomocne przy kompresowaniu danych zawierających często występujące znaki.
- Widzimy, że znak występujący najczęściej ma najkrótszy kod, natomiast ten, który pojawia się najrzadziej, ma największy kod.
- Technika kompresji kodu Huffmana służy do tworzenia kodowania o zmiennej długości, które wykorzystuje różną liczbę bitów dla każdej litery lub symbolu. Ta metoda jest lepsza od kodowania o stałej długości, ponieważ zużywa mniej pamięci i szybciej przesyła dane.
- Przejrzyj ten artykuł, aby uzyskać lepszą wiedzę na temat algorytmu zachłannego.