{"id":53906,"date":"2019-12-13T00:00:00","date_gmt":"2019-12-12T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/skorostnaya-otkazoustojchivaya-kompressiya-prodolzhenie"},"modified":"2020-02-18T14:01:51","modified_gmt":"2020-02-18T11:01:51","slug":"skorostnaya-otkazoustojchivaya-kompressiya-prodolzhenie","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/skorostnaya-otkazoustojchivaya-kompressiya-prodolzhenie","title":{"rendered":"Schnelle fehlertolerante Kompression (Fortsetzung)","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>Dieser Artikel ist bereits der zweite in der Reihe \u00fcber schnelle Datenkompression. Im ersten Artikel wurde ein Kompressor beschrieben, der mit einer Geschwindigkeit von 10 GB\/s pro Prozessorkern (minimale Kompression, RTT-Min) arbeitet. <\/p>\n<p>Dieser Kompressor ist bereits in die Ausr\u00fcstung forensischer Duplikatoren integriert, um schnelle Kompression von Datenabbildern zu erm\u00f6glichen und die Widerstandsf\u00e4higkeit der Kryptografie zu erh\u00f6hen. Er kann auch zur Kompression von Bildern virtueller Maschinen und Swap-Dateien des Arbeitsspeichers verwendet werden, w\u00e4hrend diese auf schnelleren SSD-Laufwerken gespeichert werden.<\/p>\n<p>Im ersten Artikel wurde auch die Entwicklung eines Kompressionsalgorithmus zur Kompression von Backups von HDD- und SSD-Laufwerken (mittlere Kompression, RTT-Mid) mit erheblich verbesserten Datenkompressionsparametern angek\u00fcndigt. Inzwischen ist dieser Kompressor vollst\u00e4ndig fertiggestellt, und dieser Artikel handelt genau davon. <br \/>\n<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><br \/>\nDer Kompressor, der den RTT-Mid-Algorithmus implementiert, bietet eine Kompressionsrate, die mit Standardarchivierungsprogrammen wie WinRar und 7-Zip vergleichbar ist, die im Schnellmodus arbeiten. Dabei liegt seine Geschwindigkeit mindestens um eine Gr\u00f6\u00dfenordnung h\u00f6her. <\/p>\n<p>Die Geschwindigkeit der Datenkompression\/ -dekompression ist ein kritischer Parameter, der den Anwendungsbereich von Kompressionstechnologien bestimmt. Es kommt kaum jemand auf die Idee, ein Terabyte Daten mit einer Geschwindigkeit von 10-15 Megabyte pro Sekunde zu komprimieren (genau diese Geschwindigkeit haben Archivierungsprogramme im Standardkompressionsmodus), denn das w\u00fcrde fast zwanzig Stunden in Anspruch nehmen, bei vollst\u00e4ndiger Auslastung der CPU...<\/p>\n<p>Andererseits kann das gleiche Terabyte mit Geschwindigkeiten von etwa 2-3 Gigabyte pro Sekunde in etwa zehn Minuten kopiert werden. <\/p>\n<p>Daher ist die Kompression gro\u00dfer Informationsmengen nur dann von Bedeutung, wenn sie mit einer Geschwindigkeit von mindestens der realen Eingabe-\/Ausgabe-Geschwindigkeit durchgef\u00fchrt wird. F\u00fcr moderne Systeme betr\u00e4gt dies mindestens 100 Megabyte pro Sekunde. <\/p>\n<p>Solche Geschwindigkeiten k\u00f6nnen moderne Kompressoren nur im \"Schnell\"-Modus erreichen. Gerade in diesem relevanten Modus werden wir den RTT-Mid-Algorithmus mit herk\u00f6mmlichen Kompressoren vergleichen.<\/p>\n<h4>Vergleichende Tests des neuen Kompressionsalgorithmus<\/h4>\n<p>\n Der RTT-Mid-Kompressor arbeitete innerhalb eines Testprogramms. In einer realen \"Arbeits\"-Anwendung arbeitet er deutlich schneller, da dort Multithreading sinnvoll genutzt wird und ein \"normaler\" Compiler zum Einsatz kommt, nicht C#. <\/p>\n<p>Da die im Vergleichstest verwendeten Kompressoren auf unterschiedlichen Prinzipien basieren und verschiedene Datentypen unterschiedlich komprimieren, wurde zur Objektivit\u00e4t des Tests die Methode der \u201edurchschnittlichen Temperatur im Krankenhaus\u201c verwendet\u2026<\/p>\n<p>Eine Datei mit sektoralem Dump der logischen Festplatte mit dem Betriebssystem Windows 10 wurde erstellt. Dies ist die nat\u00fcrlichste Mischung aus verschiedenen Datenstrukturen, die auf jedem Computer tats\u00e4chlich vorhanden ist. Die Komprimierung dieser Datei erm\u00f6glicht es, die Geschwindigkeit und den Kompressionsgrad des neuen Algorithmus mit den fortschrittlichsten Kompressoren zu vergleichen, die in modernen Archivierungsprogrammen verwendet werden.<\/p>\n<p>Hier ist diese Dump-Datei:<\/p>\n<p><img decoding=\"async\" alt=\"Schnelle fehlertolerante Kompression (Fortsetzung)\" src=\"\/wp-content\/uploads\/2019\/12\/39fc5bfe9812ac2417d6eb8ef1dde0a8.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nDie Dump-Datei wurde von den Kompressoren RTT-Mid, 7-zip, WinRar komprimiert. Die Kompressoren WinRar und 7-zip waren auf maximale Geschwindigkeit eingestellt.<\/p>\n<p>Der Kompressor arbeitet <b>7-zip<\/b>:<\/p>\n<p><img decoding=\"async\" alt=\"Schnelle fehlertolerante Kompression (Fortsetzung)\" src=\"\/wp-content\/uploads\/2019\/12\/1b088a99fb7b04d5b6ccb500ff74c73e.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nEr belastet die CPU zu 100 %, w\u00e4hrend die durchschnittliche Lesegeschwindigkeit des urspr\u00fcnglichen Dumps bei etwa 60 Megabyte\/Sekunde liegt.<\/p>\n<p>Der Kompressor arbeitet <b>WinRar<\/b>:<\/p>\n<p><img decoding=\"async\" alt=\"Schnelle fehlertolerante Kompression (Fortsetzung)\" src=\"\/wp-content\/uploads\/2019\/12\/462024e8304a90a885ef3857fbd119e1.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nDie Situation ist \u00e4hnlich, die CPU-Auslastung liegt nahezu bei 100 %, die durchschnittliche Lesegeschwindigkeit des Dumps betr\u00e4gt etwa 125 Megabyte\/Sekunde.<\/p>\n<p>Wie im vorherigen Fall ist die Arbeitsgeschwindigkeit des Archivers durch die M\u00f6glichkeiten der CPU begrenzt.<\/p>\n<p>Jetzt l\u00e4uft die Testanwendung des Kompressors <b>RTT-Mid<\/b>:<\/p>\n<p><img decoding=\"async\" alt=\"Schnelle fehlertolerante Kompression (Fortsetzung)\" src=\"\/wp-content\/uploads\/2019\/12\/f46fabcbb362dcf99a8b55877954c3a8.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nDer Screenshot zeigt, dass die CPU zu 50 % ausgelastet ist und die restliche Zeit unt\u00e4tig ist, da es keinen Ort gibt, um die komprimierten Daten zu entladen. Die Zielplatte (Platte 0) ist nahezu vollst\u00e4ndig ausgelastet. Die Datenlesegeschwindigkeit (Platte 1) schwankt stark, liegt jedoch im Durchschnitt \u00fcber 200 Megabyte\/Sekunde.<\/p>\n<p>Die Arbeitsgeschwindigkeit des Kompressors wird in diesem Fall durch die M\u00f6glichkeit begrenzt, die komprimierten Daten auf Platte 0 zu schreiben.<\/p>\n<p>Jetzt die Kompressionsrate der resultierenden Archive:<\/p>\n<p><img decoding=\"async\" alt=\"Schnelle fehlertolerante Kompression (Fortsetzung)\" src=\"\/wp-content\/uploads\/2019\/12\/1e0740937909c6a5860ef35d15da9e7f.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<img decoding=\"async\" alt=\"Schnelle fehlertolerante Kompression (Fortsetzung)\" src=\"\/wp-content\/uploads\/2019\/12\/6e74c8ceab741943a59eca87f092e25b.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<img decoding=\"async\" alt=\"Schnelle fehlertolerante Kompression (Fortsetzung)\" src=\"\/wp-content\/uploads\/2019\/12\/3b2f8bed83ea72917f87a3a9813294fc.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nEs ist zu sehen, dass der Kompressor RTT-Mid die beste Kompression erreicht hat. Das von ihm erstellte Archiv ist 1,3 Gigabyte kleiner als das von WinRar und 2,1 Gigabyte kleiner als das von 7z.<\/p>\n<p>Zeit, die f\u00fcr die Erstellung des Archivs aufgewendet wurde:<\/p>\n<ul>\n<li> 7-zip \u2013 26 Minuten 10 Sekunden;<\/li>\n<li> WinRar \u2013 17 Minuten 40 Sekunden;<\/li>\n<li> RTT-Mid \u2013 7 Minuten 30 Sekunden.<\/li>\n<\/ul>\n<p>\nSomit konnte selbst die Testanwendung, die nicht optimiert ist und den Algorithmus RTT-Mid verwendet, ein archiv \u00fcber zweieinhalb mal schneller erstellen, wobei das Archiv wesentlich kleiner ist als bei den Mitbewerbern\u2026<\/p>\n<p>Diejenigen, die den Screenshots nicht glauben, k\u00f6nnen ihre Richtigkeit selbst \u00fcberpr\u00fcfen. Die Testanwendung ist verf\u00fcgbar unter <noindex><a rel=\"nofollow\" href=\"https:\/\/yadi.sk\/d\/9CkY30b1lRcLYw\">dem Link<\/a><\/noindex>, laden Sie herunter und \u00fcberpr\u00fcfen Sie es.<\/p>\n<p>Aber nur auf Prozessoren mit AVX-2-Unterst\u00fctzung, ohne die Unterst\u00fctzung dieser Instruktionen funktioniert der Kompressor nicht und testen Sie den Algorithmus nicht auf alten AMD-Prozessoren, sie sind langsam bei der Ausf\u00fchrung von AVX-Befehlen\u2026<\/p>\n<h4>Verwendete Komprimierungsmethode<\/h4>\n<p>\nIm Algorithmus wird eine Methode zur Indizierung wiederkehrender Textfragmente in bytebasierten Granularit\u00e4ten verwendet. Diese Kompressionsmethode ist schon lange bekannt, wurde jedoch nicht genutzt, da die \u00dcbereinstimmungssuche sehr ressourcenintensiv war und viel mehr Zeit in Anspruch nahm als der Aufbau eines W\u00f6rterbuchs. Daher ist der Algorithmus RTT-Mid ein klassisches Beispiel f\u00fcr eine R\u00fcckkehr in die Zukunft\u2026<\/p>\n<p>Im RTT-Kompressor wird ein einzigartiger schneller Suchscanner f\u00fcr \u00dcbereinstimmungen verwendet, der es erm\u00f6glicht hat, den Kompressionsprozess zu beschleunigen. Der Scanner ist ein Eigenbau, er ist \u201emein Schatz\u2026\u201c, \u201ekostet nicht wenig, da er vollst\u00e4ndig handgefertigt ist\u201c (in Assembler geschrieben).<\/p>\n<p>Der \u00dcbereinstimmungssuche-Scanner ist nach einem zweistufigen probabilistischen Schema gebaut, zuerst wird die Anwesenheit eines \u201eSignals\u201c f\u00fcr \u00dcbereinstimmung gescannt, und erst nach Feststellung des \u201eSignals\u201c an dieser Stelle wird das Verfahren zur Erkennung der tats\u00e4chlichen \u00dcbereinstimmung gestartet. <\/p>\n<p>Das Suchfenster f\u00fcr \u00dcbereinstimmungen hat eine unvorhersehbare Gr\u00f6\u00dfe, die von der Entropiestufe im verarbeiteten Datenblock abh\u00e4ngt. F\u00fcr vollst\u00e4ndig zuf\u00e4llige (nicht komprimierbare) Daten hat es eine Gr\u00f6\u00dfe im Megabyte-Bereich, f\u00fcr Daten mit Wiederholungen hat es immer eine Gr\u00f6\u00dfe von mehr als einem Megabyte.<\/p>\n<p>Aber viele moderne Datenformate sind nicht komprimierbar, und es ist nutzlos und verschwenderisch, einen ressourcenintensiven Scanner darauf zu laufen, deshalb verwendet der Scanner zwei Betriebsmodi. Zuerst werden Abschnitte des Quelltextes mit m\u00f6glichen Wiederholungen gesucht, und diese Operation erfolgt auch nach einem probabilistischen Verfahren und wird sehr schnell (mit 4-6 Gigabyte\/Sekunde) durchgef\u00fchrt. Danach werden die Abschnitte mit m\u00f6glichen \u00dcbereinstimmungen vom Hauptscanner verarbeitet. <\/p>\n<p>Die indexbasierte Kompression ist nicht sehr effektiv, da wiederkehrende Fragmente durch Indizes ersetzt werden m\u00fcssen, und das Index-Array senkt den Kompressionsfaktor erheblich. <\/p>\n<p>Um den Kompressionsgrad zu erh\u00f6hen, werden nicht nur vollst\u00e4ndige \u00dcbereinstimmungen von Byte-Strings indexiert, sondern auch teilweise, wenn in der Zeichenfolge \u00fcbereinstimmende und nicht \u00fcbereinstimmende Bytes vorhanden sind. Zu diesem Zweck ist im Indexformat ein Feld f\u00fcr \u00dcbereinstimmungsmasken enthalten, das auf die \u00fcbereinstimmenden Bytes von zwei Bl\u00f6cken hinweist. F\u00fcr eine noch gr\u00f6\u00dfere Kompression wird die Indizierung mit \u00dcberlappungen mehrerer teilweise \u00fcbereinstimmender Bl\u00f6cke auf den aktuellen Block verwendet. <\/p>\n<p>All dies hat es erm\u00f6glicht, im Kompressor RTT-Mid einen Kompressionsgrad zu erzielen, der mit Kompressoren vergleichbar ist, die nach dem W\u00f6rterbuchverfahren arbeiten, jedoch wesentlich schneller.<\/p>\n<h4>Die Arbeitsgeschwindigkeit des neuen Kompressionsalgorithmus<\/h4>\n<p>\nWenn der Kompressor mit ausschlie\u00dflicher Nutzung des Cache-Speichers arbeitet (f\u00fcr einen Thread sind 4 Megabyte erforderlich), schwankt die Arbeitsgeschwindigkeit im Bereich von 700-2000 Megabyte\/Sek. pro CPU-Kern, abh\u00e4ngig von der Art der komprimierten Daten, und ist nur minimal abh\u00e4ngig von der Arbeitsfrequenz des Prozessors. <\/p>\n<p>Bei der Multi-Thread-Implementierung des Kompressors wird die effektive Skalierbarkeit durch das Volumen des Level-3-Cache-Speichers bestimmt. Zum Beispiel macht es wenig Sinn, mehr als zwei Kompressionsstr\u00f6me zu starten, wenn man \u00aban Bord\u00bb 9 Megabyte Cache-Speicher hat, da die Geschwindigkeit dadurch nicht steigt. Bei einem Cache von 20 Megabyte kann man jedoch bereits f\u00fcnf Kompressionsstr\u00f6me starten.<\/p>\n<p>Ein weiterer wesentlicher Parameter, der die Geschwindigkeit des Kompressors beeinflusst, ist die Latenz des Arbeitsspeichers. Der Algorithmus verwendet zuf\u00e4llige Zugriffe auf den RAM, von denen ein Teil (etwa 10%) nicht im Cache-Speicher landet, und muss auf Daten aus dem RAM warten, was die Arbeitsgeschwindigkeit verringert. <\/p>\n<p>Die Geschwindigkeit des Kompressors wird auch durch die Arbeit des Daten-Eingangs-\/Ausgangssystems beeinflusst. Anfragen an den RAM von Ein-\/Ausgabe blockieren die Zugriffe auf Daten seitens der CPU, was ebenfalls die Kompressionsgeschwindigkeit verringert. Dieses Problem ist f\u00fcr Laptops und Desktops erheblich. <a class=\"wpil_keyword_link\" href=\"https:\/\/prohoster.info\/de\/server\/\"   title=\"Server\" data-wpil-keyword-link=\"linked\"  data-wpil-monitor-id=\"1458\">Server<\/a> F\u00fcr sie ist es weniger erheblich, dank eines fortschrittlicheren Zugriffssteuerblocks auf den Systembus und dem Mehrkanal-Arbeitsspeicher.<\/p>\n<p>In dem gesamten Artikel wird von Kompression gesprochen, w\u00e4hrend Dekompression in diesem Artikel nicht behandelt wird, da dort \"alles in Ordnung ist\". Die Dekompression erfolgt erheblich schneller und wird durch die Eingabe-\/Ausgabe-Geschwindigkeit begrenzt. Ein physisches Kern pro Thread erm\u00f6glicht m\u00fchelos Entpackungsraten von 3-4 Gigabyte\/Sekunde.<\/p>\n<p>Das liegt daran, dass im Dekompressionsprozess keine \u00dcbereinstimmungsfindung stattfindet, die \"die Hauptressourcen der CPU und des Cache\" w\u00e4hrend der Kompression verschlingt. <\/p>\n<h4>Zuverl\u00e4ssigkeit der Speicherung komprimierter Daten<\/h4>\n<p>\nWie der Name der gesamten Klasse von Software-Tools, die Datenkompression verwenden (Komprimierungssoftware), bereits andeutet, sind sie f\u00fcr die langfristige Speicherung von Informationen ausgelegt, nicht f\u00fcr Jahre, sondern f\u00fcr Jahrhunderte und Jahrtausende\u2026<\/p>\n<p>Im Laufe der Lagerung verlieren Speichertr\u00e4ger einen Teil der Daten, hier ist ein Beispiel:<\/p>\n<p><img decoding=\"async\" alt=\"Schnelle fehlertolerante Kompression (Fortsetzung)\" src=\"\/wp-content\/uploads\/2019\/12\/b85564e175204e70ed7c3c3ed0fbf008.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nDieser \"analoge\" Informationsspeicher ist tausend Jahre alt, einige Fragmente sind verloren, aber insgesamt ist die Information \"lesbar\"\u2026<\/p>\n<p>Keiner der verantwortlichen Hersteller moderner digitaler Datenspeichersysteme und der digitalen Tr\u00e4ger gibt eine Garantie f\u00fcr die vollst\u00e4ndige Datenintegrit\u00e4t von mehr als 75 Jahren.<br \/>\nUnd das ist ein Problem, aber ein aufgeschobenes Problem, das unsere Nachkommen l\u00f6sen werden\u2026<\/p>\n<p>Digitale Datenspeichersysteme k\u00f6nnen Daten nicht nur nach 75 Jahren verlieren, Datenfehler k\u00f6nnen jederzeit auftreten, selbst w\u00e4hrend der Aufzeichnung; diese Verzerrungen versuchen, mithilfe von Redundanz und Fehlerkorrektursystemen zu minimieren. Redundanz und Fehlerkorrektursysteme k\u00f6nnen nicht immer verlorene Informationen wiederherstellen, und selbst wenn sie wiederhergestellt werden, gibt es keine Garantie, dass der Wiederherstellungsvorgang korrekt war.<\/p>\n<p>Und das ist auch ein gro\u00dfes Problem, aber kein aufgeschobenes, sondern ein aktuelles.<\/p>\n<p>Moderne Kompressionssoftware, die f\u00fcr die Archivierung digitaler Daten verwendet wird, basiert auf verschiedenen Modifikationen des W\u00f6rterbuchverfahrens. F\u00fcr solche Archive w\u00e4re der Verlust eines Informationsfragmentes ein fataler Vorfall; es gibt sogar einen etablierten Begriff f\u00fcr eine solche Situation \u2013 \"besch\u00e4digtes\" Archiv\u2026<\/p>\n<p>Die geringe Zuverl\u00e4ssigkeit der Informationsspeicherung in Archiven mit W\u00f6rterbuchkompression h\u00e4ngt mit der Struktur der komprimierten Daten zusammen. Informationen in einem solchen Archiv enthalten keinen urspr\u00fcnglichen Text; stattdessen werden die Nummern der W\u00f6rterbucheintr\u00e4ge gespeichert, wobei das W\u00f6rterbuch dynamisch durch den aktuell komprimierten Text modifiziert wird. Im Falle des Verlusts oder der Verf\u00e4lschung eines Fragmentes des Archivs ist es unm\u00f6glich, alle folgenden Archivdatens\u00e4tze weder anhand des Inhalts noch der L\u00e4nge des Eintrags im W\u00f6rterbuch zu identifizieren, da unklar ist, welcher nummerierten W\u00f6rterbucheintrag entspricht.<\/p>\n<p>Es ist unm\u00f6glich, Informationen aus einem solchen 'besch\u00e4digten' Archiv wiederherzustellen.<\/p>\n<p>Der RTT-Algorithmus basiert auf einer zuverl\u00e4ssigeren Methode zur Speicherung komprimierter Daten. Dabei wird eine indexbasierte Methode zur Erfassung wiederkehrender Fragmente verwendet. Dieser Ansatz zur Kompression minimiert die Auswirkungen von Informationsverzerrungen auf dem Tr\u00e4ger und erm\u00f6glicht es in vielen F\u00e4llen, die w\u00e4hrend der Speicherung von Informationen entstandenen Verzerrungen automatisch zu korrigieren.<br \/>\nDies liegt daran, dass die Archivdatei bei indexbasierter Kompression zwei Felder enth\u00e4lt:<\/p>\n<ul>\n<li>ein Feld mit dem urspr\u00fcnglichen Text, aus dem wiederholte Abschnitte entfernt wurden;<\/li>\n<li>ein Feld der Indizes. <\/li>\n<\/ul>\n<p>\nDas f\u00fcr die Informationswiederherstellung kritische Feld der Indizes ist nicht gro\u00df und kann zur Sicherung der Datenspeicherung dupliziert werden. Daher wird, selbst wenn ein Fragment des urspr\u00fcnglichen Textes oder des Indexarrays verloren geht, die restliche Information problemlos wiederhergestellt, wie auf dem Bild mit einem 'analogen' Informationstr\u00e4ger.<\/p>\n<h4>Nachteile des Algorithmus<\/h4>\n<p>\nVorteile gibt es niemals ohne Nachteile. Die indexbasierte Kompressionsmethode komprimiert wiederkehrende Sequenzen geringer L\u00e4nge nicht. Dies h\u00e4ngt mit den Beschr\u00e4nkungen der indexbasierten Methode zusammen. Indizes haben eine Gr\u00f6\u00dfe von mindestens 3 Bytes und k\u00f6nnen bis zu 12 Bytes gro\u00df sein. Wenn eine Wiederholung auftritt, die kleiner ist als die beschreibende Indexgr\u00f6\u00dfe, wird sie nicht ber\u00fccksichtigt, egal wie oft solche Wiederholungen in der zu komprimierenden Datei festgestellt werden.<\/p>\n<p>Die traditionelle, lexikalische Komprimierungsmethode komprimiert effektiv multiple kurze Wiederholungen und erzielt daher eine h\u00f6here Kompressionsrate als die indexbasierte Kompression. Allerdings wird dies auf Kosten einer hohen Auslastung der zentralen Verarbeitungseinheit erreicht, sodass die lexikalische Methode, um Daten effektiver als die indexbasierte Methode zu komprimieren, die Verarbeitungsgeschwindigkeit auf 10-20 Megabyte pro Sekunde in realen Berechnungssystemen bei voller CPU-Auslastung senken muss.<\/p>\n<p>Solch niedrige Geschwindigkeiten sind f\u00fcr moderne Datenspeichersysteme unakzeptabel und haben eher akademisches als praktisches Interesse.<\/p>\n<p>Der Kompressionsgrad der Informationen wird in der n\u00e4chsten Modifikation des RTT-Algorithmus (RTT-Max) erheblich erh\u00f6ht, der sich bereits in der Entwicklung befindet.<\/p>\n<p>Also wie immer, Fortsetzung folgt\u2026<br \/>\n<br \/>Quelle: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/479888\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0414\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u0443\u0436\u0435 \u0432\u0442\u043e\u0440\u0430\u044f \u0432 \u0442\u0435\u043c\u0435 \u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u043d\u043e\u0439 \u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445. \u0412 \u043f\u0435\u0440\u0432\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0431\u044b\u043b \u043e\u043f\u0438\u0441\u0430\u043d \u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u043e\u0440 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0439 \u0441\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e 10\u0413\u0431\u0430\u0439\u0442\/\u0441\u0435\u043a. \u043d\u0430 \u043e\u0434\u043d\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u043d\u043e\u0435 \u044f\u0434\u0440\u043e (\u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0441\u0436\u0430\u0442\u0438\u0435, RTT-Min). \u042d\u0442\u043e\u0442 \u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u043e\u0440, \u0443\u0436\u0435 \u0432\u043d\u0435\u0434\u0440\u0435\u043d \u0432 \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u0440\u0438\u043c\u0438\u043d\u0430\u043b\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0434\u0443\u0431\u043b\u0438\u043a\u0430\u0442\u043e\u0440\u043e\u0432 \u0434\u043b\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u043d\u043e\u0433\u043e \u0441\u0436\u0430\u0442\u0438\u044f \u0434\u0430\u043c\u043f\u043e\u0432 \u043d\u043e\u0441\u0438\u0442\u0435\u043b\u0435\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0438 \u0443\u0441\u0438\u043b\u0435\u043d\u0438\u044f \u0441\u0442\u043e\u0439\u043a\u043e\u0441\u0442\u0438 \u043a\u0440\u0438\u043f\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u0438, \u0442\u0430\u043a\u0436\u0435 \u043e\u043d \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f \u0434\u043b\u044f \u0441\u0436\u0430\u0442\u0438\u044f \u043e\u0431\u0440\u0430\u0437\u043e\u0432 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0430\u0448\u0438\u043d \u0438 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-53906","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.1.1 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0414\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u0443\u0436\u0435 \u0432\u0442\u043e\u0440\u0430\u044f \u0432 \u0442\u0435\u043c\u0435 \u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u043d\u043e\u0439 \u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445. \u0412 \u043f\u0435\u0440\u0432\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0431\u044b\u043b \u043e\u043f\u0438\u0441\u0430\u043d \u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u043e\u0440 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0439 \u0441\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e 10\u0413\u0431\u0430\u0439\u0442\/\u0441\u0435\u043a. \u043d\u0430 \u043e\u0434\u043d\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u043d\u043e\u0435 \u044f\u0434\u0440\u043e (\u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0441\u0436\u0430\u0442\u0438\u0435, RTT-Min).\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/skorostnaya-otkazoustojchivaya-kompressiya-prodolzhenie\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.1.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"de_DE\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u043d\u0430\u044f \u043e\u0442\u043a\u0430\u0437\u043e\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u0430\u044f \u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u0438\u044f (\u041f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435) | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0414\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u0443\u0436\u0435 \u0432\u0442\u043e\u0440\u0430\u044f \u0432 \u0442\u0435\u043c\u0435 \u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u043d\u043e\u0439 \u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445. \u0412 \u043f\u0435\u0440\u0432\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0431\u044b\u043b \u043e\u043f\u0438\u0441\u0430\u043d \u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u043e\u0440 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0439 \u0441\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e 10\u0413\u0431\u0430\u0439\u0442\/\u0441\u0435\u043a. \u043d\u0430 \u043e\u0434\u043d\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u043d\u043e\u0435 \u044f\u0434\u0440\u043e (\u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0441\u0436\u0430\u0442\u0438\u0435, RTT-Min).\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/skorostnaya-otkazoustojchivaya-kompressiya-prodolzhenie\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2019-12-12T21:00:00+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-02-18T11:01:51+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47 Hochgeschwindigkeits-fehlertolerante Kompression (Fortsetzung) | ProHoster","description":"Dieser Artikel ist bereits der zweite in der Reihe \u00fcber schnelle Datenkompression. Im ersten Artikel wurde ein Kompressor beschrieben, der mit einer Geschwindigkeit von 10 GB\/s pro Prozessorkern (minimale Kompression, RTT-Min) arbeitet.","canonical_url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/skorostnaya-otkazoustojchivaya-kompressiya-prodolzhenie","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u043d\u0430\u044f \u043e\u0442\u043a\u0430\u0437\u043e\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u0430\u044f \u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u0438\u044f (\u041f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435) | ProHoster","og:description":"\u0414\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u0443\u0436\u0435 \u0432\u0442\u043e\u0440\u0430\u044f \u0432 \u0442\u0435\u043c\u0435 \u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u043d\u043e\u0439 \u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445. \u0412 \u043f\u0435\u0440\u0432\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0431\u044b\u043b \u043e\u043f\u0438\u0441\u0430\u043d \u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u043e\u0440 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0439 \u0441\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e 10\u0413\u0431\u0430\u0439\u0442\/\u0441\u0435\u043a. \u043d\u0430 \u043e\u0434\u043d\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u043d\u043e\u0435 \u044f\u0434\u0440\u043e (\u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0441\u0436\u0430\u0442\u0438\u0435, RTT-Min).","og:url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/skorostnaya-otkazoustojchivaya-kompressiya-prodolzhenie","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-12-12T21:00:00+00:00","article:modified_time":"2020-02-18T11:01:51+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"53906","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-02-09 18:05:19","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 20:15:55","updated":"2026-02-09 18:05:19","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/53906","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=53906"}],"version-history":[{"count":1,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/53906\/revisions"}],"predecessor-version":[{"id":158702,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/53906\/revisions\/158702"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=53906"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=53906"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=53906"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}