{"id":53906,"date":"2019-12-13T00:00:00","date_gmt":"2019-12-12T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/skorostnaya-otkazoustojchivaya-kompressiya-prodolzhenie"},"modified":"2020-02-18T14:01:51","modified_gmt":"2020-02-18T11:01:51","slug":"skorostnaya-otkazoustojchivaya-kompressiya-prodolzhenie","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/skorostnaya-otkazoustojchivaya-kompressiya-prodolzhenie","title":{"rendered":"Schnelle fehlertolerante Kompression (Fortsetzung)","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>Dieser Artikel ist der zweite in der Reihe zum Thema der schnellen Datenkompression. Im ersten Artikel wurde ein Kompressor beschrieben, der mit einer Geschwindigkeit von 10 GB\/s pro Prozessorkern arbeitet (minimale Kompression, RTT-Min). <\/p>\n<p>Dieser Kompressor ist bereits in die Ausr\u00fcstung von forensischen Duplikatoren integriert, um Dumps von Speichermedien schnell zu komprimieren und die Widerstandsf\u00e4higkeit der Kryptografie zu erh\u00f6hen. Zudem kann er zur Kompression von virtuellen Maschinen-Images und Swap-Dateien des Arbeitsspeichers verwendet werden, w\u00e4hrend diese auf schnellem SSD-Speicher abgelegt werden.<\/p>\n<p>Im ersten Artikel wurde auch die Entwicklung eines Kompressionsalgorithmus zur Kompression von Backups f\u00fcr HDD- und SSD-Laufwerke (mittlere Kompression, RTT-Mid) mit erheblich verbesserten Kompressionsparametern angek\u00fcndigt. Dieser Kompressor ist inzwischen vollst\u00e4ndig bereit, und dieser Artikel behandelt genau ihn. <br \/>\n<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><br \/>\nDer Kompressor, der den RTT-Mid-Algorithmus implementiert, bietet ein Kompressionsniveau, das mit Standardarchivierungssoftware wie WinRar und 7-Zip vergleichbar ist, die im Hochgeschwindigkeitsmodus arbeiten. Dabei ist seine Arbeitsgeschwindigkeit mindestens um eine Gr\u00f6\u00dfenordnung h\u00f6her. <\/p>\n<p>Die Geschwindigkeit der Datenkompression\/-dekompression ist ein entscheidender Parameter, der den Anwendungsbereich der Kompressionstechnologien bestimmt. Kaum jemand w\u00fcrde auf die Idee kommen, ein Terabyte Daten mit einer Geschwindigkeit von 10-15 Megabyte pro Sekunde zu komprimieren (genau so schnell arbeiten Komprimierungsprogramme im Standardmodus), denn das w\u00fcrde bei voller CPU-Auslastung fast zwanzig Stunden dauern...<\/p>\n<p>Andererseits kann dasselbe Terabyte mit Geschwindigkeiten von etwa 2-3 Gigabyte pro Sekunde innerhalb von zehn Minuten kopiert werden. <\/p>\n<p>Daher ist die Kompression von gro\u00dfen Datenmengen relevant, wenn sie mit einer Geschwindigkeit von nicht weniger als der Geschwindigkeit des realen Ein-\/Ausgabeprozesses durchgef\u00fchrt wird. F\u00fcr moderne Systeme bedeutet das mindestens 100 Megabyte pro Sekunde. <\/p>\n<p>Solche Geschwindigkeiten k\u00f6nnen moderne Kompressoren nur im \u201aFast\u2018-Modus erreichen. In diesem relevanten Modus werden wir den Algorithmus RTT-Mid mit traditionellen Kompressoren vergleichen.<\/p>\n<h4>Vergleichende Tests des neuen Kompressionsalgorithmus<\/h4>\n<p>\n Der RTT-Mid Kompressor arbeitete im Rahmen eines Testprogramms. In einer realen Anwendung arbeitet er deutlich schneller, dort wird die Multithreadf\u00e4higkeit sinnvoll genutzt und ein \"normaler\" Compiler verwendet, nicht C#. <\/p>\n<p>Da die verwendeten Kompressoren im Vergleichstest auf unterschiedlichen Prinzipien basieren und verschiedene Datentypen unterschiedlich komprimieren, wurde zur Objektivit\u00e4t des Tests die Methode der \"durchschnittlichen Temperatur im Krankenhaus\" angewandt...<\/p>\n<p>Es wurde eine Sektor-Dump-Datei des logischen Laufwerks mit dem Betriebssystem Windows 10 erstellt, dies ist die nat\u00fcrlichste Mischung aus verschiedenen Datenstrukturen, wie sie auf jedem Computer anzutreffen sind. Die Kompression dieser Datei erm\u00f6glicht es, die Geschwindigkeit und den Kompressionsgrad des neuen Algorithmus mit den fortschrittlichsten Kompressoren zu vergleichen, die in modernen Archivierern verwendet werden.<\/p>\n<p>Hier ist die Dump-Datei:<\/p>\n<p><img decoding=\"async\" alt=\"Schnelle fehlertolerante Kompression (Fortsetzung)\" src=\"\/wp-content\/uploads\/2019\/12\/39fc5bfe9812ac2417d6eb8ef1dde0a8.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nDie Dump-Datei wurde mit den Kompressoren RTT-Mid, 7-zip, WinRar komprimiert. Der Kompressor WinRar und 7-zip wurden auf maximale Geschwindigkeit eingestellt.<\/p>\n<p>Kompressor l\u00e4uft <b>7-zip<\/b>:<\/p>\n<p><img decoding=\"async\" alt=\"Schnelle fehlertolerante Kompression (Fortsetzung)\" src=\"\/wp-content\/uploads\/2019\/12\/1b088a99fb7b04d5b6ccb500ff74c73e.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nEr belastet die CPU zu 100%, w\u00e4hrend die durchschnittliche Lesegeschwindigkeit des urspr\u00fcnglichen Dumps etwa 60 Megabyte\/Sekunde betr\u00e4gt.<\/p>\n<p>Kompressor l\u00e4uft <b>WinRar<\/b>:<\/p>\n<p><img decoding=\"async\" alt=\"Schnelle fehlertolerante Kompression (Fortsetzung)\" src=\"\/wp-content\/uploads\/2019\/12\/462024e8304a90a885ef3857fbd119e1.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nDie Situation ist \u00e4hnlich, die CPU-Auslastung liegt bei nahezu 100 %, die durchschnittliche Lesegeschwindigkeit des Dumps betr\u00e4gt etwa 125 Megabyte\/Sekunde.<\/p>\n<p>Wie im vorherigen Fall ist die Geschwindigkeit des Archivators durch die M\u00f6glichkeiten der CPU begrenzt.<\/p>\n<p>Jetzt funktioniert das Testprogramm des Kompressors. <b>RTT-Mid<\/b>:<\/p>\n<p><img decoding=\"async\" alt=\"Schnelle fehlertolerante Kompression (Fortsetzung)\" src=\"\/wp-content\/uploads\/2019\/12\/f46fabcbb362dcf99a8b55877954c3a8.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nDer Screenshot zeigt, dass die CPU zu 50 % ausgelastet ist und die restliche Zeit unt\u00e4tig bleibt, da keine komprimierten Daten entladen werden k\u00f6nnen. Die Ablagedisk (Disk 0) ist nahezu vollst\u00e4ndig ausgelastet. Die Lesegeschwindigkeit der Daten (Disk 1) schwankt stark, liegt aber im Durchschnitt \u00fcber 200 Megabyte\/Sekunde.<\/p>\n<p>Die Arbeitsgeschwindigkeit des Kompressors wird in diesem Fall durch die Schreibf\u00e4higkeit komprimierter Daten auf Disk 0 begrenzt.<\/p>\n<p>Jetzt der Kompressionsgrad der erhaltenen Archive:<\/p>\n<p><img decoding=\"async\" alt=\"Schnelle fehlertolerante Kompression (Fortsetzung)\" src=\"\/wp-content\/uploads\/2019\/12\/1e0740937909c6a5860ef35d15da9e7f.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<img decoding=\"async\" alt=\"Schnelle fehlertolerante Kompression (Fortsetzung)\" src=\"\/wp-content\/uploads\/2019\/12\/6e74c8ceab741943a59eca87f092e25b.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<img decoding=\"async\" alt=\"Schnelle fehlertolerante Kompression (Fortsetzung)\" src=\"\/wp-content\/uploads\/2019\/12\/3b2f8bed83ea72917f87a3a9813294fc.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nEs ist zu sehen, dass der Kompressor RTT-Mid am besten mit der Kompression zurechtgekommen ist; das von ihm erstellte Archiv ist 1,3 Gigabyte kleiner als das WinRar-Archiv und 2,1 Gigabyte kleiner als das 7z-Archiv.<\/p>\n<p>Die f\u00fcr die Erstellung des Archivs ben\u00f6tigte Zeit:<\/p>\n<ul>\n<li> 7-zip \u2013 26 Minuten 10 Sekunden;<\/li>\n<li> WinRar \u2013 17 Minuten 40 Sekunden;<\/li>\n<li> RTT-Mid \u2013 7 Minuten 30 Sekunden.<\/li>\n<\/ul>\n<p>\nSo konnte selbst ein Testprogramm, das nicht optimiert ist und den RTT-Mid-Algorithmus verwendet, das Archiv mehr als zweieinhalbmal schneller erstellen, und das Archiv war dabei wesentlich kleiner als das der Wettbewerber...<\/p>\n<p>Diejenigen, die den Screenshots nicht glauben, k\u00f6nnen ihre Richtigkeit selbst \u00fcberpr\u00fcfen. Das Testprogramm ist verf\u00fcgbar unter <noindex><a rel=\"nofollow\" href=\"https:\/\/yadi.sk\/d\/9CkY30b1lRcLYw\">\u00fcber diesen Link verf\u00fcgbar<\/a><\/noindex>, laden Sie es herunter und \u00fcberpr\u00fcfen Sie es.<\/p>\n<p>Aber nur auf Prozessoren mit AVX-2-Unterst\u00fctzung; ohne Unterst\u00fctzung f\u00fcr diese Instruktionen funktioniert der Kompressor nicht, und testen Sie den Algorithmus nicht auf alten AMD-Prozessoren, da diese bei der Ausf\u00fchrung von AVX-Befehlen langsam sind...<\/p>\n<h4>Das verwendete Kompressionsverfahren<\/h4>\n<p>\nDer Algorithmus verwendet eine Methode zur Indizierung wiederholter Textfragmente in Bytegranularit\u00e4t. Diese Kompressionsmethode ist schon lange bekannt, wurde jedoch nicht verwendet, da die \u00dcbereinstimmungssuche sehr ressourcenintensiv war und deutlich mehr Zeit in Anspruch nahm als der Aufbau eines W\u00f6rterbuchs. Der RTT-Mid-Algorithmus ist also ein klassisches Beispiel f\u00fcr eine R\u00fcckkehr in die Zukunft...<\/p>\n<p>Im RTT-Kompressor wird ein einzigartiger Hochgeschwindigkeit-Matching-Scanner eingesetzt, der den Komprimierungsprozess erheblich beschleunigt hat. Dieser selbst entwickelte Scanner ist \u201emein Schatz\u2026\u201c, \u201eder Preis ist nicht gering, da er vollst\u00e4ndig handgefertigt ist\u201c (in Assembler geschrieben).<\/p>\n<p>Der Matching-Scanner basiert auf einem zweistufigen Wahrscheinlichkeitsansatz: Zuerst wird nach dem Vorhandensein eines \u201eMerkmals\u201c f\u00fcr eine \u00dcbereinstimmung gesucht, und erst nach Identifizierung dieses \u201eMerkmals\u201c wird der Prozess zur Erkennung der tats\u00e4chlichen \u00dcbereinstimmung gestartet. <\/p>\n<p>Das Suchfenster f\u00fcr \u00dcbereinstimmungen hat eine unvorhersehbare Gr\u00f6\u00dfe, die von der Entropiestufe im verarbeiteten Datenblock abh\u00e4ngt. Bei vollst\u00e4ndig zuf\u00e4lligen (nicht komprimierbaren) Daten hat es die Gr\u00f6\u00dfe von Megabyte, w\u00e4hrend es bei Daten mit Wiederholungen immer gr\u00f6\u00dfer als ein Megabyte ist.<\/p>\n<p>Viele moderne Datenformate sind jedoch nicht komprimierbar, und somit ist es ineffizient und verschwenderisch, einen ressourcenintensiven Scanner durch sie hindurch zu betreiben. Daher verwendet der Scanner zwei Betriebsmodi. Zuerst werden Abschnitte des Quelltexts mit m\u00f6glichen Wiederholungen gesucht. Dieser Vorgang wird ebenfalls probabilistisch durchgef\u00fchrt und geschieht sehr schnell (mit Geschwindigkeiten von 4-6 Gigabyte\/Sekunde). Danach werden die Abschnitte mit m\u00f6glichen \u00dcbereinstimmungen vom Hauptscanner verarbeitet. <\/p>\n<p>Die Indexkompression ist nicht sehr effektiv. Es m\u00fcssen wiederholte Fragmente durch Indizes ersetzt werden, und das Indexarray reduziert erheblich das Kompressionsverh\u00e4ltnis. <\/p>\n<p>Um den Kompressionsgrad zu erh\u00f6hen, werden nicht nur vollst\u00e4ndige \u00dcbereinstimmungen von Bytefolgen indexiert, sondern auch partielle, bei denen sowohl \u00fcbereinstimmende als auch nicht \u00fcbereinstimmende Bytes in der Reihe vorhanden sind. Zu diesem Zweck enth\u00e4lt das Indexformat ein \u00dcbereinstimmungsmaske-Feld, das auf die \u00fcbereinstimmenden Bytes der beiden Bl\u00f6cke verweist. F\u00fcr eine noch h\u00f6here Kompression wird eine Indizierung mit \u00dcberlappung mehrerer teilweise \u00fcbereinstimmender Bl\u00f6cke auf dem aktuellen Block verwendet. <\/p>\n<p>All dies erm\u00f6glichte es, im RTT-Mid-Kompressor ein Kompressionsverh\u00e4ltnis zu erzielen, das mit dem von Kompressoren, die nach dem W\u00f6rterbuchverfahren hergestellt werden, vergleichbar ist, wobei er jedoch deutlich schneller arbeitet.<\/p>\n<h4>Geschwindigkeit des neuen Kompressionsalgorithmus<\/h4>\n<p>\nWenn der Kompressor mit exklusivem Einsatz des Speichercaches arbeitet (4 Megabyte pro Thread erforderlich), schwankt die Geschwindigkeit zwischen 700 und 2000 Megabyte\/Sekunde pro CPU-Kern, abh\u00e4ngig von der Art der komprimierten Daten und h\u00e4ngt nur geringf\u00fcgig von der Prozessortaktfrequenz ab. <\/p>\n<p>Bei der Multithread-Implementierung des Kompressors wird die effektive Skalierbarkeit durch den Cache-Speicher der dritten Ebene bestimmt. Zum Beispiel macht es mit 9 Megabyte Cache keinen Sinn, mehr als zwei Kompressionsstr\u00e4nge zu starten, die Geschwindigkeit w\u00fcrde dadurch nicht steigen. Mit einem Cache von 20 Megabyte k\u00f6nnen jedoch bereits f\u00fcnf Kompressionsstr\u00e4nge gestartet werden.<\/p>\n<p>Ein weiterer wesentlicher Parameter, der die Arbeitsgeschwindigkeit des Kompressors bestimmt, ist die Latenz des Arbeitsspeichers. Der Algorithmus verwendet zuf\u00e4llige Zugriffe auf den RAM, von denen ein Teil nicht im Cache gespeichert wird (etwa 10 %), sodass er warten muss, bis die Daten aus dem RAM bereitgestellt werden, was die Geschwindigkeit verringert. <\/p>\n<p>Die Geschwindigkeit des Kompressors wird auch durch die Funktionsweise des Ein- und Ausgabesystems beeinflusst. Anfragen an den RAM vom Ein-\/Ausgang blockieren Datenabfragen des CPUs, was ebenfalls die Kompressionsgeschwindigkeit verringert. Dieses Problem ist insbesondere bei Laptops und Desktops erheblich, <a class=\"wpil_keyword_link\" href=\"https:\/\/prohoster.info\/de\/server\/\"   title=\"Server\" data-wpil-keyword-link=\"linked\"  data-wpil-monitor-id=\"1458\">Server<\/a> da es aufgrund des fortschrittlicheren Zugriffssteuerungsblocks zur Systembus und des Mehrkanal-RAMs weniger relevant ist.<\/p>\n<p>Im gesamten Artikel wird \u00fcber Kompression gesprochen, w\u00e4hrend die Dekompression in diesem Artikel nicht behandelt wird, da dort \u00aballes in Ordnung ist\u00bb. Die Dekompression erfolgt erheblich schneller und wird durch die Geschwindigkeit von Ein- und Ausgabe begrenzt. Ein physischer Kern in einem Thread kann problemlos Entpackungsgeschwindigkeiten von 3-4 Gigabyte\/Sekunde erreichen.<\/p>\n<p>Dies liegt daran, dass beim Entpacken der Suchvorgang nach \u00dcbereinstimmungen fehlt, der die Hauptressourcen der CPU und den Cache w\u00e4hrend der Kompression \u201eaufzehrt\u201c. <\/p>\n<h4>Zuverl\u00e4ssigkeit der Speicherung komprimierter Daten<\/h4>\n<p>\nWie der Name der gesamten Klasse von Softwaretools zur Datenspeicherung (Komprimierungssoftware) bereits andeutet, sind sie f\u00fcr die langfristige Speicherung von Informationen gedacht, nicht f\u00fcr Jahre, sondern f\u00fcr Jahrhunderte und Jahrtausende\u2026<\/p>\n<p>Im Laufe der Speicherung verlieren Speichermedien einen Teil der Daten, hier ein Beispiel:<\/p>\n<p><img decoding=\"async\" alt=\"Schnelle fehlertolerante Kompression (Fortsetzung)\" src=\"\/wp-content\/uploads\/2019\/12\/b85564e175204e70ed7c3c3ed0fbf008.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nDieses \u201eanaloge\u201c Speichermedium ist tausend Jahre alt; einige Fragmente sind verloren gegangen, aber insgesamt ist die Information \u201elesbar\u201c\u2026<\/p>\n<p>Kein verantwortlicher Hersteller moderner digitaler Datenspeichersysteme und digitaler Medien bietet Garantien f\u00fcr die vollst\u00e4ndige Datensicherung von mehr als 75 Jahren an.<br \/>\nUnd das ist ein Problem, aber ein aufgeschobenes Problem, das unsere Nachkommen l\u00f6sen werden\u2026<\/p>\n<p>Digitale Datenspeichersysteme k\u00f6nnen Daten nicht nur nach 75 Jahren verlieren, sondern Datenfehler k\u00f6nnen jederzeit auftreten, sogar w\u00e4hrend der Aufzeichnung. Diese Verzerrungen versuchen, durch Redundanz und Korrektur mit Fehlerkorrektursystemen zu minimieren. Redundanz und Korrektursysteme k\u00f6nnen verlorene Informationen nicht immer wiederherstellen und selbst wenn, gibt es keine Garantie, dass der Wiederherstellungsprozess korrekt durchgef\u00fchrt wurde.<\/p>\n<p>Und das ist auch ein gro\u00dfes Problem, jedoch nicht in der Zukunft, sondern ein aktuelles.<\/p>\n<p>Moderne Kompressoren, die f\u00fcr die Archivierung digitaler Daten verwendet werden, basieren auf verschiedenen Modifikationen der W\u00f6rterbuchmethode. F\u00fcr solche Archive wird der Verlust eines Informationsfragments ein fatales Ereignis sein; es gibt sogar einen feststehenden Begriff f\u00fcr eine solche Situation \u2014 ein \u201ebesch\u00e4digtes\u201c Archiv...<\/p>\n<p>Die geringe Zuverl\u00e4ssigkeit der Informationsspeicherung in Archiven mit W\u00f6rterbuchkompression h\u00e4ngt mit der Struktur der komprimierten Daten zusammen. Informationen in einem solchen Archiv enthalten nicht den urspr\u00fcnglichen Text; stattdessen werden die Indizes der Eintr\u00e4ge im W\u00f6rterbuch gespeichert, w\u00e4hrend das W\u00f6rterbuch dynamisch mit dem aktuell komprimierten Text modifiziert wird. Bei Verlust oder Verf\u00e4lschung eines Archivteils k\u00f6nnen alle nachfolgenden Eintr\u00e4ge weder nach Inhalt noch nach L\u00e4nge des W\u00f6rterbucheintrags identifiziert werden, da unklar bleibt, welchem W\u00f6rterbucheintrag die Indizes entsprechen.<\/p>\n<p>Es ist unm\u00f6glich, Informationen aus einem solchen \u201ebesch\u00e4digten\u201c Archiv wiederherzustellen.<\/p>\n<p>Der RTT-Algorithmus basiert auf einer zuverl\u00e4ssigeren Methode zur Speicherung komprimierter Daten. Hierbei kommt eine Indexpolitik zur Erfassung wiederholender Fragmente zur Anwendung. Dieser Ansatz zur Kompression minimiert die Auswirkungen von Informationsverzerrungen auf dem Tr\u00e4ger und kann in vielen F\u00e4llen Verzerrungen, die beim Speichern der Informationen aufgetreten sind, automatisch korrigieren.<br \/>\nDies liegt daran, dass die Archivdatei im Fall der indexierten Kompression zwei Felder enth\u00e4lt:<\/p>\n<ul>\n<li>ein Feld mit dem urspr\u00fcnglichen Text, aus dem die Wiederholungsabschnitte entfernt wurden;<\/li>\n<li>ein Indexfeld. <\/li>\n<\/ul>\n<p>\nEin kritisches Feld f\u00fcr die Wiederherstellung von Informationen ist zwar klein, kann jedoch zur Datenspeicherung dupliziert werden. Daher kann auch, wenn ein Teil des urspr\u00fcnglichen Textes oder des Index-Arrays verloren geht, alle \u00fcbrige Informationen problemlos wiederhergestellt werden, wie auf dem Bild mit einem \"analogen\" Speichermedium.<\/p>\n<h4>Nachteile des Algorithmus<\/h4>\n<p>\nEs gibt keine Vorteile ohne Nachteile. Die indizierte Komprimierungsmethode komprimiert keine sich wiederholenden, kurzen Sequenzen. Dies liegt an den Einschr\u00e4nkungen der indizierten Methode. Indizes haben eine Gr\u00f6\u00dfe von mindestens 3 Bytes und k\u00f6nnen bis zu 12 Bytes gro\u00df sein. Wenn ein Wiederholungsmuster kleiner ist als der beschreibende Index, wird es nicht ber\u00fccksichtigt, egal wie oft solche Wiederholungen in der komprimierten Datei auftreten.<\/p>\n<p>Das traditionelle, lexikalische Kompressionsverfahren komprimiert effektiv zahlreiche kurze Wiederholungen und erreicht daher eine h\u00f6here Kompressionsrate als die Indexkompression. Dies geschieht jedoch zulasten einer hohen CPU-Auslastung, denn um die Daten effizienter zu komprimieren als die Indexmethode, muss die lexikalische Methode die Datenverarbeitungsgeschwindigkeit auf 10-20 Megabyte pro Sekunde in realen Recheneinheiten bei voller CPU-Auslastung reduzieren.<\/p>\n<p>Solche niedrigen Geschwindigkeiten sind f\u00fcr moderne Datenspeichersysteme inakzeptabel und stellen mehr ein \"akademisches\" Interesse dar als ein praktisches.<\/p>\n<p>Der Grad der Informationskompression wird in der n\u00e4chsten Modifikation des RTT-Algorithmus (RTT-Max) erheblich erh\u00f6ht, die sich bereits in der Entwicklung befindet.<\/p>\n<p>Also, wie immer, es folgt eine Fortsetzung\u2026<br \/>\n<br \/>Quelle: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/479888\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0414\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u0443\u0436\u0435 \u0432\u0442\u043e\u0440\u0430\u044f \u0432 \u0442\u0435\u043c\u0435 \u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u043d\u043e\u0439 \u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445. \u0412 \u043f\u0435\u0440\u0432\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0431\u044b\u043b \u043e\u043f\u0438\u0441\u0430\u043d \u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u043e\u0440 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0439 \u0441\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e 10\u0413\u0431\u0430\u0439\u0442\/\u0441\u0435\u043a. \u043d\u0430 \u043e\u0434\u043d\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u043d\u043e\u0435 \u044f\u0434\u0440\u043e (\u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0441\u0436\u0430\u0442\u0438\u0435, RTT-Min). \u042d\u0442\u043e\u0442 \u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u043e\u0440, \u0443\u0436\u0435 \u0432\u043d\u0435\u0434\u0440\u0435\u043d \u0432 \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u0440\u0438\u043c\u0438\u043d\u0430\u043b\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0434\u0443\u0431\u043b\u0438\u043a\u0430\u0442\u043e\u0440\u043e\u0432 \u0434\u043b\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u043d\u043e\u0433\u043e \u0441\u0436\u0430\u0442\u0438\u044f \u0434\u0430\u043c\u043f\u043e\u0432 \u043d\u043e\u0441\u0438\u0442\u0435\u043b\u0435\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0438 \u0443\u0441\u0438\u043b\u0435\u043d\u0438\u044f \u0441\u0442\u043e\u0439\u043a\u043e\u0441\u0442\u0438 \u043a\u0440\u0438\u043f\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u0438, \u0442\u0430\u043a\u0436\u0435 \u043e\u043d \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f \u0434\u043b\u044f \u0441\u0436\u0430\u0442\u0438\u044f \u043e\u0431\u0440\u0430\u0437\u043e\u0432 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0430\u0448\u0438\u043d \u0438 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-53906","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 4.9.10 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0414\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u0443\u0436\u0435 \u0432\u0442\u043e\u0440\u0430\u044f \u0432 \u0442\u0435\u043c\u0435 \u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u043d\u043e\u0439 \u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445. \u0412 \u043f\u0435\u0440\u0432\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0431\u044b\u043b \u043e\u043f\u0438\u0441\u0430\u043d \u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u043e\u0440 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0439 \u0441\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e 10\u0413\u0431\u0430\u0439\u0442\/\u0441\u0435\u043a. \u043d\u0430 \u043e\u0434\u043d\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u043d\u043e\u0435 \u044f\u0434\u0440\u043e (\u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0441\u0436\u0430\u0442\u0438\u0435, RTT-Min). \u042d\u0442\u043e\u0442 \u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u043e\u0440, \u0443\u0436\u0435 \u0432\u043d\u0435\u0434\u0440\u0435\u043d \u0432 \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u0440\u0438\u043c\u0438\u043d\u0430\u043b\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0434\u0443\u0431\u043b\u0438\u043a\u0430\u0442\u043e\u0440\u043e\u0432 \u0434\u043b\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u043d\u043e\u0433\u043e \u0441\u0436\u0430\u0442\u0438\u044f \u0434\u0430\u043c\u043f\u043e\u0432 \u043d\u043e\u0441\u0438\u0442\u0435\u043b\u0435\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0438 \u0443\u0441\u0438\u043b\u0435\u043d\u0438\u044f \u0441\u0442\u043e\u0439\u043a\u043e\u0441\u0442\u0438 \u043a\u0440\u0438\u043f\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u0438, \u0442\u0430\u043a\u0436\u0435 \u043e\u043d \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f \u0434\u043b\u044f \u0441\u0436\u0430\u0442\u0438\u044f \u043e\u0431\u0440\u0430\u0437\u043e\u0432 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0430\u0448\u0438\u043d \u0438\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/skorostnaya-otkazoustojchivaya-kompressiya-prodolzhenie\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 4.9.10\" \/>\n\t\t<meta property=\"og:locale\" content=\"de_DE\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u043d\u0430\u044f \u043e\u0442\u043a\u0430\u0437\u043e\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u0430\u044f \u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u0438\u044f (\u041f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435) | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0414\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u0443\u0436\u0435 \u0432\u0442\u043e\u0440\u0430\u044f \u0432 \u0442\u0435\u043c\u0435 \u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u043d\u043e\u0439 \u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445. \u0412 \u043f\u0435\u0440\u0432\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0431\u044b\u043b \u043e\u043f\u0438\u0441\u0430\u043d \u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u043e\u0440 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0439 \u0441\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e 10\u0413\u0431\u0430\u0439\u0442\/\u0441\u0435\u043a. \u043d\u0430 \u043e\u0434\u043d\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u043d\u043e\u0435 \u044f\u0434\u0440\u043e (\u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0441\u0436\u0430\u0442\u0438\u0435, RTT-Min). \u042d\u0442\u043e\u0442 \u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u043e\u0440, \u0443\u0436\u0435 \u0432\u043d\u0435\u0434\u0440\u0435\u043d \u0432 \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u0440\u0438\u043c\u0438\u043d\u0430\u043b\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0434\u0443\u0431\u043b\u0438\u043a\u0430\u0442\u043e\u0440\u043e\u0432 \u0434\u043b\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u043d\u043e\u0433\u043e \u0441\u0436\u0430\u0442\u0438\u044f \u0434\u0430\u043c\u043f\u043e\u0432 \u043d\u043e\u0441\u0438\u0442\u0435\u043b\u0435\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0438 \u0443\u0441\u0438\u043b\u0435\u043d\u0438\u044f \u0441\u0442\u043e\u0439\u043a\u043e\u0441\u0442\u0438 \u043a\u0440\u0438\u043f\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u0438, \u0442\u0430\u043a\u0436\u0435 \u043e\u043d \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f \u0434\u043b\u044f \u0441\u0436\u0430\u0442\u0438\u044f \u043e\u0431\u0440\u0430\u0437\u043e\u0432 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0430\u0448\u0438\u043d \u0438\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/skorostnaya-otkazoustojchivaya-kompressiya-prodolzhenie\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2019-12-12T21:00:00+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-02-18T11:01:51+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Schnelle ausfallsichere Kompression (Fortsetzung) | ProHoster","description":"Dieser Artikel ist bereits der zweite in der Reihe \u00fcber die schnelle Datenkompression. Im ersten Artikel wurde ein Kompressor beschrieben, der mit einer Geschwindigkeit von 10 GByte\/s pro CPU-Kern arbeitet (minimale Kompression, RTT-Min). Dieser Kompressor ist bereits in die Ausr\u00fcstung forensischer Duplikatoren integriert, um Dumps von Datentr\u00e4gern schnell zu komprimieren und die Widerstandsf\u00e4higkeit der Kryptografie zu verst\u00e4rken. Er kann auch zur Kompression von Abbildungen von virtuellen Maschinen verwendet werden und","canonical_url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/skorostnaya-otkazoustojchivaya-kompressiya-prodolzhenie","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u043d\u0430\u044f \u043e\u0442\u043a\u0430\u0437\u043e\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u0430\u044f \u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u0438\u044f (\u041f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435) | ProHoster","og:description":"\u0414\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u0443\u0436\u0435 \u0432\u0442\u043e\u0440\u0430\u044f \u0432 \u0442\u0435\u043c\u0435 \u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u043d\u043e\u0439 \u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445. \u0412 \u043f\u0435\u0440\u0432\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0431\u044b\u043b \u043e\u043f\u0438\u0441\u0430\u043d \u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u043e\u0440 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0439 \u0441\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e 10\u0413\u0431\u0430\u0439\u0442\/\u0441\u0435\u043a. \u043d\u0430 \u043e\u0434\u043d\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u043d\u043e\u0435 \u044f\u0434\u0440\u043e (\u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0441\u0436\u0430\u0442\u0438\u0435, RTT-Min). \u042d\u0442\u043e\u0442 \u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u043e\u0440, \u0443\u0436\u0435 \u0432\u043d\u0435\u0434\u0440\u0435\u043d \u0432 \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u0440\u0438\u043c\u0438\u043d\u0430\u043b\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0434\u0443\u0431\u043b\u0438\u043a\u0430\u0442\u043e\u0440\u043e\u0432 \u0434\u043b\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u043d\u043e\u0433\u043e \u0441\u0436\u0430\u0442\u0438\u044f \u0434\u0430\u043c\u043f\u043e\u0432 \u043d\u043e\u0441\u0438\u0442\u0435\u043b\u0435\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0438 \u0443\u0441\u0438\u043b\u0435\u043d\u0438\u044f \u0441\u0442\u043e\u0439\u043a\u043e\u0441\u0442\u0438 \u043a\u0440\u0438\u043f\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u0438, \u0442\u0430\u043a\u0436\u0435 \u043e\u043d \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f \u0434\u043b\u044f \u0441\u0436\u0430\u0442\u0438\u044f \u043e\u0431\u0440\u0430\u0437\u043e\u0432 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0430\u0448\u0438\u043d \u0438","og:url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/skorostnaya-otkazoustojchivaya-kompressiya-prodolzhenie","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-12-12T21:00:00+00:00","article:modified_time":"2020-02-18T11:01:51+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"53906","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-02-09 18:05:19","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 20:15:55","updated":"2026-02-09 18:05:19"},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/53906","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=53906"}],"version-history":[{"count":1,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/53906\/revisions"}],"predecessor-version":[{"id":158702,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/53906\/revisions\/158702"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=53906"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=53906"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=53906"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}