Da die Erfassung und Nutzung von Daten zunimmt, sucht der Speichermarkt nach Lösungen, die Datenkomprimierung oder die Speicherung von Daten in einem Format ermöglichen, das weniger Platz als üblich benötigt.
Laut Barracuda ist „Datenkomprimierung der Prozess, Daten zu kodieren, neu zu strukturieren oder anderweitig zu verändern, um ihre Größe zu reduzieren. Im Wesentlichen geht es darum, Informationen mit weniger Bits als in der ursprünglichen Darstellung neu zu kodieren.“
Komprimierungsalgorithmen verändern Dateien auf verschiedene Weise, etwa indem sie die vielen Leerzeichen in Dokumenten entfernen, Bits enger zusammenrücken, unnötige Zeichen löschen und andere Methoden anwenden. Bei Textdateien kann dies die Größe um mehr als 50 % reduzieren.
ZIP-Dateien sind eine gängige Form der Komprimierung, die im Alltag eingesetzt wird. Diese Dateien verkürzen mithilfe der Komprimierung die Zeit, die für die Übertragung einer Datei benötigt wird.
Zu den Vorteilen der Komprimierung gehören der geringere Bedarf an Speicherhardware, kürzere Datenübertragungszeiten und ein geringerer Bandbreitenverbrauch.
Hier sind fünf der wichtigsten Trends bei der Datenkomprimierung:
1. Verlustfreie vs. verlustbehaftete Komprimierung
Bei der verlustfreien Komprimierung werden Bits entfernt, ohne tatsächlich Informationen zu eliminieren. Dazu werden verschiedene statistische Redundanzen erkannt und entfernt. Für Datenbanken und andere Anwendungen, bei denen eine hohe Qualität erforderlich ist, ist dies ein guter Ansatz. Der Nachteil sind geringere Komprimierungsraten. Das PNG-Format ist beispielsweise eine der verfügbaren Optionen für die verlustfreie Komprimierung.
Die verlustbehaftete Komprimierung hingegen entfernt unnötige Informationen und reduziert die Komplexität, um die Komprimierungsrate deutlich zu erhöhen. Der Nachteil ist die mögliche Verschlechterung der Datequalität. JPEG ist ein gutes Beispiel für ein Dateiformat, das verlustbehaftete Komprimierung verwendet.
2. Bandkomprimierung
Bandanbieter sind besonders versiert in Sachen Komprimierung geworden. Mit dem Wiederaufleben von Bändern als bevorzugtem Ziel für große Archive sind die Auslieferungen von Bändern stark gestiegen – ebenso wie der Bedarf, mehr Daten auf deutlich kleinerem Raum unterzubringen.
Dementsprechend hat das beliebte LTO-Format Komprimierungsraten von 2,5:1 erreicht. Die FUJIFILM LTO Ultrium 9 Data Cartridge bietet bis zu 45 TB Speicherkapazität (18 TB bei nicht komprimierten Daten).
„Diese nächste Generation von Bandspeichermedien mit höherer Kapazität und höheren Geschwindigkeiten stellt einen wichtigen Schritt dar, um Kosten zu senken, den Energieverbrauch und die CO2-Emissionen zu reduzieren und die inhärenten Sicherheitsvorteile von Bändern zu nutzen“, sagte Hironobu Taketomi, Präsident von FUJIFILM Recording Media U.S.A.
3. Hardware als Grundausstattung
Komprimierung war früher ein Zusatznutzen – oder etwas, womit sich ein Anbieter von Speicherhardware von einem anderen abheben konnte. Heute gehört eine gute Komprimierung zur Grundausstattung und wird von praktisch allen Anbietern von Speicherhardware eingesetzt.
Dell EMC PowerScale ist beispielsweise ein horizontal skalierbares NAS-Speichersystem (Network Attached Storage), das das Betriebssystem OneFS umfasst und einen protokollübergreifenden Namensraum für jede datei-, objekt- oder analysebasierte Anwendung bereitstellt. Dank seiner Automatisierungsfunktionen kann ein einzelner Administrator Speicher im PB-Bereich verwalten, parallele Upgrades durchführen und Funktionen wie Inline-Komprimierung und Datendeduplizierung übernehmen.
„Ein weiterer Trend ist, dass sich Deduplizierung und Komprimierung als Feature-Funktion etabliert haben, anstatt ein separates Produkt zu sein“, sagte Greg Schulz, Analyst bei der StorageIO Group.
„Sie existieren neben anderen Technologien.“
4. Reduzierung des Daten-Footprints
Der Speichermarkt erfindet gern neue Begriffe. Manchmal stehen diese für gewagte neue Funktionen. In anderen Fällen wird eine bekannte Funktion lediglich neu verpackt. Die Reduzierung des Daten-Footprints (DFR) liegt wahrscheinlich irgendwo dazwischen, da sie sowohl Komprimierung als auch Deduplizierung umfasst.
„Deduplizierung und Komprimierung sind Technologien zur Reduzierung des Daten-Footprints. Sie verringern die Größe und die Auswirkungen Ihrer Daten sowie die damit verbundenen Speicher- und Verwaltungskosten“, sagte Schulz von der StorageIO Group.
„Da nicht alle Daten und Anwendungen gleich sind, gibt es unterschiedliche DFR-Techniken und -Technologien, um die Auswirkungen des Daten-Footprints zu reduzieren. Bei einigen Daten ist eine Deduplizierung möglich, andere lassen sich komprimieren. Einer der neueren Trends besteht darin, verschiedene DFR-Techniken wie Komprimierung und Deduplizierung sowohl kombiniert als auch an unterschiedlichen Orten und mit unterschiedlicher Granularität einzusetzen.“
Je nach Anwendung kann es besser sein, Daten nur zu komprimieren und nicht zu deduplizieren – oder umgekehrt. Oder zunächst das eine und anschließend das andere durchzuführen. DFR versucht, dieses gesamte Themenfeld unter einem Begriff zusammenzufassen, indem der beste Ort für Deduplizierung und Komprimierung ermittelt wird (an der Quelle, auf einem Server, in einer Datenbank, einem Dateisystem, einem Betriebssystem, auf einem Speichergerät oder an anderer Stelle) und auch die beste Reihenfolge.
„Sie können alle verfügbaren DFR-Techniken nutzen – von serverseitigen Verfahren und Dateisystemen bis hin zu Archivierung, Deduplizierung und Komprimierung an verschiedenen Orten, auch um die Auswirkungen von Daten über Netzwerke hinweg zu reduzieren“, sagte Schulz.
5. Einsatz bei Audio und Video
Durch Streaming-Netzwerke, allgegenwärtige YouTube-Videos und den Aufstieg von Podcasts steigt der Bedarf an der Komprimierung von Audio- und Videodateien. Diese Technologien sind in den vergangenen Jahren ausgefeilter geworden.
Die Audiokomprimierung wird in Form von Audio-Codecs implementiert, die dabei helfen, Dateien zu komprimieren und so Bandbreiten- und Speicherbeschränkungen zu berücksichtigen.
Videos kombinieren natürlich typischerweise Bild- und Audiokomprimierung mit unterschiedlichen Codecs für die jeweiligen Komponenten. Videodateien verwenden häufig verlustbehaftete Komprimierung, etwa in Formaten wie MPEG.