データの収集と利用が増加するなか、ストレージ市場では、データ圧縮、つまり通常より少ない容量で済む形式でデータを保存するソリューションの提供が模索されている。
Barracudaによると、「データ圧縮とは、データのサイズを削減するために、データをエンコード、再構成、またはその他の方法で変更するプロセスである。基本的には、情報を元の表現より少ないビット数で再エンコードすることを意味する。」
圧縮アルゴリズムは、文書内に現れる多数の空白を削除したり、ビットをより密集させたり、不要な文字を取り除いたりするなど、さまざまな方法でファイルを変更する。テキストファイルの場合、サイズを50%以上削減できることもある。
ZIPファイルは、日常的に使われている圧縮形式の代表例だ。これらのファイルは、圧縮によってファイルの転送にかかる時間を短縮する。
圧縮のメリットには、ストレージハードウェアの購入量の削減、データ転送時間の短縮、帯域幅の消費量の削減などがある。
データ圧縮における主なトレンドを5つ紹介する。
1. 可逆圧縮と非可逆圧縮
可逆圧縮は、情報そのものを削除せずにビットを取り除く手法だ。さまざまな統計的冗長性を見つけて削除することで実現する。データベースなど、高い品質が求められるアプリケーションには適した方法である。一方、圧縮率が低くなるというデメリットがある。例えばPNG形式は、可逆圧縮で利用できる選択肢の1つだ。
一方、非可逆圧縮では、不要な情報を削除して複雑さを減らすことで、圧縮率を大幅に高める。デメリットは、ファイルの品質が劣化する可能性があることだ。JPEGは、非可逆圧縮を利用するファイル形式の好例である。
2. テープ圧縮
テープベンダーは、圧縮技術に特に長けるようになった。大規模アーカイブの保存先としてテープが再び選ばれるようになり、テープの出荷量が急増するなか、はるかに小さなスペースにより多くのデータを詰め込む必要性も高まっている。
その結果、広く普及しているLTO形式は、2.5:1の圧縮率を実現している。FUJIFILM LTO Ultrium 9 Data Cartridgeは、最大45 TBのストレージ容量を提供する（非圧縮データの場合は18TB）。
「より大容量で高速なテープストレージメディアの次世代製品は、コストの削減、エネルギー消費量とCO2排出量の低減、そしてテープ固有のセキュリティ上のメリットの活用に向けた重要な一歩となる」と、FUJIFILM Recording Media U.S.A.の社長、Hironobu Taketomi氏は述べた。
3. ハードウェアの必須条件
かつて圧縮は、付加価値機能だった。あるいは、ストレージハードウェアベンダー同士の差別化要素だった。しかし現在では、優れた圧縮機能は必須条件となり、ほぼすべてのストレージハードウェアベンダーが採用している。
例えばDell EMC PowerScaleは、スケールアウト型のネットワーク接続ストレージ（NAS）システムであり、OneFSオペレーティングシステムを搭載して、ファイル、オブジェクト、分析ベースのあらゆるアプリケーションを実行できるマルチプロトコル・ネームスペースを提供する。その自動化機能により、1人の管理者がPB単位のストレージを管理し、アップグレードを並行して実行するとともに、インライン圧縮やデータ重複排除などの機能にも対応できる。
「もう1つのトレンドは、重複排除と圧縮が、個別の製品ではなく機能としての役割に落ち着いたことだ」と、StorageIO GroupのアナリストであるGreg Schulz氏は述べた。
「これらは他のテクノロジーと共存している。」
4. データフットプリントの削減
ストレージ市場は、新しい用語を生み出すのを好む。それらが大胆な新機能を表すこともあれば、よく知られた機能に新しい装いを施しただけのこともある。データフットプリント削減（DFR）は、おそらくその中間に位置する。圧縮と重複排除の両方を包含する概念だからだ。
「重複排除と圧縮は、データのサイズと影響、さらには関連するストレージコストや管理コストを削減する、データフットプリント削減テクノロジーだ」と、StorageIO GroupのSchulz氏は述べた。
「すべてのデータやアプリケーションが同じではないため、データフットプリントの影響を削減するDFRの手法やテクノロジーもさまざまだ。重複排除に適したデータもあれば、圧縮に適したデータもある。最近のトレンドの1つは、圧縮や重複排除など異なるDFR手法を組み合わせて使用するとともに、異なる粒度で異なる場所に適用することだ。」
アプリケーションによっては、データを圧縮するだけで重複排除は行わない方がよい場合もあれば、その逆の場合もある。あるいは、一方を先に実行してからもう一方を実行することもある。DFRは、重複排除と圧縮を実施する最適な場所（データベース、ファイルシステム、オペレーティングシステム、ストレージデバイスなどのサーバー上のデータソース、またはその他の場所）と順序を見つけることで、このテーマ全体を1つのラベルの下にまとめようとするものだ。
「サーバー側からファイルシステム、アーカイブまで、利用可能なさまざまなDFR手法を使い、ネットワーク上のデータの影響を減らすために、複数の場所で重複排除や圧縮を行うこともできる」とSchulz氏は述べた。
5. 音声・動画での利用
ストリーミングネットワークや、どこでも見られるYouTube動画、ポッドキャストの台頭により、音声ファイルや動画ファイルの圧縮ニーズが高まっている。こうしたテクノロジーは近年、より高度なものになっている。
音声圧縮は、帯域幅やストレージの制約に対応するため、ファイルを圧縮するオーディオコーデックとして実装されている。
動画ではもちろん、通常、画像と音声の圧縮を組み合わせ、それぞれに異なるコーデックを使用する。動画ファイルでは、MPEGなどの形式で使われるような非可逆圧縮が一般的だ。