Mit steigender Speicherleistung von Non-Volatile Memory Express (NVMe) muss sich das Anwendungsdesign ändern, um die in lokal angeschlossenen NVMe-Geräten verfügbare Zahl der Eingabe-/Ausgabeoperationen pro Sekunde (IOPS) und Bandbreite besser zu nutzen. Diese Hypothese entwickle ich in letzter Zeit, seit ich im Teilruhestand bin und mehr Zeit zum Nachdenken habe. Wenn ich richtigliege, wird das erhebliche Auswirkungen auf extern angebundenen Speicher mit hohen Rechenanforderungen haben – dazu kommen wir gleich.
Ich stütze diese Überlegung zu einem großen Teil auf den massiven Anstieg der Eingabe-/Ausgabeleistung, den wir in den vergangenen 40 Jahren erlebt haben (von 3 MB/s auf 13 GB/s). Das ist natürlich nicht mit den Leistungssteigerungen bei CPUs oder Arbeitsspeicher vergleichbar, und die Fortschritte bei Netzwerken liegen größtenteils zwischen Speicher und CPU/Arbeitsspeicher.
Die Spitzenleistung aktueller PCIe-5.0-Solid-State-Laufwerke (SSDs) liegt bei 13,5 GB/s beim Lesen und 11,8 GB/s beim sequenziellen Schreiben. Einige Anbieter sind beim Lesen schneller, andere beim Schreiben, aber alle liegen ziemlich nah beieinander, wie es für die Wettbewerbsfähigkeit nötig ist. Verbraucherversionen dieser SSDs im M.2-Format sind für einige hundert US-Dollar erhältlich, und Enterprise-U.2-SSDs bestimmter Größen kosten weniger als 1.000 US-Dollar.
NVMe-Geräte werden immer schneller, da CPU-Hersteller mehr PCIe-Lanes hinzufügen. Serverhersteller nutzen sowohl die schnelleren NVMe-Geräte als auch die größere Zahl an PCIe-Lanes, um Server mit mehr I/O-Bandbreite zu bauen. Derzeitiger netzwerkgebundener Speicher, der traditionelle Protokolle wie SAS und/oder NFS verwendet, wird für die Verarbeitung von Daten aufgrund der höheren Leistung von NVMe-Verbindungen bald der Vergangenheit angehören. Für die Archivierung könnten die alten Protokolle weiterhin eingesetzt werden.
Werfen wir einen Blick auf die Leistung von Verbindungen und Speicher. Da PCIe 6 die Leistung gegenüber PCIe 5 verdoppelt und voraussichtlich Ende dieses oder Anfang nächsten Jahres verfügbar sein wird, nehmen wir auch das in die Betrachtung auf. Das Ergebnis sieht so aus: Wie man sieht, wird die Leistung schon bald 100- und 200-Gigabit-Ethernet-Verbindungen (GbE) überfordern:
| PCIe 5 | PCIe 6 | |||
|---|---|---|---|---|
| Lesen GB/s | Schreiben GB/s | Lesen, geschätzt, GB/s | Schreiben, geschätzt, GB/s | |
| 13.5 | 11.8 | 26 | 22 | |
| GbE | % eines einzelnen Ports | % eines einzelnen Ports | % eines einzelnen Ports | % eines einzelnen Ports |
| 100 | 120.00% | 104.89% | 231.11% | 195.56% |
| 200 | 60.00% | 52.44% | 115.56% | 97.78% |
| 400 | 30.00% | 26.22% | 57.78% | 48.89% |
| Hinweis: Es werden 90 % der Netzwerkleistung unter Berücksichtigung von Paket-Overhead und Prüfsummen angenommen | ||||
Schon heute ist 100 GbE nicht schnell genug, um Daten beim Lesen oder Schreiben mit der vollen Geschwindigkeit einer einzelnen PCIe-5-SSD zu übertragen. Bei PCIe 6 wird das Problem noch viel größer.
Nehmen wir an, man kann heute einen 100-GbE-Port in einem Server für 100 US-Dollar und einen Ethernet-Port in einem Switch für 300 US-Dollar kaufen – bei einem Switch mit 20 bis 30 Ports. Wenn man die volle Bandbreite jeder SSD nutzen will, erhöht das die Kosten der SSDs um bis zu 40 %. Mit der Netzwerklatenz von Ethernet wird es sehr schwierig, die IOPS zu erreichen. Diese Lösung wird nur eine gewisse Zeit funktionieren.
Das Anwendungsproblem
Unternehmens- und Consumer-Speicher, der über Netzwerke angebunden ist, gibt es seit vielen Jahrzehnten – von den alten Protokollen Inter-Processor Interrupt (IPI), AT Attachment (ATA) und SCON über Serial AT Attachment (SATA), Small Computer System Interface (SCSI), Fibre Channel, Serial Attached SCSI (SAS) und Network Attached Storage (NAS). Die Vernetzung externer Speicher stand stets vor der Herausforderung, die Leistung des Speichers zu erreichen. Das erste Fibre-Channel-Speicherarray, an dem ich gearbeitet habe, enthielt Festplattenlaufwerke, deren Leistung die des 1-GB/s-Fibre-Channel (FC) deutlich übertraf.
Anbieter von Speichernetzwerken lagen bei der Leistung fast immer hinter der Leistung des Speichers zurück, und Speichergehäuse hinken im Allgemeinen noch weiter hinterher. Ein wesentlicher Grund dafür ist, dass die Entwicklung eines Speichergehäuses, das die erforderliche Zuverlässigkeit, Verfügbarkeit, Leistung und Fertigbarkeit erreicht, sowohl kostspielig als auch zeitaufwendig ist. Es dauert Jahre, bis Anbieter die Kosten der Systeme amortisiert haben – und das, obwohl die Entwicklung dieser Systeme Jahre in Anspruch nimmt und die Speicherleistung ständig steigt.
Das Problem besteht darin, dass sich die Zeit zwischen den Generationen der Speichertechnologie verkürzt und Anbieter keine Zeit haben, ein System zu entwerfen, zu produzieren und die Kosten wieder hereinzuholen, bevor die nächste Generation auf den Markt kommt. Es sieht so aus, als würde sich auch die Zeit zwischen den PCIe-Generationen verkürzen. Anwendungen müssen sich ändern, um dieses Paradigma zu nutzen.
Nehmen wir eine heute übliche Anwendung, die auf einem NAS-System läuft. Man verschiebt die Daten vom NAS-System an den Ort, an dem die Anwendung ausgeführt wird. Das kann eine Workstation oder ein Server sein, aber keines von beiden verfügt über die Netzwerkbandbreite, um mit der Speicherleistung im NAS mitzuhalten.
Für eine grobe Berechnung nehmen wir an, dass das NAS über 800 TB nutzbaren Speicher verfügt und das Gehäuse jedes Gerät mit voller PCIe-5-Geschwindigkeit betreiben kann. Nehmen wir an, man verwendet 15-TB-NVMe-U.2-Geräte, sodass 54 Geräte vorhanden sind (Fehlertoleranz wird in diesem Beispiel nicht berücksichtigt). Um die Geräte beim Lesen mit voller Geschwindigkeit zu betreiben, müsste die Netzwerkbandbreite des NAS 729 GB/s Lesebandbreite und/oder 637,2 GB/s Schreibbandbreite bereitstellen. Das entspricht im Grunde 16.400 400-GbE-Kanälen für die volle Lesegeschwindigkeit und/oder 14.400 400-GbE-Kanälen für die volle Schreibgeschwindigkeit.
Das ist eine enorme Netzwerkbandbreite für den NAS-Server. Niemand kann ein System dieser Größenordnung und Komplexität entwerfen, die Leistung jedes Jahr verdoppeln und dabei Geld verdienen. Und nur sehr wenige können sich die Netzwerkbandbreite leisten, um Daten mit diesen Geschwindigkeiten zu jeder Anwendung zu übertragen.
Der Wandel kommt
Die Entwicklung von NAS-Anwendungen, bei denen Daten zur Verarbeitung vom NAS zum Client und/oder anschließend wieder zurückgeschrieben werden, hat viele Jahrzehnte gedauert – und das wird sich nicht über Nacht ändern. Was geschehen muss: Anwendungen müssen Daten möglichst nah am Speicherort verarbeiten, das heißt auf einem Server mit viel NVMe-angebundenem Speicher, und anschließend die Ergebnisse an den Client zurücksenden.
Ich kenne eine Reihe von Anwendungen, die sich in diese Richtung entwickeln, aber das wird einige Zeit dauern. Viele neue Anwendungen werden angesichts der Cloud-Ausrichtung der Branche bereits auf diese Weise entwickelt. Das Network File System (NFS) wurde jedoch 1984 entwickelt – damit gibt es etwa 40 Jahre an Anwendungen, die neu geschrieben werden müssen.
Global denken, lokal rechnen
Daten zu verschieben ist in vielerlei Hinsicht teuer – von den Kosten, der Komplexität und der Wartung eines Hochgeschwindigkeitsnetzwerks bis hin zu den Kosten der Latenz und dem Energieaufwand für den Transport von Daten innerhalb der Rechenumgebung. Daten dort verarbeiten, wo sie liegen!
Daten zu verschieben ist keine grüne Technologie. Je höhere Leistung Anwendungen benötigen und je mehr Leistung dank zusätzlicher NVMe-Lanes alle paar Jahre verfügbar wird, desto weniger können alte Modelle mit Speichergehäusen, externem Speicher und alten Protokollen im Verhältnis zu NVMe-Geräten kosteneffizient einen hohen Anteil der Leistung liefern – sowohl bei der Bandbreite als auch bei den IOPS. Diese externen Geräte und Protokolle werden sich immer weiter von den Rechenressourcen entfernen.
Wann wird das geschehen? Ein Freund von mir sagte über seine Vorhersagen einmal: „Ich liege bei dem, was geschieht, fast immer richtig – und immer falsch damit, wann es geschehen wird.“
Ob Anwendungen so geändert werden, dass sie Probleme aufteilen und lokalen Speicher nutzen, oder ob Anwendungen auf dem Server verarbeitet und nur die Ergebnisse an den Client gesendet werden – das Umschreiben von Anwendungen wird Zeit in Anspruch nehmen. Sind es zwei, fünf oder zehn Jahre? Für manche könnten es zwei Jahre sein, für andere zehn. Das eigentliche Problem ist wie immer das Kapital, das für die weitere Innovation benötigt wird. Irgendwann erzielen Unternehmen nicht mehr genug Gewinn, um erneut in Innovationen und die Integration neuer Technologien zu investieren. Für die traditionellen IT-Unternehmen wird die Situation dadurch nicht einfacher, dass ein erheblicher Teil der IT-Branche in die Cloud abgewandert ist, wo die Unternehmen eigene Technologien wie Gehäuse, NVMe-Geräte und Software-Stacks für deren Nutzung entwickeln.
Ich glaube, die Zeit der Datenverarbeitung auf entferntem Speicher, der über traditionelle Protokolle angebunden ist, läuft ab. Wir alle werden für Anwendungen, die Daten verarbeiten und in Informationen umwandeln, auf lokalen NVMe-angebundenen Speicher umsteigen. Die einzige Frage ist, wie lange dieser Prozess dauern wird.