Der Cache-Speicher spielt eine zentrale Rolle bei der Datenverarbeitung und im Computing. Schließlich ist er eine wichtige Komponente, die alle modernen Computersysteme verwenden, um Daten für den schnellen und einfachen Zugriff zu speichern. Von Desktop-PCs und Rechenzentren bis hin zu cloudbasierten Computing-Ressourcen nutzen alle Systeme einen schnellen statischen Direktzugriffsspeicher (SRAM), auch Cache-Speicher genannt, der zusammen mit der zentralen Verarbeitungseinheit (CPU) arbeitet.
Während die hohe Leistung eines Computers häufig auf die RAM-Kapazität oder den Prozessor zurückgeführt wird, hat der Cache-Speicher einen enormen und direkten Einfluss auf die Gesamtleistung des Geräts.
Dieser Artikel vermittelt ein umfassenderes Verständnis davon, wie Cache-Speicher funktionieren, welche verschiedenen Arten es gibt und warum sie für den reibungslosen Betrieb eines Computersystems entscheidend sind.
Funktionsweise von Cache-Speichern
Einige Computer verfügen über einen SSD-Cache-Speicher, der häufig als Flash-Speicher-Caching bezeichnet wird. Er dient dazu, Daten vorübergehend zu speichern, bis dauerhafte Speichermethoden sie verarbeiten können, und steigert dadurch die Leistung Ihres Geräts.
Da die CPU jedoch für das Abrufen und Verarbeiten von Informationen zuständig ist und deutlich schneller arbeitet als der durchschnittliche RAM, müssen Benutzer möglicherweise warten, während sie versucht, eingehende Anweisungen aus dem RAM zu lesen. Dies führt zu einer geringeren Leistung und Geschwindigkeit.
Der Cache-Speicher verhindert dies. Dazu wird ein kleiner, aber schneller SRAM in der Nähe der CPU installiert.
Der SRAM übernimmt anschließend Daten oder Anweisungen von bestimmten Speicheradressen im RAM und kopiert sie vorübergehend in den Cache-Speicher, zusammen mit einem Vermerk über die ursprüngliche Adresse dieser Anweisungen oder Daten. Dadurch muss die CPU nicht warten, weshalb Caching zur Steigerung der Lesegeschwindigkeit eingesetzt wird.
Da der Cache-Speicher eines Geräts im Verhältnis zu dessen RAM und Rechenleistung der CPU klein ist, kann er jedoch nicht immer alle erforderlichen Daten aufnehmen. Je nachdem, welches Szenario eintritt, kann es zu einem sogenannten „Cache Hit“ oder „Cache Miss“ kommen.
Cache Hit im Speicher
Wenn die CPU Anweisungen aus dem Cache-Speicher lesen möchte und die entsprechenden Informationen findet, wird dies als Cache Hit bezeichnet. Da der Cache-Speicher schneller ist und näher an der CPU liegt, stellt er der CPU letztlich die Daten und Anweisungen bereit, sodass sie mit der Verarbeitung beginnen kann.
Bei einem Cache Hit fungiert der Cache-Speicher als Hochgeschwindigkeits-Zwischenspeicher und Warteschlange zwischen der CPU und dem Haupt-RAM. Prozesse, bei denen Daten oder Anweisungen zurück in den RAM oder Speicher geschrieben werden müssen, laufen zunächst über den Cache-Speicher, bis der RAM sie erreichen kann. Dadurch wird die CPU nicht durch das Warten auf die Antwort des RAMs ausgebremst.
Je nach Schreibstrategie des Cache-Speichers gibt es mehrere Möglichkeiten, wie diese Zuordnung erfolgt. Eine Strategie wird als „Write-Through“ bezeichnet. Dies ist der einfachste und geradlinigste Ansatz: Alles, was in den Cache-Speicher geschrieben wird, wird auch in den RAM geschrieben.
Eine „Write-Back“-Strategie ermöglicht, dass in den Cache-Speicher geschriebene Daten sofort in den RAM geschrieben werden. Alles, was in den Cache-Speicher geschrieben wird, wird für die Dauer seines Aufenthalts als „dirty“ markiert.
Dies signalisiert, dass sich die Daten von den ursprünglichen Daten oder Anweisungen unterscheiden, die aus dem RAM abgerufen wurden. Erst wenn sie aus dem Cache-Speicher entfernt werden, werden sie in den RAM geschrieben und ersetzen dort die ursprünglichen Informationen.
Einige hybride Schreibstrategien für den Cache-Speicher ermöglichen es, „dirty“ markierte Informationen zu sammeln und stapelweise zurück in den Haupt-RAM zu schreiben. Dies ist effizienter als mehrere einzelne Schreibvorgänge.
Cache Miss im Speicher
Wenn die CPU Informationen oder Anweisungen aus dem Cache-Speicher lesen möchte, die erforderlichen Daten dort aber nicht findet und direkt auf die Festplatte und den RAM zurückgreifen muss, wird dies als Cache Miss bezeichnet. Dadurch verringern sich Geschwindigkeit und Effizienz der Verarbeitung des Geräts, da es nun mit der Geschwindigkeit des RAMs und der Festplatte arbeiten muss.
Anschließend werden die erforderlichen Informationen oder Anweisungen, sobald sie erfolgreich aus dem RAM abgerufen wurden, zunächst in den Cache-Speicher geschrieben, bevor sie zur Verarbeitung an die CPU weitergeleitet werden.
Das geschieht vor allem deshalb, weil Daten oder Anweisungen, die die CPU kürzlich verwendet hat, wahrscheinlich weiterhin wichtig sind und bald erneut abgerufen werden müssen. Das Schreiben in den Cache-Speicher erspart der CPU einen zweiten Zugriff auf den RAM oder die Festplatte, um dieselben Daten abzurufen.
In seltenen Fällen können bestimmte Datentypen als nicht cachebar markiert werden. Dadurch soll verhindert werden, dass wertvoller Speicherplatz im Cache durch unnötige Daten belegt wird, selbst wenn diese manuell von der CPU aus dem RAM oder von der Festplatte abgerufen wurden.
„Verdrängung“ aus dem Cache-Speicher
Die Speicherkapazität eines Cache-Speichers ist im Vergleich zu RAM und Festplatten winzig. Während RAM in typischen Endgeräten zwischen 2 GB und 64 GB umfassen kann und Festplatten durchschnittlich 1 TB bis 2 TB erreichen, liegt die Kapazität eines Cache-Speichers zwischen 2 KB und einigen Megabyte.
Dieser deutliche Unterschied bei der Speicherkapazität bedeutet, dass Cache-Speicher manchmal voll sind, obwohl die CPU weiterhin Informationen abrufen muss. „Verdrängung“ ist ein Prozess, bei dem Daten aus dem Cache-Speicher entfernt werden, um Platz für Informationen freizugeben, die dort gespeichert werden müssen.
Welche Daten verdrängt werden, wird anhand einer „Ersetzungsstrategie“ abhängig von den am häufigsten verwendeten und wichtigsten Informationen bestimmt.
Es gibt zahlreiche mögliche Ersetzungsstrategien. Eine der häufigsten ist die LRU-Strategie (Least Recently Used). Nach dieser Strategie werden Daten oder Anweisungen, die in letzter Zeit nicht verwendet wurden, in naher Zukunft weniger wahrscheinlich benötigt als Daten oder Anweisungen, die kürzlich benötigt wurden.
2 Arten von Cache-Speicher
Cache-Speicher werden je nach ihrer physischen Position und der Nähe zur CPU des Geräts in zwei Kategorien unterteilt.
- Primärer Cache-Speicher: Der primäre Cache-Speicher, auch Haupt-Cache-Speicher genannt, ist der SRAM, der sich auf demselben Die wie die CPU befindet und damit so nah wie möglich an ihr liegt. Dieser Typ wird im Allgemeinen zum Speichern und Abrufen von Informationen zwischen CPU und RAM verwendet.
- Sekundärer Cache-Speicher: Der sekundäre Cache-Speicher besteht aus derselben Hardware wie der primäre Cache-Speicher. Er befindet sich jedoch weiter von der CPU entfernt und stellt sicher, dass ein zusätzlicher SRAM vorhanden ist, auf den die CPU bei Bedarf zugreifen kann.
Obwohl diese Begriffe den Cache-Speicher anhand seiner physischen Position im System treffend beschreiben, wird heute keiner von beiden verwendet. Moderne Cache-Speicher können klein genug und mit ausreichender Kapazität gefertigt werden, um problemlos auf demselben Die wie die CPU platziert zu werden. Stattdessen werden moderne Cache-Speicher nach ihrer Ebene bezeichnet.
3 Ebenen des Cache-Speichers
Moderne Computersysteme verfügen über mehr als einen Cache-Speicher. Diese Caches unterscheiden sich in Größe, Nähe zu den Prozessorkernen und damit auch in ihrer Geschwindigkeit. Sie werden als Cache-Ebenen bezeichnet.
Der kleinste und schnellste Cache-Speicher wird als Level-1-Cache oder L1-Cache bezeichnet, gefolgt vom L2- und anschließend vom L3-Cache. Die meisten Systeme verfügen inzwischen über einen L3-Cache. Seit der Einführung seiner Skylake-Chips hat Intel einige seiner Prozessoren außerdem mit L4-Cache-Speicher ausgestattet. Dieser ist jedoch nicht so verbreitet.
Level-1-Cache
Der Level-1-Cache ist der schnellste Cache-Speicher, da er direkt in die CPU integriert ist. Aus demselben Grund ist seine Größe jedoch stark begrenzt. Er arbeitet mit derselben Taktfrequenz wie die CPU und dient dadurch als hervorragender Puffer für den RAM beim Abrufen und Speichern von Informationen und Anweisungen.
Der L1-Cache ist in der Regel in zwei Teile unterteilt: einen für Anweisungen (L1i) und einen für Daten (L1d). Damit werden die unterschiedlichen Abrufbandbreiten von Prozessoren unterstützt, da die meisten Programme tendenziell mehr Cache für Daten als für Anweisungen benötigen.
Die neuesten Geräte verfügen über eine Cache-Kapazität von 64 KB – 32 KB L1i und 32 KB L1d. Bei einem Vierkernprozessor summiert sich dies auf 256 KB L1-Cache-Speicher.
Level-2-Cache
Der Level-2-Cache befindet sich häufig ebenfalls im CPU-Chip, liegt aber weiter vom Kern entfernt als der L1-Cache. L2-Caches sind deutlich günstiger als ihre L1-Gegenstücke, größer und bieten je Kern eine Kapazität von 128 KB bis 8 MB.
In einigen Fällen werden L2-Cache-Speicher auf einem separaten Prozessorchip implementiert, der auch als Koprozessor bezeichnet wird.
Level-3-Cache
Der Level-3-Cache-Speicher, manchmal auch als Last-Level-Cache (LLC) bezeichnet, befindet sich außerhalb der CPU, aber weiterhin in unmittelbarer Nähe. Er ist deutlich größer als der L1- und L2-Cache, aber etwas langsamer.
Ein weiterer Unterschied besteht darin, dass L1- und L2-Cache-Speicher exklusiv ihrem jeweiligen Prozessorkern zugeordnet sind und nicht gemeinsam genutzt werden können. Der L3-Cache steht dagegen allen Kernen zur Verfügung. Dadurch spielt er eine wichtige Rolle bei der gemeinsamen Datennutzung und der Kommunikation zwischen den Kernen sowie in einigen Fällen, abhängig vom Design, mit dem Cache der Grafikverarbeitungseinheit (GPU).
Was die Größe betrifft, liegt der L3-Cache moderner Geräte je nach Gerät und dessen Spezifikationen typischerweise zwischen 10 MB und 64 MB pro Kern.
Was ist Cache-Mapping?
Da Cache-Speicher extrem schnell sind und zusammen mit den Anforderungen von Softwareprozessen kontinuierlich größer werden, wird ein System zum Abrufen der benötigten Informationen benötigt. Andernfalls könnte die CPU Zeit mit der Suche nach der richtigen Anweisung im Speicher verschwenden, anstatt sie tatsächlich zu verarbeiten.
Der Prozessor kennt die RAM-Speicheradresse der Daten oder Anweisung, die er lesen möchte. Er muss den Cache-Speicher durchsuchen, um festzustellen, ob dort ein Verweis auf diese RAM-Speicheradresse zusammen mit den zugehörigen Daten oder der Anweisung vorhanden ist.
Es gibt zahlreiche Ansätze, um aus dem RAM abgerufene Daten und Anweisungen dem Cache-Speicher zuzuordnen. Dabei werden bestimmte Aspekte unterschiedlich stark priorisiert. Wird beispielsweise die Suchzeit minimiert, sinkt die Genauigkeit und damit die Wahrscheinlichkeit eines Cache Hits. Eine Maximierung der Wahrscheinlichkeit eines Cache Hits erhöht dagegen auch die durchschnittliche Suchzeit.
Je nach den verschiedenen Kompromissen zwischen Geschwindigkeit und Genauigkeit gibt es drei Arten von Cache-Mapping-Verfahren.
Direktes Cache-Mapping
Das direkte Cache-Mapping ist die einfachste und geradlinigste Technik zum Abrufen von Informationen. Bei diesem Ansatz wird jedem Speicherblock eine bestimmte Zeile im Cache zugewiesen, die anhand der jeweiligen RAM-Adresse bestimmt wird.
Auf dieser Grundlage müsste die CPU nur diesen einzelnen Block durchsuchen, um zu prüfen, ob die benötigten Informationen verfügbar sind. Sind sie dort jedoch nicht gespeichert, markiert die CPU dies als Cache Miss und sucht die Informationen direkt im RAM und ruft sie von dort ab.
Direktes Mapping ist höchst ineffizient, insbesondere bei Geräten mit höheren Leistungsdaten und größeren Daten- und Anweisungsströmen in den Cache-Speicher und die CPU.
Assoziatives Cache-Mapping
Assoziatives Cache-Mapping ist das genaue Gegenteil des direkten Ansatzes. Beim Abrufen von Daten und Anweisungen aus dem RAM kann jeder Block in jede beliebige Zeile des Cache-Speichers geschrieben werden, wodurch sein Speicherort zufällig festgelegt wird. Wenn die CPU nach bestimmten Informationen sucht, muss sie den gesamten Cache-Speicher prüfen, um festzustellen, ob er die gesuchten Informationen enthält.
Dieser Ansatz erzielt eine hohe Cache-Hit-Rate, und die CPU muss nur selten Informationen direkt aus dem RAM abrufen. Die Zeit, die durch die Kommunikation ausschließlich mit dem Cache-Speicher eingespart wird, geht jedoch bei der Suche in sämtlichen Zeilen verloren, die bei jeder benötigten Anweisung durchsucht werden müssen.
Mengenassoziatives Cache-Mapping
Mengenassoziatives Cache-Mapping stellt einen Kompromiss zwischen direktem und assoziativem Cache-Mapping dar. Ziel ist es, Cache Hits zu maximieren und gleichzeitig die durchschnittliche Suchzeit pro Anfrage zu minimieren. Dazu darf jeder aus dem RAM abgerufene Datenblock nur einer begrenzten Anzahl verschiedener Cache-Speicherblöcke zugeordnet werden.
Dies wird auch als N-fach mengenassoziatives Cache-Mapping bezeichnet. Für jeden Datenpunkt oder jede Anweisung gibt es N Blöcke, denen sie zugeordnet und später von der CPU gefunden werden kann.
Ein zweifach mengenassoziatives Mapping-System ermöglicht dem RAM, Daten an einem von zwei möglichen Orten im Cache-Speicher abzulegen. In diesem Szenario steigt die Wahrscheinlichkeit eines Cache Hits, aber auch die durchschnittliche Suchzeit verdoppelt sich, da die CPU doppelt so viele mögliche Blöcke prüfen muss.
Ein vierfach mengenassoziatives Mapping-System bietet dem RAM vier mögliche Zuordnungsblöcke, ein achtfaches System acht und ein 16-faches System 16 Varianten. Je höher der Wert von N ist, desto größer ist die Wahrscheinlichkeit eines Cache Hits, aber desto länger dauert es durchschnittlich, bis die CPU einen Datenblock abruft.
Der Wert von N wird je nach Gerät und Verwendungszweck angepasst, um ein ausgewogenes Verhältnis zwischen Zeitaufwand und Cache Hits zu erreichen.
3 Beispiele für die Nutzung von Cache-Speichern
Der Einsatz von Cache-Speichern ist nicht nur für lokale und private Geräte unverzichtbar. Sie werden auch intensiv in Rechenzentrumsservern und Cloud-Computing-Angeboten eingesetzt. Hier sind einige Beispiele für Lösungen mit Cache-Speichern.
Beat
Beat ist eine in Griechenland ansässige Fahrdienst-App mit weltweit mehr als 700.000 Fahrern und 22 Millionen aktiven Nutzern. Das 2011 gegründete Unternehmen ist inzwischen die am schnellsten wachsende App in Lateinamerika, insbesondere in Argentinien, Chile, Kolumbien, Peru und Mexiko.
Während der Phase seines Hyperwachstums kam es bei der Beat-App aufgrund von Engpässen im Datenübermittlungssystem zu Ausfällen. Das Unternehmen arbeitete bereits mit AWS und nutzte Amazon ElastiCache, benötigte jedoch dringend eine Aktualisierung der Konfiguration.
„Wir konnten den Datenverkehr auf beliebig viele Instanzen aufteilen und praktisch horizontal skalieren – etwas, das mit der vorherigen Lösung nicht möglich war“, sagte Antonis Zissimos, Senior Engineering Manager bei Beat. „Durch die Migration auf den neueren Clustermodus und die Verwendung neuerer Standard-Redis-Bibliotheken konnten wir unseren Skalierungsbedarf decken und die Zahl der Vorgänge reduzieren, die unsere Ingenieure durchführen mussten.“
In weniger als zwei Wochen konnte Beat ElastiCache zurücksetzen, die Last pro Knoten um 25–30 % reduzieren, die Rechenkosten um 90 % senken und 90 % der Arbeitszeit des Personals für die Caching-Schicht einsparen.
Sanity
Sanity ist ein Softwaredienst und eine Plattform, die Entwicklern hilft, Inhalte besser zu integrieren, indem sie diese als strukturierte Daten behandelt. Das Unternehmen hat seinen Hauptsitz in den USA und Norwegen. Seine schnelle und flexible Open-Source-Bearbeitungsumgebung Sanity Studio unterstützt eine vollständig anpassbare Benutzeroberfläche (UI) und live gehostete Datenspeicherung.
Um die Echtzeitübertragung von Inhalten an die Entwickler, die seine Plattform nutzen, zu unterstützen, musste Sanity seine Verteilung optimieren. Gemeinsam mit Google Cloud wandte sich das Unternehmen an Cloud CDN, um Inhalte auf verschiedenen Servern zu cachen, die sich weltweit in der Nähe großer Internetdienstanbieter (ISPs) für Endnutzer befinden.
„In den zwei Jahren, in denen wir Google Kubernetes Engine nutzen, hat sie uns viele Sorgen rund um die Skalierbarkeit erspart“, sagte Simen Svale Skogsrud, Mitbegründer und CTO von Sanity. „Sie hilft uns, unsere Abläufe zu skalieren, um unsere globalen Nutzer zu unterstützen, und gleichzeitig Probleme zu bewältigen, die uns sonst um 3 Uhr morgens wecken würden.“
Sanity kann nun mithilfe von Google Kubernetes Engine das Fünffache des Datenverkehrs verarbeiten und die beschleunigte Datenverteilung über eine weltweit verteilte Edge-Cache-Infrastruktur unterstützen.
SitePro
SitePro ist eine Automatisierungssoftwarelösung, die durch einen innovativen End-to-End-Ansatz für die Öl- und Gasindustrie die Erfassung von Echtzeitdaten an der Quelle ermöglicht. Das in den USA ansässige Unternehmen bietet eine vollständig internetbasierte Lösung, die zeitweise fast die Hälfte des ertragreichsten Erdölfördergebiets des Landes kontrollierte.
Um die Kontrolle über den sensiblen Betrieb zu behalten, suchte SitePro die Unterstützung von Microsoft Azure, setzte Azure Cache for Redis ein und konnte seine Abläufe verbessern. Heute ist SitePro in der Lage, in grüne Technologien sowie umweltfreundlichere Dienstleistungen und Produkte zu investieren.
„Azure Cache for Redis war das Einzige, das den von uns benötigten Durchsatz liefern konnte“, sagte Aaron Phillips, Co-CEO bei SitePro. „Zwischen Azure Cosmos DB und Azure Cache for Redis hatten wir nie Engpässe. Sie skalieren unglaublich schnell.
„Die Skalierbarkeit von Azure Cache for Redis spielte eine wesentliche Rolle dabei, wie schnell wir in andere Branchen expandieren konnten.“
Dank Azure konnte SitePro seine Architektur vereinfachen und die Datenqualität deutlich verbessern. Das Unternehmen hat die zeitliche Lücke nun beseitigt, ohne dass die Kosten gestiegen sind.
Mehr lesen: 5 wichtige Trends im Speichermanagement
Geräteprozesse mit Cache-Speichern beschleunigen
Cache-Speicher sind eine Form temporärer Speicherhardware, die es der CPU ermöglicht, Informationen und Anweisungen wiederholt abzurufen, ohne auf den Arbeitsspeicher oder die Festplatte zurückgreifen zu müssen. Bei Computern und Servern werden sie im Inneren und so nah wie physisch möglich am Kern des Geräts eingebaut, um die Verarbeitungszeiten zu verkürzen.
Cache-Speicher werden je nach ihrer Nähe zur CPU des Geräts in die Ebenen L1, L2 und L3 eingeteilt. Ein durchschnittliches Gerät enthält mehrere Cache-Speicher jeder Ebene pro Kern. Je größer deren Kapazität ist, desto schneller ist die Rechenleistung des Geräts.
Die Geschwindigkeit hängt auch stark von der Mapping-Technik des Cache-Speichers und davon ab, ob sie den Zeitaufwand oder die Genauigkeit bei der Informationssuche priorisiert. Es gibt drei Techniken: direktes Mapping, assoziatives Mapping und mengenassoziatives Mapping.