À mesure que les performances du stockage Non Volatile Memory express (NVMe) augmentent, la conception des applications devra évoluer pour mieux tirer parti des opérations d’entrée/sortie par seconde (IOPS) et de la bande passante des appareils NVMe connectés localement. C’est une hypothèse que j’élabore depuis quelque temps, maintenant que je suis semi-retraité et que j’ai davantage de temps pour réfléchir. Si j’ai raison, cela aura d’importantes conséquences pour le stockage externe nécessitant de grandes capacités de calcul, sujet auquel nous reviendrons dans un instant.
Je fonde cette réflexion en grande partie sur l’augmentation massive des performances d’entrée/sortie observée au cours des 40 dernières années (de 3 Mo/s à 13 Go/s). Cela ne se compare évidemment pas aux gains de performances des processeurs ou de la mémoire, et les progrès des réseaux se situent globalement entre ceux du stockage et ceux des processeurs et de la mémoire.
Les performances maximales des disques SSD (Solid State Drives) PCIe 5.0 actuels atteignent 13,5 Go/s en lecture et 11,8 Go/s en écriture séquentielle. Certains fournisseurs sont plus rapides en lecture, d’autres en écriture, mais tous sont assez proches, ce qui est nécessaire pour rester compétitifs. On peut acheter des versions grand public M.2 de ces SSD pour quelques centaines de dollars, et des SSD d’entreprise U.2 de certaines capacités pour moins de 1 000 dollars.
Les appareils NVMe sont de plus en plus rapides à mesure que les fabricants de processeurs ajoutent davantage de lignes PCIe. Les fabricants de serveurs tirent parti à la fois de la vitesse accrue des appareils NVMe et du nombre supérieur de lignes PCIe pour créer des serveurs offrant une bande passante d’E/S plus élevée. Le stockage actuel connecté au réseau et utilisant des protocoles traditionnels tels que SAS et/ou NFS appartiendra bientôt au passé pour le traitement des données, en raison des performances supérieures offertes par les connexions NVMe. Les anciens protocoles pourront toujours servir à l’archivage.
Examinons les performances des connexions et du stockage. Comme le PCIe 6 double les performances par rapport au PCIe 5 et devrait être disponible à la fin de cette année ou au début de l’année prochaine, ajoutons-le également à l’équation. Voici le résultat : on voit que les performances dépasseront bientôt les connexions Ethernet 100 et 200 Gigabit (GbE) :
| PCI 5 | PCI 6 | |||
|---|---|---|---|---|
| Lecture Go/s | Écriture Go/s | Lecture estimée Go/s | Écriture estimée Go/s | |
| 13.5 | 11.8 | 26 | 22 | |
| GbE | % d’un port unique | % d’un port unique | % d’un port unique | % d’un port unique |
| 100 | 120.00% | 104.89% | 231.11% | 195.56% |
| 200 | 60.00% | 52.44% | 115.56% | 97.78% |
| 400 | 30.00% | 26.22% | 57.78% | 48.89% |
| Remarque : suppose 90 % des performances réseau après prise en compte de la surcharge liée aux paquets et des sommes de contrôle | ||||
Même aujourd’hui, le 100 GbE n’est pas suffisamment rapide pour transférer des données au débit maximal d’un SSD PCIe 5 unique en lecture comme en écriture. La situation sera bien pire avec le PCIe 6.
Disons qu’aujourd’hui, on peut acheter un port 100 GbE pour un serveur au prix de 100 dollars, et un port Ethernet pour un commutateur de 20 à 30 ports au prix de 300 dollars. Si l’on veut exploiter toute la bande passante de chaque SSD, cela ajoute aux SSD un coût pouvant atteindre 40 %. Il sera très difficile d’atteindre les IOPS nécessaires avec la latence du réseau Ethernet. Cette solution ne sera viable qu’un temps.
Le problème des applications
Le stockage externe d’entreprise et grand public connecté par réseau existe depuis plusieurs décennies, des anciens protocoles Inter-Processor Interrupt (IPI), AT Attachment (ATA) et SCON jusqu’au Serial AT Attachment (SATA), au Small Computer System Interface (SCSI), à Fibre Channel, au Serial Attached SCSI (SAS) et au Network Attached Storage (NAS). Les réseaux de stockage ont toujours eu du mal à égaler les performances du stockage. Le premier système de stockage Fibre Channel sur lequel j’ai travaillé contenait des disques durs dont les performances dépassaient largement celles du Fibre Channel (FC) à 1 Go/s.
Les fournisseurs de réseaux de stockage ont presque toujours été à la traîne par rapport aux performances du stockage, et les baies de stockage accusent généralement un retard encore plus important. Cela s’explique en grande partie par le fait que la conception d’une baie offrant la fiabilité, la disponibilité, les performances et la fabricabilité nécessaires est à la fois coûteuse et chronophage. Il faut des années aux fournisseurs pour amortir le coût des systèmes, alors même que leur développement prend des années et que les performances du stockage continuent d’augmenter.
Le problème est que l’intervalle entre les générations de technologies de stockage se réduit, et que les fournisseurs n’ont plus le temps de concevoir et de fabriquer un système, puis d’en récupérer le coût avant la sortie de la génération suivante. Il semble que l’intervalle entre les générations de PCIe se réduise lui aussi. Les applications doivent évoluer pour tirer parti de ce nouveau paradigme.
Prenons une application standard exécutée aujourd’hui sur un système NAS. Les données sont déplacées du système NAS vers l’emplacement où l’application s’exécute. Il peut s’agir d’un poste de travail ou d’un serveur, mais aucun des deux ne dispose de la bande passante réseau nécessaire pour égaler les performances de stockage du NAS.
Pour un calcul approximatif, supposons que votre NAS dispose de 800 To de stockage utilisable et que la baie puisse fonctionner au débit maximal du PCIe 5 pour chaque appareil. Supposons que vous utilisiez des appareils NVMe U.2 de 15 To : vous en avez donc 54 (je ne tiens pas compte de la tolérance aux pannes dans cet exemple). Pour faire fonctionner les appareils à leur débit maximal en lecture, la bande passante réseau du NAS devrait atteindre 729 Go/s en lecture et/ou 637,2 Go/s en écriture. Cela représente essentiellement 16 canaux 400 GbE pour le débit maximal en lecture et/ou 14 canaux 400 GbE pour le débit maximal en écriture.
Cela représente une bande passante réseau considérable pour le serveur NAS. Personne ne peut concevoir un système d’une telle ampleur et d’une telle complexité, en doubler les performances chaque année et gagner de l’argent ; très peu d’acteurs peuvent en outre se permettre la bande passante réseau nécessaire pour transférer des données à ces débits vers chaque application.
Le changement arrive
Des décennies de développement d’applications NAS ont reposé sur le transfert des données du NAS vers le client, où elles sont traitées et/ou réécrites sur le système de stockage ; cette situation ne changera pas du jour au lendemain. Ce qui doit se produire, c’est que les applications doivent traiter les données au plus près de l’endroit où elles sont stockées, ce qui signifie qu’elles doivent s’exécuter sur un serveur doté de nombreux stockages connectés en NVMe, puis renvoyer les résultats au client.
Je connais un certain nombre d’applications qui évoluent dans cette direction, mais cela prendra du temps. De nombreuses nouvelles applications sont développées de cette manière, compte tenu de l’orientation de l’industrie vers le cloud. Cependant, le protocole Network File System (NFS) a été développé en 1984, ce qui représente environ 40 ans d’applications à réécrire.
Penser globalement, calculer localement
Déplacer les données coûte cher à bien des égards : coût, complexité et maintenance d’un réseau haut débit, coût de la latence et coût énergétique du déplacement des données dans l’environnement de calcul. Déplacer les données n’est pas une technologie écologique : il faut donc calculer là où se trouvent les données !
À mesure que les applications exigent des performances toujours plus élevées et que les performances disponibles augmentent avec l’ajout de lignes NVMe tous les quelques années, les anciens modèles reposant sur des baies de stockage, du stockage externe et d’anciens protocoles ne peuvent pas fournir de manière rentable un pourcentage élevé des performances des appareils NVMe, en termes de bande passante comme d’IOPS. Ces appareils et protocoles externes s’éloigneront encore davantage des ressources de calcul.
Quand cela se produira-t-il ? Comme me l’a dit un ami à propos de ses prédictions : « Je me trompe presque toujours sur ce qui va se passer et toujours sur le moment où cela va se produire. »
Que les applications évoluent pour prendre en compte ces problèmes et utiliser le stockage local, ou qu’elles traitent les données sur le serveur et n’envoient que les résultats au client, la réécriture des applications prendra du temps. Deux ans, cinq ans ou 10 ans ? Il faudra peut-être deux ans pour certaines et 10 ans pour d’autres, mais le véritable problème, comme toujours, réside dans les capitaux nécessaires à la poursuite de l’innovation. À un moment donné, les entreprises ne réalisent plus suffisamment de bénéfices pour les réinvestir dans l’innovation et l’intégration de nouvelles technologies. Les entreprises informatiques traditionnelles ne sont pas aidées par le fait qu’une part importante du secteur informatique est passée au cloud, où les acteurs développent leurs propres technologies, telles que des baies, des appareils NVMe et les piles logicielles nécessaires à leur utilisation.
Je pense que les jours du traitement des données sur un stockage distant connecté via des protocoles traditionnels sont comptés. Nous allons tous passer à un stockage local connecté en NVMe pour les applications qui traitent les données et les transforment en informations. La seule question est de savoir combien de temps prendra cette transition.