HPC/AI-Anwendungen sind datenintensiv und Daten müssen geschützt werden
Das HPE Data Management Framework 7 erstellt unveränderliche Versionen von Dateien und erstellt Snapshots der Namespace-Spiegelung. Über eine Administratorrichtlinie verwaltet, kann die Wiederherstellung für die niedrigste RTO von Festplatte, die niedrigsten Kosten von Band und/oder von Remote-Standorten über S3/cloud. angepasst werden.
Der Verlust des Dateisystems aufgrund eines Fehlers hat katastrophale Auswirkungen auf die Verfügbarkeit des Hochleistungsrechenclusters. Selbst wenn ein Dateisystem über Reparaturtools verfügt, können die Komplexität und der Zeitaufwand für die Reparatur eines defekten Dateisystems den Rechenausfall über akzeptable SLAs hinaus verlängern.
Bisher war der Schutz von Dateisystemen und Daten eine kostspielige Investition, die Nachteile mit sich bringt; darunter das Fehlen von Backup-Fenstern, suboptimierte Backup-Dienstprogramme, die für parallele Dateisysteme von PB-Größe optimiert sind, und die negativen Auswirkungen auf die Leistung durch das Scannen von Metadaten im Dateisystem.
Exascale Computing bringt Legacy HPC Storage an die Grenzen der Skalierbarkeit
HPE Data Management Framework 7 verwaltet den freien Speicherplatz im Datenspeicher, indem es automatisch „veraltete“ Dateien aus dem Hochleistungsspeicher verschiebt. Dadurch entsteht ein zugrunde liegender Speicherplatz, der im Inneren größer ist. Administratoren können ganz einfach Richtlinieneinstellungen verwalten, sodass keine brachialen Maßnahmen erforderlich sind.
Am stärksten spüren die Herausforderung möglicherweise Speicheradministratoren, die Schwierigkeiten haben, genügend Speicherplatz in teurem Hochleistungsspeicher frei verfügbar zu halten, während Benutzer das Dateisystem selbstständig mit neuen Dateien überfluten. Eine Erhöhung des Speicherbudgets und/oder das Löschen von Benutzerdateien sind keine praktischen Abhilfemaßnahmen.
Die Menge und die Vielfalt der von HPC/KI-Anwendungen geforderten Daten haben das Wachstum des „Speicher-Ungeheuers“ vorangetrieben. Es ernährt sich von HPC-Budgets. Gleichzeitig kämpfen herkömmliche parallele Dateisystemarchitekturen unter der Last der unaufhaltsam zunehmenden Anzahl der Dateien und Inodes.
Schließlich müssen Administratoren mit Benutzern zusammenarbeiten, um nicht verwendete Dateien aus dem Dateisystem zu entfernen, damit die Leistung der Metadaten nicht beeinträchtigt wird. Wenn alte Dateien zum Entfernen markiert werden, müssen keine Daten verschoben werden, da HPE DMF7 Dateien und Metadaten bereits in einem kostengünstigeren Back-End-Speicher aufbewahrt.
HPC/AI-Speicherumgebungen sind vielfältig und Daten müssen portabel sein
Das HPE Data Management Framework 7 migriert Dateien automatisch ohne Eingreifen des Administrators in der Speichersystemhierarchie abwärts und ruft sie bei Bedarf in einen Hochleistungsspeicher zurück. Mithilfe paralleler Datenverschiebung und dem Hochgeschwindigkeitsnetzwerk werden Dateien schneller als in Standard-Desktop-Dienstprogrammen und verschoben.
Das Verwalten von HPC/KI-Datenverschiebungen stellt eine Herausforderung dar. Tools lassen sind nicht einfach nutzen oder skalieren, die Bandbreite der Netzwerk-Pipes ist begrenzt und Benutzern fehlen vielleicht benötigte Fähigkeiten. Wenn Daten nicht einfach verschoben werden können und die Motivation gering ist, besteht die Standardoption darin, sie an Ort und Stelle zu belassen.
Speichersysteme sind im Hinblick auf Leistung, Kapazität und Kosten optimiert, und Daten werden immer zwischen diesen Ebenen übertragen. Anwendungsworkflows erfordern, dass Daten dem Benutzer und der Anwendung folgen. Administratoren werden gleichzeitig ständig unter Druck gesetzt, Speicherkosten im Griff zu halten und Daten in der Hierarchie nach unten zu verschieben.
Die Technologiemigration ist ein häufiger Treiber der Datenverschiebung und HPE DMF7 ist ein zukunftssicherer Schutz vor diesem Risiko. Es automatisiert die Migration von Back-End-Objekten von älteren, ineffizienten Generationen von HDD-/Bandtechnologien bis hin zu Generationen mit höchster Dichte, Zuverlässigkeit und Leistung.
Wenn das Dateisystem stillgelegt werden muss, verschieben Administratoren das Dateisystem und die Dateien auf HPE DMF7 Back-End-Geräte. Sobald sie geschützt sind, kann das Dateisystem in einem völlig neuen Namespace bereitgestellt werden und Dateien können in den neuen Namespace bereitgestellt oder von HPE DMF7 gepflegt werden.
Senkung der HPC-Speicherkosten bedeutet mehr Budget für Computing
HPE Data Management Framework 7 ist die HPC-Speichermanagementplattform, die Datenworkflows automatisiert und die HPC-Speicherkosten senkt. So können HPC-Kunden ihr wertvolles Projektbudget für die wichtigsten Infrastrukturressourcen ausgeben.
Das Storage-Ungeheuer steht diesem Ziel entgegen. Das Speicher-Ungeheuer überzeugt HPC-Kunden, Dateien auf teurem proprietärem Datenspeicher zu replizieren, die teuerste Speicherebene zu erweitern, um dem Datenwachstum gerecht zu werden, und sagt, dass es einfacher ist, Daten auf teurem Speicher zu belassen, als diese zu verschieben.
Das primäre Ziel von HPE DMF7 ist die Senkung der Speicherkosten. Anstatt teureren Speicher zu kaufen, erleichtert HPE DMF7 HPC-Kunden den Schutz, die Skalierung und das Verschieben von Daten mit kostengünstigerem Datenspeicher und verbessert die Nutzung und Leistung geschäftskritischer HPC-Speicherressourcen.
Das unverminderte Wachstum von HPC-Daten und die Orchestrierung großer Datensätze für künstliche Intelligenz und maschinelles Lernen führen zu einem beispiellosen Wachstum des Speicherkapazitätsbedarfs. Die Einführung von Flash-Datenspeicher zu höheren effektiven Kosten bedeutet außerdem, dass die Kostenbegrenzung für Käufer von HPC Storage immer noch das Hauptziel ist.
