HPE Machine Learning Inference Software

Vorhersehbare, zuverlässige, geschützte und überwachte Bereitstellung für unterschiedliche Umgebungen

HPE Machine Learning Inference Software kann Modelle über eine intuitive grafische Oberfläche bereitstellen und Bereitstellung je nach Auslastung skalieren.

Passen Sie Leistung mit Echtzeit-Überwachung der Modelle an und verfolgen Sie Prognosen und Statistiken rund um die Bereitstellung.

Ob in einem vorhandenen Kubernetes Cluster, einer Private Cloud oder selbst einer Hybrid Cloud – HPE Machine Learning Inference Software bietet einheitliches Tooling über sich ständig modernisierende Systeme hinweg, um Ihre Anforderungen zu erfüllen.

Helm Charts nach Industriestandards werden für die Bereitstellung in alle Kubernetes-kompatiblen Plattformen verwendet, darunter OpenShift, Rancher, EKS, AKS und GKS – jede Cloud kann einheitlich genutzt werden.

Out-of-box-Support für NVIDIA-Modelle und -Tools

HPE Machine Learning Inference Software bietet flexiblen und erstklassigen Support für Nvidia GPUs mit einer Architektur, die es ermöglicht, Support für sich ständig modernisierende Systeme einfach hinzuzufügen.

Integration mit Software Suite AI Enterprise von NVIDIA (NVAIE), NVIDIA Inference Microservice (NIM) (nutzt Triton, TensorRT-LLM) und anderen KI-Inferenz-Techniken bietet verbesserte Leistung.

Sicherheit der Enterprise-Class integriert

HPE Machine Learning Inference Software bietet Funktionen zur Ausführung von Workloads in der von Ihnen bevorzugten Umgebung, einschließlich Cloud, Hybrid, On-Premises oder „luftdicht“ – Modelle, Code und Daten bleiben also weiterhin geschützt.

Verwenden Sie Role-Based Access Controls (RBAC) und autorisieren Sie Bereitstellungs- und MLOps-Teams, zusammenzuarbeiten und ML-Ressourcen und -Artefakte sicher gemeinsam zu nutzen.

Schützen Sie Bereitstellungsendpunkte mit Sicherheitsfunktionen der Enterprise-Class, die eine erweiterte Authentifizierung, darunter OIDC und OAuth 2.0, für die Interaktion mit Modellen erfordern.

Breite Modellkompatibilität

HPE Machine Learning Inference Software bietet optimierte Integration für spezifische Large Language Modells (LLM) direkt von Hugging Face und NVIDIA Inference Server (NIM), während sie gleichzeitig die Entwicklung von Modellen der meisten Frameworks ermöglicht.

Erzielen Sie erhöhte Flexibilität mit Modellen aus unterschiedlichen Frameworks wie TensorFlow, PyTorch, Scikit-Learn und XGBoost, um eine breite Palette an vortrainierten Modellen und Kundenmodellen aufzunehmen.