HPE 데이터 관리 프레임워크 10PB 1EB+ 5년 구독 E‑LTU

HPC/AI 애플리케이션은 데이터가 풍부하고 데이터를 보호해야 함

HPE Data Management Framework 7은 변경 불가능한 파일 버전을 생성하고 네임스페이스 리플렉션의 스냅샷을 생성합니다. 관리자 정책을 통해 관리되는 복구는 디스크에서 가장 낮은 RTO를 위해, 테이프에서 및/또는 S3/cloud를 통한 원격 위치에서 가장 낮은 비용을 위해 사용자 정의할 수 있습니다.

오류로 인한 파일 시스템 손실은 고성능 컴퓨팅 클러스터의 가용성에 치명적인 영향을 미칩니다. 파일 시스템에 복구 도구가 있더라도 손상된 파일 시스템을 복구하는 데 필요한 시간과 복잡성 때문에 허용되는 SLA 이상으로 컴퓨팅 중단 시간이 길어질 수 있습니다.

지금까지 파일 시스템과 데이터의 보호는 백업 시간의 부족, PB 크기의 병렬 파일 시스템에 준최적화 및 최적화된 백업 유틸리티, 파일 시스템 메타데이터 스캔이 성능에 미치는 부정적인 영향 등의 단점을 갖고 있는 값비싼 투자였습니다.

엑사스케일 컴퓨팅의 등장으로 레거시 HPC 스토리지의 확장성 한계에 도전

HPE Data Management Framework 7은 고성능 스토리지에서 ‘사용불능’ 파일을 자동으로 이동시켜 내부에 더 큰 기본 스토리지 공간을 만드는 방식으로 스토리지의 여유 공간을 관리합니다. 관리자는 정책 설정을 쉽게 관리하여 브루트 포스 조치를 취해야 할 필요성을 줄입니다.

아마도 스토리지 관리자가 이 문제를 가장 예민하게 느낄 것입니다. 사용자가 단독적으로 파일 시스템에 새 파일을 대량으로 보내는 동안 스토리지 관리자는 값비싼 고성능 스토리지에 충분한 여유 공간을 유지하기 위해 고군분투하기 때문입니다. 스토리지 예산을 늘리거나 사용자 파일을 삭제하는 것은 실질적인 해결책이 아닙니다.

HPC/AI 애플리케이션이 요구하는 데이터의 볼륨과 다양성은 HPC 예산을 잡아먹는 ‘스토리지 비스트’의 증가를 촉진했습니다. 동시에 기존 병렬 파일 시스템 아키텍처는 파일과 inode 수의 끊임없는 증가로 인해 힘겨워하고 있습니다.

결국 관리자는 메타데이터 성능이 저하되지 않도록 사용자와 협력하여 파일 시스템에서 사용하지 않는 파일을 정리해야 합니다. 오래된 파일이 제거 대상으로 표시되면 이미 HPE DMF7이 파일과 메타데이터를 비용이 덜 드는 백엔드 스토리지에 보존하므로 따로 데이터를 이동시킬 필요가 없습니다.

HPC/AI 스토리지 환경은 다양하고 데이터는 이동 가능해야 함

HPE Data Management Framework 7은 관리자 개입 없이 스토리지 시스템 계층 아래로 파일을 자동 마이그레이션하고 요청 시 파일을 고성능 스토리지로 불러옵니다. 병렬 데이터 이동기와 고속 네트워크를 사용하여 표준 데스크탑 유틸리티보다 더 빠르게 파일을 이동합니다.

HPC/AI 데이터 이동을 관리하는 것은 어려운 작업입니다. 도구는 사용하기 쉽지 않고, 확장이 잘 되지 않고, 네트워크 파이프 대역폭은 제한되어 있고, 사용자에게 필요한 기술이 없을 수 있습니다. 데이터 이동이 쉽지 않고 이동해야 하는 동기가 낮으면 기본적으로는 그대로 두게 됩니다.

스토리지 시스템은 성능, 용량, 비용에 최적화되어 있으며 데이터는 항상 이러한 계층 간에 이동합니다. 애플리케이션 워크플로우에서 데이터는 사용자와 애플리케이션을 따라야 하며, 관리자는 스토리지 비용을 관리하고 데이터를 계층 구조 아래로 넣어야 한다는 압박을 계속해서 받습니다.

기술 마이그레이션은 데이터 이동의 일반적인 동인이며 HPE DMF7은 이 위험에 대해 미래에도 경쟁력을 갖추고 있습니다. 그리고 비효율적인 이전 세대의 HDD/테이프 기술에서 밀도, 안정성, 성능이 가장 높은 세대로 백엔드 개체의 마이그레이션을 자동화합니다.

파일 시스템을 폐기해야 할 때 관리자는 파일 시스템과 파일을 HPE DMF7 백엔드 장치로 이동시킵니다. 보호가 되면 파일 시스템을 완전히 새로운 네임스페이스로 스테이징하고 파일을 새로운 네임스페이스로 스테이징하거나 HPE DMF7에 의한 큐레이션 상태로 유지할 수 있습니다.

HPC 스토리지 비용을 줄이면 컴퓨팅에 대한 많은 예산 필요

HPE Data Management Framework 7은 데이터 워크플로우를 자동화하고 HPC 스토리지 비용을 줄여 HPC 고객이 가장 중요한 인프라 리소스에 소중한 프로젝트 예산을 사용할 수 있도록 해주는 HPC 스토리지 관리 플랫폼입니다.

‘스토리지 비스트’는 그 목표에 대해 반대로 작용합니다. ‘스토리지 비스트’는 HPC 고객이 값비싼 스토리지에 파일을 복제하고, 데이터 증가를 위해 가장 비싼 스토리지 계층을 확장하게 만들고, 데이터를 이동하는 것보다 값비싼 스토리지에 그대로 두는 것이 더 쉽다고 말합니다.

HPE DMF7의 주요 목표는 스토리지 비용을 줄이는 것입니다. 더 비싼 스토리지를 구입하지 않아도, HPE DMF7을 사용하면 HPC 고객이 더 낮은 비용의 스토리지를 사용하여 데이터를 더 쉽게 보호, 확장, 이동하고 미션 크리티컬 HPC 스토리지 리소스의 활용도와 성능을 높일 수 있습니다.

HPC 데이터의 지속적인 증가와 AI/머신 러닝을 위한 대규모 데이터 세트의 오케스트레이션은 요구되는 스토리지 용량의 전례 없는 증가를 주도하고 있습니다. 그리고 더 높은 유효 비용으로 플래시 스토리지를 사용한다는 것은 비용 절감이 여전히 HPC 스토리지 구매자의 주요 목표임을 의미합니다.