고성능 컴퓨팅(HPC) 및 AI 환경에서 파일 관리로 어려움을 겪고 있습니까? HPE Data Management Framework 7(DMF7)은 HPC 및 AI 스토리지 시스템 전반에서 중앙 집중식 데이터 관리를 제공하고 Lustre 및 Spectrum Scale 같은 확장 가능한 병렬 파일 시스템을 보호합니다. 네임스페이스 리플렉션은 파일 시스템 상태에 대한 독립적인 스냅샷을 만드는 데 사용되므로, 사용자는 양호한 상태의 파일 시스템을 복구할 수 있습니다. 이 시스템은 파일 버전을 유지보수하므로 사용자는 이전에 성공한 작업 실행에서 파일을 복구할 수 있습니다.
HPE DMF7은 스토리지 계층에서 계층 간 데이터 이동을 자동화합니다(예: 플래시와 디스크 간). 관리자와 사용자는 HPE DMF7을 사용하여 파일 시스템 간에 파일을 이동할 수도 있습니다. 예를 들어 폐기 중인 스토리지에서 파일을 이동해야 할 때 이렇게 할 수 있습니다. HPE DMF7은 파일을 비용이 더 낮은 스토리지 계층으로 자동 이동하여 물리적 용량 이상으로 확장되는 가상 스토리지 공간을 생성함으로써 값비싼 고성능 스토리지의 활용도를 높입니다.
확장 가능한 데이터베이스. 데이터베이스는 더 높은 시스템 가용성을 위해 노드에 분산되어 있으며, 수십억 개의 파일로 확장 가능하고 쿼리에 대해 고성능을 제공합니다.
네임스페이스 리플렉션. 관리되는 파일 시스템의 리플렉션을 유지보수하고 파일 시스템 메타데이터 서버의 성능을 저하하지 않으면서 데이터 관리 작업에 사용합니다.
확장 가능한 메타데이터를 지원합니다. 관리자는 메타데이터를 사용하여 쿼리를 사용자 정의하고, 정책 관리를 위해 확장 가능한 메타데이터를 사용하고, 관련 파일에서 개인화된 데이터 세트를 생성할 수 있습니다.
데이터 큐레이션. 사용자는 장기적인 큐레이션을 위해 독립적인 백엔드 데이터베이스에 파일을 스테이징할 수 있습니다. 나중에 사용자는 파일을 찾아서 완전히 다른 파일 시스템으로 불러올 수 있습니다.
쿼리 엔진. 관리자, 사용자, 내장된 정책 관리 엔진은 모두 공통 쿼리 툴을 사용하여 파일을 찾고 결과를 필터링합니다.
네이티브 파일 시스템 통합. 네이티브 통합은 Lustre 및 Spectrum Scale용 표준 도구 세트를 사용하여 활용도를 높이고 데이터 관리 작업을 자동화합니다.
HPC/AI 애플리케이션은 데이터가 풍부하고 데이터를 보호해야 함
HPE Data Management Framework 7은 변경 불가능한 파일 버전을 생성하고 네임스페이스 리플렉션의 스냅샷을 생성합니다. 관리자 정책을 통해 관리되는 복구는 디스크에서 가장 낮은 RTO를 위해, 테이프에서 및/또는 S3/cloud를 통한 원격 위치에서 가장 낮은 비용을 위해 사용자 정의할 수 있습니다.
오류로 인한 파일 시스템 손실은 고성능 컴퓨팅 클러스터의 가용성에 치명적인 영향을 미칩니다. 파일 시스템에 복구 도구가 있더라도 손상된 파일 시스템을 복구하는 데 필요한 시간과 복잡성 때문에 허용되는 SLA 이상으로 컴퓨팅 중단 시간이 길어질 수 있습니다.
지금까지 파일 시스템과 데이터의 보호는 백업 시간의 부족, PB 크기의 병렬 파일 시스템에 준최적화 및 최적화된 백업 유틸리티, 파일 시스템 메타데이터 스캔이 성능에 미치는 부정적인 영향 등의 단점을 갖고 있는 값비싼 투자였습니다.
엑사스케일 컴퓨팅의 등장으로 레거시 HPC 스토리지의 확장성 한계에 도전
HPE Data Management Framework 7은 고성능 스토리지에서 ‘사용불능’ 파일을 자동으로 이동시켜 내부에 더 큰 기본 스토리지 공간을 만드는 방식으로 스토리지의 여유 공간을 관리합니다. 관리자는 정책 설정을 쉽게 관리하여 브루트 포스 조치를 취해야 할 필요성을 줄입니다.
아마도 스토리지 관리자가 이 문제를 가장 예민하게 느낄 것입니다. 사용자가 단독적으로 파일 시스템에 새 파일을 대량으로 보내는 동안 스토리지 관리자는 값비싼 고성능 스토리지에 충분한 여유 공간을 유지하기 위해 고군분투하기 때문입니다. 스토리지 예산을 늘리거나 사용자 파일을 삭제하는 것은 실질적인 해결책이 아닙니다.
HPC/AI 애플리케이션이 요구하는 데이터의 볼륨과 다양성은 HPC 예산을 잡아먹는 ‘스토리지 비스트’의 증가를 촉진했습니다. 동시에 기존 병렬 파일 시스템 아키텍처는 파일과 inode 수의 끊임없는 증가로 인해 힘겨워하고 있습니다.
결국 관리자는 메타데이터 성능이 저하되지 않도록 사용자와 협력하여 파일 시스템에서 사용하지 않는 파일을 정리해야 합니다. 오래된 파일이 제거 대상으로 표시되면 이미 HPE DMF7이 파일과 메타데이터를 비용이 덜 드는 백엔드 스토리지에 보존하므로 따로 데이터를 이동시킬 필요가 없습니다.
HPC/AI 스토리지 환경은 다양하고 데이터는 이동 가능해야 함
HPE Data Management Framework 7은 관리자 개입 없이 스토리지 시스템 계층 아래로 파일을 자동 마이그레이션하고 요청 시 파일을 고성능 스토리지로 불러옵니다. 병렬 데이터 이동기와 고속 네트워크를 사용하여 표준 데스크탑 유틸리티보다 더 빠르게 파일을 이동합니다.
HPC/AI 데이터 이동을 관리하는 것은 어려운 작업입니다. 도구는 사용하기 쉽지 않고, 확장이 잘 되지 않고, 네트워크 파이프 대역폭은 제한되어 있고, 사용자에게 필요한 기술이 없을 수 있습니다. 데이터 이동이 쉽지 않고 이동해야 하는 동기가 낮으면 기본적으로는 그대로 두게 됩니다.
스토리지 시스템은 성능, 용량, 비용에 최적화되어 있으며 데이터는 항상 이러한 계층 간에 이동합니다. 애플리케이션 워크플로우에서 데이터는 사용자와 애플리케이션을 따라야 하며, 관리자는 스토리지 비용을 관리하고 데이터를 계층 구조 아래로 넣어야 한다는 압박을 계속해서 받습니다.
기술 마이그레이션은 데이터 이동의 일반적인 동인이며 HPE DMF7은 이 위험에 대해 미래에도 경쟁력을 갖추고 있습니다. 그리고 비효율적인 이전 세대의 HDD/테이프 기술에서 밀도, 안정성, 성능이 가장 높은 세대로 백엔드 개체의 마이그레이션을 자동화합니다.
파일 시스템을 폐기해야 할 때 관리자는 파일 시스템과 파일을 HPE DMF7 백엔드 장치로 이동시킵니다. 보호가 되면 파일 시스템을 완전히 새로운 네임스페이스로 스테이징하고 파일을 새로운 네임스페이스로 스테이징하거나 HPE DMF7에 의한 큐레이션 상태로 유지할 수 있습니다.
HPC 스토리지 비용을 줄이면 컴퓨팅에 대한 많은 예산 필요
HPE Data Management Framework 7은 데이터 워크플로우를 자동화하고 HPC 스토리지 비용을 줄여 HPC 고객이 가장 중요한 인프라 리소스에 소중한 프로젝트 예산을 사용할 수 있도록 해주는 HPC 스토리지 관리 플랫폼입니다.
‘스토리지 비스트’는 그 목표에 대해 반대로 작용합니다. ‘스토리지 비스트’는 HPC 고객이 값비싼 스토리지에 파일을 복제하고, 데이터 증가를 위해 가장 비싼 스토리지 계층을 확장하게 만들고, 데이터를 이동하는 것보다 값비싼 스토리지에 그대로 두는 것이 더 쉽다고 말합니다.
HPE DMF7의 주요 목표는 스토리지 비용을 줄이는 것입니다. 더 비싼 스토리지를 구입하지 않아도, HPE DMF7을 사용하면 HPC 고객이 더 낮은 비용의 스토리지를 사용하여 데이터를 더 쉽게 보호, 확장, 이동하고 미션 크리티컬 HPC 스토리지 리소스의 활용도와 성능을 높일 수 있습니다.
HPC 데이터의 지속적인 증가와 AI/머신 러닝을 위한 대규모 데이터 세트의 오케스트레이션은 요구되는 스토리지 용량의 전례 없는 증가를 주도하고 있습니다. 그리고 더 높은 유효 비용으로 플래시 스토리지를 사용한다는 것은 비용 절감이 여전히 HPC 스토리지 구매자의 주요 목표임을 의미합니다.
{"baseProduct":{"productID":"1010144088","productName":"HPE 데이터 관리 프레임워크 7"},"navigationList":["엔터프라이즈 솔루션","고성능 컴퓨팅 솔루션","고성능 컴퓨팅 스토리지 솔루션","HPE 데이터 관리 프레임워크 7"],"cartDetail":{},"productInfo":[{"productInfo":{"quantity":"1","productID":"R1D46AAE","productName":"HPE 데이터 관리 프레임워크 10PB 1EB+ 5년 구독 E\u2011LTU"}},{"productInfo":{"quantity":"1","productID":"R1D45AAE","productName":"HPE 데이터 관리 프레임워크 10PB 1EB+ 3년 구독 E\u2011LTU"}},{"productInfo":{"quantity":"1","productID":"R1D42AAE","productName":"HPE 데이터 관리 프레임워크 1EB 3서버 기본 시스템 3년 구독 E\u2011LTU"}},{"productInfo":{"quantity":"1","productID":"R1D43AAE","productName":"HPE 데이터 관리 프레임워크 1EB 3서버 기본 시스템 5년 구독 E\u2011LTU"}},{"productInfo":{"quantity":"1","productID":"R1D44AAE","productName":"HPE 데이터 관리 프레임워크 10PB 1EB+ 1년 구독 E\u2011LTU"}},{"productInfo":{"quantity":"1","productID":"R1D41AAE","productName":"HPE 데이터 관리 프레임워크 1EB 3서버 기본 시스템 1년 구독 E\u2011LTU"}},{"productInfo":{"quantity":"1","productID":"R1D38AAE","productName":"HPE Extents 파일 시스템 1\u2011서버 기본 시스템 1년 구독 E\u2011LTU"}},{"productInfo":{"quantity":"1","productID":"R8V01A","productName":"HPE Data Management Framework ZWS4106 SAS 12G 4U Empty Disk LFF HDD Enclosure"}},{"productInfo":{"quantity":"1","productID":"S0A72A","productName":"HPE Data Management Framework ZWS4106 20TB SAS 12G Business Critical 7.2K LFF 512e 24\u2011pack HDD"}},{"productInfo":{"quantity":"1","productID":"S0A70A","productName":"HPE Data Management Framework ZWS4106 20TB SAS 12G Business Critical 7.2K LFF 512e HDD"}},{"productInfo":{"quantity":"1","productID":"S0A71A","productName":"HPE Data Management Framework ZWS4106 20TB SAS 12G Business Critical 7.2K LFF 512e 10\u2011pack HDD"}},{"productInfo":{"quantity":"1","productID":"R8V02A","productName":"HPE Data Management Framework ZWS4106 18TB SAS 12G Business Critical 7.2K LFF LP 512e HDD"}},{"productInfo":{"quantity":"1","productID":"R1D67AAE","productName":"HPE Data Management Framework Additional Server 1\u2011year Subscription E\u2011LTU"}},{"productInfo":{"quantity":"1","productID":"R1D69AAE","productName":"HPE Data Management Framework Additional Server 5\u2011year Subscription E\u2011LTU"}},{"productInfo":{"quantity":"1","productID":"R1D68AAE","productName":"HPE Data Management Framework Additional Server 3\u2011year Subscription E\u2011LTU"}},{"productInfo":{"quantity":"1","productID":"R1D66AAE","productName":"HPE Data Management Framework 1PB 101PB+ 5년 구독 E\u2011LTU"}},{"productInfo":{"quantity":"1","productID":"R1D64AAE","productName":"HPE Data Management Framework 1PB 101PB+ 1년 구독 E\u2011LTU"}},{"productInfo":{"quantity":"1","productID":"R1D65AAE","productName":"HPE Data Management Framework 1PB 101PB+ 3년 구독 E\u2011LTU"}},{"productInfo":{"quantity":"1","productID":"R1D61AAE","productName":"HPE Data Management Framework 1PB 11\u2011100PB 1년 구독 E\u2011LTU"}},{"productInfo":{"quantity":"1","productID":"R1D63AAE","productName":"HPE Data Management Framework 1PB 11\u2011100PB 5년 구독 E\u2011LTU"}},{"productInfo":{"quantity":"1","productID":"R1D62AAE","productName":"HPE Data Management Framework 1PB 11\u2011100PB 3년 구독 E\u2011LTU"}},{"productInfo":{"quantity":"1","productID":"R1D60AAE","productName":"HPE Data Management Framework 1PB 2\u201110PB 5년 구독 E\u2011LTU"}},{"productInfo":{"quantity":"1","productID":"R1D58AAE","productName":"HPE Data Management Framework 1PB 2\u201110PB 1년 구독 E\u2011LTU"}},{"productInfo":{"quantity":"1","productID":"R1D59AAE","productName":"HPE Data Management Framework 1PB 2\u201110PB 3년 구독 E\u2011LTU"}},{"productInfo":{"quantity":"1","productID":"R1D57AAE","productName":"HPE Data Management Framework 기본 시스템 100PB 3\u2011서버 5년 구독 E\u2011LTU"}},{"productInfo":{"quantity":"1","productID":"R1D55AAE","productName":"HPE Data Management Framework 기본 시스템 100PB 3\u2011서버 1년 구독 E\u2011LTU"}},{"productInfo":{"quantity":"1","productID":"R1D56AAE","productName":"HPE Data Management Framework 기본 시스템 100PB 3\u2011서버 3년 구독 E\u2011LTU"}},{"productInfo":{"quantity":"1","productID":"R1D54AAE","productName":"HPE Data Management Framework 기본 시스템 10PB 3\u2011서버 5년 구독 E\u2011LTU"}},{"productInfo":{"quantity":"1","productID":"R1D52AAE","productName":"HPE Data Management Framework 기본 시스템 10PB 3\u2011서버 1년 구독 E\u2011LTU"}},{"productInfo":{"quantity":"1","productID":"R1D49AAE","productName":"HPE Data Management Framework 기본 시스템 1PB 3\u2011서버 1년 구독 E\u2011LTU"}},{"productInfo":{"quantity":"1","productID":"R1D53AAE","productName":"HPE Data Management Framework 기본 시스템 10PB 3\u2011서버 3년 구독 E\u2011LTU"}},{"productInfo":{"quantity":"1","productID":"R1D51AAE","productName":"HPE Data Management Framework 기본 시스템 1PB 3\u2011서버 5년 구독 E\u2011LTU"}},{"productInfo":{"quantity":"1","productID":"R1D50AAE","productName":"HPE Data Management Framework 기본 시스템 1PB 3\u2011서버 3년 구독 E\u2011LTU"}},{"productInfo":{"quantity":"1","productID":"R8V03A","productName":"HPE Data Management Framework ZWS4106 18TB SAS 12G Business Critical 7.2K LFF LP 512e 10\u2011pack HDD"}},{"productInfo":{"quantity":"1","productID":"R8V04A","productName":"HPE Data Management Framework ZWS4106 18TB SAS 12G Business Critical 7.2K LFF LP 512e 24\u2011pack HDD"}}]}
