AI workloads with the Google Cloud Managed Lustre
HPC 및 AI/ML 워크로드를 위해 설계된 완전 관리형 병렬 파일시스템 서비스
주요 특징
- 초당 최대 1TB/sec 처리량과 1msec 미만의 매우 낮은 지연시간
- 수백만 IOPS를 지원하며 용량에 비례하여 성능이 확장되고 유연하게 Scale up/down을 지원
- 최소 18TiB에서 8PiB 이상
- Google Cloud가 Lustre 파일 시스템의 배포,
구성,
모니터링,
패치,
백업 및 복구 등 모든 운영 및 관리 작업을 대신 수행
다양한 워크로드 지원
- HPC (고성능 컴퓨팅):과학 시뮬레이션,
유전체 분석,
금융 모델링,
제조 시뮬레이션 등
- AI/ML:딥러닝 모델 학습,
추론,
데이터 전처리
- 미디어 및 엔터테인먼트:고해상도 렌더링,
비디오 편집
- 빅 데이터 분석:대규모 데이터 세트에 대한 빠른 쿼리 및 처리
⚠️ 서울 리전은 현재 미지원,Google Cloud Storage와 통합은 향후 예정
Blogs : https: //cloud.google.com/blog/products/storage-data-transfer/google-cloud-managed-lustre-for-ai-hpc
Docs : https://cloud.google.com/managed-lustre/docs/overview