기업 컴퓨팅 환경은 점진적으로 클라우드 네이티브 환경으로 진화 중입니다. 이 과정에서 많은 조직이 여러 도전 과제에 직면합니다. 이 중 하나로 클라우드 환경에서의 스토리지 스프롤(Storage Sprawl) 현상을 꼽습니다. 이는 마이그레이션 후 남은 복사본, 프로젝트 종료 후 잊힌 버킷처럼 IT 팀이 파악하지 못한 스토리지가 적절한 통제 장치 없이 확산되어 관리의 사각지대로 남는 현상을 말합니다. 관련해 이번 포스팅에서는 스토리지 스프롤 문제 해결에 도움이 되는 구글 클라우드의 Storage Intelligence 기능에 대해 알아보겠습니다.
시간이 흐를 수록 커지는 문제
클라우드 환경에서 발생하는 스토리지 스프롤은 단순히 저장 공간을 많이 차지하는 문제를 넘어섭니다. 클라우드를 도입하던 초기에는 이 문제가 잘 드러나지 않습니다. 시간이 흐를수록 중복 파일이 쌓이고 종료한 프로젝트의 잔해가 여기저기 남으면서 수면 위로 올라옵니다. 만약 조직이 보유한 데이터가 정확히 어디에 있는지, 어떤 내용을 담고 있는지, 또 누가 접근하는지를 더 이상 파악하기 어려울 정도로 무분별하게 퍼진 상태가 지속된다면? 다양한 부작용이 동시에 발생할 수 있습니다. 어떤 문제가 생길 수 있는지 하나하나 알아보겠습니다.
많은 관리자가 저장 비용은 저렴하니 나중에 정리해도 괜찮다고 생각할 수 있습니다. 작업 우선순위가 높아 보이지 않지만 이런저런 이슈가 눈에 들어오기 시작하면 가벼이 볼 사안이 아니라고 생각이 바뀌게 됩니다.
가장 먼저 체감하는 문제는 숨은 비용입니다. 대규모 마이그레이션 과정에서 발생한 중복 파일이나 테스트 환경을 구축하고 나서 삭제하지 않은 데이터로 인해 인지하지 못하는 숨은 비용이 발생할 수 있습니다. 단일 파일의 크기는 작을지 몰라도 수십억 개의 객체가 조직 전체에 퍼져 있다면 그 합산 비용은 무시할 수 있는 수준을 넘어 설 수 있습니다.
비용보다 더 무서운 것은 보안에 틈이 생기는 것입니다. 관리자의 시야를 벗어난 데이터는 보안 정책의 사각지대를 형성합니다. 어떤 버킷이 외부에 공개되어 있는지 어떤 객체에 민감한 정보가 들어 있는지 파악하는 일은 스토리지 스프롤 현상이 있는 환경에서는 쉽지 않습니다. 이는 꽤 심각한 문제입니다. 적절한 접근 제어나 암호화 정책을 적용할 수 없다 보니 외부 공격자가 관리하지 않는 버킷을 통해 침입하거나 내부 직원이 실수로 중요한 데이터를 유출할 위험이 있습니다.
구글 클라우드가 제시한 해법 ‘Storage Intelligence’
처음에는 별 것 아니지만 시간이 지날 수록 비용, 보안, 운영 부담이 커지는 스토리지 스프롤에 대한 구글 클라우드의 해결책은 Storage Intelligence입니다. 이는 단순히 상태를 관찰하는 도구를 넘어 대규모 스토리지 자산을 지능적으로 분석하고 자동화된 조치를 수행하는 포괄적인 솔루션이라 할 수 있습니다. 이 시스템의 핵심은 클라우드 환경의 스토리지 내의 방대한 메타 데이터를 구조화된 데이터로 변환하여 분석할 수 있는 상태로 만드는 데 있습니다.
관리자는 조직에서 사용 중인 버킷과 객체에 대한 스냅샷을 생성할 수 있습니다. 이를 BigQuery와 연동하면 관리자는 SQL 쿼리를 통해 바로 현황 파악이나 분석을 할 수 있습니다. SQL을 몰라도 됩니다. Gemini 덕분에 자연어로도 원하는 결과를 얻을 수 있습니다. 예전처럼 데이터 분석을 위해 도움을 청하지 않아도 됩니다. “우리 조직에서 오토클래스가 꺼져 있는 가장 큰 버킷은 무엇인가?”와 같은 자연어 질문만으로도 즉시 원하는 결과를 얻을 수 있습니다.
세 가지 최적화 시나리오
Storage Intelligence를 실제 비즈니스 환경에 적용하면 어떤 성과를 거둘 수 있을까요? 세 가지 활용 시나리오를 통해 알아보겠습니다. 첫 번째는 중복 객체 제거를 통한 비용 절감입니다. 마이그레이션이나 백업 과정에서 무수히 생긴 중복 파일은 동일한 데이터에 대해 여러 번 비용을 내게 만듭니다. 관리자는 스토리지 인사이트의 객체 속성 뷰를 활용하여 체크섬을 기준으로 중복 파일을 식별할 수 있습니다. 이 분석 결과는 참조용 보고서에만 담기는 것이 아닙니다. 삭제 작업을 위한 명세서 역할까지 합니다. 관리자는 단 한 번의 실행으로 수백 테라바이트 수준의 불필요한 공간을 확보할 수 있습니다.
두 번째는 방치한 휴면 버킷(Cold Buckets) 정리입니다. 프로젝트가 끝났거나 담당자가 퇴사한 뒤 남겨진 버킷은 보안 취약점으로 남을 수 있습니다. 관리자는 버킷 활동 뷰를 사용하여 수 개월간 한 번도 액세스하지 않은 버킷 리스트를 추출하고 이를 더 저렴한 스토리지 클래스로 전환하거나 삭제하여 즉각적인 비용 절감 효과를 볼 수 있습니다.
셋 번째는 리전 불일치 해결입니다. 데이터가 저장된 위치와 실제 사용되는 위치가 다르면 네트워크 비용이 늘고 성능이 떨어집니다. Looker Studio를 통해 데이터 거주지와 실제 요청 위치를 비교 분석하면 불필요한 멀티 리전 비용을 줄이고 지연 시간을 단축하는 버킷 재배치를 결정할 수 있습니다.
Storage Intelligence 활용 팁
Storage Intelligence를 효과적으로 운영하려면 먼저 적절한 범위를 설정해야 합니다. 개별 프로젝트 단위보다는 조직 전체를 대상으로 설정하여 거시적인 관점에서 스토리지 스프롤 현상을 진단하는 것이 좋습니다. 참고로 시스템을 처음 설정하고 데이터가 채워지기까지 최대 48시간이 걸릴 수 있습니다.
최적화는 한 번으로 끝나는 일이 아닙니다. 따라서 최적화 작업을 정기적인 운영 프로세스에 통합해야 합니다. Looker Studio를 통해 주간 혹은 월간 단위로 스토리지 사용 현황 보고서를 관련 부서에 자동으로 발송하고, 특정 버킷의 용량이 급증하거나 보안 정책을 위반했을 때 즉시 대응할 수 있는 알림 체계를 갖추어야 합니다. 또한, 분석한 데이터 액세스 패턴을 기반으로 객체 수명 주기 관리 정책을 정밀하게 조정하여 데이터가 자동으로 최적의 비용 클래스로 이동하도록 설정하는 것이 중요합니다.
데이터 관리의 주도권을 되찾는 지능형 플랫폼
클라우드 환경에서의 스토리지 스프롤 현상은 현대 인프라 운영에서 피하기 어려운 결과일 수 있습니다. 하지만 이를 방치하는 조직과 지능적으로 관리하는 조직 사이의 격차는 시간이 갈수록 벌어질 것입니다. 관리를 포기한 조직은 늘어나는 비용과 보안 위협에 시달리겠지만 Storage Intelligence를 적극적으로 활용하는 조직은 데이터의 홍수 속에서도 명확한 가시성과 통제권을 유지할 수 있을 것입니다. 참고로 Storage Intelligence는 30일 무료 체험으로 평가를 해볼 수 있습니다. 본 포스팅에서 소개한 버킷 재배치, 배치 작업 등의 기능은 무료 체험 후 스탠다드 티어로 전환해야 사용이 가능합니다.
더 자세한 내용이 궁금하다면, 메가존소프트 문의포탈을 통해 궁금한 부분을 남겨주세요.
