쿠버네티스하면 무엇이 떠오르나요? 클라우드 네이티브가 생각날 것입니다. 클라우드 전환의 핵심 요소이자 디지털 전환(DX)을 가속하는 역할을 맡아온 쿠버네티스가 에이전틱 AI 시대를 맞아 변신을 거듭하며 AI 네이티브 플랫폼으로 거듭나고 있습니다. 관련해 이번 포스팅에서는 GPU와 TPU를 더 효율적이고 안전하게 사용하기 위한 오픈 소스 진영의 기술 혁신과 이를 구글이 GKE에 어떻게 반영하고 있는지 알아보겠습니다.
AI 워크로드를 위한 표준 플랫폼으로 진화 중인 쿠버네티스
쿠버네티스가 AI 워크로드 운영을 위한 표준으로 자리잡고 있다는 사실은 여러 통계를 통해 알 수 있습니다. 대표적인 예로 CNCF 연례 조사를 많이 인용하는데요. 올 초 발표에 따르면 쿠버네티스를 운영하는 조직의 66%가 추론 워크로드를 쿠버네티스에서 실행하고 있다고 합니다. 수치만 봐도 AI 인프라가 실험 단계를 넘어 실제 운영 환경으로 빠르게 이동하고 있다는 것을 알 수 있습니다.
이처럼 쿠버네티스가 DX를 넘어 AX 시대에도 사실상의 표준이 되어가고 있는 이유는 무엇일까요? AX를 추진하는 조직은 모델 서버만 운영하지 않습니다. 데이터 전처리와 학습, 평가, 추론 API, 벡터 데이터베이스, 에이전트와 도구 서버, 모니터링 시스템까지 풀스택 AI 환경을 구축합니다. 쿠버네티스를 활용하면 스택을 구성하는 여러 요소를 컨테이너로 배포하고 동일한 권한과 관찰 가능성, 배포 체계 안에서 운영할 수 있습니다.
쿠버네티스의 이러한 변신은 IT 행사에서 자주 언급되는 ‘Cattle vs. Pet’의 비유를 통해서도 설명할 수 있습니다. 여기서 가축은 클라우드, 가상화, 컨테이너 같은 현대적인 인프라 관리 방식을 빗대어 말하는 것입니다. 그리고 반려 동물은 서버 한대 한대를 인생의 동반자처럼 정성을 다해 대하는 전통적인 IT 관리 방식을 말합니다.
이 비유를 쿠버네티스에 적용해 그림으로 그려보면 다음과 같습니다. 쿠버네티스가 단순한 상태 없는 컨테이너 배포 도구(순수한 가축)에서 데이터 상태를 유지하는 플랫폼(반려 동물을 품은 가축)을 거쳐 현재 GPU/TPU 및 DRA 기반의 고성능 AI 인프라 오케스트레이터(사이보그)로 진화하고 있다는 것을 표현한 것입니다. 이 그림에 담긴 내용을 2026년 현재 오픈 소스 커뮤니티가 추진 중인 주요 기술 혁신과 이를 구글은 GKE에 어떻게 반영하고 있는지 살펴보겠습니다.
쿠버네티스를 AI 시대를 위한 플랫폼으로 만들어 가고 있는 오픈 소스 커뮤니티의 노력
앞서 살펴본 것처럼 쿠버네티스는 단순한 컨테이너 배포 도구를 넘어 GPU와 TPU, 네트워크, 에이전트 실행 환경까지 이해하는 AI 인프라 오케스트레이터로 진화하고 있습니다. 이 변화는 어느 한 기업이 독자적으로 만드는 것이 아닙니다. 오픈 소스 커뮤니티가 실제AI 워크로드에서 드러난 문제를 해결하고 검증된 개념을 쿠버네티스의 공통 기능으로 발전시키는 방식으로 진행되고 있습니다.
최근에 주목할 변화는 동적 자원 할당(Dynamic Resource Allocation, DRA)입니다. 기존 쿠버네티스는 CPU와 메모리를 중심으로 자원을 관리했지만, AI 환경에서는 같은 GPU라도 세대와 메모리, 연결 방식이 다르고 TPU 역시 토폴로지에 따라 활용 범위가 달라집니다.
DRA는 워크로드가 단순히 ‘GPU 한 개’를 요청하는 대신 필요한 장치의 속성과 구성을 표현하도록 합니다. 스케줄러는 이를 실제 가용 자원과 비교해 가장 적합한 가속기에 워크로드를 배치합니다. 하드웨어를 감추던 쿠버네티스가 하드웨어의 차이를 이해하는 플랫폼으로 바뀌는 것입니다.
스케줄링의 단위도 개별 파드에서 전체 워크로드로 넓어지고 있습니다. 대규모 학습과 분산 추론은 여러 파드가 함께 시작해야 합니다. 일부 파드만 먼저 배치되면 이미 확보한 GPU가 나머지 파드를 기다리며 유휴 상태에 머물 수 있습니다.
이를 해결하기 위해 쿠버네티스는 갱 스케줄링과 워크로드 인식 선점, 토폴로지 인식 스케줄링을 발전시키고 있습니다. Kueue와Volcano 같은 오픈소스 프로젝트에서 검증된 개념이 쿠버네티스의 공통 API와 스케줄러로 흡수되는 흐름입니다.
안전한 에이전트 실행을 위한 기술도 중요합니다. Agent Sandbox는 에이전트가 생성한 코드와 도구 실행 환경을 gVisor나 Kata Containers로 격리합니다. 웜 풀을 활용하면 미리 준비한 샌드박스를 빠르게 할당할 수 있어 보안과 실행 속도를 함께 확보할 수 있습니다.
자원 낭비와 콜드 스타트를 줄이는 기술도 함께 발전하고 있습니다. GKE Pod Snapshots는 모델 가중치가 이미 적재된 파드 상태를 저장하고 복원해 모델 서버의 시작 시간을 줄입니다. 인플레이스 리사이즈는 파드를 재시작하지 않고 CPU와 메모리 요청량을 조정해 시작 단계에서만 많은 자원이 필요한 워크로드의 효율을 높입니다.이러한 기술 혁신은 각각의 문제를 따로 해결하는 데 그치지 않습니다. AI 가속기 할당과 스케줄링, 격리, 상태 복원과 자원 조정을 하나의 운영 흐름으로 연결하면서 쿠버네티스 자체를 AI 워크로드에 더 적합한 플랫폼으로 바꾸고 있습니다. 그렇다면 오픈소스 생태계에서 만들어진 이러한 혁신을 구글은 GKE에 어떻게 반영하고 있을까요?
오픈 소스 생태계와 함께 진화하는 GKE
구글은 오픈 소스 쿠버네티스의 혁신을 바탕으로 GKE를 AI 워크로드에 맞게 지속해서 개선하고 있습니다. GKE의 AI 전략은 별도의 AI 전용 플랫폼을 새로 만드는 데 있지 않습니다. 쿠버네티스가 AI 워크로드를 기본적으로 이해하도록 만드는 데 기여하고, 검증된 기능을 관리형 서비스로 제공하는 방향입니다.
추론 네트워킹도 같은 흐름으로 발전하고 있습니다. Gateway API Inference Extension은 모델 종류와 요청 우선순위, 서버 대기열, 메모리 사용량, 캐시 상태를 바탕으로 적절한 모델 서버를 선택합니다. 일반적인 트래픽 분산이 아니라 추론 워크로드의 상태를 이해한 라우팅입니다.
GKE Inference Gateway는 이 표준을 GKE에 적용한 관리형 기능입니다. 모델과 서버 상태, 프리픽스 캐시를 고려해 요청을 전달하고, 프리필과 디코드를 서로 다른 자원 풀로 분리하는 서빙 구조도 지원합니다.
여기에 오픈소스 llm-d가 결합합니다. llm-d는 하나의 노드에 담기지 않는 대규모 모델을 여러 노드에 걸쳐 실행하고, 다중 노드 KV 캐시와 분리형 서빙, 모델 인식 라우팅을 쿠버네티스 방식으로 구현합니다.
네트워크 자원도 가속기와 함께 관리해야 합니다. DRANET은 DRA와 같은 리소스 개념을 네트워크 장치에 적용해 RDMA나 TPU 전용 고속 경로를 워크로드에 배정합니다. AI 워크로드의 배치 기준이 개별 GPU에서 가속기와 네트워크를 포함한 전체 시스템 토폴로지로 넓어지는 것입니다.
이 기술들은 서로 따로 작동하지 않습니다. 워크로드는 DRA로 필요한 GPU나 TPU를 요청하고, 토폴로지 인식 스케줄러는 빠른 네트워크로 연결된 노드에 파드를 배치합니다. llm-d는 여러 노드에 걸쳐 모델을 실행하고, Inference Gateway는 서버와 캐시 상태를 바탕으로 요청을 전달합니다. Agent Sandbox는 에이전트의 코드 실행을 격리하고, Pod Snapshots는 모델과 에이전트의 시작 시간을 줄입니다.
결국 GKE의 강점은 개별 AI 기능을 많이 제공한다는 데만 있지 않습니다. 오픈 소스 쿠버네티스에서 발전한 자원 관리와 스케줄링, 네트워킹, 격리 기술을 하나의 관리형 운영 환경으로 연결한다는 데 있습니다. AX를 추진하는 조직은 새로운 AI 전용 운영 체계를 따로 만들기보다 기존 클라우드 네이티브 기반을 확장해 학습과 추론, 에이전트 워크로드를 함께 운영할 수 있습니다. GKE는 이러한 방식으로 오픈 소스 혁신을 실제 기업 환경에서 활용할 수 있는 AI 플랫폼으로 발전하고 있습니다.
AI 워크로드를 위한 GKE 도입을 고려 중이라면?
쿠버네티스에 GPU 노드를 추가하고 모델 컨테이너를 배포하는 것만으로는 안정적인 AI 플랫폼을 만들기 어렵습니다. 학습과 미세조정, 배치 추론, 온라인 추론, 에이전트 실행은 필요한 자원과 운영 기준이 서로 다르기 때문입니다.
메가존소프트는 고객과 함께 모델과 데이터, 트래픽 특성을 바탕으로 GKE Standard와 Autopilot의 적용 범위를 검토하고, GPU·TPU 노드 풀과 DRA·Kueue 기반 스케줄링, 자동 확장 정책을 설계합니다. GKE Inference Gateway와 llm-d를 활용한 모델 인식 라우팅과 분리형 서빙, KV 캐시 최적화도 함께 검토합니다.에이전트 환경에서는 Agent Sandbox와 gVisor, 워크로드 아이덴티티, 네트워크 정책을 활용해 코드 실행 환경을 격리하고 운영 단계에서는 가속기 사용률과 첫 토큰 생성 시간, 캐시 적중률, 토큰당 비용까지 관찰할 수 있는 체계를 구축하는 것도 지원합니다.
오픈 소스 쿠버네티스의 혁신을 활용해 GPU와 TPU의 효율을 높이고 GKE에서 안전한 AI와 에이전트 워크로드 운영 체계를 구축하고자 한다면 메가존소프트 문의 포털을 통해 상담을 남겨 주세요.
