GKE 최신 업데이트: LLM 트래픽, 분산 모델, AI 가속기, 성능 향상까지
구글 클라우드 GKE 팀이 정리한 이달의 GKE 주요업데이트 내용을 알려드리고자 합니다. LLM 트래픽 관리를 위한 GKE 추론 게이트웨이 새롭게 선보이는 GKE 추론 게이트웨이는 GKE Gateway의 확장 기능으로 생성형 AI 워크로드를 효율적으로 서빙하도록 설계되었습니다. 이 솔루션은 긴 연결 시간이나 예측 불가능한 응답 패턴 같은 LLM 트래픽 고유의 특성을 효과적으로 관리합니다. GKE 추론 게이트웨이는 LLM 트래픽…