2025년 AI 시장을 한 마디로 요약하면 Agentic AI의 시대로 정리할 수 있습니다. 구글 클라우드가 지난 해 AI 에이전트를 Google Cloud Next 행사에서 강조한 지 1년이 지났을 뿐인데 시장은 여러 AI 에이전트가 상호 협력해 작업을 자율적으로 처리하는 Agentic AI를 프로덕션 환경에서 구현할 수 있는 단계에 이르렀습니다. 이번 포스팅에서는 2026년부터 엔터프라이즈의 AI 투자를 주도할 Agentic AI 관련해…
요즘 AI 인프라 관련 소식에서 자주 보이는 단어가 있습니다. 바로 추론(Inference)입니다. 몇 년 전만 해도 AI 인프라와 늘 짝지어 다니던 단어는 훈련(Tanning)이었습니다. 요즘은 훈련보다 추론이 더 많이 보이고 있는데요. 그 이유는 다름 아니라 AI가 이제 본격적으로 사내, 대외 서비스에 적용되기 시작했다는 것입니다. 훈련, 최적화를 마친 모델을 프로덕션 환경에 배포해 서빙하는 곳이 많다 보니 자연스럽게 관심사가…
2025년 9월에 공개된 구글 클라우드의 Google Kubernetes Engine(GKE) 업데이트 소식을 정리해 보았습니다. 9월 업데이트는 단순한 기능 추가나 패치를 넘어 GKE의 진화 방향을 가늠해 볼 수 있다는 점에서 주목할만 합니다. 이제 주요 내용을 하나하나 알아보겠습니다. GKE Enterprise 기능의 Standard 통합 9월 업데이트의 가장 중요한 변화는 기존에 GKE Enterprise 구독자에게만 제공했던 기능들을 GKE Standard 티어에 추가…
2025년 7월에 공개된 Google Cloud의 GKE(Google Kubernetes Engine) 업데이트 소식을 정리해 보았습니다. 매달 다양한 업데이트가 발표됩니다. 어찌보면 각각 다른 것같지만 맥락으로 큰 흐름을 짚어 GKE가 어떤 방향으로 진화하는 지 짚어 볼 수 있습니다. 가령 7월 업데이트를 통해 이번 업데이트를 통해 알파 클러스터 사용 방식, 패치 업그레이드 속도, 배포 순서 제어, 유지보수 일정 확인 등 다방면에서…
AI 산업의 중심이 모델을 ‘학습’시키는 단계를 지나 학습한 모델을 현실 세계에 적용해 비즈니스 가치를 만드는 ‘추론(inference)’ 단계로 빠르게 옮겨가고 있습니다. 실제 서비스 단계로 넘어 가면서 추론 비용이 큰 부담으로 다가오고 있습니다. 실제로 AI 모델 추론에 드는 컴퓨팅 비용이 학습 비용을 넘어서는 사례가 하나둘 보고되고 있습니다. 이런 이유로 요즘 비용 효율적이며 동시에 프로덕션 환경이 요구하는 유연한…
생성형 AI 기술이 비즈니스 전반에 혁신을 가져오면서, 많은 기업이 거대 언어 모델(LLM)을 활용해 새로운 가치를 창출하고 있습니다. 초기에는 범용 모델 하나로 모든 문제를 해결하려 했지만, 점차 비즈니스의 구체적인 요구 사항에 맞춰 최적화된 여러 모델을 활용하는 전략으로 전환하는 추세입니다. 용도와 목적에 맞게 여러 모델을 조직에서 활용하는 전략이 가능해진 배경에는 ‘미세조정(Fine-tuning)’ 기술의 발전이 자리하고 있습니다. 미세조정이란 범용…
오늘날 소프트웨어 개발에서 컨테이너화는 필수라 할 수 있습니다. 컨테이너가 주류 기술로 자리 잡은 이유는 단순히 애플리케이션을 패키징하는 새로운 방법을 제시했기 때문만은 아닙니다. 이는 컨테이너가 개발부터 배포, 운영까지 소프트웨어 수명 주기 전반의 근본적인 문제들을 해결하는 미래지향적인 솔루션이기 때문입니다. 여기에 이견을 다는 이는 없을 것입니다. 그 이유를 컨테이너의 핵심 가치를 통해 짚어 보겠습니다. 컨테이너의 핵심 가치 컨테이너의…
구글 클라우드 GKE 팀이 정리한 이달의 GKE 주요업데이트 내용을 알려드리고자 합니다. LLM 트래픽 관리를 위한 GKE 추론 게이트웨이 새롭게 선보이는 GKE 추론 게이트웨이는 GKE Gateway의 확장 기능으로 생성형 AI 워크로드를 효율적으로 서빙하도록 설계되었습니다. 이 솔루션은 긴 연결 시간이나 예측 불가능한 응답 패턴 같은 LLM 트래픽 고유의 특성을 효과적으로 관리합니다. GKE 추론 게이트웨이는 LLM 트래픽…
Overview 복잡한 어플리케이션 배포와 운영을 더욱 쉽게 만들어줄 Google Kubernetes Engine에 관한 기초 교육에 여러분을 초대합니다! 이번 과정에서는 Google Cloud에 대해 기본적인 사항을 소개한 후 컨테이너 및 Kubernetes, Kubernetes 아키텍처, Kubernetes 작업에 관해 설명합니다. 이를 통해 여러분은 GKE로 불리는 Google Kubernetes Engine의 기본사항을 완벽히 이해하고 Google Cloud에서 애플리케이션을 컨테이너화하고 실행하는 방법을 알게 될 수 있습니다.…
Google Cloud는 Hugging Face에서 제공하는 다양한 AI 모델들을 Cloud Run과 GKE라는 서비스를 통해 간편하게 사용할 수 있도록 지원합니다. 관련해 이번 포스팅에서는 Hugging Face의 TGI(Text Generation Inference)를 활용하는 방법을 알아보려 합니다. *Hugging Face는 인공지능, 특히 자연어 처리(NLP) 분야에서 가장 유명한 오픈 소스 커뮤니티이자 플랫폼입니다. 마치 GitHub이 개발자들에게 코드를 공유하고 협업하는 공간이라면, Hugging Face는 AI 모델을 공유하고…