GKE 최신 업데이트: LLM 트래픽, 분산 모델, AI 가속기, 성능 향상까지

구글 클라우드 GKE 팀이 정리한 이달의 GKE 주요업데이트 내용을 알려드리고자 합니다.   LLM 트래픽 관리를 위한 GKE 추론 게이트웨이 새롭게 선보이는 GKE 추론 게이트웨이는 GKE Gateway의 확장 기능으로 생성형 AI 워크로드를 효율적으로 서빙하도록 설계되었습니다. 이 솔루션은 긴 연결 시간이나 예측 불가능한 응답 패턴 같은 LLM 트래픽 고유의 특성을 효과적으로 관리합니다. GKE 추론 게이트웨이는 LLM 트래픽…

AI 에이전트, 챗봇을 넘어 엔터프라이즈 혁신의 아키텍처로

AI 에이전트는 왜 챗봇 그 이상일까요? AI 에이전트의 진정한 가치는 단순히 사용자와 대화하는 것을 넘어, 시스템의 지능적인 부분으로서 능동적으로 작업을 수행하고 주변 상황을 이해하며, 이를 바탕으로 개인에게 최적화된 경험을 제공하는 데 있습니다. 이번 포스팅에서는 AI 에이전트의 잠재력을 왜 다들 그리 높게 보는지 그 이유를 짚어 보겠습니다.    수동적 대화를 넘어… 기존 챗봇은 주로 사용자의 직접적인…

Google Cloud Bootcamp : AI/Machine Learning Essential (2 Days)

Overview 2일 집중 부트캠프 – Google Cloud 기반 AI/ML 입문부터  ML Enterprise Workflow까지   기업의 AI 전략 강화에 따라 방대한 AI/ML 학습을 어디서부터 시작해야 할지 막막하셨던 분들은 주목해 주세요. Google Cloud Bootcamp: AI/Machine Learning Essential은 Google Cloud를 활용한 AI/ML 솔루션 설계, 구축, 배포, 운영 역량을 단 2일 만에 집중적으로 강화할 수 있도록 구성한 실무 중심의…

DeepSeek AI와 Google Cloud Run을 활용한 효율적인 LLM 배포 전략

얼마 전에 AI 커뮤니티를 뜨겁게 달군 주인공이 등장했습니다. 네, 다들 아시는 ‘DeepSeek’입니다. GPU 컴퓨팅 자원을 공격적으로 투입하지 않아도 ‘최적화’가 가능하다는 가능성을 보여준 사례다 보니 관심이 정말 폭발적이었습니다. 이번 포스팅에서는 DeepSeek을 구글 클라우드의 Cloud Run을 활용해 배포하는 방안을 알아보겠습니다.    DeepSeek AI 주요 모델 라인업 및 기술적 특징 분석 DeepSeek AI는 2023년에 설립된 연구 중심 기업입니다.…

AI 에이전트 메모리: 기능, 종류, 관리의 핵심 원리

2025년에도 AI 분야의 트렌드는 ‘AI 에이전트’가 주도하는 분위기입니다. 다양한 기술 표준과 도구의 등장과 함께 활용 시나리오도 풍성해지고 있습니다. 그러다 보니 관련 논의도 디테일한 부분까지 확장되고 있습니다. 이번 포스팅에서는 AI 에이전트 구현에 있어 가장 중요한 포인트 중 하나인 메모리 관리에 대해 알아보겠습니다.    AI 에이전트에게 메모리가 필요한 이유 AI 에이전트의 개념을 먼저 짚고 넘어 가겠습니다. AI…

구글 클라우드의 다양한 데이터 서비스는 에이전트 시대에 어떻게 변할까?

구글 클라우드의 다양한 데이터 서비스는 에이전트 시대에 어떻게 변할까?   AI 에이전트 분야의 발전 속도를 보면 입이 떡 벌어질 정도입니다. 작년만 해도 뭔가 실험적이라는 느낌이었다면? 올 해는 늘 옆에서 함께 하는 동료 수준으로 일취월장한 느낌입니다. 실제로 올해 열린 구글 클라우드 넥스트 ‘25의 데이터 관련 세션을 보면 클라우드 활용에 있어 에이전트가 앞으로 어떤 활약상을 펼칠지 잘…

데이터 가공과 분석도 이제는 에이전트에 맡기는 시대?

구글 클라우드 넥스트 ‘25의 관통하는 키워드는 ‘AI 에이전트’였습니다. 기조 연설부터 분야별 전문 세션까지 기승전은 달라도 결론은 AI 에이전트였다 해도 과언이 아닐 것입니다. 이번 포스팅에서는 데이터 분야에서 앞으로 큰 활약을 할 데이터 에이전트에 대해 좀 알아볼까 합니다.    전문 영역이 다른 데이터 에이전트    데이터 가공, 분석 같은 업무 처리에 있어 데이터 에이전트는 각각 맡은 분야가…

AI Agent와 Agentic AI가 공존하는 시대

AI 기술이 발전하면서, 기업들은 AI를 단순한 도구를 넘어 자율적인 의사결정 파트너로 활용하려는 움직임을 보이고 있습니다. 이런 트렌드를 대표하는 것이 AI 에이전트입니다. 그렇다면 모든 길은 AI 에이전트로 향하고 있을까요? 그렇지 않습니다.    AI 에이전트 흐름의 다른 한 쪽에는 ‘Agentic AI’ 개념을 적용한 에이전트 워크플로우가 주목받고 있습니다. Aagentic AI 개념을 적용한 에이전트 워크플우는 간단히 설명하자면  목표 달성을…

Gemini 2.0과 Gen AI SDK로 도전하는 멀티 모달 AI 애플리케이션 개발

최근 구글 클라우드에서 새롭게 공개된 Gemini 2.0 모델과 Gen AI SDK는 AI 개발 분야에 혁신적인 변화를 가져오고 있습니다. 이번 포스팅에서는 Gemini 2.0과 Gen AI SDK의 활용법과 AI Studio와 Vertex AI의 차이점, 그리고 우리 회사에 맞는 AI 애플리케이션 개발에 적합한 환경을 고르는 기준을 살펴보겠습니다.    결론부터 말하자면 기업의 경우 MVP(Minimum Viable Product, 최소 기능 제품) 수준의…

Google Cloud Dynamic Workload Scheduler를 활용한 AI 워크로드 관리

Google Cloud Dynamic Workload Scheduler를 활용한 AI 워크로드 관리   오늘날 AI 모델의 훈련과 추론에는 대규모의 컴퓨팅 자원이 필요하며, 특히 TPU나 GPU 같은 가속기 자원을 어떻게 효율적으로 활용하느냐가 매우 중요한 문제로 부상했습니다. 이 글에서는 AI 인프라 운영자와 AI 개발자·데이터 과학자가 Google Cloud의 Dynamic Workload Scheduler(이하 DWS)를 통해 AI 워크로드를 효율적으로 관리할 수 있는 방법을 살펴보겠습니다.…