LLM 모델을 클라우드에서 손쉽게 운영하는 방법: TGI와 Google Cloud의 만남
Google Cloud는 Hugging Face에서 제공하는 다양한 AI 모델들을 Cloud Run과 GKE라는 서비스를 통해 간편하게 사용할 수 있도록 지원합니다. 관련해 이번 포스팅에서는 Hugging Face의 TGI(Text Generation Inference)를 활용하는 방법을 알아보려 합니다. *Hugging Face는 인공지능, 특히 자연어 처리(NLP) 분야에서 가장 유명한 오픈 소스 커뮤니티이자 플랫폼입니다. 마치 GitHub이 개발자들에게 코드를 공유하고 협업하는 공간이라면, Hugging Face는 AI 모델을 공유하고…
LLM & SLM 시대에 맞게 진화를 거듭하고 있는 GKE
요즘 AI 전환에 대한 관심이 높아지면서 거대 언어 모델(Large Language Model, 이하 LLM)과 특정 분야나 작업에 최적화된 소형 언어 모델(Small Language Model, 이하 SLM) 관련 프로젝트를 준비하거나 추진 중인 조직이 많습니다. 사실상 AI 프로젝트를 추진하는 데 필요한 GPU 서버로 구성한 인프라와 MLOps 플랫폼 그리고 이를 운영할 인력을 잘 갖춘 곳은 그리 많지 않습니다. 그렇다고 해서…
AI 에이전트로 시작하는 새로운 시대: Vertex AI Agent Builder로 쉽게 구현하기
25년 많은 조직이 주목하는 AI 관련 키워드는 무엇일까요? 아마 ‘AI 에이전트(AI Agent)’를 많은 이들의 관심이 몰리고 있을 것입니다. Google Cloud Next ’24(이하 넥스트)를 관심 있게 보았다면 아마 “AI 에이전트”라는 용어가 낯설지 않을 것입니다. 넥스트 행사를 통해 다음과 같이 다양한 AI 에이전트를 소개한 바 있습니다. 이 개념을 놓고 거대 언어 모델(LLM) 기반 생성형 AI 기능을…