검색 품질 UP! Vertex AI 임베딩 튜닝 생성형 AI 모델을 기반으로 한 앱이나 서비스에 대한 사용자 눈 높이가 빠르게 높아지고 있습니다. 빅테크 기업의 상용 서비스를 이용해 본 사용자는 회사에서 제공하는 서비스에도 같은 수준의 사용자 경험을 기대합니다. 그러다 서비스를 구현하는 입장에서 보면 사실 이게 쉽지 않은 일입니다. 생성형 AI 앱의 검색, 답변, 추천 기능을 향상시켜…
최근 거대 언어 모델(LLM)을 활용한 다양한 서비스가 등장하고 있습니다. 사용자들이 선호하는 서비스를 보면 더욱 정확하고 신뢰도 높은 답변을 얻기 위한 RAG(Retrieval-Augmented Generation) 기술을 잘 활용하고 있다는 특징이 있습니다. 이번 포스팅에서는 RAG의 개념과 동작 방식을 알아보고 최근 관심을 모으고 있는 멀티 모달 RAG를 소개하겠습니다. RAG 개념 및 선도 기업들의 활용 전략 RAG는 LLM과 벡터…
2024년 금융, 공공, 리테일 등 다양한 산업에서 생성형 AI(Generative AI)의 도입과 상용화가 이루어졌습니다. 그러나 제조 분야는 높은 수준의 품질 기준과 공정 과정에 대한 실험적인 도전이 비교적 쉽지 않아 AI 도입이 어렵다는 인식이 만연하였습니다. AI 시스템을 실제 현장에 적용하려면, AI 시스템의 도입과 통합 과정의 복잡성, 데이터 품질 문제, 초기 투자 비용 등의 어려움을 극복해야 하기 때문입니다.…
Google Cloud Vertex AI GenAI Evaluation: 생성형 AI 모델 평가의 새로운 기준 생성형 AI 모델을 평가하고 이를 바탕으로 모델을 개선하는 작업은 AI 개발자와 AI 서비스 운영자라면 누구나 맞닥뜨리는 과제일 것입니다. 관련해 이번 포스팅 에서는 생성형 AI 모델을 평가하는 것이 왜 중요한지, 어떤 점들이 특히 어렵고, 그 문제들을 해결하기 위해 Google Cloud가 제공하는 Vertex AI…
최근 구글 클라우드에서 새롭게 공개된 Gemini 2.0 모델과 Gen AI SDK는 AI 개발 분야에 혁신적인 변화를 가져오고 있습니다. 이번 포스팅에서는 Gemini 2.0과 Gen AI SDK의 활용법과 AI Studio와 Vertex AI의 차이점, 그리고 우리 회사에 맞는 AI 애플리케이션 개발에 적합한 환경을 고르는 기준을 살펴보겠습니다. 결론부터 말하자면 기업의 경우 MVP(Minimum Viable Product, 최소 기능 제품) 수준의…
얼마 전에 AI 커뮤니티를 뜨겁게 달군 주인공이 등장했습니다. 네, 다들 아시는 ‘DeepSeek’입니다. GPU 컴퓨팅 자원을 공격적으로 투입하지 않아도 ‘최적화’가 가능하다는 가능성을 보여준 사례다 보니 관심이 정말 폭발적이었습니다. 이번 포스팅에서는 DeepSeek을 구글 클라우드의 Cloud Run을 활용해 배포하는 방안을 알아보겠습니다. DeepSeek AI 주요 모델 라인업 및 기술적 특징 분석 DeepSeek AI는 2023년에 설립된 연구 중심 기업입니다.…
Google Cloud Dynamic Workload Scheduler를 활용한 AI 워크로드 관리 오늘날 AI 모델의 훈련과 추론에는 대규모의 컴퓨팅 자원이 필요하며, 특히 TPU나 GPU 같은 가속기 자원을 어떻게 효율적으로 활용하느냐가 매우 중요한 문제로 부상했습니다. 이 글에서는 AI 인프라 운영자와 AI 개발자·데이터 과학자가 Google Cloud의 Dynamic Workload Scheduler(이하 DWS)를 통해 AI 워크로드를 효율적으로 관리할 수 있는 방법을 살펴보겠습니다.…
AI 에이전트는 왜 챗봇 그 이상일까요? AI 에이전트의 진정한 가치는 단순히 사용자와 대화하는 것을 넘어, 시스템의 지능적인 부분으로서 능동적으로 작업을 수행하고 주변 상황을 이해하며, 이를 바탕으로 개인에게 최적화된 경험을 제공하는 데 있습니다. 이번 포스팅에서는 AI 에이전트의 잠재력을 왜 다들 그리 높게 보는지 그 이유를 짚어 보겠습니다. 수동적 대화를 넘어… 기존 챗봇은 주로 사용자의 직접적인…
2025년에도 AI 분야의 트렌드는 ‘AI 에이전트’가 주도하는 분위기입니다. 다양한 기술 표준과 도구의 등장과 함께 활용 시나리오도 풍성해지고 있습니다. 그러다 보니 관련 논의도 디테일한 부분까지 확장되고 있습니다. 이번 포스팅에서는 AI 에이전트 구현에 있어 가장 중요한 포인트 중 하나인 메모리 관리에 대해 알아보겠습니다. AI 에이전트에게 메모리가 필요한 이유 AI 에이전트의 개념을 먼저 짚고 넘어 가겠습니다. AI…