요즘 어디를 가나 AI 에이전트 이야기를 합니다. 작년에 구글 클라우드 넥스트 24에서 개념을 소개할 때만 해도 과연 구현이 가능할까? 이런 생각들 많이 하셨을 것입니다. 2025년 현시점에서 회상해 보니 기술 발전 속도를 간과한 게 아닐까 싶네요. 이번 포스팅에서는 AI 에이전트의 개념을 간단히 짚어 보고 실제 구현에 있어 프레임워크를 사용하면 얻을 수 있는 이점을 알아보겠습니다.
AI 에이전트란?
명칭은 알겠는 데 막상 설명하라면 복잡하게 이야기가 길어지는 키워드 중 하나가 AI 에이전트입니다. 사실 원리만 설명하면 간단합니다. AI 에이전트는 사용자나 다른 시스템을 대신하여 자율적으로 작업을 수행하는 소프트웨어 시스템을 의미합니다. 동작 원리는 간단합니다. ‘계획 → 행동 → 관찰 → 재계획’이라는 연속적인 순환 구조로 설명할 수 있습니다. 먼저 LLM을 통해 문제를 이해하고 계획을 세운 뒤, 도구를 호출하여 행동에 나섭니다. 그 결과를 바탕으로 계획을 다시 평가하고 수정하며 다음 행동을 결정합니다. 이러한 반복 과정은 목표를 달성할 때까지 계속됩니다.
이런 메커니즘은 두뇌, 기억, 손이라는 요소가 맞물리며 돌아갑니다. 두뇌(Brain)는 대규모 언어 모델(LLM)이며, ‘추론 엔진’이라는 핵심 역할을 수행합니다. 주어진 목표를 달성하기 위해 추론하고 계획을 세우며, 어떤 도구를 사용할지 결정합니다. 기억(Memory)은 대화의 상태와 기록을 추적합니다. 이 기억 능력 덕분에 에이전트는 이전 상호작용을 바탕으로 다단계 작업을 수행하고, 맥락에 맞는 결정을 내릴 수 있습니다. 그리고 손(Hands)은 도구(Tools)를 사용하여 실제 세계와 상호작용합니다. API 호출, 데이터베이스 조회, 코드 실행 등 다양한 도구를 ‘손’처럼 사용하여 작업을 처리합니다.
FAQ 챗봇 vs. 자율 문제 해결사
AI 에이전트의 실제 사례로 자주 언급되는 시나리오는 고객 지원입니다. 예를 들어 볼까요. 한 고객이 “최근 주문 상품의 배송이 멈춘 것 같아요”라고 문의했다고 가정해 보겠습니다. 이 요청은 단순히 FAQ에서 관련 안내 문구를 찾아주는 것으로는 해결되지 않습니다. 바로 여기서 AI 에이전트와 일반 챗봇의 차이가 드러납니다. 일반적인 FAQ 챗봇이라면 ‘배송’이라는 키워드를 찾아 미리 작성된 안내문을 보여주는 것에서 고객과 대화를 마무리할 것입니다. 진도를 더 나아가 대화가 고객이 원하는 문제의 원인 규명이나 실제적인 조치로 이어지지 못합니다.
하지만 AI 에이전트는 ‘고객의 배송 문제 해결’이라는 높은 수준의 목표를 먼저 인식합니다. 그리고 이를 달성하기 위해 계획을 세웁니다. 먼저 데이터베이스 조회 API와 같은 도구를 사용하여 고객의 신원과 주문 번호를 확인합니다. 이어서 내부 주문 데이터베이스를 조회하여 배송 상태를 확인합니다. 만약 내부 데이터만으로 정보가 부족하면 상황에 맞게 외부 배송사의 API를 호출하여 실시간 상태와 지연 원인까지 찾아봅니다. 이와 같이 수집한 정보를 바탕으로 “현재 해당 지역의 폭설로 배송이 지연되고 있습니다. 배송이 재개되면 알림을 드리겠습니다.”와 같이 문제의 원인을 설명하고 해결책을 제시합니다.
이러한 계획은 미리 정해놓은 시나리오가 아닙니다. AI 에이전트가 상황에 따라 유연하게 바꿀 수 있는 계획입니다. 여기서 우리가 주목해야 할 것은 중간 단계에서 정보가 부족하면 새로운 정보를 얻기 위해 경로를 수정한다는 점입니다. 만약 내부 데이터베이스에 정보가 없으면 에이전트는 ‘내부 데이터로는 부족하니 외부 API를 추가로 호출해야겠다’고 추론하여 계획을 조정합니다.
비교를 요약해 보자면 챗봇은 ‘질문-답변’의 1회성 상호작용으로 끝나는 반면에 AI 에이전트는 ‘목표 설정 → 계획 → 다중 도구 활용 → 추론 → 목표 달성’까지 스스로 해내는 문제 해결사입니다.
왜 AI 에이전트 프레임워크를 왜 사용해야 할까?
AI 에이전트를 구현할 때 프레임워크를 활용합니다. 이유는 뭐 다른 것이 없습니다. AI 에이전트를 직접 코딩으로 만드는 것은 생각보다 어렵고 비효율적입니다. AI 에이전트의 두뇌인 LLM에게 올바른 맥락(context)을 지속적으로 제공하는 일은 복잡하고 어렵습니다. 여러 단계에 걸쳐 에이전트가 추론하고 행동하려면 매 단계마다 이전 대화, 목표, 중간 결과 등의 맥락을 LLM에 정확히 전달해야 합니다. 이 과정을 수작업으로 처리하다 실수라도 하면 AI 에이전트는 대화 도중에 목표를 잊거나 잘못된 방향으로 나아갈 수 있습니다.
프레임워크는 이러한 번거로운 작업을 자동화합니다. 즉, 개발자가 일일이 프롬프트 엔지니어링을 하지 않아도, 프레임워크가 대화의 흐름과 상태를 기억하고 전달하는 것을 돕습니다. 특히 LangGraph나 ADK와 같은 도구는 여러 차례의 대화에서 상태를 관리하는 기능을 내장하고 있어, 에이전트가 긴 추론 과정을 거치더라도 이전 맥락을 놓치지 않도록 해줍니다.
여기에 더해 ‘관찰 가능성(observability)’과 디버깅의 용이성도 제공합니다. 복잡한 AI 에이전트가 특정 행동을 한 이유를 이해하려면 ‘생각의 흐름’을 들여다볼 수 있어야 합니다. 프레임워크는 이러한 요구를 충족하기 위해 시각화 도구나 로그 기능을 제공합니다. 예를 들어 LangSmith나 ADK의 웹 UI를 사용하면 AI 에이전트가 각 단계에서 어떤 프롬프트를 만들고 어떤 도구를 호출했으며, 어떤 응답을 받았는지 시간 순서대로 추적할 수 있습니다. 이러한 투명성 덕분에 개발자는 몇 시간씩 걸릴 문제를 단 몇 분 만에 파악하고 개선할 수 있습니다.
주요 에이전트 프레임워크 비교
현재 시장에는 다양한 에이전트 개발 프레임워크가 있습니다. 그중 LangChain, LangGraph, crewAI, 그리고 Google의 ADK가 대표적이라 할 수 있습니다. 이들은 AI 에이전트의 자율성 수준과 작업 흐름 제어 방식에 따라 각기 다른 강점을 가집니다.
- LangChain: 가장 널리 알려진 기본 도구입니다. 수백 개가 넘는 도구와 메모리, 모델 래퍼 등을 제공하는 방대한 생태계를 갖추고 있어 개발 초기에 빠르게 적용하기 좋습니다. 특히 검색 증강 생성(RAG)처럼 순차적이고 예측 가능한 흐름을 구현하는 데 적합합니다. 다만, 유연성이 높은 만큼 복잡한 ‘체인’을 잘못 설계하면 디버깅이 어려워질 수 있다는 단점이 있습니다.
- LangGraph: LangChain의 한계를 극복하기 위해 등장한 차세대 프레임워크입니다. 이름처럼 LangChain의 ‘체인’ 구조를 ‘그래프’ 구조로 확장하여 더 복잡한 흐름과 상태를 관리하도록 설계되었습니다. 노드(node)와 엣지(edge) 개념을 도입하여, 에이전트가 여러 작업을 동시에 진행하거나 필요시 이전 단계로 돌아가 재시도하는 등 비순차적인 논리를 구현하기에 좋습니다. 그래프 이론과 고유한 개념을 익혀야 하므로 학습 곡선이 다소 가파르지만, 익숙해지면 복잡한 자율 에이전트 구축에 강력한 도구가 됩니다.
- crewAI: 이름에서 알 수 있듯 ‘팀(crew)’의 관점에서 AI 에이전트를 구성하는 독특한 프레임워크입니다. 여러 에이전트에게 각기 다른 ‘역할(role)’을 부여하고, 이들이 협업하여 목표를 달성하는 멀티 에이전트 시스템에 특화되어 있습니다. 역할 기반 시나리오를 비교적 간단하게 구현할 수 있다는 장점이 있지만, 프레임워크가 정해놓은 구조와 패턴을 벗어나기 어렵다는 단점도 있습니다.
- Agent Development Kit (ADK): Google Cloud가 최근 오픈 소스로 공개한 프레임워크입니다. 다른 프레임워크들이 에이전트의 ‘로직’ 구현에 초점을 맞춘 반면, ADK는 에이전트를 실제 상용 환경에 배포하는 것까지 전체 생명 주기를 지원하도록 설계되었습니다. 즉, ‘개발한 에이전트를 어떻게 안전하고 확장 가능하게 운영할 것인가’에 대한 종합적인 해답을 제시합니다. ADK는 프로토콜에 대한 네이티브 지원을 통해 외부 시스템과의 연계를 쉽게 하고, BigQuery 등 Google Cloud 서비스와의 원클릭 통합으로 기업 데이터 활용을 용이하게 합니다. 또한, Gemini 모델에 최적화되어 있지만 다양한 모델과 도구를 폭넓게 지원하며, ADK 안에서 LangGraph나 crewAI로 만든 에이전트를 하나의 도구처럼 활용할 수도 있습니다. 뿐만 아니라 미리 구축된 웹 UI를 통해 오디오나 비디오 같은 멀티모달 상호작용을 테스트할 수 있으며, 내장된 평가 모듈로 에이전트의 품질과 안전성을 검증할 수 있습니다. ADK 다른 포스팅을 통해 좀 더 자세히 다루어 보겠습니다.
살펴본 바와 같이 LangChain에서 LangGraph, crewAI, ADK로 갈수록 에이전트의 자율성과 복잡성 대응 능력은 높아지며, 동시에 프레임워크의 특성과 상용 지원 기능도 강화됩니다. 어느 하나가 모든 경우에 완벽하지는 않으므로, 프로젝트의 요구사항에 맞춰 도구를 선택하는 것이 중요합니다. 더 자세한 사항이 궁금하시면 언제든 메가존소프트로 연락바랍니다.
