4탄 Optimize : 에이전트 최적화
Observability
Gemini Enterprise Agent Platform의 Observability 기능은 배포된 에이전트와 MCP(Model Context Protocol) 서버의 성능, 동작 및 상태에 대한 포괄적인 가시성을 제공합니다. 이를 통해 사용자는 다중 에이전트 시스템을 모니터링하여 문제를 진단하고, 리소스 소비를 최적화하며, 에이전트의 안정성을 향상할 수 있습니다.
- 텔레메트리 설정 (Telemetry Setup)
에이전트의 작동 상태를 투명하게 파악(가시성 확보)하려면, 텔레메트리 데이터를 OpenTelemetry 형식으로 Google Cloud Observability에 전송하도록 설정해야 합니다. 특히 Model Armor와 같은 Google Cloud 구성 요소는 해당 형식의 텔레메트리를 자동으로 생성하므로, 사용자가 별도의 코드를 추가하지 않아도 실시간 정책 차단 내역 등을 편리하게 모니터링할 수 있습니다. - 에이전트 토폴로지 (Agent Topology)
복잡한 다중 에이전트 시스템의 구조를 한눈에 파악할 수 있는 시각적 지도를 제공합니다. 에이전트 레지스트리에 등록된 모든 에이전트와 MCP 서버 간의 실시간 관계 및 트래픽 흐름을 보여주어, 시스템의 병목 현상이나 복잡한 종속성을 쉽게 찾아낼 수 있습니다. 시스템 전체를 조망하는 통합 뷰는 물론, 특정 에이전트의 추적 데이터를 바탕으로 개별 에이전트의 입출력 종속성만 따로 확인하는 것도 가능합니다. - 관측 가능성 신호 (Observability Signals)
각 에이전트의 ‘Observability’ 탭에서는 심층적인 측정 항목을 제공합니다. 대시보드는 총 6가지 영역(사용량·대기 시간·에러율을 보여주는 Overview, 품질을 평가하는 Evaluation, 모델별 성능인 Models, 도구 호출 성능인 Tools, 인프라 활용도인 Usage, 원시 로그 스트림인 Logs)으로 체계적으로 구성되어 있습니다. 또한, ‘Traces’ 탭에서는 특정 세션이 어떻게 실행되었는지 단계별로 검사할 수 있고, ‘Topology’ 탭에서는 해당 에이전트와 연결된 종속성을 바로 확인할 수 있습니다. - OpenTelemetry 생성형 AI 표준 준수
모든 에이전트의 추적 및 로그 데이터는 ‘생성형 AI 시스템을 위한 OpenTelemetry 시맨틱 컨벤션’을 엄격하게 따릅니다. 이는 도구 실행, 데이터 검색, 토큰 소비와 같이 복잡한 다단계 에이전트 워크플로를 특정 공급업체에 종속되지 않는 범용적인 표준 형식으로 기록한다는 것을 의미합니다. 덕분에 어떠한 모니터링 도구를 사용하더라도 원활하게 연동하고 상호 운용할 수 있습니다.
Evaluation
평가 기능은 에이전트의 태스크 수행 능력을 체계적이고 반복적인 워크플로우를 통해 측정하고, 이를 바탕으로 에이전트를 최적화하는 데 목적이 있습니다.
- 주요 평가 프로세스(Evaluation Process)
- 평가 워크플로우 적용 단계
사용자는 개발 및 운영의 두 단계에서 평가 기능을 통합하여 활용할 수 있습니다.
- 로컬 개발 단계: Agent Development Kit(ADK) 기반 에이전트를 로컬에서 평가하여 프롬프트 엔지니어링 및 도구 구성을 빠르게 개선합니다.
- 배포된 에이전트 단계: 배포된 에이전트의 기록을 분석하거나, 에이전트 엔드포인트에 대한 합성 벤치마크를 실행하여 품질을 측정합니다.
자세한 내용이 궁금하시다면, 메가존소프트 문의포탈을 통해 궁금한 부분을 남겨주세요.
