기업의 디지털 전환(DX) 전략의 완성은 AI 전환(AX)을 통해 이루어집니다. 모두가 알지만 막상 실천에 옮기고자 할 때 주저하게 됩니다. 보안에 대한 걱정 때문입니다. Agentic AI 환경은 기존 엔터프라이즈 컴퓨팅과 여러모로 다릅니다. 그러다 보니 기존 보안 도구와 보안 운영 방식만으로는 보안성을 확보하기 쉽지 않습니다. 기존 체계와 새로운 방법을 더하는 접근이 필요한 이유입니다. 문제는 어디에 무엇을 더할 것인가를 정하는 것도 쉽지 않다는 것입니다. 관련해 이번 포스팅에서는 Agentic AI 보안 강화를 위한 심층 방어 전략에 대해 알아보겠습니다.
심층 방어 전략
보안 전문가들은 AI 에이전트 시스템을 안전하게 지키기 위해 다음 세 가지 방어선을 구축할 것을 권장합니다.
보안의 첫 단추는 AI 에이전트 자체가 아닙니다. AI 에이전트를 만들고 배포하는 사람을 통제하는 것입니다. 개발자에게 모든 권한을 주는 대신 역할을 철저히 나눠야 합니다. 예를 들어 AI 에이전트 설정을 바꾸는 엔지니어에게는 관리자(Vertex AI Admin) 권한을, 단순히 사용하는 개발자에게는 최소한의 사용자(User) 권한만 부여합니다. 또한, IAM 조건(IAM Conditions)을 활용해 “특정 AI 에이전트에 대해서만 관리자 권한을 쓴다”라고 명시하여 계정이 해킹당하더라도 피해가 전체 시스템으로 번지지 않도록 격리해야 합니다.
두 번째 방어선은 자격 증명입니다. LLM은 해커가 교묘한 질문을 던져 정보를 빼내는 프롬프트 인젝션 공격에 취약합니다. 따라서 AI 에이전트의 기억 공간인 메모리에 API 키나 비밀번호 같은 민감한 정보를 절대 저장해선 안 됩니다.
대신 중개자 패턴(Intermediary Pattern)을 사용해야 합니다. AI 에이전트가 데이터베이스에 직접 접속하는 것이 아니라 안전한 도구(Tool)에게 “이 작업을 해줘”라고 요청만 하는 방식입니다. 이때 실제 API 키는 별도의 보안 저장소에 보관되어 있고, 요청을 받은 도구가 이 키를 잠시 꺼내 작업을 처리합니다. AI 에이전트는 키의 존재조차 모르기 때문에, 에이전트가 해킹당해도 탈취할 자격 증명이 없습니다.
세 번째 방어선은 런타임 데이터와 대화 보호 계층입니다. 인프라를 안전하게 꾸몄더라도 실제 오고 가는 대화 내용이 유출될 수 있습니다. 이를 막는 최후의 방어선이 구글 클라우드의 Model Armor 같은 런타임 보호 솔루션입니다. 이는 AI 에이전트와 사용자 사이에 오가는 모든 대화를 실시간으로 감시합니다. 악의적인 공격 시도를 차단하는 것은 물론, 대화 중에 주민등록번호나 신용카드 번호 같은 개인정보(PII)가 포함되면 자동으로 마스킹 처리합니다.
운영 거버넌스
소개한 심층 방어 전략을 토대로 AI 에이전트의 특성을 고려한 보안 조치도 필요합니다. 이는 권한 분리와 제로 트러스트 측면에서 살펴볼 수 있습니다. 먼저 기술적 권한과 사용자 권한 분리에 대해 알아보겠습니다. AI 에이전트가 사용자를 대신해 캘린더에 일정을 등록하는 것과 같은 작업을 처리할 때 에이전트가 가진 기술적 권한과 사용자가 실제로 허용한 권한을 모두 확인해야 합니다. 이를 위해 OBO(On-Behalf-Of, 사용자 위임) 방식을 사용합니다. 핵심은 AI 에이전트에게 사용자의 모든 권한을 주는 것이 아니라 “지금 하려는 그 작업”에 필요한 최소한의 권한만 담긴 임시 토큰을 발급하는 것입니다. 또한, 로그 기록에는 “이 작업은 철수(User)가 시켜서 에이전트(Agent)가 수행함”이라고 명확히 남겨 책임 소재를 분명히 해야 합니다.
다음으로 제로 트러스트 적용에 대해 알아보겠습니다. 여러 AI 에이전트끼리 협업할 때는 아무도 믿지 않는 다는 제로 트러스트 원칙을 적용해야 합니다. 상대 AI 에이전트가 누구인지 상호 인증(mTLS)을 거치고, 서로 어떤 기능을 가졌는지 정보는 교환하되 내부 로직은 철저히 숨겨야 합니다.
한편, 결제나 데이터 삭제처럼 위험한 작업은 반드시 인간의 승인을 거쳐야 합니다. 이는 단순한 운영 규칙이 아니라 시스템적으로 강제되어야 합니다. AI 에이전트가 민감한 작업을 하려 하면 시스템이 자동으로 멈추고(Breakpoint), 사용자가 별도의 수단(앱 알림 등)으로 승인 버튼을 눌러야만 임시 권한이 생겨 작업을 마무리할 수 있도록 설계해야 합니다.
2026년을 대비하는 자세
2026년이 되면 기업 내에서 AI 에이전트가 활약할 것으로 보입니다. Agentic AI 시대의 보안은 단순히 외부 침입을 막는 것을 넘어 상황(Context)을 이해하는 보안과 유연한 권한 제어로 진화해야 합니다. Agentic AI 도입에 맞는 보안 태세를 갖추고 싶다면 언제든 메가존소프트로 연락바랍니다.
