[슈퍼브 인사이트] AI 에이전트에게 일을 맡기기 전, 확인할 6가지 ✅

🌟 SUPERB Spotlight

로봇 3원칙에서 에이전트 6원칙으로

본 글은 Medium의 'Beyond Asimov: Six Laws for Enterprise Agentic AI'를 편집한 것으로, 전체 내용은 원글을 참고해 주세요.

지난 1년 사이, 거의 모든 주요 소프트웨어 기업이 AI 에이전트 비전을 내놓았습니다. 에이전트가 스스로 추론하고, 계획을 세우고, 다른 에이전트와 협업하며 사용자 대신 작업을 처리하는 것이죠. 새로운 에이전트의 발표마다 더 높은 자율성과 생산성, 그리고 복잡한 작업을 수행하는 데 필요한 노력을 획기적으로 줄여줄 것이라는 점을 강조하는데요.

정작 논의에서 빠진 부분도 보입니다. 에이전트가 할 수 있는 일은 활발히 다뤄지는 반면에, 에이전트가 무엇을 해야 하는 지에 대한 논의는 거의 다뤄지지 않습니다. 신뢰, 투명성, 거버넌스(조직이 정한 관리·통제 체계), 동의(consent), 책임(accountability) 같은 질문이 뒤로 밀려나 있는 것이죠. 이제 기업 환경에서 에이전트의 가치는 작업 수행 능력만으로 정해지지 않습니다. 사용자가 믿고 일을 맡길 수 있어야 하죠.

1942년 SF 작가 아이작 아시모프는 소설 속에서 지능을 가진 기계가 따라야 할 '로봇 3원칙'을 제시했습니다. 인간을 해치지 않을 것, 인간의 명령에 따를 것, 스스로를 보호할 것이라는 세 가지 원칙인데요. 그 바탕에는 점점 똑똑해지는 기계가 인간의 이익에서 벗어나지 않게 하려면 어떻게 해야 하는가라는 질문이 있었습니다. 오늘날의 AI 에이전트는 물리적 공간을 움직이는 로봇과 다른 환경에서 일하죠. 기업 애플리케이션 안에서 데이터를 다루고, 워크플로우(업무가 처리되는 순서와 흐름)를 실행하고, 추천을 내놓으며 사람의 개입 없이 직접 행동하기도 합니다. 이러한 환경에 맞는 에이전트에 대한 새로운 원칙이 필요한 이유도 여기서 나옵니다. 아래 여섯 가지는 기술 요건이나 규제 기준과 다른 설계 원칙으로, 기업용 AI가 신뢰할 수 있고 투명하게 움직이도록 돕기 위한 출발점이 될 수 있습니다.

에이전트는 먼저 이해하고 허락된 범위 안에서 움직여야 합니다

① 행동 전에 시스템을 이해해야 한다

에이전트는 자신이 일하는 애플리케이션의 기능, 비즈니스 규칙, 문서, 워크플로우, 성공 사례를 먼저 알아야 합니다. 아무리 똑똑한 신입 직원도 처음 써보는 소프트웨어에서는 도구와 절차부터 익혀야 하는 것과 같은 이치죠. 모델의 지능만으로는 맥락이 없는 환경에서 제대로 일하기 어렵습니다. 자율적인 행동을 위해서는 시스템에 대한 지식이 필수적입니다.

② 위임받은 권한 안에서만 행동해야 한다

에이전트는 사용자와 조직이 명시적으로 허락한 범위 안에서만 데이터를 생성, 수정 또는 삭제할 수 있어야 합니다. 목적은 책임 소재를 분명히 하는 데 있는데요. 에이전트가 할 수 있는 일과 하도록 허가받은 일을 구분하고, 그 경계를 감사(audit, 누가 무엇을 했는지 기록하고 점검하는 일)할 수 있는 형태로 정해둬야 합니다. 더 많은 권한이 필요하면 에이전트가 직접 요청하는 구조가 바람직하겠죠. 에이전트의 신뢰는 이 두 가지를 명확히 구분하는데서 비로소 시작됩니다. 아는 만큼, 허락받은 만큼만 움직이는 에이전트여야 사용자가 안심하고 일을 맡길 수 있으니까요.

판단의 근거와 협업의 규칙은 조직이 정해야 합니다

③ 신뢰할 수 있는 맥락에 근거해 판단해야 한다

기업의 의사결정은 고객, 재무, 운영, 규제 의무에 영향을 줍니다. 대략적인 답을 허용하는 소비자용 AI와 기준이 다를 수밖에 없죠. 에이전트는 사내 데이터, 고객별 정보, 승인된 검색 시스템처럼 조직이 신뢰하는 맥락을 바탕으로 권장 사항과 조치를 취해야 하는 것인데요. 이는 소비자용 AI와 기업용 AI의 중요한 차이점이기도 합니다. 사용자 경험(UX) 측면에서도 에이전트는 사용자가 어떤 기업용 도구를 사용하는지 먼저 파악하고, 실제 작업을 수행하기 전에 필요한 정보를 확인해야 합니다. 맥락이 없으면 에이전트의 답은 예측에 불과하고, 맥락이 있어야 의사결정을 도울 수 있습니다.

④ 공통 거버넌스 통해서만 협업해야 한다

미래의 에이전트 생태계는 전문화된 에이전트들이 협력하는 형태로 발전할 가능성이 큽니다. 정보를 찾는 에이전트, 분석하는 에이전트, 실행하는 에이전트가 역할을 나눠 함께 일하는 방향으로 가는 것이죠. 이때 참여하는 모든 에이전트가 조직의 보안, 개인정보, 컴플라이언스(법규·내부 규정 준수), 감사 체계를 똑같이 따라야 합니다. 하지만 외부 에이전트가 섞이면 관리가 까다로워질 텐데요. 기업들이 애플리케이션과 데이터에 대한 거버넌스 모델을 개발해 온 것처럼, 가장 엄격한 쪽 기준에 맞추는 방법을 고려해야 할 것입니다. 공통 기준 없이 에이전트만 늘어나면 관리 밖의 IT 자산을 뜻하는 섀도 IT에 이어 '섀도 AI(shadow intelligence)'가 생겨날 수 있기 때문인데요. 자율성 확장에 맞추어 거버넌스도 기준을 확장해 나가야 합니다.

에이전트는 의도를 넘겨짚지 않고 자신의 행동을 설명해야 합니다

⑤ 사용자의 의도를 넘겨짚지 않아야 한다

에이전트가 사용자의 신뢰를 가장 빠르게 잃는 길은 예상하지 못한 행동일 텐데요. 너무나 당연하지만, 에이전트는 요청받지 않은 작업을 하려면 가장 먼저 사용자의 확인을 받도록 해야 합니다. 사람들은 도움을 원하면서도 통제권은 놓고 싶어 하지 않죠. 에이전트의 자율성이 높아질수록 투명성과 동의의 무게도 커집니다. 유용한 시스템은 사용자의 의도에 따라 작업을 수행하며 신뢰를 구축할 수 있습니다.

⑥ 자신의 행동을 설명해야 한다

사용자는 에이전트가 어떤 정보를 바탕으로 판단했으며, 왜 특정 행동을 선택했는지 이해할 수 있어야 합니다. 설명가능성(Explainability)이란 AI의 판단 근거를 사람이 이해할 수 있도록 보여주는 것으로, 규제 대응뿐 아니라 사용자 경험(UX) 측면에서도 중요하기 때문인데요. 그렇다고 에이전트가 모든 판단 과정을 일일이 설명할 필요는 없습니다. 사용자가 궁금할 때, 판단 근거와 작업 내역을 쉽게 확인할 수 있도록 하는 것이 중요하죠. 앞으로 AI 에이전트가 더 복잡한 업무를 수행하게 될수록, 무엇을 할 수 있는지만큼이나 '왜 그렇게 행동했는지' 설명하는 능력도 중요해질 것입니다. 아무리 정확한 결과를 내놓더라도 그 이유를 알 수 없다면, 사용자는 에이전트에게 선뜻 일을 맡기기 어려울 테니까요.

에이전트 도입의 성패는 신뢰에서 갈립니다

에이전트에 대한 논의는 대부분 자율성을 얼마나 높일 수 있는가에 집중합니다. 몇 개의 작업을 맡길 수 있는지, 얼마나 많은 워크플로를 자동화할 수 있는지가 주로 거론되죠. 그 밑에 더 근본적인 질문이 있습니다. 사람들이 이 시스템을 믿고 자기 대신 행동하도록 맡길 수 있는가 하는 질문입니다.

에이전트 도입에 성공하는 조직은 가장 자율적인 에이전트보다 가장 신뢰받는 에이전트를 배치한 곳일 가능성이 큽니다. 지능도 중요하지만 거버넌스, 투명성, 맥락, 사람 중심 설계가 그만큼 중요합니다. 아시모프의 로봇 3원칙도 같은 질문에서 출발했습니다. 시스템의 능력이 커질수록 그 시스템이 사람의 이익과 같은 방향을 향하도록 정렬(alignment)하는 일이 더 중요해집니다.

여섯 원칙은 논의를 열기 위한 초안으로 제안되었습니다. 여러분이라면 무엇을 더하거나 빼시겠어요?

📌 주목해야 할 핵심 인사이트

1. 에이전트의 성능은 데이터와 맥락의 품질에서 출발합니다.

제1원칙과 제3원칙은 모델 성능 경쟁에서 놓치기 쉬운 지점을 짚습니다. 에이전트가 정확히 판단하려면 업무 규칙, 문서, 검증된 데이터가 먼저 정리되어 있어야 합니다. 산업 현장의 AI도 마찬가지인데요. 현장 데이터가 정제되고 맥락이 붙어 있어야 모델이 내놓는 결과를 실제 의사결정에 쓸 수 있습니다.

2. 권한과 거버넌스는 도입 초기에 정해야 합니다.

여러 팀이 각자 에이전트를 도입하기 시작하면 누가 어떤 권한을 줬는지 추적하기 어려워집니다. 사용 패턴이 정착되기 전에 권한 경계, 승인 절차, 감사 기록 방식을 정해두면 나중에 바로잡는 것보다 훨씬 적은 비용이 듭니다. 과거 클라우드와 SaaS가 확산되면서 기업의 관리 범위 밖에서 IT 도구를 사용하는 '섀도 IT(Shadow IT)' 문제가 발생했던 것처럼, AI 에이전트 역시 조직의 승인이나 관리 없이 도입되는 '섀도 AI(Shadow AI)' 문제로 이어질 수 있다는 점을 유념해야 합니다.

3. 판단 근거는 필요할 때 쉽게 확인할 수 있어야 합니다.

설명 가능성(Explainability)을 단순히 규제 대응을 위한 요건으로만 생각하면 AI의 모든 판단 근거를 사용자에게 보여주려 하기 쉽습니다. 하지만 사용자는 대부분 결과를 빠르게 확인하고 싶어 하며, 의문이 생겼을 때 비로소 그 이유를 궁금해합니다. 따라서 모든 정보를 처음부터 보여주기보다는, 사용자가 원할 때 판단 근거와 작업 과정을 쉽게 확인할 수 있도록 설계하는 것이 좋습니다. 이렇게 하면 사용성을 해치지 않으면서도 AI에 대한 신뢰를 높일 수 있기 때문인데요. 결국 AI 제품을 기획하거나 도입할 때는 무엇을 설명할 것인지뿐 아니라, 언제 어떻게 보여줄 것인지도 함께 고민해야 합니다.

✏️ SUPERB Curation

슈퍼브 이정권 3D Vision team Lead의 추천:

GroundAnything, 자연어로 원하는 객체를 찾아내는 비전 AI 모델 공개

GroundingPI가 자연어 설명을 바탕으로 이미지 속 원하는 객체를 찾아내는 비전 AI 모델인 GroundAnything을 공개했습니다. 사전에 정해진 클래스에만 의존하지 않고, 사용자가 입력한 텍스트를 기반으로 특정 객체나 영역을 식별하는 것이 핵심인데요. 이를 통해 복잡한 이미지에서도 원하는 대상을 직관적으로 지정하고, 다양한 시각 인식 작업에 활용할 수 있다고 합니다.

특히 자연어를 활용한 객체 탐지와 시각적 위치 파악(Grounding)을 지원한다는 점에서 주목할 만한데요. 기존 객체 탐지 모델이 정해진 클래스 중심으로 동작했다면, GroundAnything은 텍스트로 탐지 대상을 지정할 수 있어 새로운 객체나 조건에 더욱 유연하게 대응할 수 있습니다. 이러한 접근은 데이터 라벨링 자동화와 이미지 검색, 로보틱스 등 다양한 분야에서 활용 가능성을 넓혀줍니다.

👉 GroundAnything 자세히 살펴보기

슈퍼브 정현지 Product Advocate의 추천:

Google, AI로 논문과 기술 문서를 심층 검토하는 Deep Review 공개

Google Research가 AI를 활용해 논문과 기술 문서를 분석하는 Deep Review를 소개했습니다. 단순히 문서의 핵심 내용을 요약하는 것을 넘어, 연구의 논리적 흐름과 기술적 주장을 검토하고 개선이 필요한 부분을 찾아내는 데 초점을 맞춘 기술인데요. 복잡한 수식과 전문적인 내용을 포함한 문서를 분석해 연구자가 놓치기 쉬운 문제를 발견하도록 돕는 것이 핵심이라고 합니다.

특히 AI가 연구 내용을 이해하는 데 그치지 않고, 비판적으로 검토하는 역할까지 수행한다는 점이 흥미로운데요. 연구자는 AI의 분석 결과를 참고해 논문의 완성도를 높이거나 기술 문서의 오류를 점검하는 데 활용할 수 있습니다. AI가 단순한 정보 검색과 요약 도구를 넘어 연구 과정의 검토와 검증을 지원하는 협업 도구로 발전하고 있음을 보여주는 사례입니다.

👉 Deep Review 살펴보기