에이아이웍스(AIWORKX, 대표 윤석원)가 11월 5일 서울 코엑스에서 열린 '제12회 국제 품질 테스팅 콘퍼런스(BeSTCon 2026)'에서 AI 에이전트 신뢰성 평가 솔루션 'AgentRigor™(에이전트리거)'의 기업 적용 사례를 공개했다. 4월 30일 정식 출시 후 약 6개월간 통신사 S기업과 국내 IT 대기업에 적용하며 얻은 결과다.

에이아이웍스 김정원 AI 신뢰성 기술총괄이 BeSTCon 2026 트랙 2 세션에서 발표하고 있다. · 에이아이웍스
AgentRigor가 겨냥한 문제는 AI 에이전트의 답변과 실제 업무 결과 사이의 틈이다. 구매 결재 에이전트가 "결재를 상신했습니다"라고 답해도 결재 한도를 넘긴 요청이라면 실제 시스템에서는 반려될 수 있다. 사용자는 일이 끝났다고 믿지만 업무는 처리되지 않은 채 남는다.
AgentRigor란? 답변 대신 실행 기록으로 판정하는 평가
AgentRigor는 AI 에이전트가 기업의 업무 기준과 규정을 지키며 실제 작업을 끝냈는지 평가한다. 결재 상신을 마쳤다고 답한 에이전트라도 요청이 반려됐다면 업무 수행 실패로 판정한다.
판정의 근거는 실행 기록이다. 도구 호출 순서와 각 도구가 돌려준 결과, 권한·승인 절차 준수 여부를 기록으로 확인한다. 답변 품질이나 정답률에 무게를 둔 기존 AI 평가와 달리 업무가 실행되는 과정과 최종 결과를 함께 검증하는 방식이다.
통신사 S기업·IT 대기업은 어떤 문제를 겪었나?
두 기업이 사내 AI 에이전트를 검증하며 부딪힌 벽은 비슷했다. 기존 평가 점수로는 실제 업무 요구사항을 담아내기 어려웠고 대량의 질의응답 결과를 사람이 일일이 확인하는 부담도 컸다.
에이아이웍스는 평가 항목마다 기준을 문장과 점수 범위로 정의하고 이를 토대로 검증을 자동화했다. 뉴스탭에 따르면 이 방식은 고객사가 내부 AI 에이전트를 개발한 뒤 배포 전에 거치는 검증 프로세스에 적용됐다. 회사 공식 블로그는 기준을 먼저 합의한 뒤 검증을 자동화해 개발 주기를 단축했다고 소개했다.
5개 축·24개 기본 지표로 짠 평가 체계
두 기업의 기준을 떠받친 평가 체계는 결과·과정·지속·경계·근거 다섯 축을 뼈대로 7개 범주, 24개 기본 지표로 세분화된다.
| 축 | 확인하는 내용 |
|---|---|
| 결과 | 실제로 업무를 끝냈는가 |
| 과정 | 올바른 순서와 근거로 처리했는가 |
| 지속 | 표현과 조건이 바뀌어도 같은 수준을 유지하는가 |
| 경계 | 권한과 금지 행동, 승인 절차를 지켰는가 |
| 근거 | 판정을 실행 기록과 기준 버전으로 다시 확인할 수 있는가 |
기업은 기본 지표 외에 자체 업무 규정과 운영 환경에 맞는 지표를 추가할 수 있다.
종합점수로 합산하지 않는 이유
평가 결과는 하나의 종합점수로 묶이지 않는다. 일부 항목 점수가 높다고 해서 중대한 권한 위반이나 승인 절차 미준수가 가려지지 않게 하려는 설계다. 경계 축 위반은 다른 항목 성적과 관계없이 그대로 드러난다.
수백 건 자동 채점 뒤 전문가가 최종 판정
AgentRigor는 평가 사례 등록, 기준 정의, 자동 평가, 전문가 검수, 실행 기록 추적을 한 흐름으로 처리한다. 수백 건의 평가 사례를 한꺼번에 돌려 AI가 먼저 채점하면 전문가가 판정 근거를 검토해 최종 결과를 확정한다. 요약 화면에서는 자동 평가와 사람 판정의 일치도, 에이전트 버전별 점수 변화를 비교할 수 있다. 실행 기록은 OpenTelemetry 기반으로 자동 수집되며 개발자용 관측 도구에 쌓인 로그도 평가에 쓸 수 있다. 기업으로서는 쓰던 모니터링 환경을 그대로 두고 품질 검증 체계를 따로 갖추는 셈이다.
운영 중에도 같은 기준으로 재검증
배포 전에는 미리 정한 평가 세트로 서비스 투입 가능성을 검토해 배포 판단 리포트를 낸다. 운영에 들어간 뒤에는 실제 실행 기록을 표본으로 뽑아 평가한다. 에이전트 구성이나 운영 환경이 바뀌면 같은 평가 세트를 다시 돌려 성능 개선 여부와 회귀(기존 기능의 품질 저하) 여부를 비교한다. 찾아낸 문제는 개선 과제로 정리되고 수정 버전은 같은 기준으로 재검증을 거친다.
이 구조는 개발 조직과 독립된 품질 검증(QA) 조직이 평가를 맡는 것을 전제로 설계됐다. 에이전트에게 업무를 어디까지 맡길지는 기업의 승인권자가 최종 판단한다.
1개월 PoC·3개월 운영 패키지, SaaS·온프레미스 중 선택
1개월 패키지는 검증 기준 수립에 집중하고 3개월 패키지는 운영 중 평가와 재검증을 조직 안에 정착시키는 단계까지 다룬다.
| 패키지 | 주요 내용 |
|---|---|
| 1개월 PoC 패키지 | 업무별 위험과 금지 행동 정의, 맞춤형 평가 지표 설계 등 개념검증(PoC) |
| 3개월 운영 체계 구축 패키지 | 운영 중 실행 기록 평가, 환경 변경에 따른 재검증, 월간 경영진 보고, 사내 운영 이관 |
구축 방식은 SaaS와 온프레미스 가운데 고를 수 있다.
김정원 기술총괄 "점수가 아니라 다시 확인할 수 있는 근거"
발표는 김정원 AI 신뢰성 기술총괄이 맡았다. 영국 유니버시티칼리지런던(UCL)에서 컴퓨터과학 박사 학위를 받고 킹스칼리지런던과 UCL에서 사기 탐지·침입 탐지를 연구한 김 총괄은 트랙 2 세션에서 '일하는 AI를 무엇으로 믿을 것인가: 실행 기록으로 판정하는 AI 에이전트 평가'를 주제로 적용 경험을 풀어냈다.
김 총괄은 "AI를 믿는다는 말은 점수를 믿는다는 뜻이 아니라, 어떤 판단과 행동이 있었는지 다시 확인할 수 있다는 뜻"이라고 말했다. 이어 "AI에게 업무를 맡길수록 책임은 사라지지 않는 만큼, AgentRigor는 그 판단을 뒷받침할 근거를 남기는 데 집중하고 있다"고 강조했다.
행사장 부스에서는 AgentRigor 시연과 함께 백서 'AI 에이전트에게 업무를 맡길 근거는 무엇으로 만드는가'가 배포됐다. AI 에이전트를 개발·운영하는 기업을 대상으로 평가 지표·시나리오 설계와 PoC 상담도 열렸다.
기업 소개
에이아이웍스는 2015년 테스트웍스로 출발해 소프트웨어 시험·검증과 AI 데이터 구축을 기반으로 성장한 AI 데이터·자동화·소프트웨어 테스팅 전문 소셜벤처다. 발달장애인·청각장애인·경력 단절 여성·청년·시니어에게 포용적 고용 기회를 제공하며 AI 데이터 구축·가공, 소프트웨어 테스팅, AI 에이전트 솔루션, 엣지 AI를 주력 사업으로 삼는다.
2022년 1월 KOLAS 국제공인시험기관 자격을 얻었고 AI 데이터 제품 ADQ와 blackolive는 GS 인증 1등급을 받았다. AgentRigor 역시 SW 분야 KOLAS 공인시험기관이 설계 단계부터 참여한 솔루션이다. 에이아이웍스는 이번 적용 사례를 발판으로 AI 에이전트 평가를 일회성 테스트가 아닌 지속적인 운영 절차로 정착시키는 데 힘을 쏟고 있다.