권도현 | 기자 작성일 2026년 09월 25일
프로스트 앤드 설리번은 자율형 AI 시대에 대응하기 위해 기업 운영 모델의 재설계가 필요하다고 전했다
글로벌 시장조사 및 컨설팅 기업 프로스트 앤드 설리번(Frost & Sullivan)이 기업용 AI의 역할 변화에 맞춰 운영 모델 전반을 다시 짜야 한다는 진단을 내놨다.
회사는 최근 기고문 ‘AI가 스스로 행동하기 시작할 때: 자율형 AI 시대의 기업 운영 모델 재고(When AI Starts Acting: Rethinking Enterprise Operating Models in the Age of Autonomous AI)’를 통해, 기업용 AI가 단순한 업무 자동화의 범위를 벗어나 운영상의 판단과 행동에 직접 참여하는 단계로 올라서고 있으며 이에 따라 기존 기업 운영 모델을 재설계할 필요성이 커지고 있다고 분석했다.
자동화에서 판단으로, 달라진 AI의 위치
초기 세대의 기업용 소프트웨어는 미리 정의된 업무 흐름을 자동화하는 데 머물렀다. 반면 오늘날의 AI 시스템은 주어진 상황을 해석하고 어떤 행동이 필요한지 스스로 판단하며, 사람의 개입을 최소화한 상태에서 작업을 수행하는 방향으로 진화하고 있다.
변화의 무게중심이 옮겨간 만큼 기업이 풀어야 할 질문도 달라졌다. AI를 기존 업무 프로세스에 도입하는 데서 그치지 않고, AI에게 운영상의 판단과 행동 권한을 어느 수준까지 부여할 것인지, 그리고 의사결정과 책임, 통제 및 복원 체계를 어떻게 다시 설계할 것인지를 함께 고민해야 한다는 것이 프로스트 앤드 설리번의 분석이다.
특히 AI가 운영상의 판단과 행동에 직접 참여하기 시작하면서, 의사결정과 책임, 통제, 복원력을 포함한 거버넌스 체계는 더 이상 기술 부서의 과제로만 남아 있을 수 없게 됐다. 기업 운영의 핵심 과제로 위치가 바뀌고 있다는 설명이다.
복구를 넘어 ‘신뢰할 수 있는 운영 상태’ 확보해야
기존의 복원력 전략은 주로 인프라 장애나 사이버 공격, 재해가 발생한 이후 시스템과 데이터를 복구하는 데 초점을 맞춰왔다. 위협의 출발점이 외부에 있다는 전제가 깔려 있던 셈이다.
그러나 자율형 AI 환경에서는 사정이 다르다. 외부 공격자가 취약점을 악용하지 않더라도, 정상적으로 권한이 부여된 AI가 정상적인 데이터와 계정을 사용해 의도하지 않은 결과를 만들어낼 수 있다는 새로운 형태의 운영 리스크가 존재한다. 침입의 흔적이 없는 사고, 다시 말해 모든 절차가 규정대로 작동한 상태에서 발생하는 사고가 가능해진 것이다.
이에 따라 복구의 개념도 바뀌고 있다. 전체 IT 환경을 되돌리는 기존 방식에서 벗어나, AI가 수행한 특정 행동을 식별하고 격리한 뒤 전체 운영을 중단하지 않으면서 해당 행동만 되돌릴 수 있는 방향으로 이동하고 있다. 단순히 인프라를 복구하는 것을 넘어 신뢰할 수 있는 운영 상태를 회복하는 것이 새로운 복원력의 목표로 자리 잡고 있다는 것이 회사의 설명이다.
결국 복원력은 인프라 복구 역량이 아니라 지속적인 운영에 대한 신뢰를 유지하는 기업의 운영 역량으로 성격이 변화하고 있다. 중요한 것은 시스템 전체를 복구할 수 있는지에 그치지 않는다. 의도하지 않은 AI의 행동을 식별하고 격리하며, 이러한 행동이 연결된 비즈니스 프로세스 전반으로 확산되기 전에 되돌릴 수 있는지가 관건이다.
AI 신뢰 확보, 데이터 가시성과 거버넌스 역량이 핵심
파운데이션 모델이 빠르게 발전하고 모델 간 성능 차이가 점차 축소되면서, 기업의 AI 경쟁력을 가르는 기준도 이동하고 있다. 어떤 모델을 쓰는지보다 기업이 보유한 데이터의 품질과 이를 관리·통제하는 역량이 성패를 좌우할 가능성이 높아졌다.
조직은 자신이 파악하지 못하는 데이터를 효과적으로 통제하기 어렵다. 따라서 신뢰할 수 있는 AI 환경을 구축하려면 데이터와 사용자·시스템의 디지털 신원(Digital Identity), 접근 권한 사이의 관계를 명확하게 파악할 수 있는 가시성이 중요하다.
실제 수치도 이런 지적을 뒷받침한다. Veeam의 ‘2026 Data & AI Trust Gap’ 조사에서 AI를 효과적으로 관리하는 데 필요한 거버넌스 및 운영 역량을 갖춘 조직은 전체의 7%에 불과한 것으로 나타났다. AI 활용과 운영 참여가 확대되는 가운데, 기업이 AI를 신뢰하고 통제하기 위한 역량을 갖추는 일이 여전히 남은 과제임을 보여주는 결과다.
조사가 드러낸 도입과 통제의 시차
Veeam의 해당 조사는 금융서비스와 헬스케어, 제조, 유통, 기술 등 주요 산업의 시니어 임원 600명을 대상으로 진행됐다. 조사에 따르면 AI 에이전트를 이미 활용하거나 시범 도입한 조직은 88%에 달했고, 데이터 관련 과제가 AI 추진 속도를 이미 늦췄다고 답한 비율은 95%였다.
이 조사는 AI 준비도를 목표(ambition)와 가시성(visibility), 거버넌스(governance) 세 축으로 정의했다. 데이터와 AI에 대한 명확한 목표, 보유 데이터의 소재와 내용을 파악하는 신뢰할 만한 시야, 데이터를 안전하고 규정에 맞게 활용하도록 뒷받침하는 거버넌스 구조를 모두 갖춘 조직이 앞서 언급한 7%다. 이 집단에서는 97%가 지난 1년간 정량화된 유의미한 사업 성과를 확인했다고 답해, 준비도와 성과가 맞물려 움직인다는 점을 시사했다.
반면 통제 공백을 보여주는 지표도 함께 나왔다. 조직 내 비승인 AI 사용을 보고한 비율은 95%, 이를 중대한 리스크로 인식한 비율은 93%였으나, 전 직원에게 승인된 대안을 제공하는 조직은 25%에 그쳤다.
업계 전망도 거버넌스를 지목
자율형 AI의 통제 문제를 짚는 목소리는 시장 전반에서 나오고 있다. 가트너는 2027년까지 기업의 40%가 자율형 AI 에이전트를 강등하거나 폐기할 것으로 전망했는데, 그 원인으로 운영 사고가 발생한 뒤에야 확인되는 거버넌스 공백을 꼽았다. 같은 기관은 2027년 말까지 에이전틱 AI 프로젝트의 40% 이상이 비용 증가와 불분명한 사업 가치, 미흡한 리스크 통제로 취소될 것이라는 예측도 내놨다.
도입 속도 자체는 빠르다. 가트너는 2026년 말까지 기업용 애플리케이션의 40%가 특정 업무에 특화된 AI 에이전트와 통합될 것으로 봤다. 2025년 5% 미만에서 크게 늘어난 수치다. 아울러 2028년에는 일상 업무 의사결정의 15%가 AI 에이전트에 의해 자율적으로 이뤄질 것으로 전망했다. 권한 부여의 범위와 책임 구조를 정리하는 일이 미룰 수 없는 과제가 된 배경이다.
국내 여건은 어디까지 왔나
국내 기업의 AI 도입률은 58%로 전년 48%에서 10%포인트 상승했다. 국내 기업의 AI 투자는 전년 대비 120% 증가해 아태지역 평균 116%와 글로벌 평균 110%를 모두 웃돌았다. 다만 전사적 확산을 뒷받침할 전략과 인재, 거버넌스 기반은 아직 충분하지 않다는 평가가 뒤따른다.
에이전틱 AI로 범위를 좁히면 격차가 더 뚜렷하다. 글로벌에서는 기업의 84%가 에이전틱 AI에 투자 중이거나 투자 계획을 갖고 있는 것으로 조사됐으나, 국내는 인지도 37%에 전면 도입 8% 수준으로 초기 단계에 머물러 있다.
“얼마나 도입하느냐보다 어디까지 맡기느냐”
프로스트 앤드 설리번 한국지사 이선지 연구원은 “한국 기업의 AI 활용이 확대되는 가운데, 앞으로는 AI를 얼마나 많이 도입하느냐보다 AI에게 어디까지 판단과 행동을 맡길 것인지가 중요한 과제가 될 것”이라고 말했다.
이어 “자율형 AI가 기업 운영에 직접 참여하는 시대에는 기존의 사람 중심 통제 체계만으로는 새로운 과제를 설명하기 어려워지고 있으며, AI가 운영상의 판단과 행동에 직접 참여하는 만큼 AI에게 부여되는 권한과 이에 따른 책임, 데이터와 시스템의 복원력까지 포함한 새로운 운영 모델을 설계해야 한다”고 강조했다.
프로스트 앤드 설리번 소개
프로스트 앤드 설리번(Frost & Sullivan)은 모빌리티, ICT, 헬스케어, 에너지 등 주요 산업에 관한 글로벌 시장조사 및 컨설팅 기관으로 60여 년 이상 고객 비즈니스 성장을 위한 솔루션을 지원하고 있다.
전 세계 29개국 47개 지사에 2200여 명의 컨설팅 인력을 운영하며, 12개 주요 산업과 기술에 대한 지속적인 조사와 분석을 바탕으로 성장 전략, 벤치마킹, 경제 동향, 미래 유망 기술 분석 및 메가 트렌드 식별 등 다양한 컨설팅 서비스를 제공한다. 정부기관과 기업, 투자자 등 다양한 고객의 미래 성장 기회 및 전략 수립을 지원하고 있다.