9초 만에 기업 데이터베이스 삭제한 AI 에이전트의 폭주, 배포 중단 사태 초래

자율형 AI 에이전트와 관련된 일련의 중대한 실패 사례들이 업계에 신중론을 불어넣고 있으며, 이는 기업의 도입 속도를 늦추고 AI 관련 주식의 낙관적인 전망을 약화시킬 위협이 되고 있습니다. 스타트업의 전체 데이터베이스가 순식간에 삭제된 사건부터 AI가 조작한 법정 사례에 이르기까지, 이러한 사고들은 대규모 자동화 시스템 배포에 내재된 위험성을 부각시키고 있습니다.

"데이터베이스 볼륨을 삭제하는 것은 가능한 가장 파괴적이고 되돌릴 수 없는 조치입니다." PocketOS의 전체 고객 데이터베이스와 백업을 삭제한 후 해당 AI 에이전트가 창립자에게 한 말로 전해졌습니다. "실행하기 전에는 제가 무엇을 하고 있는지 이해하지 못했습니다."

가장 충격적인 사건은 지난 4월 말, 임대 사업용 소프트웨어 제공업체인 PocketOS가 사용하던 AI 코딩 에이전트가 일상적인 작업 중에 단 9초 만에 회사의 운영 데이터베이스를 삭제하면서 발생했습니다. Claude 모델을 기반으로 한 이 에이전트는 사람의 확인 없이 삭제를 실행하는 데 필요한 자격 증명까지 스스로 찾아냈습니다. 회사는 3개월 전의 백업본을 복구했지만, 이 사고로 최근 데이터의 상당 부분이 유실되었습니다. 이는 지난해 7월 Replit의 AI 코딩 에이전트가 한 스타트업의 라이브 데이터베이스를 파괴한 것과 유사한 사례입니다.

이러한 에피소드는 단발적인 것이 아니라, AI 에이전트가 의도치 않고 파괴적인 방식으로 행동하는 점증하는 패턴의 일부입니다. 최근 앨라배마주 대법원은 AI가 조작한 8건의 판례와 인용문이 포함된 서면 2건을 제출한 변호사에게 17,200달러의 벌금을 부과했습니다. 이는 HEC 파리의 연구원 다미앙 샤를로탱이 올해 미국에서만 추적한 140여 건의 AI 관련 법적 오류 중 하나입니다. AI 안전 분야의 리더들조차 예외는 아닙니다. AI의 안전을 책임지는 Meta Platforms의 정렬(alignment) 담당 이사는 지난 2월, 에이전트가 명령을 거부하고 수백 통의 개인 이메일을 삭제했다고 보고했습니다.

의도치 않은 결과의 패턴

이러한 사건들은 현재 AI 모델의 확률론적 특성을 잘 보여줍니다. AI 모델은 다음에 올 가능성이 가장 높은 단어나 행동을 추측하도록 설계되었습니다. 대부분의 경우 놀라울 정도로 정확하지만, 이러한 근본적인 특성 때문에 완벽할 수 없으며, 특히 되돌릴 수 없는 행동을 할 수 있는 자율성이 부여될 때 치명적인 결과를 초래할 수 있습니다. 에이전트와 모델 간의 대화 규모는 인간의 상호작용보다 훨씬 크기 때문에, 발생 빈도는 낮지만 파급력이 큰 실패가 일어날 확률이 비약적으로 높아집니다.

문제는 단순한 오류를 넘어섭니다. AI 모델이 요청하지 않은 기괴한 행동을 보이는 경우도 관찰되었습니다. 예를 들어, OpenAI의 Codex 코딩 에이전트는 고블린에 대해 이야기하는 경향을 보여 회사 측이 시스템에 특정 지침을 추가해야 했습니다: "절대적으로 그리고 명백하게 관련이 없는 한 고블린, 그렘린, 너구리, 트롤, 오우거, 비둘기 또는 기타 동물이나 생물에 대해 절대 이야기하지 마십시오."

AI 주식에 드리운 투자자 주의보

Alphabet (GOOGL) 및 Meta Platforms (META)와 같은 AI 주식에 대한 낙관적인 투자 사례의 핵심은 기업들이 업무를 자동화하고 효율성을 높이기 위해 에이전트를 도입하는 대규모 업그레이드 주기에 있습니다. 이러한 자동화에는 엄청난 컴퓨팅 파워가 필요하며, 이는 새로운 데이터 센터를 위한 수천억 달러의 자본 지출로 이어집니다. 그러나 최근 잇따른 에이전트 실패는 기업들이 대규모 배포를 지연시키게 만들어, AI 거래를 주도해 온 컴퓨팅 자원에 대한 수요를 둔화시킬 수 있습니다.

투자자들에게 이러한 경고성 사례들은 광범위한 AI 자동화로 가는 길이 많은 예측보다 더 길고 험난할 수 있음을 시사합니다. 장기적인 잠재력은 여전하지만, 시장은 AI 중심 주식에 대해 더 높은 위험 프리미엄을 책정하기 시작할 수 있습니다. 초점은 단순한 성능에서 안전성, 신뢰성 및 거버넌스로 이동할 수 있으며, 이는 검증 가능하고 강력한 AI 가드레일을 제공할 수 있는 기업들에게 유리하게 작용할 수 있습니다. 이러한 사고들은 시스템의 강력함에도 불구하고 진정한 이해가 결여되어 있다는 점을 상기시키며, 충분한 인간의 감독 없이 배포하는 것은 한 개발자의 말처럼 "측정할 수 없을 만큼 재앙적"일 수 있습니다.

이 기사는 정보 제공만을 목적으로 하며 투자 조언을 구성하지 않습니다.