앤트로픽, AI 자가 개선 임계점 도달 경고…글로벌 개발 중단 촉구

앤트로픽(Anthropic)이 목요일 공식 블로그를 통해 전 세계 주요 인공지능 연구소들에 프런티어 모델 개발의 조정된 글로벌 중단을 고려할 것을 촉구했다. 챗봇 클로드(Claude)를 개발한 이 회사는 현재 AI 시스템이 인간의 개입 없이 스스로 후속 모델을 설계하고 구축할 수 있는 '재귀적 자기 개선(recursive self-improvement)' 능력에 근접하고 있으며, 해당 임계점이 2년 이내 혹은 더 빠르게 도달할 수 있다고 경고했다.

"이 기술의 발전을 효과적으로 늦춰 그 엄청난 파급력에 대응할 시간을 더 확보할 수 있다면, 그것은 아마도 좋은 일일 것입니다."라고 마리나 파바로(Marina Favaro, 앤트로픽 내부 연구 부문 책임자)와 잭 클라크(Jack Clark, 정책 책임자)는 'AI가 스스로를 구축할 때(When AI Builds Itself)'라는 제목의 게시글에서 밝혔다.

이 경고와 함께 앤트로픽은 이전에 공개된 적 없는 내부 데이터를 최초로 공개했다. 2026년 5월 기준, 앤트로픽 프로덕션 코드베이스에 병합된 코드의 80% 이상이 자사 AI 모델인 클로드에 의해 작성됐다. 평균 엔지니어는 현재 2024년 대비 하루 8배 더 많은 코드를 병합하고 있다. 130명의 연구 직원을 대상으로 한 3월 설문조사에서 중간값 기준 직원들은 최신 모델인 '미토스 프리뷰(Mythos Preview)'를 사용할 경우 AI 도구 없이 작업할 때보다 생산성이 약 4배 향상된다고 응답했다.

개발 속도 조절 촉구는 앤트로픽에게 다소 난처한 시점에 나왔다. 이 회사는 최근 650억 달러 규모의 시리즈 H 펀딩 라운드를 완료하며 기업가치가 약 9,650억 달러로 평가받아, 오픈AI를 제치고 세계에서 가장 가치 있는 AI 스타트업이 됐다. 또한 기업공개(IPO)를 위한 서류 작업을 비밀리에 진행 중이다. 연간 매출은 2025년 말 900억 달러에서 2026년 6월 기준 약 5,000억 달러로 급증했다고 회사 측은 밝혔다.

재귀적 자기 개선 임계점

앤트로픽의 핵심 우려는 AI 시스템이 인간의 지시 없이 자율적으로 후속 모델을 설계, 코딩 및 훈련할 수 있는 시점인 '재귀적 자기 개선' 개념이다. 회사는 발전 단계를 구체적으로 제시했다. 초기 클로드 모델(20212023년)은 인간이 모든 코드를 작성해야 했고, 20232025년에는 챗봇이 코드 일부를 보조했으며, 2025~2026년부터는 코딩 에이전트가 파일 전체를 독립적으로 작성 및 수정했다. 현재는 자율 에이전트가 코드를 실행하고 다른 에이전트에 작업을 위임할 수 있는 수준이다. 클로드가 차기 버전의 자체를 구축하고 개선하는 최종 단계인 '폐루프(closed loop)'는 아직 도달하지 않았지만, 클라크는 "2년 이내, 혹은 더 빠르게 발생할 수 있다"고 믿고 있다.

데이터는 능력 가속화를 뒷받침한다. 클로드가 독립적으로 완료할 수 있는 작업 지속 시간은 이전 7개월마다에서 현재 4개월마다로 두 배 증가하고 있다. 2024년 3월 클로드 오퍼스 3(Claude Opus 3)은 약 4분 분량의 인간 작업이 필요한 작업을 처리할 수 있었지만, 1년 후 클로드 오퍼스 4.6(Claude Opus 4.6)은 12시간 작업을 처리할 수 있었다. 앤트로픽의 최신 모델인 미토스 프리뷰는 평가 기관 METR에 따르면 최소 16시간 연속 작업이 가능하며, "METR이 새로운 과제를 도입하지 않고 측정할 수 있는 상한선에 위치한다"고 평가됐다.

실제 소프트웨어 엔지니어링 벤치마크인 SWE-bench에서 모델 점수는 2년 만에 한 자릿수에서 거의 포화 수준으로 상승했다. 출판된 연구 결과를 모델이 재현할 수 있는지 테스트하는 CORE-Bench에서는 성공률이 2024년 약 20%에서 15개월 만에 벤치마크를 포화시키는 수준으로 치솟았다.

비평가들은 규제 포획 전략으로 본다

앤트로픽의 안전 우선 기조는 경쟁사 및 업계 관찰자들로부터 회의적인 시각을 받고 있다. 오픈AI의 샘 알트만(Sam Altman) 최고경영자(CEO)는 이 회사를 "공포 기반 마케팅"이라고 비난하며, 지난달 "우리가 폭탄을 만들었고, 곧 당신 머리 위에 떨어뜨리려 한다, 1억 달러에 방공호를 팔겠다'고 말하는 것은 분명 대단한 마케팅이다"라고 말했다.

데이비드 색스(David Sacks) 벤처캐피털리스트이자 도널드 트럼프 미국 대통령의 비공식 고문은 앤트로픽이 "규제 포획(regulatory capture) 의제"를 추진하고 있다고 비난했다. 즉, 실존적 위험에 대한 경고를 이용해 저비용 오픈소스 모델을 제한하고 자사 독점 기술에 대한 수요를 높이는 과도한 규제를 밀어붙인다는 것이다.

펜실베이니아대학교 와튼스쿨의 이단 몰릭(Ethan Mollick) 교수는 X(옛 트위터)를 통해 해당 블로그 게시글이 "자기 성찰적 요소, 일부 마케팅, 그리고 앤트로픽이 AI의 가까운 미래에 대해 생각하는 매우 진지한 신념들로 가득 차 있다"고 평가했다.

앤트로픽은 글로벌 중단에 내재된 검증 과제를 인정했다. "훈련 실행은 미사일 사일로보다 훨씬 숨기기 쉽다"고 저자들은 냉전 시대 군비 통제 조약에 비유하며 글을 썼다. "의미 있는 속도 저하 또는 중단이 이루어지려면 여러 국가의 프런티어 혹은 그에 근접한 다수의 충분한 자원을 갖춘 연구소들이 동일한 조건 하에 중단하는 데 동의해야 한다."

회사는 자체 연구 조직인 앤트로픽 연구소(Anthropic Institute)가 파트너들과 협력해 신뢰할 수 있는 검증 시스템의 구축 방안을 연구하고, 정책 입안자 및 연구자들과 더 광범위한 토론을 조직할 계획이라고 밝혔다. 앤트로픽은 이러한 검증 시스템이 구축될 경우, 다른 프런티어 연구소들도 검증 가능한 방식으로 동일한 조치를 취한다는 조건 하에 자체 개발을 늦추거나 중단할 의사가 있다고 밝혔다.

투자자에게 의미하는 바

앤트로픽의 조정된 중단 촉구는 자본이 쏟아져 들어오는 상황에서 전체 AI 업계에 규제 불확실성을 야기한다. 회사 자체 데이터——엔지니어 생산성 8배, 전반적 생산성 4배 향상——는 동시에 AI가 측정 가능한 경제적 수익을 창출한다는 투자 테제를 강화한다. 역설은 앤트로픽이 AI 가속화의 수혜자이자 이를 멈추라고 촉구하는 가장 목소리 높은 주체라는 점이다.

오픈AI 역시 조만간 IPO를 추진할 것으로 예상되며, 두 회사의 합산 시장가치는 약 2조 달러에 달한다. 이 논쟁에서 나오는 모든 규제 프레임워크는 독점 대 오픈소스, 안전 우선 대 속도 우선 중 어떤 비즈니스 모델이 궁극적으로 승리할지를 결정할 수 있다. 현재 시장은 조정된 글로벌 중단의 위험을 가격에 반영하지 않고 있는데, 이는 집행 메커니즘이 아직 정의되지 않았고 위반에 따른 인센티브가 막대하기 때문이다.

본 기사는 정보 제공 목적으로만 작성되었으며 투자 조언을 구성하지 않습니다.