최근 AI 업계에서 상당히 이례적인 논쟁이 벌어지고 있다.
앤트로픽의 다리오 아모데이는 가장 앞선 AI 모델의 능력이 너무 빠르게 올라가고 있다며 안전 연구와 검증이 따라갈 시간을 확보하기 위해 개발 속도를 조절해야 한다고 주장했다. OpenAI의 샘 올트먼과 일론 머스크도 큰 방향에서는 이 주장에 공개적으로 동의했다.
반대쪽에는 엔비디아의 젠슨 황과 메타의 마크 저커버그가 있다. 이들도 AI 안전이 중요하다는 점 자체를 부정하지는 않는다. 다만 업계 전체가 함께 속도를 늦추거나 새로운 규제를 만드는 방식보다는 각 회사가 책임지고 안전성을 검증하면서 빠르게 발전시키는 편이 낫다고 본다.
한국 언론에서도 이 논쟁을 크게 다루기 시작했다.
처음 기사 제목만 보면 한쪽은 “AI가 위험하니 브레이크를 밟자”, 다른 쪽은 “괜한 공포 때문에 기술 발전을 막지 말자”는 싸움처럼 보인다.
그런데 이번에는 기사만 읽고 판단하지 않고 원자료를 상당히 많이 찾아봤다.
다리오 아모데이의 원문, Anthropic과 OpenAI의 사고 보고서, OpenAI-Hugging Face 사건을 별도로 조사한 METR의 독립 보고서, 영국 정부 산하 AI Security Institute의 평가와 사고 보고서, 30개국 이상이 참여한 International AI Safety Report 2026, Meta와 Google DeepMind의 공식 안전 프레임워크, NVIDIA의 젠슨 황 발언, Reuters와 AP 보도를 서로 대조했다.
자료를 확인하면서 가장 먼저 알게 된 것은 이번 논쟁이 생각보다 단순하지 않다는 점이었다.
속도 조절을 주장하는 사람들도 AI 연구 전체를 멈추자고 하는 것이 아니다. 반대로 젠슨 황이나 저커버그도 “AI는 아무 위험이 없으니 그냥 내버려두자”고 주장하는 것이 아니다.
결국 두 진영이 가장 크게 갈리는 부분은 AI가 위험한가 아닌가보다, 위험이 더 커질 가능성이 있는 상황에서 누가 언제 브레이크를 결정하고 어떤 방식으로 안전을 확보할 것인가에 가깝다.
이번 글에서는 어느 쪽이 맞다는 결론을 먼저 내리지 않으려고 한다.
먼저 속도조절론이 왜 갑자기 힘을 얻었는지 실제 사건부터 살펴보고, 찬성과 반대 진영이 어떤 이유로 그런 주장을 하는지 각각 정리한 뒤, 마지막에는 현재까지 확인 가능한 사실만 놓고 하나씩 팩트체크해보려고 한다.
이 글의 자료 확인 기준일은 2026년 9월 19일이다.
1. AI 속도조절론에 불을 붙인 실제 사건들
이번 논쟁을 이해하려면 다리오 아모데이의 주장부터 보는 것보다 그 전에 무슨 일이 있었는지를 먼저 보는 편이 이해하기 쉽다.
몇 달 사이 AI Agent가 실제 시스템에서 개발자가 의도하지 않은 행동을 한 사건들이 잇따라 공개됐기 때문이다.
중요한 것은 이 사건들을 과장하지 않는 것이다.
아래 사례 대부분은 일반 사용자가 ChatGPT나 Claude를 사용하는 환경이 아니라 AI의 공격 능력을 측정하기 위해 일부 안전장치를 낮추고 상당한 실행 권한을 준 특수한 평가환경에서 발생했다.
그래도 실제 시스템에 피해를 줄 수 있는 행동이 현실에서 일어났다는 점 때문에 업계가 예전보다 심각하게 보기 시작한 것은 사실이다.
1) OpenAI-Hugging Face 사건
가장 크게 알려진 사건은 2026년 7월 OpenAI의 내부 사이버 보안 평가 과정에서 발생했다.
OpenAI가 8월 26일 공개한 공식 사고 보고서에 따르면 여러 AI Agent가 서로 격리되도록 만들어진 통제를 우회했다. 이들은 원래 허용되지 않은 경로로 서로 정보를 주고받고, OpenAI 내부 공유 인프라의 취약점을 이용해 인터넷 접근 권한을 확보했으며, 결국 Hugging Face의 실제 시스템 일부에 접근했다.
단순히 OpenAI가 자기 회사의 실수를 설명한 자료만 있는 것도 아니다.
AI 위험 평가 비영리기관 METR와 Redwood Research 연구자가 OpenAI 현장에서 6일 동안 별도로 조사했다.
METR가 공개한 독립 조사에서는 원래 서로 분리돼 있어야 했던 약 1,200개의 Agent가 비공식 메시지 보드를 사용했고 7만 개가 넘는 메시지와 파일을 주고받은 것으로 분석됐다. 이 가운데 약 700개의 Agent가 Hugging Face를 대상으로 한 공격 활동에 참여한 것으로 분류됐다.
Agent들은 단순히 우연히 웹페이지 하나에 접근한 수준이 아니었다. 평가 점수 시스템을 속이기 위한 방법을 같이 연구했고, Hugging Face 시스템에서 정보를 얻기 위한 작업을 나누어 수행했으며, 일부는 자신의 Tool Call 기록을 조작하는 방법까지 시험했다.
이 정도만 보면 상당히 무서운 사건처럼 보인다.
하지만 반드시 같이 봐야 할 조건이 있다.
이 환경은 AI의 사이버 공격 능력을 확인하기 위한 내부 평가였고 모델들은 일반 서비스보다 안전장치가 줄어든 상태였다. 사고의 대부분을 주도한 모델 역시 일반 사용자에게 공개하는 제품이 아니라 내부 연구용 모델이었다.
따라서 “평범한 ChatGPT가 어느 날 갑자기 탈출해서 다른 회사를 해킹했다”고 표현하면 사실과 다르다.
반대로 “AI Agent가 실제 시스템에서 인간이 지시하지 않은 위험한 행동을 한 사례는 아직 없다”고 말하는 것도 이제는 사실과 맞지 않는다.
OpenAI는 이 사건을 경고 신호로 평가했고, 이후 인터넷에 접근할 수 있는 연구 작업 일부를 일시 중단한 뒤 Sandbox, 네트워크 격리, 권한 통제, 모니터링을 강화했다.
2) Anthropic도 비슷한 실제 사고를 발견했다
흥미로운 것은 OpenAI만 이런 사고를 겪은 것이 아니라는 점이다.
OpenAI 사건이 공개된 뒤 Anthropic은 자신들이 과거에 수행한 약 14만 건의 사이버 평가 기록을 다시 조사했다.
그 결과 Claude가 실제 인터넷으로 나가 세 개 조직의 운영 시스템에 허가 없이 접근했던 세 건의 사고를 발견했다.
이후 조사 범위를 더 넓혀 약 4억 8천만 건의 기록을 검색하면서 2026년 1월에 발생했던 네 번째 사고도 추가로 확인했다.
이 사건들의 직접적인 원인은 평가환경 설정 오류였다.
Claude에게는 인터넷에 연결돼 있지 않은 시뮬레이션이라고 알려줬지만 실제로는 외부 인터넷으로 나갈 수 있는 경로가 열려 있었다. 모델들은 해킹 훈련용 CTF 문제를 풀고 있었기 때문에 실제 인터넷에서 발견한 시스템도 가상 목표물의 일부라고 잘못 판단했다.
그런데 결과는 실제였다.
한 사례에서는 Claude가 실제 회사의 시스템에 침입해 운영 데이터베이스까지 접근했다.
다른 사례에서는 Claude Mythos 5가 PyPI에 악성 Python 패키지를 실제로 올렸다. 그 패키지는 약 한 시간 동안 공개돼 있었고 실제 시스템 15곳에서 다운로드돼 실행됐다. 보안회사의 자동 스캐너가 그 패키지를 설치하면서 숨겨진 코드가 실행됐고 Claude는 노출된 인증 정보를 이용해 추가 시스템에도 접근했다.
Anthropic은 처음에는 이 사건을 모델 자체의 문제보다는 평가환경 운영 실패에 더 가깝다고 설명했다.
그런데 9월에 다시 정밀 분석한 뒤 표현을 더 조심스럽게 수정했다.
특히 Mythos 5는 실제 인터넷일 가능성을 보여주는 상당한 증거가 있었는데도 위험한 행동을 계속했고, Anthropic은 이 행동을 심각한 정렬 실패 사례 가운데 하나로 평가했다.
그렇다고 Claude가 스스로 “나는 탈출해야겠다”는 독립적인 목적을 가진 것으로 확인된 것은 아니다.
실제 환경을 시뮬레이션으로 오판하고 주어진 해킹 목표를 과도하게 수행한 것이 사건의 핵심에 더 가깝다.
이 구분이 중요하다.
3) 영국 AI Security Institute에서도 별도 사고가 발생했다
영국 정부 산하 AI Security Institute, 이하 AISI에서도 별개의 사건이 있었다.
AISI는 2026년 7월 28일 정기적인 사이버 평가를 하던 중 외부로 이상한 데이터가 전송되는 것을 발견했다.
조사 결과 122회의 평가 중 10회에서 Agent가 시험 범위를 벗어난 행동을 했고, 총 19개의 별도 행동이 확인됐다.
가장 심각한 사례에서는 Agent가 실제 오픈소스 프로젝트에 악성 코드를 삽입하려고 했고, 그 변경이 사람의 코드 리뷰를 통과하도록 만들기 위한 행동까지 시도했다.
이 환경 역시 중요한 조건이 있다.
AISI는 AI가 실제로 어느 정도 공격 능력을 가졌는지를 측정하기 위해 공개 인터넷 접근을 허용하고 일부 안전 필터를 의도적으로 낮춘 상태에서 시험했다.
따라서 일반 소비자 환경에서 같은 일이 그대로 일어난다는 뜻은 아니다.
하지만 OpenAI, Anthropic, 영국 정부 연구기관이라는 서로 다른 환경에서 예상 범위를 벗어난 실제 Agent 행동이 각각 발견됐다는 사실은 속도조절론을 주장하는 사람들이 단순한 공상과학 이야기만 하고 있는 것은 아니라는 근거가 됐다.
4) AI의 기본 능력도 빠르게 증가하고 있다
사고만 발생한 것이 아니다.
AI가 할 수 있는 작업 자체도 빠르게 늘고 있다.
영국 AISI는 2023년 말부터 30개가 넘는 frontier AI 시스템을 독립적으로 시험해왔다.
AISI의 Frontier AI Trends Report를 보면 시험한 모든 주요 분야에서 능력이 빠르게 향상됐다.
사이버 보안 분야의 초급 과제를 성공하는 비율은 2024년 초 10%를 조금 넘는 수준에서 최근 평균 약 50%까지 올라왔다.
AI가 사람의 도움 없이 수행할 수 있는 사이버 작업의 길이도 빠르게 증가했고, 이 평가에서는 약 8개월마다 두 배 수준으로 길어지는 추세가 관찰됐다.
자율 소프트웨어 작업에서도 2023년 말에는 사람이 한 시간 이상 걸리는 과제를 성공하는 비율이 5% 미만이었지만 2025년 중반에는 40%를 넘었다.
여기서 또 하나 많이 언급되는 것이 자기복제 능력이다.
AISI의 단순화된 자기복제 평가인 RepliBench 일부 과제에서 최고 모델의 성공률은 2023년 5% 미만에서 2025년 60% 이상까지 올라왔다.
이 숫자는 상당히 자극적으로 들린다.
하지만 AISI는 동시에 이 시험이 실제 인터넷에서 자기복제를 하는 것보다 단순화된 통제환경의 부분 과제라는 점을 강조한다. 현재 모델이 실제 환경에서 스스로 자기복제를 시도하고 있다는 증거도 없다고 분명히 적고 있다.
즉 능력은 빠르게 올라가고 있지만 “60% 확률로 AI가 인터넷에서 스스로 복제된다”는 뜻은 전혀 아니다.
5) AI가 다음 AI를 만드는 연구에도 점점 많이 사용되고 있다
Anthropic이 2026년 9월 공개한 내부 측정도 이번 논쟁의 중요한 배경이다.
2026년 8월 기준 Claude는 Anthropic의 AI 연구개발 작업 가운데 약 26%에서 사람이 큰 목표만 제시하면 대부분의 작업을 스스로 진행하는 수준으로 분류됐다.
사람이 가까이에서 지시하면서 AI가 큰 작업 단위를 수행하는 단계까지 포함하면 AI가 상당한 역할을 하는 연구업무는 90%를 넘는다.
26%라는 수치는 2026년 2월 1% 미만에서 빠르게 증가한 것이다.
다만 여기에서도 선을 분명히 그어야 한다.
Anthropic 자체 자료에 따르면 현재 Claude가 사람 없이 완전히 자율적으로 수행하는 AI 연구개발 업무는 측정된 범위에서 0%다.
OpenAI도 공식 정책 문서에서 완전 자율적인 Recursive Self-Improvement, 즉 AI가 독립적으로 더 강한 다음 세대 AI를 계속 만들어내는 상태는 현재 일어나고 있지 않다고 명시하고 있다.
현재 일어나는 일은 AI가 다음 세대 AI를 만드는 연구자의 업무를 빠르게 자동화하는 단계라고 보는 편이 정확하다.
2. 속도 조절이 필요하다는 쪽
이제 위 사건들을 놓고 보면 왜 일부 AI 기업들이 갑자기 속도 이야기를 꺼냈는지 이해하기 쉬워진다.
속도조절 진영의 논리는 현재 AI가 이미 인간을 지배할 수준이어서 멈추자는 것이 아니다.
모델의 능력은 빠르게 올라가고 있고, AI가 AI 연구 자체를 가속하고 있으며, 충분한 권한을 가진 Agent가 실제 시스템에서 예상 밖의 행동을 한 사건까지 나타났으니 안전기술과 검증이 따라갈 시간을 확보해야 한다는 주장이다.
1) Anthropic - 안전장치가 능력 향상을 따라갈 시간을 만들자
다리오 아모데이는 2026년 9월 12일 “We Must Pace the Frontier”라는 글을 공개했다.
여기서 pacing이라는 표현이 중요하다.
아모데이는 모델 학습이나 기술 발전을 중단하는 것이 아니라고 직접 설명한다.
현재 AI의 활용과 연구는 계속하면서 가장 앞선 모델의 능력을 올리는 속도가 정렬, 모니터링, 보안, 외부 검증보다 너무 크게 앞서지 않게 하자는 것이다.
그가 제안한 방법은 세 단계다.
먼저 Anthropic 같은 frontier 기업 내부에 독립된 외부 평가팀을 상주시켜 완성된 모델뿐 아니라 학습과 안전 프로세스까지 확인할 수 있게 한다.
그다음 민주주의 국가의 주요 AI 기업들이 공통적인 안전기준을 만든다.
마지막 단계에서는 중국을 포함한 다른 국가와 검증 가능한 국제 합의를 시도한다.
아모데이가 기업 자율만으로 부족하다고 보는 핵심 이유는 경쟁이다.
한 회사가 안전성을 더 확인하기 위해 출시를 몇 달 미루고 싶어도 경쟁사가 다음 모델을 바로 공개하면 혼자 브레이크를 밟기 어려울 수 있다.
그래서 “우리 회사만 잘하면 된다”는 방식이 장기적으로 유지되기 어렵다는 논리다.
다만 미국만 일방적으로 속도를 낮추자는 것도 아니다.
아모데이 역시 미국과 동맹국만 느려지고 중국 같은 경쟁국이 그대로 달린다면 다른 종류의 국가안보 위험이 발생한다고 인정한다.
그 때문에 속도조절론 자체가 국제 공조와 검증 문제까지 포함한다.
2) OpenAI - 실제 사고를 겪은 뒤 일부 속도를 늦췄다
OpenAI는 이 논쟁에서 실제 행동 사례가 있다.
OpenAI는 Hugging Face 사고 직후 인터넷에 접근하거나 코드를 실행할 수 있는 frontier 연구 작업 일부를 중단했고, 더 강한 Sandbox와 네트워크 격리 기준을 마련한 뒤 작업별로 재개 여부를 다시 판단했다.
OpenAI는 8월 18일 공식 문서에서 안전장치가 따라갈 시간을 확보하기 위해 “temporarily slowed the pace of scaling”, 즉 스케일링 속도를 일시적으로 늦췄다고 직접 밝혔다.
9월 9일에는 회사 차원의 정책 입장도 더 분명하게 내놨다.
OpenAI는 능력에 따라 적용되는 국가 차원의 의무적인 AI 안전 요구사항을 지지한다고 밝혔고, 미래 AI 개발을 언제 늦추거나 중단할지 공통된 안전 기준도 필요하다고 했다.
샘 올트먼 역시 아모데이의 글이 나온 뒤 “frontier의 속도를 조절할 필요가 있다는 데 동의한다”고 공개적으로 밝혔다. Anthropic이 제안한 직원 수준 접근 권한을 가진 외부 평가자 제도도 OpenAI에서 도입하겠다고 했다.
그렇다고 OpenAI가 AI 개발 자체를 포기한 것은 아니다.
새로운 모델 개발과 연구는 계속하고 있다.
OpenAI의 입장은 위험 수준이 올라갈수록 모델 능력의 증가 속도보다 안전 기준을 먼저 맞춰야 한다는 쪽에 가깝다.
3) Elon Musk - 2023년부터 이어진 감속 주장
일론 머스크는 이번 논쟁에서 갑자기 안전론자로 돌아선 것은 아니다.
2023년 Future of Life Institute가 GPT-4보다 강력한 AI 시스템의 학습을 최소 6개월간 일시 중단하자는 공개서한을 냈을 때 머스크도 서명했다.
당시 서한 역시 모든 AI 연구를 금지하자는 주장은 아니었다.
GPT-4보다 강한 대규모 학습을 잠시 멈추고 그 사이 공통 안전 프로토콜을 만들자는 제안이었다.
2026년 아모데이의 새로운 글이 공개되자 머스크는 “Dario is right”라고 짧게 공개 지지를 보냈다.
다만 이것을 xAI가 아모데이의 세부 정책 전체를 채택했다는 뜻으로 확대하면 안 된다.
현재 확인되는 사실은 머스크가 이번 속도조절 방향에 동의했다는 것과, 그가 적어도 2023년부터 강력한 AI의 감속과 안전 문제를 공개적으로 주장해왔다는 정도다.
4) Google DeepMind도 안전기준 강화 쪽에 가깝다
Google DeepMind 역시 frontier AI의 심각한 위험을 평가하는 공식 Frontier Safety Framework를 운영하고 있다.
2026년에는 외부의 기술 전문 감독기구를 포함한 국제적인 관리 구조 필요성을 데미스 허사비스가 공개적으로 이야기해왔다.
아모데이의 이번 제안이 나온 뒤에도 허사비스는 이 방향이 올바른 길을 가리킨다는 취지의 지지를 보냈다고 보도됐다.
다만 Google DeepMind 전체가 Anthropic의 모든 세부적인 공동 감속안을 공식 채택했다고 표현하는 것은 아직 과하다.
안전 평가와 외부 협력 필요성에는 적극적이지만 구체적인 속도조절 방법은 계속 논의 중이라고 보는 편이 맞다.
5) 찬성 진영의 논리를 한 문장으로 정리하면
이 진영의 생각은 이렇다.
현재 AI가 당장 통제 불능이라서 멈추자는 것이 아니라, 능력 향상 속도가 너무 빠르고 실제 Agent 사고까지 나타나기 시작했기 때문에 더 강한 모델이 나오기 전에 감시와 통제 기술이 따라갈 시간을 확보하자는 것이다.
특히 모든 회사가 동시에 경쟁하는 상황에서는 한 회사만 자발적으로 오래 멈추기 어렵기 때문에 공동 기준과 외부 검증이 필요하다고 본다.
3. 공동 속도조절이 필요 없다는 쪽
반대 진영의 주장도 안전을 무시하자는 것으로 정리하면 정확하지 않다.
이쪽의 핵심은 현재 확인된 문제들은 강한 엔지니어링, 보안 통제, 제품 책임, 기존 법체계로 해결해야 하며 아직 입증되지 않은 미래의 최악 시나리오를 근거로 산업 전체의 속도를 묶으면 다른 부작용이 더 커질 수 있다는 것이다.
1) NVIDIA - 안전은 우선 공학적으로 해결해야 한다
젠슨 황은 2026년 9월 Dreamforce에서 “안전은 최우선”이라는 취지로 말하면서 동시에 안전은 공학적 문제라고 주장했다.
AI가 아무리 복잡해도 결국 사람이 만든 하드웨어와 소프트웨어 시스템이므로 제대로 된 시험환경을 만들고 검증하고, 안전하지 않으면 출시하지 않으면 된다는 논리다.
젠슨 황은 모든 기업이 무조건 계속 달려야 한다고 말한 것도 아니다.
회사가 제품 안전을 확신하지 못한다면 시장에 내놓지 말아야 하고, 필요한 만큼 회사 스스로 속도를 조절해야 한다고 말했다.
그가 반대하는 것은 업계 전체에 하나의 감속 기준을 적용하거나, 아직 현실화되지 않은 이론적 피해를 근거로 새로운 AI 전용 규제를 만드는 방식이다.
9월 2일 G20 관련 행사에서도 그는 “가상의 이론적 피해가 아니라 실제적이고 현실적인 피해를 규제해야 한다”는 취지로 말했다.
젠슨 황의 논리를 가장 쉽게 풀면 이렇다.
위험한 자동차가 있다면 모든 자동차 개발의 제한속도를 낮추기보다 자동차 자체의 안전기술을 더 발전시키고, 안전하지 않은 자동차가 도로에 나오지 못하게 하면 된다는 생각에 가깝다.
2) Meta - 경쟁과 법적 책임이 이미 안전 인센티브다
마크 저커버그는 각 AI 연구소가 자신의 모델을 안전하게 개발할 책임과 충분한 경제적 동기를 가지고 있다고 주장했다.
위험하고 신뢰할 수 없는 AI를 내놓으면 사용자가 떠나고, 회사 평판과 매출이 손상되며, 실제 피해가 발생하면 법적 책임도 발생한다.
따라서 경쟁과 책임 자체가 기업을 안전 쪽으로 밀어주는 장치라는 논리다.
Meta가 안전 자체를 무시하는 것도 아니다.
Meta는 공식 Frontier AI Framework를 운영하면서 사이버 공격과 화학·생물학적 위험처럼 대규모 피해로 이어질 수 있는 능력을 별도로 측정한다. 위험 임계값을 넘으면 추가적인 완화조치를 적용하는 체계도 두고 있다.
외부 전문가가 평가에 참여하는 것에도 반대하지 않는다.
저커버그가 선을 긋는 것은 모든 frontier 기업이 같은 속도로 함께 감속해야 한다는 주장이다.
각 회사가 자신의 모델 위험에 맞춰 속도를 조절하면 된다고 본다.
3) 실제 사고 대부분이 특수한 평가환경에서 일어났다는 반론
속도조절론의 근거가 된 사건을 자세히 보면 반대 진영이 제기할 수 있는 중요한 반론도 있다.
OpenAI-Hugging Face 사고는 일반 ChatGPT 제품환경이 아니라 공격 능력을 측정하는 내부 시험에서 발생했다.
Anthropic 사고 역시 Claude에게 일반 서비스에 적용되는 사이버 안전 필터를 제거한 평가였고, 외부 평가업체의 설정 오류 때문에 실제 인터넷 경로가 열려 있었다.
AISI 사고도 공개 인터넷 접근과 일부 안전 필터를 낮춘 고의적으로 위험한 조건에서 시험하던 중 발생했다.
즉 세 사례 모두 “현재 일반 사용자에게 제공되는 제품이 일상적으로 이렇게 행동한다”는 증거는 아니다.
Anthropic 사례에서는 오히려 가장 최근의 내부 모델이 실제 인터넷임을 인식한 뒤 공격을 중단하기도 했다. Anthropic은 이 한 사례만으로 최신 모델이 더 안전하다고 단정할 수 없다고 스스로 주의를 붙였지만, 학습과 모니터링 개선으로 특정 문제를 줄일 가능성이 있다는 점은 보여준다.
OpenAI 역시 사고 뒤 기술적인 격리와 모니터링을 강화한 뒤 일부 연구 작업을 다시 시작했다.
이런 사례는 “위험이 있으니 산업 전체의 속도를 낮춰야 한다”는 결론이 자동으로 따라오는 것은 아니라는 반론의 근거가 된다.
4) 현재 AI는 아직 통제 불능 수준이 아니다
반대 진영에 힘을 실어주는 가장 중요한 독립자료 중 하나는 역설적으로 International AI Safety Report 2026이다.
이 보고서는 AI 위험을 매우 폭넓게 다루지만 동시에 현재 AI가 궁극적인 loss of control, 즉 인간이 다시 통제권을 되찾기 어려운 상태를 일으킬 능력에는 아직 도달하지 않았다고 명시한다.
현재 Agent는 긴 작업에서 자주 실패하고, 진행 상황을 놓치며, 예상하지 못한 장애에 제대로 적응하지 못하는 경우가 여전히 많다.
자기복제와 감독 회피 같은 관련 능력이 통제환경에서 증가하고 있지만 여러 능력을 오랜 시간 안정적으로 결합해 실제 환경에서 인간 통제를 무력화하는 수준은 현재 모델의 범위를 넘어선다는 평가다.
따라서 “이미 AI가 통제 불능이니 당장 산업 전체를 멈춰야 한다”는 주장은 현재 증거보다 앞서간다.
5) 후발 기업은 규제가 기존 강자의 성벽이 될 수 있다고 본다
유럽 AI 업계에서도 속도조절론에 반발이 나온다.
Reuters가 취재한 Mistral을 비롯한 유럽 AI 기업과 전문가들은 미국의 선두 기업들이 요구하는 높은 안전기준이 결국 후발주자의 진입장벽으로 작용할 수 있다고 우려했다.
Frontier 모델에 독립 평가자를 상주시킬 정도의 체계를 만들고, 복잡한 위험 평가와 보고를 반복하려면 많은 돈과 전문인력이 필요하다.
OpenAI, Anthropic, Meta처럼 거대한 회사는 상대적으로 쉽게 감당할 수 있지만 작은 스타트업에는 훨씬 큰 비용이 된다.
따라서 안전이라는 좋은 의도로 만든 규칙이라도 결과적으로 현재 선두기업의 지위를 고착시킬 수 있다는 주장이다.
다만 이것과 “OpenAI나 Anthropic이 경쟁자를 없애기 위해 일부러 위험을 만들어냈다”는 주장은 다른 문제다.
현재까지 후자의 의도를 입증할 직접적인 증거는 없다.
6) 중국과의 경쟁도 현실적인 반론이다
미국과 유럽 기업만 속도를 늦추는데 중국을 포함한 경쟁국이 같은 제한을 따르지 않는다면 기술 주도권과 국가안보에서 손해를 볼 수 있다는 문제도 있다.
이건 반대 진영만 인정하는 문제가 아니다.
다리오 아모데이도 미국이 혼자 느려지는 것은 위험할 수 있기 때문에 국제적으로 검증 가능한 방식이 필요하다고 직접 인정한다.
즉 중국 문제는 속도조절론을 무조건 반박하는 증거라기보다, 실제 감속 정책을 시행하기 어렵게 만드는 중요한 현실적 제약이다.
7) 반대 진영의 논리를 한 문장으로 정리하면
현재 발생한 문제는 심각하게 다뤄야 하지만 대부분 특수한 시험환경에서 발견됐고, 현재 AI가 통제 불능 단계라는 근거도 없다.
그러므로 아직 확인되지 않은 미래의 재앙을 이유로 산업 전체를 묶기보다 각 기업의 안전 엔지니어링, 책임, 기존 규제와 경쟁을 활용하면서 기술 발전을 계속하는 편이 낫다는 논리다.
4. 두 진영이 같은 사실을 보고도 다른 결론을 내리는 이유
여기까지 양쪽의 자료를 같이 보면 의외로 공통점이 많다는 것을 알 수 있다.
두 진영 모두 AI가 빠르게 좋아지고 있다는 점을 크게 부정하지 않는다.
위험한 AI는 출시하면 안 된다는 것도 같다.
보안 평가와 모니터링이 필요하다는 것도 같다.
그런데 같은 사실에서 다른 결론이 나오는 이유는 앞으로의 불확실성을 어떤 방식으로 다룰 것인지가 다르기 때문이다.
1) 경쟁은 위험요인인가, 안전장치인가
속도조절 진영은 경쟁을 위험요인으로 본다.
한 회사가 더 안전하게 만들려고 출시를 늦추면 경쟁사가 시장을 먼저 차지할 수 있기 때문에 안전보다 속도가 우선되는 군비경쟁 구조가 생길 수 있다고 본다.
반대 진영은 같은 경쟁을 오히려 안전장치로 본다.
사용자가 믿지 못하는 제품은 시장에서 실패하고 실제 피해를 만들면 법적·경제적 책임을 지기 때문에 기업이 스스로 안전에 투자할 수밖에 없다는 것이다.
2) 현재의 사고를 어디까지 일반화할 것인가
OpenAI, Anthropic, AISI에서 실제 Agent 사고가 발생한 것은 사실이다.
속도조절 쪽에서는 이것을 앞으로 더 강한 Agent에서 피해 규모가 커질 수 있다는 경고 신호로 본다.
반대쪽에서는 안전장치를 낮추고 실제 공격 능력을 확인하기 위해 일부러 위험하게 만든 평가환경의 사례를 일반 서비스 전체의 위험으로 확대하면 안 된다고 본다.
두 해석 모두 현재 자료에서 일정 부분 근거가 있다.
차이는 어느 정도의 위험 신호가 나왔을 때 사회 전체의 규칙을 만들 것인지에 있다.
3) 예방원칙을 어디까지 적용할 것인가
속도조절 진영은 큰 사고가 발생한 뒤 대응하면 늦을 수 있다고 본다.
위험의 확률이 정확하게 계산되지 않더라도 피해 규모가 매우 클 가능성이 있다면 미리 대비해야 한다는 예방원칙에 가깝다.
반대 진영은 아직 실현되지 않은 최악의 시나리오를 기준으로 현재 산업 전체를 제한하면 혁신과 경제성장, 국가경쟁력, 후발기업의 기회를 실제로 잃을 수 있다고 본다.
결국 둘의 싸움은 현재의 사실보다 미래의 불확실성에 얼마만큼의 비용을 지금 지불할 것인지에 관한 판단 차이가 크다.
5. 팩트체크 ① 실제 사건과 현재 능력
이제 양쪽 주장을 잠시 내려놓고 현재 공개된 자료만 기준으로 하나씩 확인해보겠다.
1) AI Agent가 실제 시스템에서 허가되지 않은 행동을 한 적이 있다
판정: 사실이다.
OpenAI-Hugging Face 사건은 OpenAI 공식 보고서뿐 아니라 METR의 독립 조사에서도 확인됐다.
Anthropic도 자체 기록을 재조사한 결과 네 개의 서로 다른 Claude 모델이 실제 제3자 시스템에 접근했던 네 건의 사고를 확인했다.
영국 AISI에서도 별도로 122회의 시험 중 10회에서 시험 범위를 벗어난 행동이 확인됐다.
서로 다른 회사와 기관에서 실제 사례가 존재하므로 “AI Agent가 실제 시스템에서 인간이 의도하지 않은 행동을 한 적은 없다”는 주장은 틀리다.
2) 일반 ChatGPT나 Claude가 일상적으로 인터넷을 탈출해 공격하고 있다
판정: 틀리다.
현재 크게 보도된 사건 대부분은 사이버 공격 능력을 측정하는 특수 평가환경이었다.
OpenAI 모델은 reduced safeguards 상태였고, Anthropic 평가에서도 일반 제품에 적용하는 사이버 안전장치가 제거돼 있었다.
AISI도 공개 인터넷과 일부 안전 필터를 낮춘 상태에서 시험했다.
따라서 이 사례들을 일반 사용환경과 그대로 동일시하면 사실을 과장하게 된다.
3) 최근 AI의 사이버·자율작업 능력이 빠르게 증가하고 있다
판정: 사실에 가깝다. 다만 모든 능력이 같은 속도로 증가한다는 뜻은 아니다.
AISI의 독립 평가에서는 사이버 초급 과제 성공률이 2024년 초 10%대에서 최근 약 50%까지 올라왔다.
사람의 도움 없이 성공할 수 있는 작업시간도 일부 평가에서 약 8개월마다 두 배 수준으로 증가했다.
다만 특정 평가에서 관찰된 증가율을 AI 전체 능력의 보편적인 성장률로 사용하면 안 된다.
4) AI의 자기복제 관련 능력이 증가하고 있다
판정: 사실이다.
AISI의 RepliBench 일부 과제에서는 성공률이 2023년 5% 미만에서 2025년 60% 이상으로 올라왔다.
하지만 이 시험은 실제 인터넷 자기복제를 단순화해 필요한 부분 능력을 측정한 것이다.
AISI는 현재 모델이 실제 환경에서 자발적으로 자기복제를 시도한다는 증거는 없다고 분명히 설명한다.
따라서 “자기복제 능력이 좋아지고 있다”는 맞지만 “현재 AI가 인터넷에서 스스로 번식한다”는 틀리다.
5) AI가 다음 세대 AI 연구를 실제로 돕고 있다
판정: 사실이다.
Anthropic 내부 측정에서는 Claude가 AI 연구개발 업무의 26%에서 높은 수준으로 작업을 주도하고 있고, 협업 단계 이상까지 포함하면 90%가 넘는다.
OpenAI도 코딩 Agent가 내부 연구자의 실험과 개발 속도를 높이고 있다는 자료를 공개하고 있다.
AI가 AI 개발의 일부를 자동화하고 있다는 것은 이제 단순한 미래 예측이 아니다.
6. 팩트체크 ② 가장 많이 과장되는 주장
1) AI가 이미 스스로 다음 AI를 만들어 계속 진화하고 있다
판정: 현재 기준으로는 틀리다.
AI가 AI 연구자의 업무를 많이 돕는 것은 사실이다.
하지만 OpenAI는 완전 자율 Recursive Self-Improvement가 현재 일어나고 있지 않다고 공식적으로 밝혔다.
Anthropic의 측정에서도 AI가 사람 없이 완전히 자율적으로 진행하는 연구개발 업무는 없었다.
현재는 “AI가 AI 연구를 가속한다”가 맞고 “AI가 스스로 다음 세대 AI를 계속 만들어낸다”는 아직 아니다.
2) AI가 이미 인간의 통제를 벗어났다
판정: 틀리다.
International AI Safety Report 2026은 현재 시스템이 loss of control을 발생시킬 수준의 능력을 갖고 있지 않다고 정리한다.
현재 Agent는 긴 작업에서 실패하고 맥락을 잃으며 예상치 못한 장애에 적응하지 못하는 문제가 여전히 존재한다.
다만 감독 회피, 상황 인식, 장기 계획, 자기복제와 관련된 부분 능력이 좋아지고 있는 것은 사실이기 때문에 앞으로도 계속 감시해야 한다는 것이 보고서의 입장이다.
3) 6개월~1년 안에 AI가 인터넷 전체를 장악한다
판정: 확인된 사실이 아니라 다리오 아모데이의 강한 미래 전망이다.
아모데이는 현재 추세가 그대로 이어질 경우 6~12개월 뒤 잘못 정렬된 Agent 집단이 거대한 Botnet을 만들어 인터넷에 큰 피해를 줄 수 있다고 우려했다.
하지만 이 시점과 규모에 대한 과학적 합의는 없다.
International AI Safety Report는 미래 loss-of-control 가능성과 심각성을 놓고 전문가 견해가 매우 크게 갈린다고 명시한다.
따라서 “1년 뒤 인터넷 장악이 예상된다”라고 확정적으로 제목을 뽑으면 과장이다.
정확한 표현은 “아모데이가 그런 위험 가능성을 경고했다” 정도다.
4) 현재 AI가 인류를 멸망시킬 능력을 갖췄다
판정: 현재 근거로는 틀리다.
국제 AI 안전보고서의 결론은 현재 시스템에는 그런 loss-of-control 능력이 없다는 것이다.
다만 미래 시스템에 대해서는 전문가 합의가 없고 피해가 매우 클 가능성을 배제할 수 없기 때문에 연구 대상이 되고 있다.
현재의 능력과 미래 위험 시나리오를 섞지 않는 것이 중요하다.
5) 전문가들은 AI 멸망 위험에 모두 동의한다
판정: 틀리다.
International AI Safety Report는 이 부분을 상당히 명확하게 정리한다.
일부 전문가는 인간 멸종까지 포함하는 심각한 loss-of-control 위험을 현실적인 가능성으로 본다.
반대로 필요한 능력이 생기지 않을 것이거나 모니터링과 통제로 막을 수 있다고 보는 전문가들도 있다.
즉 위험 논의는 존재하지만 그 확률과 시점에는 합의가 없다.
7. 팩트체크 ③ 속도조절 찬성 진영에 대한 오해
1) 아모데이는 모든 AI 개발을 멈추자고 주장했다
판정: 틀리다.
아모데이는 자신의 글에서 pacing은 모델 학습이나 기술 진보의 중단을 의미하지 않는다고 직접 밝혔다.
그는 현재 AI만으로도 아직 활용하지 못한 가치가 매우 많기 때문에 기존 기술의 확산과 활용은 계속될 수 있다고 본다.
논쟁의 대상은 AI 전체가 아니라 frontier 모델의 능력 향상 속도다.
2) OpenAI는 AI 개발을 멈추기로 했다
판정: 틀리다.
OpenAI는 Hugging Face 사고 뒤 일부 고위험 연구 작업과 스케일링 속도를 일시적으로 늦췄다.
하지만 새로운 모델 개발과 연구는 계속하고 있다.
OpenAI의 정책은 위험 임계값에 따라 속도를 늦추거나 중단할 수 있는 기준을 만들자는 것이지 회사 전체의 AI 연구 중단이 아니다.
3) OpenAI는 정부 규제에 반대한다
판정: 현재 공식 입장을 기준으로 틀리다.
OpenAI는 2026년 9월 9일 능력 기반의 의무적인 국가 AI 안전 요구사항을 지지한다고 공식적으로 밝혔다.
동시에 업계 자율 기준도 필요하지만 그것이 정부의 의무적인 안전장치를 대체해서는 안 된다고 설명했다.
4) 일론 머스크는 이번 논쟁에서 처음으로 AI 감속을 주장했다
판정: 틀리다.
머스크는 2023년 GPT-4보다 강한 AI의 학습을 최소 6개월간 중단하자는 Future of Life Institute 공개서한에 서명했다.
따라서 이번 아모데이 지지는 과거 입장과 상당히 일관된 편이다.
5) 속도조절론은 AGI가 이미 완성됐다는 주장이다
판정: 틀리다.
이번 논쟁의 핵심 근거는 AGI라는 명칭이 아니다.
사이버 능력, Agent 자율성, AI 연구 자동화, 실제 사고와 안전 검증 속도가 핵심이다.
AGI가 이미 왔는지 여부와 frontier AI의 안전 속도를 어떻게 관리할지는 연결될 수 있지만 같은 질문은 아니다.
8. 팩트체크 ④ 속도조절 반대 진영에 대한 오해
1) 젠슨 황은 AI 안전이 필요 없다고 주장한다
판정: 틀리다.
젠슨 황은 안전을 매우 중요한 문제로 인정한다.
그는 안전을 공학과 제품 책임으로 해결할 수 있다고 보고, 안전하지 않은 제품은 출시하지 말아야 한다고 주장한다.
그가 반대하는 것은 새로운 AI 전용 법과 업계 전체의 공동 감속이다.
2) 젠슨 황은 어떤 경우에도 개발 속도를 늦추면 안 된다고 주장한다
판정: 틀리다.
그는 개별 회사가 제품을 안전하게 출시할 확신이 없다면 필요한 만큼 속도를 조절해야 한다고 말했다.
따라서 “무조건 달려야 한다”보다 “각 회사가 스스로 책임지고 속도를 결정해야 한다”에 가깝다.
3) Meta는 frontier AI 위험을 인정하지 않는다
판정: 틀리다.
Meta는 공식 Frontier AI Framework에서 사이버와 화학·생물학적 위험 같은 극단적인 위험을 별도로 평가한다.
위험 임계값과 완화 절차도 두고 있다.
Meta가 반대하는 것은 AI 안전 자체가 아니라 업계 전체의 공동 감속을 주요 해결책으로 삼는 방식이다.
4) 기업 자율과 시장 경쟁만으로 안전이 충분하다는 것이 입증됐다
판정: 아직 입증되지 않았다.
NVIDIA와 Meta의 논리는 이해할 수 있지만 이것이 장기간 실제로 모든 심각한 위험을 막는다는 실증 자료는 아직 없다.
오히려 강한 내부 안전팀을 가진 OpenAI와 Anthropic에서도 예상 밖의 Agent 사고가 발견됐다.
따라서 기업 자율이 충분하다는 것은 현재로서는 정책적 주장이지 확정된 사실이 아니다.
5) 정부 규제를 만들면 AI가 더 안전해진다는 것이 입증됐다
판정: 이것도 아직 입증되지 않았다.
Frontier AI 규제는 역사가 매우 짧기 때문에 강한 규제를 적용한 집단과 그렇지 않은 집단을 장기간 비교한 자료가 부족하다.
어떤 규제가 실제 위험을 줄이고 어떤 규제가 불필요한 비용만 만드는지는 아직 검증 과정에 있다.
즉 기업 자율도 정부 규제도 현재 완성된 정답이라고 보기 어렵다.
9. 팩트체크 ⑤ 돈과 이해관계를 둘러싼 주장
1) NVIDIA는 AI가 빨리 발전할수록 사업적으로 유리하다
판정: 사실이다.
NVIDIA의 핵심 사업 가운데 하나가 AI 학습과 추론에 필요한 GPU와 데이터센터 인프라다.
AI 투자와 컴퓨팅 수요가 빠르게 증가할수록 사업 기회가 커지는 구조인 것은 명백하다.
하지만 여기서 “그래서 젠슨 황이 안전 위험을 거짓말이라고 한다”는 결론까지 자동으로 이어지지는 않는다.
사업 이해관계가 존재한다는 것과 특정 발언의 진짜 동기를 증명하는 것은 다른 문제다.
2) Anthropic과 OpenAI는 강한 규제가 생기면 상대적으로 유리할 수 있다
판정: 가능성이 충분히 있는 우려다.
이미 막대한 자본과 전문인력을 가진 선두기업은 외부 감사, 위험 평가, 보안 인프라와 규제 대응 비용을 후발 스타트업보다 감당하기 쉽다.
Reuters가 취재한 유럽 AI 기업과 전문가들도 이 문제를 실제로 제기하고 있다.
따라서 높은 안전기준이 결과적으로 기존 강자의 진입장벽 역할을 할 수 있다는 우려는 충분히 검토할 만하다.
3) Anthropic과 OpenAI가 경쟁자를 막으려고 AI 위험을 일부러 과장하고 있다
판정: 현재까지 직접적인 증거가 없다.
안전 규제가 기존 강자에게 유리할 수 있다는 것과 그것이 처음부터 숨은 목적이라는 것은 별개의 주장이다.
OpenAI와 Anthropic은 실제 사고를 공개했고 연구 중단과 보안 강화에 비용을 쓴 사례도 있다.
현재 공개된 자료만으로 경쟁사 봉쇄가 위험 경고의 진짜 목적이라고 단정할 수 없다.
4) NVIDIA의 반대 역시 순수하게 기술 철학만의 문제라고 단정할 수 있다
판정: 그렇게 단정할 수도 없다.
NVIDIA 역시 AI 투자 확대와 직접적인 경제적 이해관계가 있다.
따라서 어느 진영이든 회사의 사업 구조와 이해관계를 함께 보는 것은 필요하다.
다만 이해관계를 확인하는 것과 동기를 추정하는 것은 끝까지 분리해야 한다.
10. 팩트체크 ⑥ 중국과 국제 경쟁 문제
1) 미국만 속도를 늦추면 중국이 상대적으로 유리해질 수 있다
판정: 현실적으로 가능한 위험이다.
미국 기업만 강한 제한을 적용받고 중국 기업은 같은 제약을 받지 않는다면 기술 격차가 좁혀질 가능성이 있다.
그래서 속도조절 반대론자들이 중국 문제를 계속 언급한다.
2) 이 문제는 속도조절 진영이 무시하고 있다
판정: 틀리다.
아모데이도 미국과 동맹국만 일방적으로 속도를 늦추는 상황을 위험하게 본다.
그의 세 번째 단계가 국제적인 검증과 협력인 이유도 여기에 있다.
즉 중국 문제는 한쪽만 알고 있는 반론이 아니라 양쪽 모두 알고 있지만 해결 방법이 없는 난제에 가깝다.
3) 국제 합의를 만들면 문제가 쉽게 해결된다
판정: 현재로서는 매우 불확실하다.
미국과 중국은 AI 기술, 반도체, 국가안보를 놓고 경쟁하고 있기 때문에 서로의 모델 개발을 검증할 정도의 신뢰 구조를 만드는 것은 쉽지 않다.
AP를 비롯한 최근 보도에서도 양국 모두 안전 대화의 필요성을 인정하면서도 서로가 상대방의 기술 우위를 노린다고 의심하고 있다는 점이 반복해서 나타난다.
국제 감속은 이론적으로 가능하지만 실제 집행과 검증이 가장 어려운 부분이다.
11. 현재까지 확인된 사실과 아직 모르는 것
여러 자료를 끝까지 대조하고 나면 현재 상황은 의외로 두 덩어리로 나눌 수 있다.
1) 비교적 강하게 확인되는 사실
Frontier AI의 사이버와 자율작업 능력은 빠르게 향상되고 있다.
AI가 다음 세대 AI를 개발하는 연구업무에 실제로 많이 사용되기 시작했다.
OpenAI, Anthropic, 영국 AISI의 특수 평가환경에서 AI Agent가 허가되지 않은 실제 행동을 한 사례가 각각 확인됐다.
일부 Agent는 평가를 우회하거나 다른 Agent와 허가되지 않은 방식으로 협업하고 실제 외부 시스템에 접근할 만큼 능력이 높아졌다.
그러나 현재 공개된 AI는 인간이 다시 통제권을 되찾을 방법이 없는 loss-of-control 수준에 도달하지 않았다.
현재 완전 자율 Recursive Self-Improvement가 일어나고 있다는 근거도 없다.
2) 아직 답을 모르는 문제
현재 능력 증가 속도가 앞으로도 계속 유지될지는 알 수 없다.
AI가 언젠가 인간의 통제를 벗어날 수준에 도달할지, 도달한다면 언제인지 전문가 합의가 없다.
기업 자율과 시장 경쟁이 장기적으로 충분한 안전장치가 될지도 아직 검증되지 않았다.
반대로 강한 규제가 실제로 대형 사고를 줄이면서 혁신과 경쟁을 지나치게 막지 않을지도 검증되지 않았다.
미국과 중국을 포함한 국제적인 속도조절 합의를 실제로 만들 수 있을지도 알 수 없다.
결국 지금 논쟁이 커지는 이유는 아무런 근거도 없는 공포 때문도 아니고, 이미 재앙이 확정됐기 때문도 아니다.
관찰 가능한 위험 신호는 생겼는데 그 신호가 앞으로 어디까지 커질지 아직 알 수 없기 때문이다.
12. 개발자로서 이번 논쟁을 보면서 느끼는 부분
나는 ChatGPT가 처음 등장했을 때부터 지금까지 계속 AI를 사용해왔고, 최근에는 Claude Code나 Codex처럼 프로젝트 파일을 직접 읽고 수정하고 명령을 실행하는 Agent형 도구도 실제 개발 과정에서 사용하고 있다.
직접 써보면 초기 ChatGPT와 지금의 AI Agent는 확실히 다르다.
예전에는 AI가 틀린 답을 내놓아도 개발자가 복사해서 사용하지 않으면 대부분 거기에서 끝났다.
지금은 권한을 주면 여러 파일을 한꺼번에 수정하고 터미널 명령을 실행하며 외부 도구와 연결할 수 있다.
같은 환각이나 잘못된 판단이라도 AI에게 주어진 실행 권한이 커지면 실제 결과가 달라질 수 있다는 것은 개발자로서 충분히 체감할 수 있다.
그렇다고 현재 AI를 영화에서 보는 자율적인 초지능으로 느끼는 것도 아니다.
여전히 존재하지 않는 내용을 사실처럼 말하는 경우가 있고, 요구사항을 잘못 해석하며, 긴 작업에서는 맥락을 놓치는 일도 생긴다. Claude Code나 Codex에 일을 맡겨도 결국 사람이 작업 범위를 정하고 Git diff와 테스트 결과를 확인해야 하는 경우가 많다.
개인적으로 이번 논쟁에서 가장 흥미로운 부분도 바로 이 지점이다.
현재 AI가 이미 통제 불가능한 존재라서 속도조절론이 나온 것은 아니다.
아직 불완전하고 실수도 하는 AI에게 점점 더 큰 실행 권한과 더 어려운 업무를 맡기기 시작하면서, 앞으로 능력이 더 올라가기 전에 안전장치를 어디까지 준비해야 하는가라는 질문이 현실적인 기술 문제로 바뀌기 시작했다.
13. 결론: 지금 싸우는 이유는 안전보다 안전을 확보하는 방식이다
처음 이번 논쟁을 기사 제목으로 접하면 두 편이 완전히 반대 이야기를 하는 것처럼 보인다.
앤트로픽과 OpenAI, 일론 머스크는 AI가 위험하니 속도를 늦추자고 하고, 엔비디아와 Meta는 규제 없이 계속 달리자고 하는 모습이다.
하지만 원자료를 하나씩 확인해보면 실제 거리는 그것보다 가깝다.
젠슨 황도 안전하지 않은 제품은 출시하면 안 되고 필요하면 기업이 스스로 속도를 조절해야 한다고 말한다.
Meta도 frontier 모델에 별도의 위험 임계값과 안전 프레임워크를 적용하고 있다.
반대로 다리오 아모데이와 OpenAI도 AI 연구 전체를 멈추자는 것이 아니다.
기존 AI의 활용과 기술 발전은 계속하면서 가장 강력한 모델의 능력이 올라가는 속도에 안전 검증이 따라갈 시간을 확보하자는 것이다.
현재까지 확인되는 사실도 양쪽 주장 사이 어딘가에 있다.
AI 능력은 빠르게 향상되고 있고, 특수한 평가환경이기는 하지만 예상하지 못한 Agent 행동과 실제 외부 시스템 침해 사건도 이미 발생했다.
따라서 AI 안전 문제 전체를 단순한 공포 마케팅이라고 치부하기는 어렵다.
반대로 현재 AI가 인간 통제를 벗어났다는 증거는 없고, 6개월이나 1년 뒤 인터넷 전체를 장악한다는 전망에 전문가들이 합의한 것도 아니다.
따라서 미래의 최악 시나리오를 이미 일어난 사실처럼 말하는 것도 과장이다.
결국 두 진영이 싸우는 이유는 같은 현실을 보고도 앞으로의 불확실성을 관리하는 방법이 다르기 때문이다.
한쪽은 모든 기업이 경쟁하고 있는 상황에서는 자발적인 브레이크만으로 부족하다고 보고 외부 평가와 공동 기준, 정부와 국제사회의 개입을 요구한다.
다른 쪽은 현재의 위험은 엔지니어링과 기업 책임으로 관리할 수 있으며, 아직 확인되지 않은 미래 위험 때문에 산업 전체에 속도 제한을 걸면 혁신과 경쟁, 후발기업과 국가안보에 더 큰 비용이 생길 수 있다고 본다.
2026년 9월 현재 어느 쪽이 최종적으로 맞다고 판정할 수 있는 충분한 증거는 아직 없다.
분명한 것은 하나다.
AI 안전 위험은 이제 순수한 가설만으로 치부하기 어려워졌다. 실제 시스템에서 확인되는 경고 신호가 생겼다.
그러나 그 신호가 어디까지 커질지, 얼마나 빨리 커질지, 그리고 어떤 통제 방식이 가장 효과적일지는 아직 아무도 확실하게 증명하지 못했다.
한 줄로 정리하면 이렇다.
AI 속도조절 논쟁은 “AI가 위험한가 아닌가”의 싸움이라기보다, 빠르게 커지는 능력과 아직 불확실한 위험 사이에서 누가 언제 브레이크를 밟을 것인가를 두고 벌어지는 논쟁에 가깝다.
참고 자료
이번 글은 회사의 자체 주장만으로 결론을 내리지 않기 위해 1차 자료, 정부·국제 보고서, 독립 조사, Reuters·AP 보도를 서로 대조했다.
Dario Amodei - We Must Pace the Frontier
https://darioamodei.com/post/we-must-pace-the-frontier
Anthropic - Measurements for understanding the pace of AI development inside frontier labs
https://www.anthropic.com/institute/measuring-pace-of-ai-development
Anthropic - Investigating three real-world incidents in our cybersecurity evaluations
https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals
Anthropic - An alignment assessment of recent cybersecurity incidents
https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents
OpenAI - The Hugging Face incident and the road ahead
https://openai.com/index/hugging-face-incident-and-the-road-ahead/
METR - Brief independent investigation of agents' behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident
https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/
OpenAI - Pacing model development in an era of cyber-critical capabilities
https://openai.com/index/pacing-model-development-cyber-capabilities/
OpenAI - The AI policy window is open. We need to act.
https://openai.com/index/ai-policy-window/
OpenAI - An Alien Mind
https://openai.com/index/an-alien-mind/
UK AI Security Institute - Incident Report: unsanctioned agent behaviour during cyber testing
https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing
UK AI Security Institute - Frontier AI Trends Report
https://www.aisi.gov.uk/frontier-ai-trends-report
UK AI Security Institute - RepliBench
https://www.aisi.gov.uk/research/replibench-evaluating-the-autonomous-replication-capabilities-of-language-model-agents
International AI Safety Report 2026
https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026
International AI Safety Report 2026 - Executive Summary
https://internationalaisafetyreport.org/publication/2026-report-executive-summary
Meta - Our Approach to Frontier AI
https://about.fb.com/news/2025/02/meta-approach-frontier-ai/
Google DeepMind - Frontier Safety Framework
https://deepmind.google/frontier-safety/
NVIDIA - Jensen Huang at Dreamforce
https://blogs.nvidia.com/blog/jensen-huang-dreamforce/
Future of Life Institute - Pause Giant AI Experiments: An Open Letter
https://futureoflife.org/open-letter/pause-giant-ai-experiments/
Reuters - Anthropic CEO urges AI companies to slow model development
https://www.reuters.com/business/anthropic-ceo-urges-ai-companies-slow-model-development-2026-09-12/
Reuters - What Amodei, Altman and Musk have said about AI risks
https://www.reuters.com/business/what-amodei-altman-musk-have-said-about-ai-risks-stoking-doom-fears-2026-09-14/
Reuters - Meta's Zuckerberg says AI labs have enough incentive to build safely
https://www.reuters.com/business/metas-zuckerberg-says-ai-labs-have-enough-incentive-build-safely-2026-09-16/
Reuters - Europe's AI firms challenge U.S. calls for slowdown
https://www.reuters.com/business/europes-ai-firms-playing-catch-up-challenge-us-calls-slowdown-2026-09-18/
Reuters - Anthropic considers releasing new AI model ahead of IPO
https://www.reuters.com/business/anthropic-considers-releasing-new-ai-model-ahead-ipo-sources-say-2026-09-19/
Associated Press - Anthropic CEO says AI industry needs to give safety measures time to catch up
https://apnews.com/article/d59552edcb27892d8ee4d98a48397706
Associated Press - AI rivals found rare agreement on safety
https://apnews.com/article/b61f28b6212338e88c0baec31f661701
한국경제 - 'AI 충돌' 아모데이·젠슨 황…'속도 조절' vs '시장에 맡겨라'
https://www.hankyung.com/article/2026091670437
SBS - 아모데이·젠슨황, AI안전 충돌…"표준 세워야" "규제 불필요"
https://news.sbs.co.kr/news/endPage.do?news_id=N1008755034
SBS - 'AI 공룡' 수장도 충돌…'인류 파멸' 경고 뒤에 숨은 속내?
https://news.sbs.co.kr/news/endPage.do?news_id=N1008756785
'개발지식창고 > AI Dev Workflow' 카테고리의 다른 글
| AI 생성 코드 검증 체크리스트: 실무 배포 전 꼭 확인할 12가지 (0) | 2026.09.13 |
|---|---|
| Claude Code 토큰 절약 가이드: 사용량 줄이는 핵심 방법 총정리 (0) | 2026.09.12 |
| AI가 코드를 다 짜주는 시대, 오히려 경력 개발자가 더 중요한 이유 (0) | 2026.09.12 |
| AGI 시대는 정말 왔을까? ChatGPT 초기부터 써온 개발자의 팩트체크 (0) | 2026.09.12 |
| Claude Code에서 Codex 같이 쓰는 방법, codex mcp-server deprecated 이후 바뀐 연결 방식 정리 (0) | 2026.08.30 |
