앤트로픽 떠난 제이컵 콕슨 “AI 10년 내 인류 위협할 수 있다”

오픈AI와 앤트로픽에서 최첨단 인공지능 모델의 사전 학습을 담당했던 27세 연구원 제이컵 콕슨이 회사를 떠난 뒤 AI 개발 경쟁의 위험성을 공개적으로 경고하면서 논쟁의 중심에 섰다. 국제수학올림피아드 메달리스트 출신인 그는 현재의 AI가 곧바로 인류를 위협한다는 것이 아니라, 기업들이 경쟁적으로 개발하고 있는 더 강력하고 스스로 능력을 개선하는 시스템이 통제 문제를 일으킬 수 있다는 우려를 제기하고 있다.

콕슨은 9월 8일 엑스(X)에 앤트로픽 퇴사를 알리면서 AI를 만드는 사람들이 이 기술이 10년 안에 인류 전체를 죽일 수도 있다고 진지하게 생각하고 있다는 취지의 글을 올렸다. 그는 지난 3년간 오픈AI와 앤트로픽에서 사전 학습 연구를 수행했다며 두 회사가 충분히 책임 있는 방식으로 움직이고 있지 않다고 주장했다. 이 발언은 어디까지나 콕슨이 제시한 AI 위험에 대한 판단과 경고이며, AI가 특정 시점에 인류를 멸망시킬 것이라는 과학적으로 확정된 예측을 의미하지는 않는다.

월스트리트저널(WSJ)은 17일 콕슨이 AI 안전 논쟁의 전면에 등장하기까지의 과정을 집중 조명했다. 불과 며칠 전까지 대중적으로 거의 알려지지 않았던 연구원이었지만 퇴사와 함께 내놓은 글이 폭발적인 관심을 받으면서 AI 개발 속도와 규제를 둘러싼 국제적인 논쟁에서 주목받는 인물이 됐다.

알파고부터 GPT-3까지, 제이컵 콕슨이 AI에 주목한 과정

영국 출신인 콕슨은 중세 독일문학을 연구하는 교수의 아들로 태어났으며 어린 시절부터 수학에서 두각을 나타냈다. 고등학교 시절 국제수학올림피아드 영국 대표로 출전해 2016년 은메달, 2017년 동메달을 획득했다. 이후 케임브리지대학교에서 공부했다.

그가 AI의 발전 가능성을 강하게 인식한 계기 가운데 하나는 2016년 벌어진 이른바 ‘알파고 쇼크’였다. 당시 구글 딥마인드의 바둑 인공지능 알파고는 서울에서 이세돌 9단과 다섯 차례 대국을 벌여 4승 1패를 기록했다. 인간 최고 수준의 직관과 복잡한 판단이 필요하다고 여겨졌던 바둑에서 AI가 세계적인 기사를 이긴 사건은 AI 기술의 발전 가능성을 세계적으로 각인시킨 계기가 됐다.

국제수학올림피아드에 출전하던 10대였던 콕슨 역시 이 대국을 지켜봤다. WSJ에 따르면 그는 알파고의 승리를 통해 기계가 인간의 직관과 창의성이 중요하다고 여겨지던 분야까지 접근할 가능성을 인식했다.

케임브리지대를 졸업한 뒤에는 런던에서 이른바 ‘합리주의자’ 커뮤니티와 교류했고 원자재 거래 분야에서도 잠시 일했다. AI에 대한 관심을 다시 크게 높인 사건은 2020년 공개된 오픈AI의 GPT-3였다. 챗GPT가 일반에 공개되기 약 2년 전 등장한 대규모 언어모델이다. 콕슨은 GPT-3를 접했을 당시를 강한 인상을 받은 순간으로 회상했다.

결국 그는 2023년 샌프란시스코로 옮겨 오픈AI에 합류했다. 주요 업무는 AI 모델의 ‘사전 학습’이었다. 사전 학습은 대규모 텍스트와 코드, 이미지 등의 데이터를 모델에 학습시켜 언어와 패턴을 이해하고 다양한 작업을 수행할 수 있는 기반 능력을 형성하는 과정이다. 생성형 AI의 기본적인 성능을 결정하는 핵심 개발 단계 가운데 하나다.

흥미로운 점은 콕슨이 처음부터 AI 개발을 중단해야 한다고 주장했던 연구원은 아니었다는 것이다. 주변에서는 그가 담당한 사전 학습 연구가 장기적으로 위험한 결과를 가져올 수 있다는 우려를 제기했지만 당시에는 연구를 계속했다.

오픈AI에서 앤트로픽으로 옮긴 뒤 두 달 만에 퇴사

콕슨의 판단이 크게 달라진 것은 AI 시스템의 사이버 보안 능력과 자율성이 빠르게 향상되는 과정을 지켜보면서였다. 그는 경쟁사였던 앤트로픽이 AI 기술의 잠재적 위험과 안전 문제를 상대적으로 더 투명하게 공개한다고 판단했고, 결국 오픈AI를 떠나 2026년 앤트로픽으로 자리를 옮겼다.

그러나 앤트로픽에서도 오래 머물지 않았다. AI 모델과 에이전트가 외부 시스템에 접근하거나 예상하지 못한 행동을 한 사례를 다룬 자료들이 공개되면서 그의 우려가 커졌다. 콕슨은 이러한 사례를 접했을 당시 강한 충격을 받았다고 설명했다.

최근 AI 안전 논쟁에서 중요한 변화는 단순한 챗봇의 답변 정확성을 넘어 AI 에이전트가 컴퓨터와 인터넷 환경에서 실제 작업을 수행하는 능력이 논의 대상이 되고 있다는 점이다. AI가 코드를 작성하거나 보안 취약점을 분석하는 수준에서 더 나아가 여러 단계를 연속적으로 수행할 수 있게 되면서 통제와 감독 방식도 새로운 과제로 떠올랐다.

다만 실제 보안 연구 환경에서 AI가 시스템에 침투한 사례와 AI가 인간의 통제를 벗어나 독립적으로 공격을 벌였다는 주장은 구분할 필요가 있다. 보안 테스트에서는 AI 시스템에 의도적으로 공격 권한이나 목표를 부여하고 능력을 측정하기도 한다. 개별 실험이나 사건이 곧바로 AI가 인간과 독립적으로 행동하기 시작했다는 의미는 아니다.

콕슨은 앤트로픽 내부에서도 자신의 우려를 전달했고 AI 안전을 직접 담당하는 업무로 이동하는 방안까지 검토했다. 그러나 결국 안전 연구를 위해 회사에 남는 것조차 더 강력한 AI를 개발하는 경쟁에 참여하는 결과가 될 수 있다고 판단해 퇴사를 선택했다고 설명했다.

그의 퇴사는 경제적인 측면에서도 관심을 받았다. 콕슨은 앤트로픽 지분이 실제로 귀속되기 전에 회사를 떠났다고 밝혔다. 그는 앤트로픽에서 확보한 지분이 없으며, 이전 직장이었던 오픈AI의 주식은 보유하고 있다고 설명했다.

“10년 안에 위험” 발언이 세계적으로 확산된 이유

콕슨이 주목받게 된 결정적인 계기는 퇴사 직후 공개한 글이었다. 당시 그의 엑스 팔로어는 100명에도 미치지 못했지만 AI 개발 현장에서 일했던 연구자가 자신의 경력을 중단하면서 강한 경고를 내놓았다는 사실이 알려지면서 게시물이 빠르게 확산됐다.

그는 오픈AI와 앤트로픽에서 AI 모델의 사전 학습을 직접 연구한 경험을 언급하며, 업계 내부에서도 장기적인 AI 위험을 심각하게 받아들이는 사람들이 있다고 주장했다. 특히 앞으로 등장할 수 있는 자기개선형 초지능을 핵심 위험 요소로 지목했다. 이는 AI가 연구·개발 과정 자체를 자동화하면서 후속 시스템의 능력 향상을 가속하는 상황에 대한 우려와 연결된다.

콕슨의 주장이 공개된 뒤 앤트로픽의 정렬 과학 책임자인 에번 허빙어도 공개적으로 AI의 장기 위험에 대한 자신의 견해를 밝혔다. 허빙어는 향후 10년 안에 AI가 인류 전체를 사망하게 할 가능성을 개인적으로 10% 이상으로 평가한다고 말했다. 이 역시 특정 결과를 입증한 통계가 아니라 연구자 개인이 불확실한 미래 위험에 대해 제시한 주관적 확률 평가다.

반대로 AI 위험을 연구하는 전문가들 사이에서도 인류 멸망과 같은 극단적인 결과의 발생 가능성이나 시점에 대해서는 합의가 없다. 현재 관찰되는 사이버 보안 위험과 미래의 초지능에 관한 가설을 동일한 수준의 증거로 취급해서는 안 된다는 지적도 제기된다. 콕슨의 발언 이후에도 논쟁의 핵심은 ‘AI가 10년 뒤 반드시 인류를 위협한다’는 결론보다는 어느 수준의 위험을 어떤 근거로 규제해야 하는지에 맞춰져 있다.

콕슨 자신은 자신을 ‘두머(Doomer·AI 멸망론자)’라고 부르는 것에 대해 조건부로 동의했다. 현재와 같은 개발 방식을 바꾸지 않을 경우 치명적인 결과가 발생할 수 있다고 생각하는 사람을 두머라고 정의한다면 자신도 그 범주에 해당한다고 말했다.

다만 그는 자신을 앤트로픽의 내부고발자로 규정하는 데에는 선을 그었다. 기업의 비밀 자료를 유출한 것이 아니라 AI 연구자들 사이에서 사적으로 논의되던 위험 인식을 공개적으로 말한 것이라는 입장이다. 실제로 그의 주장을 평가할 때도 회사 내부의 비공개 사실을 폭로한 부분과 콕슨 개인의 위험 평가를 구별할 필요가 있다.

AI 멸망론보다 중요한 쟁점은 개발 속도와 통제 가능성

콕슨의 등장은 AI 안전 논쟁이 새로운 단계로 이동하고 있음을 보여준다. 과거에는 미래의 초지능이 인간을 위협할 수 있다는 논의가 주로 장기적인 가설을 중심으로 진행됐다면, 최근에는 사이버 보안과 AI 에이전트의 자율 행동, 모델의 통제 가능성처럼 현재 기술에서 측정할 수 있는 문제가 함께 논의되고 있다.

AP통신 등도 최근 AI 업계의 잇따른 경고를 다루면서 인공지능이 통제를 벗어날 가능성을 둘러싸고 업계와 전문가들의 견해가 엇갈리고 있다고 전했다. 위험을 심각하게 평가하는 연구자들은 더 강력한 시스템이 등장하기 전에 안전장치와 외부 평가, 기업 간 협력이 필요하다고 주장한다. 반면 극단적인 미래 위험을 지나치게 강조할 경우 현재 확인할 수 있는 문제와 추측을 혼동할 수 있다는 비판도 존재한다.

따라서 콕슨의 경고에서 확인되는 사실과 전망을 분리하는 것이 중요하다. 그가 오픈AI와 앤트로픽에서 AI 사전 학습 연구를 담당했고 안전 문제에 대한 우려로 앤트로픽을 떠난 것은 그의 경력과 공개 발언을 통해 확인된다. AI 모델의 사이버 보안 능력과 자율적 작업 수행 능력이 발전하고 있다는 점 역시 여러 기업의 안전 평가에서 다뤄지고 있다.

그러나 AI가 10년 안에 인류를 멸망시킬 것이라는 결과가 입증된 것은 아니다. 콕슨의 발언은 빠르게 발전하는 미래 AI가 충분한 통제 장치 없이 개발될 경우 극단적인 위험으로 이어질 가능성이 있다는 경고에 해당한다.

그의 퇴사가 세계적인 관심을 받은 이유도 바로 이 지점에 있다. AI 기술에 비판적인 외부 인사가 아니라 오픈AI와 앤트로픽 양쪽에서 모델 개발을 직접 경험한 젊은 연구자가 개발 경쟁에서 스스로 빠져나와 공개적으로 문제를 제기했기 때문이다. 알파고의 이세돌 승리를 보며 AI의 가능성에 주목했던 수학올림피아드 메달리스트가 10년 뒤에는 AI 발전 속도를 경고하는 인물이 됐다는 이력도 관심을 키웠다.

향후 논쟁에서 확인해야 할 핵심은 특정 연구자의 멸망 확률 자체보다 AI 기업들이 더 강력한 모델을 출시하기 전에 어떤 안전 평가를 수행하는지, 모델이 예상하지 못한 행동을 했을 때 이를 얼마나 투명하게 공개하는지, 그리고 기업 간 개발 경쟁과 안전 기준을 어떤 방식으로 조정할 것인지다. 콕슨의 퇴사는 이러한 질문을 AI 연구자들 내부의 논의에서 대중적인 정책·규제 논쟁으로 끌어낸 사건이 됐다.

앤트로픽 떠난 제이컵 콕슨 “AI 10년 내 인류 위협할 수 있다”

알파고부터 GPT-3까지, 제이컵 콕슨이 AI에 주목한 과정

오픈AI에서 앤트로픽으로 옮긴 뒤 두 달 만에 퇴사

“10년 안에 위험” 발언이 세계적으로 확산된 이유

AI 멸망론보다 중요한 쟁점은 개발 속도와 통제 가능성

관련 기사

이어서 읽어볼 글