전체공개용 리포트로 디자인이 간소화되어져 있습니다.
연구자 의견을 포함한 원문은 여기를 클릭하여 확인하실 수 있습니다.
Chapter 1. 나의 생각
결국 수학 7대 난제 중 하나를 풀어버린 AI
불과 한 달 전, 저는 하이젠버그에 「사상 최초로 ‘진짜’ 수학 난제를 풀어버린 오픈AI」라는 글을 썼습니다. 80년 묵은 에르되시의 단위 거리 문제를 AI가 풀었다는 소식이었죠. 그 글에서 저는 꽤 비장하게 “처음으로 진짜 난제라고 할 만한 문제가 AI에 의해 풀렸다”고 적었습니다.
그런데 한 달도 안 돼서 그 제목이 조금 민망해졌습니다. 9월 8일, 오픈AI가 이번에는 밀레니엄 난제를 풀었다고 발표했기 때문입니다.[1] 상금이 100만 달러 걸린, 수학자라면 누구나 이름을 아는 그 7개의 문제 중 하나인 나비에-스토크스 방정식 문제입니다. 정말 인공지능의 발전속도가 미친듯이 빠르게 느껴집니다.
솔직히 처음 소식을 접했을 때 제 반응은 감탄보다 의심 쪽이었습니다.
“에이, 설마. 나비에-스토크스를? 뭔가 과장된 거겠지…”
수학을 전공한 사람에게 밀레니엄 난제는 좀 특별한 이름입니다. 2000년에 클레이 수학연구소가 7개의 문제를 발표한 이후 26년 동안 공식적으로 해결된 것은 페렐만이 증명한 푸앵카레 추측 단 하나뿐이었습니다.[3] 제가 대학원에서 대수기하학을 공부하던 시절에도 밀레니엄 난제는 “평생 한 번 근처에라도 가 보면 영광인 문제”였고, 가까운 시일 내에는 풀리기 어려울 거라고 생각했습니다. 그런데 논문을 자세히 들여다보니 과장만은 아니었습니다. 1만 개의 AI 에이전트가 88시간 동안 매달려 증명을 만들어 냈고, 다른 AI 모델이 17시간 만에 그 증명을 Lean이라는 언어로 옮겨 컴퓨터가 증명을 한 줄 한 줄 검증까지 마쳤습니다.[1][4] 논문 분량은 166쪽입니다.[2]
그런데 수학자들의 반응이 이상하다
여기까지만 보면 “AI가 인류 최고의 난제를 정복했다”는 해피엔딩입니다. 그런데 이번에는 분위기가 단위 거리 문제 때와 완전히 달랐습니다. 단위 거리 문제 때는 필즈상 수상자 팀 가워스가 “Annals of Mathematics에 게재를 추천했을 것”이라며 극찬했고, 수학계 전체가 놀라움과 경외감에 가까운 반응을 보였습니다. 그런데 이번에는 박수보다 논쟁이 먼저 터졌습니다.
- 발표되기도 전에 한 수학자가 “우리 연구가 오픈AI로 새어 나갔다”고 주장했습니다.[7][8]
- 발표 사흘 뒤에는 필즈상 수상자 25명 이상이 AI 기업을 비판하는 공개서한을 냈습니다.[9]
- 9일 뒤에는 “오픈AI의 방식으로는 수학자들이 진짜 궁금해하던 문제를 해결할 수 없다”는 증명까지 올라왔습니다.[5][13]
인류가 26년 동안 못 푼 문제를 풀었는데, 정작 그 문제를 가장 사랑하던 사람들이 마냥 기뻐하지 않는다니 무슨 영문인지 궁금하신 분들이 많을 것 같습니다. 심지어 저는 관련 소식을 다룬 영상에서 “AI가 너무 잘 하니 수학자들이 배 아파서 그런 것 아니냐”는 댓글까지 봤습니다.
그래서 저도 하나씩 따져 봤습니다. 나비에-스토크스 방정식이 도대체 무엇이고 왜 그렇게 중요한지, 오픈AI가 정확히 무엇을 풀었고 무엇은 풀지 않았는지, 발표 전후로 오픈AI와 수학자들 사이에 무슨 일이 있었는지, 그리고 이 해프닝이 AI와 수학, 우리가 사는 세상에 대해 무엇을 말해 주는지까지요.
Chapter 2. 배경 및 원리
유체의 흐름을 말해주는 나비에-스토크스 방정식
나비에-스토크스 방정식을 한 줄로 말하면 “유체가 어떻게 흐르는지를 설명하는 방정식”입니다. 여기서 유체는 물이나 공기처럼 흐르는 모든 것을 말합니다. 떨어지는 사과가 중력의 법칙을 따르듯이, 흐르는 유체가 만족해야 하는 물리적인 법칙을 방정식으로 만든 것이 바로 나비에-스토크스 방정식입니다.
수학에 친숙한 독자들을 위해 좀 더 정확히 설명해보겠습니다. 아래에 나오는 수학에 익숙지 않으신 분들은 이 부분을 건너뛰어도 전체 글을 이해하는 데에 전혀 지장이 없습니다. (비압축) 나비에-스토크스 방정식은 공간 x, 시간 t에서의 유체의 속도 u(x, t)와 압력 p(x, t)가 만족해야 하는 편미분방정식이며 다음과 같습니다.
𝜕𝑡 𝑢 + (𝑢 ⋅ ∇)𝑢 − 𝜈Δ𝑢 + ∇𝑝 = 𝑓, ∇ ⋅ 𝑢 = 0.
여기서 f는 중력처럼 유체 외부에서 작용하는 힘입니다.
이름이 낯설어도, 우리는 매일 이 방정식의 덕을 보고 있습니다.
- 비행기: 날개 위아래로 공기가 어떻게 흐르는지 계산해야 양력을 설계할 수 있습니다.
- 일기예보: 대기의 흐름을 시뮬레이션하는 기상 모델의 뼈대가 이 방정식입니다.
- 반도체와 데이터센터: 칩에서 나는 열을 냉각수와 공기로 어떻게 빼낼지 계산할 때도 쓰입니다.
- 영화나 애니메이션에 나오는 리얼한 물의 움직임도 나비에-스토크스 방정식 기반 시뮬레이션을 통해 CG로 만들어집니다.
방정식의 이름은 두 사람에게서 왔습니다. 1822년 프랑스의 공학자 클로드-루이 나비에가 처음 식을 세웠고, 1845년 영국의 물리학자 조지 스토크스가 이를 정교하게 다듬었습니다. 그러니까 200년 가까이 인류가 비행기를 띄우고 날씨를 예측하는 데 써 온 방정식입니다.
제 예전 리포트 「”시간은 거꾸로 흐를 수 없다” 100년 만에 풀린 힐베르트 여섯 번째 난제」를 읽으신 분이라면 이 이름이 익숙하실 겁니다. 그 글에서 “오일러 방정식에 점성(끈적임)을 추가한 버전이 나비에-스토크스 방정식”이라고 소개했었죠. 이번 글은 그 이야기의 스핀오프라고 보셔도 좋습니다.
200년 동안 잘 써 왔는데, 뭐가 문제인가?
“200년 동안 잘 써 왔으면 된 거 아닌가? 뭘 더 풀어야 하지?”
좀 더 쉽게 말해보겠습니다. 나비에-스토크스 방정식이 정말로 실제 유체의 운동을 잘 설명하는 방정식이라면 어떤 상황에서도 (적절한 가정을 만족하는 초기조건과 외력 등) 물리적으로 말이되는 해가 존재해야합니다. 그런데 만약 방정식의 해가 유한시간 안에 무한대로 발산해 버린다면 어떨까요? 다시 말해서 방정식을 풀었더니 유체의 속도가 무한대라는 말도 안 되는 결과가 나온다면 어떨까요?
이해를 돕기 위해 잠시 학창시절로 돌아가보겠습니다. 저희는 중학교 때쯤 y = – 1/x 의 그래프를 배웠습니다. 이 그래프를 보면 x의 값이 음수에서 0으로 가까워질수록 y의 값은 무한대로 발산해버립니다.
이런 식으로 미분방정식의 해가 무한대로 발산하는 것을 수학에서는 폭발(blow-up)이라고 합니다. 수학자들은 3차원 나비에-스토크스 방정식이 항상 물리적으로 말이 되는 해를 가지는지 아니면 물리적으로 말이 안되는 폭발이 일어나기도 하는지 궁금했습니다.
2000년 클레이 수학연구소는 이 질문을 밀레니엄 난제로 내걸었습니다.[3] 질문은 크게 두 방향입니다.
방향 1: 바깥에서 아무 힘도 가하지 않을 때(숟가락으로 젓지 않고 그냥 둘 때), 방정식의 답은 언제나 매끈하게 존재한다는 것을 증명하기.
방향 2: 바깥에서 매끈한 힘을 가해도 좋으니, 어떤 조건에서는 답이 유한한 시간 안에 폭발한다는 것을 증명하기. (반례가 있다)
여기서 ‘매끈하다’는 용어에 대해 조금의 정확성을 희생하면서 쉽게 설명드리자면 ‘물리적으로 말이 된다’ 정도로 이해하셔도 무방합니다. 이 둘 중 하나만 증명하면 상금이 100만 달러입니다. 이번에 오픈AI가 증명한 것은 방향 2, 폭발한다 쪽입니다.[1] 물론 오픈AI는 100만 달러의 상금을 받지 않겠다고 밝혔습니다.[1]
외부의 힘
여기서부터는 조금 어려운 이야기를 할 건데요, 이해가 안 되면 그러려니 하고 넘기셔도 됩니다. 딱 하나만 기억해 주세요. 오픈AI는 바깥에서 아주 정교하게 설계한 힘을 가해 주면 유체가 폭발할 수 있다는 걸 증명했다. 이것만 기억하셔도 Chapter 3을 읽는 데 전혀 지장이 없습니다.
폭발을 찾는 연구에는 긴 역사가 있습니다. 2014년 칼텍의 토머스 호우 교수와 궈 뤄는 컴퓨터 시뮬레이션으로 점성이 없는 유체의 흐름이(오일러 방정식) 원통 안에서 폭발하는 시나리오를 제시했습니다.[10] 그 뒤 스페인의 디에고 코르도바와 루이스 마르티네스-조로아는 오차가 있는 컴퓨터 계산이 아니라 순수한 수학적 기법으로 폭발을 만들어 내는 방법을 발전시켰습니다. 작은 소용돌이 구조를 무한히 겹쳐 쌓아 유체의 속도를 무한대로 만드는 이른바 ‘무한 캐스케이드’ 방식입니다.[4]
코르도바 교수는 이번 사건 이후 이렇게 말했습니다.
“10년 전만 해도 나비에-스토크스에 특이점이 있다고 믿는 사람은 아무도 없었습니다.”[4]
오픈AI의 증명도 큰 틀에서는 이 흐름 위에 있습니다. 외력(external force)이란 중력처럼 유체 바깥에서 가해지는 힘을 말합니다. 오픈AI는 시간과 공간 모두에서 매끈하고, 한정된 영역에만 작용하는 외력을 설계해서, 처음에 가만히 있던 유체가 그 힘을 받아 유한한 시간 안에 폭발한다는 것을 보였습니다.[2]
논문에 따르면 폭발하는 흐름을 먼저 그려 놓고, 그 흐름을 만들어 내는 데 필요한 힘을 거꾸로 계산했습니다.[2]
어려운 건 그 힘이 폭발 순간에도 매끈하게 유지되도록 다듬는 일이었고, 166쪽의 대부분이 바로 그 작업입니다. 힘 자체가 폭발 순간에 갑자기 튀거나 무한대로 치솟으면, 물이 폭발한 까닭이 ‘힘이 무한대로 밀어서’가 되어 버려 반칙입니다. 그래서 규칙은 물은 폭발하더라도 미는 힘만큼은 끝까지 매끈할 것을 요구합니다. 앞에서 본 코르도바 팀의 방법이 마지막에 넘지 못한 것도 바로 이 조건이었습니다. 쉽게 말해 결과를 먼저 정해 놓고, 그 결과가 나오도록 밖에서 밀어 주는 손을 아주 정교하게 조각한 셈이죠.
2000년 클레이 연구소의 공식 문제 설명을 쓴 프린스턴의 찰스 페퍼먼 교수는 그 설명에 이런 매끈한 외력을 이용하여 폭발하는 해를 얻는 경우도 문제를 해결한 것으로 인정한다고 적어 두었는데, 오픈AI는 바로 그 조건을 만족시켰습니다.[3][5]
아래의 그림 5처럼 적절한 외력을 가하여 그림 4의 절묘한 소용돌이를 얻어낸 것입니다.
여기까지 어려웠다면, 다시 하나만 기억하세요. 오픈AI는 “밖에서 정교하게 힘을 가하면 폭발한다”를 증명했습니다.
1만 개의 에이전트가 88시간 동안 한 일
방법도 한번 보겠습니다. 이번 증명은 사람이 AI에게 조언을 받아 쓴 증명이 아닙니다. 오픈AI 설명에 따르면 과정은 이렇습니다.[1][4]
- (GPT-6 Astra보다 성능이 좋은) 내부 모델을 기반으로 한 AI 에이전트 약 1만 개가 동시에 투입됐습니다.
- 에이전트들은 88시간 동안 서로 약 270만 개의 메시지를 주고받으며 증명을 만들었습니다 (함께 시도한 다른 밀레니엄 난제까지 합치면 약 490만 개).
- 그 뒤 다른 AI 모델이 17시간 만에 증명 전체를 Lean으로 옮겨 기계적으로 검증했습니다.
Lean은 제가 단위 거리 문제 글에서도 소개했던, 수학적 증명을 컴퓨터가 엄밀하게 확인할 수 있게 해 주는 언어입니다. 사람이 166쪽을 다 읽지 않아도, 최소한 “논리적으로 틀린 곳은 없다”는 것은 기계가 보증해 준 셈이죠.
비용도 어마어마합니다. 외부 추정으로는 계산 비용이 적게는 200만 달러, 많게는 2,250만 달러에 이릅니다.[7] 수학 문제 하나에 수십억에서 수백억 원을 쓴 겁니다. 제가 이전에 쓴 「NeurIPS에서 직접 확인한, 빅테크의 AI 개발 전략」에서 “강화학습도 결국 돈의 싸움”이라고 썼는데, 이제는 수학 난제도 돈의 싸움이 되어 가는 것 같습니다.
Chapter 3. 결과 및 전망
문제는 풀었는데, 그 문제가 아니다?
오픈AI의 증명이 틀렸다고 말하는 수학자는 거의 없습니다. 수학 증명을 검증해주는 컴퓨터 도구인 Lean 검증까지 거쳤으니까요. 클레이 연구소도 9월 11일 “나비에-스토크스 문제가 해결된 것으로 보인다”고 밝혔습니다.[8] 다만 서두르지 않고 동료 심사를 거친 뒤에 판단하겠다는 단서를 달았죠. 수학 박사인 저 역시도 이 증명이 틀렸을 리는 없다고 생각하면서도 증명의 모든 디테일을 완전 이해하고 있지는 않습니다. 증명의 모든 디테일을 이해하고 검증하는 것은 이 분야를 연구하시는 대가 수학자분들에게도 수개월은 걸릴 일이기 때문입니다.
그런데 오픈AI의 증명 이후 떠오른 논쟁의 핵심은 “그게 수학자들이 정말 풀고 싶던 문제였느냐”입니다. 다시 물컵으로 돌아가 보겠습니다. 수학자들이 오랫동안 매달려 온 질문은 이겁니다.
“물컵을 아무도 건드리지 않아도, 물이 스스로 폭주할 수 있는가?”
그런데 오픈AI가 답한 질문은 이것에 가깝습니다.
“누군가 바깥에서 숟가락으로 아주 정교하게 휘저어 주면, 물이 폭주할 수 있는가?”
대부분의 연구 그룹은 외력이 없는 경우에 집중하고 있었습니다.[5] 외력이 없어도 폭발한다면 방정식 자체에 폭발의 씨앗이 들어 있다는 뜻이니까요. 반면 외력이 있으면, 그 폭발이 방정식의 본성인지 설계된 힘의 결과인지 구분하기 어렵습니다.
게다가 9월 17일, 피터 콘스탄틴, 미하엘라 이그나토바, 블라드 비콜 세 수학자가 arXiv에 논문을 올렸습니다.[13] 오픈AI와 똑같은 방식, 그러니까 소용돌이가 점점 가늘어지면서 빨라지는 방식으로 폭발을 만들려면 폭발 지점 근처에서 누군가 끝까지 손을 대고 있어야 한다는 겁니다. 다시 말해 오픈AI의 바로 그 폭발은 외력 없이는 재현할 수 없습니다.[5][13] 다만 이게 “외력 없는 폭발은 영원히 불가능하다”는 뜻은 아닙니다. 오픈AI의 방식을 그대로 가져가서는 외력 없는 문제를 풀 수 없다는 뜻입니다. 시카고대의 한 수학자는 이렇게 정리했습니다.
“클레이 문제는 해결됐지만, 나비에-스토크스 방정식의 가장 중요한 문제는 여전히 풀리지 않았습니다.”[5]
또 일부 수학자들은 오픈AI 예시에 쓰인 외력이 현실에서 존재하기 어려운, 증명을 위해 인위적으로 만든 꼴이라고 지적합니다.[5] 제가 좀 더 자세히 찾아보니 그 힘이 무한히 크거나 무한한 에너지를 쓴다는 뜻은 아니었습니다. 비현실적이라는 말은 힘의 모양을 두고 하는 말입니다. 특이점 근처에서 정확히 필요한 방향과 리듬으로 흔들어 주는, 자연이 우연히 만들 리 없는 정교하게 설계된 힘이라는 주장이죠.
그런데 저는 생각이 다릅니다. 오픈AI는 반칙을 하지 않았습니다. 클레이 연구소가 스스로 허용한 규칙 안에서 정당하게 풀었습니다. 그리고 비록 오픈AI의 해결법은 특수한 외력이 있을 때만 적용되지만 그 특수한 외력이 부자연스럽다는 주장도 주관적이라고 생각합니다. 오픈AI의 특수한 외력이 정말 물리적으로 허용될 수 없는 형태의 외력인지는 아직 아무도 모릅니다. 그리고 특수한 외력 하에서 오픈AI가 발견한 폭발은 아래에서 이야기할 내용처럼 물리적으로 충분한 의미가 있습니다.
세상은 연속적이지 않다
이 대목은 글을 쓰면서 가장 오래 붙들고 있었습니다. 오픈AI의 결과가 물리적으로 무엇을 뜻하는지를 두고, 처음 떠올린 직관이 한 번 흔들렸다가 다시 자리를 잡았거든요.
나비에-스토크스 방정식에는 숨은 가정이 하나 있습니다. 유체가 연속적이라는 가정(연속체 가설)입니다. 실제 물은 물 분자라는 알갱이의 모임이지만, 알갱이가 워낙 많고 작으니 “그냥 매끈하게 꽉 찬 물질로 보자”고 약속하고 세운 방정식이라는 뜻입니다. 제 리포트 「”시간은 거꾸로 흐를 수 없다” 100년 만에 풀린 힐베르트 여섯 번째 난제」가 바로 이 약속에 관한 이야기였습니다.
입자 하나하나를 다루는 뉴턴 역학에서 출발해, 입자가 엄청나게 많아지면 통계적인 볼츠만 방정식이 되고, 거기서 다시 연속적인 유체 방정식이 나온다는 연결고리를 수학적으로 증명한 연구였죠.
그래서 오픈AI의 결과를 처음 봤을 때 제 직관은 이랬습니다.
“속도가 무한대라니, 현실에선 말이 안 되잖아. 현실의 물은 사실 연속체가 아니니까, 연속체라고 우긴 방정식에서 이런 이상한 해가 튀어나오는 거겠지.”
그런데 외력이 인위적이라는 비판을 보고 나니 찜찜해졌습니다. 물리적으로 말이 안되는 폭발이 연속체 가설을 가정했기 때문에 생겨난 게 아니라 그냥 존재할 수 없는 이상한 외력 때문에 생긴 거라면? 그래서 논문과 후속 연구들을 다시 뜯어보면서 생각해봤습니다.
결론은 이상한 외력만이 폭발의 원인이 아니라는 것입니다. 이 폭발을 “만든” 건 정교하게 설계된 외력과, 그 힘을 증폭시키는 방정식 자체의 성질입니다.
그렇다면 연속체 가정은 이 이야기에서 무슨 역할을 할까요? 다시 말하지만 나비에-스토크스 방정식은 연속체 가설이 성립할 때만 말이 됩니다. 그리고 일반적인 상황이라면 유체를 연속체로 생각해도 잘 들어맞습니다. 나비에-스토크스 방정식을 기반으로 만드는 물의 그래픽이 리얼하게 보이는 이유이죠.
그런데 오픈AI가 발견한 소용돌이의 경우에는 이야기가 다릅니다. 오픈AI 논문에서 폭발하는 소용돌이는 그림 4처럼 시간이 갈수록 반지름이 계속 줄어드는 가느다란 기둥입니다.[2] 그런데 소용돌이의 반지름이 계속 줄어들면 언젠가는 실제 세계의 분자 사이의 간격보다 작아집니다.
액체 물에서 물 분자 사이 간격은 대략 0.3나노미터로, 머리카락 굵기의 수십만분의 1입니다. 소용돌이가 이보다 가늘어지면 그 굵기 안에 물 분자가 몇 개 들어가지도 못합니다. 그 크기에서는 “물은 매끈하게 꽉 차 있다”는 연속체 가설이 현실의 물과 맞지 않게 됩니다.
그래서 이번 오픈AI의 결과를 곱씹어 보면서 제가 도달한 결론은 ‘세상은 연속적이지 않다’는 쉽게 잊어버리곤 하는 물리적 세계에 대한 진실입니다. 이 진실을 잊고 물을 끝까지 매끈한 덩어리로만 계산하면, 수학은 속도가 무한대가 되는 말도 안 되는 예측까지 내놓습니다. 오픈AI가 찾은 폭발이 바로 그런 예측입니다. 우리가 200년 동안 비행기를 띄우고 날씨를 예측하는 데 써 온 매끈한 방정식은 세상을 멀리서 봤을 때의 아주 훌륭한 근사일 뿐입니다. 저는 오픈AI의 결과가 역설적으로 그 근사의 가장자리가 어디쯤인지를 수학의 언어로 보여 준 사건이라고 생각합니다.
“그래서 우리한테 뭐가 달라지는데?”라고 물으신다면, 당장 내일 비행기 설계가 바뀌지는 않습니다. 사이언티픽 아메리칸이 취재한 전문가들도 이 시나리오가 너무 인위적이어서 공학 실무에 당장 미치는 영향은 거의 없을 거라고 했습니다.[15] 저의 생각도 동일합니다. 이 글에 계속해서 등장했던 오픈AI의 그 특별한 외력과 같은 상황을 우리가 실제 세계에서 마주칠 일은 거의 없을 것이기 때문에 우리는 계속 나비에-스토크스 방정식이 거의 잘 작동하는 세계를 경험하며 살 것입니다.
해프닝의 전말: 누가 먼저였나
이제 이번 사건을 논쟁으로 만든 이야기를 해 보겠습니다. 시간 순서대로 정리하면 이렇습니다.[7][8]
| 날짜 | 일어난 일 |
|---|---|
| 9월 1일 | 오픈AI, 밀레니엄 난제에 대규모 에이전트 투입 시작. 앤트로픽이 밀레니엄 난제를 풀었다는 소문이 돈 직후 |
| 9월 2~3일 | 트리스탄 버크마스터(뉴욕대)와 레벤트 알푀게(앤트로픽 소속)가 오픈AI에 연락해 서두른 발표를 우려 |
| 9월 5일 | 오픈AI 내부에서 나비에-스토크스 문제에 대한 해법 도달 |
| 9월 6일 | 오픈AI 연구자 세바스티앙 뷔벡이 두 사람에게 “거의 사람 개입 없이 나비에-스토크스를 풀었다”고 알리고, 버크마스터와 긴급 미팅 |
| 9월 7일 밤 | 버크마스터, 알푀게와 1년 가까이 진행한 연구 성과(외력이 있는 오일러 방정식의 폭발)를 공개하며 “우리 연구가 오픈AI로 새어 나갔을 수 있다”고 폭로 |
| 9월 8일 정오 | 오픈AI, 166쪽 논문과 Lean 코드 공개 |
| 9월 11일 | 필즈상 수상자들의 공개서한 발표, 클레이 연구소 입장 발표 |
| 9월 17일 | 콘스탄틴·이그나토바·비콜, “해석적 외력이면 오픈AI 방식의 폭발은 일어나지 않는다”는 논문 arXiv 공개 |
| 9월 21일 | 오픈AI, 수학 자문그룹 출범 발표 |
버크마스터의 주장은 이렇습니다. 자신과 알푀게(앤트로픽 소속 수학자)는 클로드 뿐 아니라 오픈AI의 코딩 에이전트인 Codex를 연구에 썼는데, 그 과정에서 논문 초안까지 오갔고, 이 연구가 어떤 경로로든 오픈AI에 흘러갔다는 겁니다. 오픈AI의 풀이 방향이 자신들과 비슷하다며 이렇게 말했습니다.
“문제만 던져 준다고 모델이 며칠 만에 도달할 수 있는 방향이 아닙니다.”[8]
협상 과정에서 오픈AI가 “앤트로픽 소속인 알푀게를 빼면 논문에 이름을 올려 주겠다”고 제안했다는 주장도 나왔습니다.[7][8] 버크마스터는 상금이나 경쟁에서 이기는 데는 관심이 없고, 이 수학의 역사에 자신들이 참여했다는 사실을 인정받고 싶을 뿐이라고 밝혔습니다.[8]
오픈AI는 강하게 부인했습니다. 뷔벡은 “그들의 프롬프트나 증명을 모델에 넣거나 에이전트를 이끄는 데 쓰지 않았다”고 말했고,[6][7] 회사는 이후 “7월 3일 이후의 어떤 사용자 입력도 이 시스템에 영향을 줄 수 없었다”고 입장을 강화했습니다.[8] 다만 초기 입장문에서는 “비식별화된 사용 데이터가 모델 개선에 도움을 줬을 가능성은 배제할 수 없다”고 인정하기도 했습니다.[8]
누구 말이 맞는지는 저도 판단할 수 없습니다. 내부 데이터를 볼 수 없는 외부인으로서는 알 수 없는 영역이니까요. 다만 Codex를 매일 연구에 쓰는 사람으로서, 이번 사건을 보며 처음으로 ‘내가 AI와 나눈 연구 대화는 어디까지 안전한가’를 진지하게 고민하게 됐습니다. 제가 신청한 ChatGPT for Academic Researchers 프로그램도 “워크스페이스 데이터는 기본적으로 학습에 쓰지 않는다”고 명시하고 있는데, 앞으로는 연구자들이 이런 조항을 훨씬 꼼꼼히 읽게 될 것 같습니다.
수학자들의 반격, 그리고 오픈AI의 자문그룹
9월 11일에는 테렌스 타오를 비롯한 필즈상 수상자 25명이 「수학에서 AI의 심각한 정렬 실패(A Severe Misalignment of AI in Mathematics)」라는 공개서한을 냈습니다.
제목의 정렬 실패는 AI가 수학이 소중히 여기는 방향과 어긋나게 쓰이고 있다는 뜻입니다. 이 수학자 명단에는 허준이 교수님도 있고, 제가 이전에 작성한 리포트 「“시간은 거꾸로 흐를 수 없다” 100년 만에 풀린 힐베르트 여섯 번째 난제」의 주인공이자 올해 필즈상을 받은 유 뎅도 있습니다.[8][9] 수학자들은 AI 기업들이 미해결 문제를 사람의 이해는 넓히지 않은 채 AI 실력을 재는 시험 문제처럼 써 버리면 수학에 해롭다고 경고했습니다.
저는 타오의 이 말이 특히 아프게 다가왔습니다.
“미해결 문제를 무분별하게 채굴하듯 긁어 가는 일은, 다음 세대의 수학 기법과 문제, 그리고 수학자들이 자라날 생태계 자체를 파괴할 수 있다.”[7]
수학자에게 증명은 답 그 자체보다 그 답에 이르는 과정에서 얻는 이해가 더 중요합니다. 실패한 시도들, 막다른 길, 거기서 나온 새로운 아이디어가 다음 세대의 재료가 되죠. 그런데 1만 개의 에이전트가 88시간 만에 내놓은 166쪽짜리 증명은 “맞다”는 것은 보증해 주지만, “왜 그렇게 되는지”를 사람에게 가르쳐 주지는 않습니다. 타오는 AI 기업들이 논문 대신 보도자료와 SNS로 수학 결과를 발표하는 방식도 비판했습니다.[8]
오픈AI도 한발 물러섰습니다. 9월 21일, 프린스턴 고등연구소(IAS)에 독립적인 수학·AI 자문그룹(Advisory Group on Mathematics and Artificial Intelligence)을 만들었다고 발표했습니다.[9][11] 팀 가워스, 에드워드 위튼, 마르틴 하이러 등 9명의 수학자가 참여합니다.[12] 이 그룹의 역할은 오픈AI가 내놓을 수학 결과의 의미를 평가하고 공개 방식을 조율하는 것입니다. 오픈AI는 같은 내부 모델이 이미 100개가 넘는 다른 미해결 문제를 풀었다고 밝혔습니다.[9] 자문그룹의 첫 성명에는 이런 문장이 있습니다.
“우리는 오픈AI가 내부 모델로 만들어 냈다고 보고한 다수의 중요한 수학적 결과를, 어떻게 공개할지 조율하는 매우 구체적인 과제에 직면해 있습니다.”[11]
솔직히 이 문장을 읽고 좀 소름이 돋았습니다. 불과 몇 년 전까지만 해도 수학자들이 AI에게 문제 푸는 법을 가르치는 시대였다면, 이제는 AI가 쏟아내는 수학 연구 결과를 어떤 순서로 세상에 내보낼지 수학자들이 교통정리를 하는 시대가 된 겁니다.
결국 병목은 ‘이해’로 옮겨 간다
한 달 전 단위 거리 문제 글에서 저는 “앞으로 수학 연구의 병목이 증명을 만드는 일에서 좋은 질문을 만들고 결과를 검증하는 일로 이동할 것”이라고 썼습니다.
이번 사건을 보니 그 예측은 생각보다 훨씬 빨리 현실이 되고 있습니다. 다만 ‘검증’은 고쳐 써야겠습니다. 이번 검증은 Lean이 17시간 만에 해냈으니까요. 기계가 할 수 있는 검증은 생각보다 빨리 기계의 몫이 되고 있고, 사람에게는 이 증명을 이해하는 일이 남습니다.
- 이 증명이 왜 성립하는가?
- 이 결과가 다른 수학과 어떻게 연결되는가?
- 우리가 진짜 궁금했던 질문(외력 없는 경우)에 이 결과가 한 걸음이라도 다가갔는가?
사실 저는 몇 년 전부터 지금의 현실과 비슷한 상상을 해왔습니다. AI가 너무 발전하여 사람이 이해할 수 있는 속도보다 훨씬 빠른 속도로 새로운 지식을 창출한다면, 그로 인해 사람이 소화하지 못한 지식이 계속 쌓여간다면 그게 과연 인류에게 무슨 의미가 있나? 그런 시대가 오면 AI의 무분별한 지식 창출을 정제하고 조절할 시스템이 갖춰져야만 하지않을까?
