딥마인드가 '징'을 울린 이유

 

2022년 11월, 오픈AI의 챗GPT가 등장한 이후 인공지능(AI)은 모든 산업을 집어삼킬 듯 넘실거렸습니다. “AI를 이용해 어떻게 생산성을 높일 수 있을까” “AI를 이용해 남들과 차별화된 무엇을 만들어낼 수 있을까”라는 질문을 해보지 않은 산업군이 있을까 하는 생각이 들 정도로 AI가 미친 파장은 상당했어요. 

거대언어모델(LLM) 기반의 AI가 가진 ‘경제성’, 즉 투입 대비 효용이 낮다는 지적 또한 끊임없이 이어지고 있어요. 일명 ‘버블론’입니다.

빅테크 기업들이 AI 구축에 사용한 투자액을 ‘이익’으로 전환하려면 830조원을 벌어야 한다는 보고서, AI 투자에는 많은 돈이 투입됐지만 정작 효용은 적다는 보고서 등을 보고 있으면 수긍이 가기도 합니다. 

논란은 있지만 확실한 점은 2년이라는 짧은 시간 동안 LLM을 앞세운 AI는 거듭해서 발전해왔다는 점입니다. 특히 약점으로 불렸던 ‘수학’ 분야에서 괄목할만한 성장을 이어가고 있어요.

수포자인줄 알았던 AI가 수학에 한 발 더 다가선 상황, 이는 결국 AGI로 알려진 범용 AI에 한 걸음 더 가까워지는 기반으로 작용할 겁니다. 

이번 레터에서는 AI가 수학을 대하는 자세에 대해 다뤄보려고 해요. 휴식기를 거친 미라클레터, 10만 구독자님과 함께 숨 가쁘게 달려보겠습니다.

오늘의 지수

• AI는 왜 수학에 약할까
• AI가 수학을 배우는 방법
• (알림)세계지식포럼 오픈 세션
• 딥마인드가 징을 울린 이유
• (알림)추천사를 적어주세요!

※ 볼딕 단어나 밑줄 단어에는, URL이 포함돼 있습니다. 클릭하면 세부 내용이 연결됩니다.

챗GPT가 많이 똑똑해졌다고 하지만, 아직 배워야 할 것들이 많네요. 인간을 따라잡기에는 아직... 수학에 약한 AI 문제는 추론(지능) AI, 특히 챗GPT와 같은 거대언어모델이 수학에 약한 이유를 먼저 살펴볼게요. LLM의 작동 방식에 대해서는 많은 분이 아실 거라 생각합니다. 정리하면 AI는 이 세상에 있는 수많은 ‘언어’로 된 문서를 학습합니다. 이 과정에서 언어와 언어 사이의 관계를 확률로 정리해요. 예를 들어 ‘비가 오면 우산을 씁니다’라는 문장을 AI가 만들어낸 이유는 ‘비가 오면’이라는 언어와 ‘우산을’ ‘쓴다’라는 단어의 상관관계가 높기 때문입니다.  따라서 AI 전문가에게 “챗GPT의 원리를 중·고등학교 수학 교과서로 설명해야 한다면 어떤 단원이 가장 적합할까요”라고 물었을 때 많은 분이 ‘확률과 경우의 수’라고 답해주셨어요. AI는 특정한 언어 뒤에 나올만한 단어를 확률로 정리해두고, 사람이 물어보면 그에 맞춰 대답해 줍니다.  챗GPT, 제미나이는 실제로 아무것도 알지 못하지만 어떤 단어가 다른 단어 뒤에 오는지 파악하는 데 매우 능숙한 셈입니다. 이것이 ‘창의성’ ‘추론’으로 비치기도 하지만 정확히 말하면 확률 상자에서 공을 꺼내 늘어놓는 것과 같아요. 언어는 ‘확률’로 끼워서 맞출 수 있습니다. 하지만 수학은 확률로 답을 구하지 않아요. 수학 문제를 풀 때 답을 찾아가는 과정은 확률이 아닌 기존에 배웠던 이론을 기반으로 추론을 통해 접근합니다. 수학 문제를 잘 푸는 사람은(머리 좋은 사람 논외) 많은 문제를 푼 경험을 기반으로 문제를 어떻게 접근할지 빠르게 파악한 뒤 문제를 풀어나갑니다. AI는 이러한 추론 능력이 없는 만큼 수학을 잘하지 못합니다. 특히 그림을 이리 돌리고 저리 돌리며 푸는 ‘기하학’에 약하다고 알려져 있어요. 하지만 LLM은 수학 공부를 하고 있습니다. 지난해 챗GPT는 간단한 일차방정식도 풀지 못한다는 오명을 안고 있기도 했지만 지금 우리가 쓸 수 있는 챗GPT 무료 버전도 어지간한 1~2차 방정식은 거뜬히 풀어냅니다. 심지어 3차 방정식 문제를 내도 답을 찾아가는 과정을 기술합니다. 답을 낸 뒤에 “너 답 틀렸어”라고 말하면 과거에는 “당신의 말이 맞습니다”라고 말하기도 했는데 이제는 “네가 틀렸어”라고 핀잔을 주기도 합니다. ※방금 드린 설명이 정확한 답은 아닐 겁니다. 쉬운 용어로 표현하다보니 비유를 사용하고 내용을 단순화한 점, 이해해 주세요 AI에게 있어서 수학이 중요한 이유는 간단합니다. AI가 수학 문제를 풀었다는 것은 인간 지능과 유사한 추론 능력을 갖추게 됨을 뜻하기 때문이에요. 지난해 샘 올트먼 오픈AI CEO가 이사회로부터 축출당했을 때 ‘큐스타’라는 AI가 거론된 적이 있었습니다. 오픈AI 연구진이 개발한 큐스타는 초등학교 수준의 수학 문제를 풀었다고 해요. 오픈AI 내부적으로 충분한 검토 없이 큐스타를 상용화할 경우 문제가 발생할 수 있다는 의견이 나왔는데, 이것이 올트먼 해임에 영향을 미쳤다고 합니다. 즉, 큐스타가 수학 문제를 해결하면서 AGI 구현을 위한 힌트를 얻게 됐고, 이 과정에서 AI 신중론이 대두됐다는 얘기입니다.

AI 기반 수학 학습 플랫폼 '수학대왕'을 운영하는 스타트업 튜링의 최민규 대표입니다. 최 대표가 서울대 공대 재학 시절 창업한 튜링은 오픈AI와의 협업을 통해 빠르게 성장하고 있어요.  AI가 수학을 배우는 방법 AI와 수학을 주제로 여러 전문가의 의견을 듣던 중 AI 기반의 수학 학습 전문 플랫폼 ‘수학대왕’을 운영하는 스타트업 ‘튜링’의 최민규 대표의 이야기를 들을 기회가 있었습니다. 누적 110억원의 투자유치를 달성한 튜링은 오픈AI와의 협업을 기반으로 국내 대표 교육 애플리케이션으로 성장하고 있는데요, AI가 수학을 극복하는 과정을 최 대표의 목소리를 통해 옮겨 볼게요. 조금 내용이 어렵지만 현업에 계신 분의 ‘자연어’인 만큼 최대한 그대로 옮기려 노력했습니다. 어렵다는 건 그만큼 뇌를 쓰고 있다는 것, 뇌를 쓴다는 것은 배우고 있음을 뜻합니다. 원 기자 = 대표님 반갑습니다. 최근 제가 챗GPT를 쓰다 보니 느낀 점이 있어요. 지난해만 해도 수학 못 한다는 기사가 많았는데 지금은 문제를 곧잘 풀더라고요.  최 대표 = LLM은 태생적으로 일상생활에서 사용되는 자연어, 그리고 웹에서 수집된 방대한 텍스트 데이터를 바탕으로 개발됐어요. 이러한 특성 때문에 초기 LLM은 수학적 지식과 대규모 수치 계산과 같은 분야에서 한계를 가질 수밖에 없었습니다. 수학적 문제는 높은 정확성, 정밀한 논리적 추론을 요구하기 때문에, 이러한 분야에서 LLM의 성능을 끌어올리는 것이 큰 도전이었어요.  원 기자 = 제가 3차, 4차 방정식 문제도 냈는데 다 풀었어요. 이전에는 잘 틀린다는 단순한 계산, 가령 키를 알려주고 누가 더 크냐, 라는 질문에 대한 답도 정확하고, 문장으로 만든 방정식 문제도 상당히 잘 풀더라고요. 이유가 있을까요.  최 대표 = 네 그럼요. 저희가 오픈AI와 협업하는 스타트업으로 선정된 것도 바로 그 이유입니다. 최근 LLM의 수학적 성능이 향상된 배경에는 다음과 같은 요인이 작용했다고 봐요. 먼저 데이터의 양과 질이에요. 최근 GPT는 초창기 모델에 비해 방대한 양의 고품질 데이터를 기반으로 학습되었습니다. 특히 수학 문제에 대한 다양한 데이터 세트가 포함되어 있어 복잡한 연산에 대한 이해도가 크게 향상되었어요. 이 데이터는 단순 산술 문제에서부터 대수학 문제까지 폭넓게 다루고 있습니다. 2023년에 LLM의 수학 성능에 대한 오픈AI의 접근을 설명한 백서에 따르면, 이들은 상당히 오래전부터 자체적으로 수학 데이터를 생성해온 것으로 보여요. 이는 오픈AI 직원에게 직접 들은 내용이에요. 그렇지만 아직 LLM의 수학 수준은 갈 길이 멉니다. 그래서 이 데이터에 저희 수학대왕에서 기여할 수 있는 부분이 많다고 생각합니다. 그동안 수학대왕이 수집해 왔고, 수집하고 있는 데이터들이 매우 의미 있는 형태거든요. 원 기자 = 역시 데이터가 답이었군요.  최 대표 = 프롬프팅 기법의 발전도 꼽을 수 있어요. ‘Let’s think step by step‘과 같은 프롬프팅 기법의 도입은 LLM의 추론 능력에 큰 변화를 가져왔습니다. 이 기법은 단계별로, 차근차근 생각해보자와 같은 프롬프트를 추가하는 것만으로도 AI의 출력 결과를 개선해 나가는 기법이라고 보시면 돼요. 이를 통해 LLM은 논리적이고 체계적으로 문제에 접근할 수 있게 됐습니다.  데이터 + 프롬프트 + 학습기법 = 수학 능력 향상 원 기자 = AI가 스스로 수학을 공부할 수 있을까요 최 대표 = 물론입니다. 오픈AI는 LLM의 수학 능력을 강화하기 위해 새로운 학습 기법을 도입했어요. 이 중에서도 ’프로세스 슈퍼비전(Process Supervision)‘ 방식이 중요한 역할을 했습니다. 이 접근법은 모델이 단순히 최종 답을 맞히는 것뿐만 아니라 문제를 해결하는 과정 자체를 검증하고 강화하는 방식입니다. 이를 통해 LLM이 복잡한 문제를 보다 정확하게 풀 수 있도록 설계되었어요. 이러한 과정 기반의 접근법은 수학적 추론의 정확성을 크게 향상했습니다. 원 기자 = 챗GPT-4o는 복잡한 계산도 풀더라고요. 가령 제가 ’4578274 곱하기 0.034334은?‘하고 물었더니 무료 버전 챗GPT는 오답을, 유료 버전인 챗GPT-4o는 정답을 말했습니다. 차이가 뭘까요.  최 대표 = GPT-4o에서의 가장 중요한 기술적 혁신 중 하나는 ’Mixture of Experts(MoE)‘ 구조입니다. MoE 구조에서는 여러 개의 전문가 모델이 존재하며, 각각의 모델은 특정 작업에 최적화되어 있습니다. 이 방식은 기존의 모든 작업을 하나의 모델이 처리해야 했던 방식과 달리 작업의 특성에 따라 가장 적합한 전문가 모델이 선택되어 활용됩니다. 또한 말씀하신 복잡한 계산은 ’엑스퍼트 라우팅(Expert Routing)‘이 작용한 결과일 거예요. 각 작업에 맞는 전문가를 선택해 주는 건데요, 질문을 본 AI가 ’아, 이 질문에 대한 답은 계산기에 넣으면 정확하겠다‘라고 판단하고 그냥 계산기에 넣어버리는 거죠.  원 기자 = 개발자들도 수학이 약점임을 알고 개선하려는 노력을 꾸준히 해온거네요.  최 대표 = 네 물론이죠. 또한 외부 도구와의 결합도 성능 향상에 영향을 미쳤다고 봐요. 대표적으로 울프람(Wolfram)에서 만든 ’Mathematica‘를 꼽을 수 있어요. 수학, 과학, 공학 분야에서 가장 강력한 계산 도구 중 하나인데요, 이 도구는 복잡한 수학적 연산, 심볼릭 계산, 데이터 시각화, 수식 분석에 탁월한 성능을 보입니다. Wolfram의 알고리즘은 정확도와 신뢰성이 높아 복잡한 수학 문제를 처리하는 데 있어 무척 유용하다고 알려져 있어요. 이 도구와 GPT-4o가 통합되면서 수학 연산을 정확하게 처리할 수 있습니다.  원 기자 = 오늘 말씀 감사합니다. 대표님은 수학을 좋아하시나요? 최 대표 = 네 그럼요. 수학으로 먹고 살고 있습니다. 하하하.

지난해 세계지식포럼 오픈세션에서 인기 게임 리그오브레전드의 총괄 프로듀셔를 역임한 마이클 초우 빌리버 CEO(왼쪽)가 e스포츠구단 T1의 안웅기 최고운영책임자와 토론하고 있는 장면입니다. [사진=세계지식포럼] "박찬호, 이수만 뜬다" 세계지식포럼 오픈세션 접수 “제가 LA에 있을 때는 말이죠…” 올 9월 9~11일 매경미디어그룹이 개최하는 제25회 세계지식포럼에 ‘투 머치 토커’ 박찬호가 옵니다. ‘K팝의 아버지’ 이수만 SM엔터테인먼트 설립자 및 초대 총괄 프로듀서와, 한국의 대표 블록체인 투자사 해시드의 김서준 대표도 만날 수 있습니다. 세계지식포럼은 지식 공유를 바탕으로 균형 잡힌 성장과 번영을 추구하고자 매경미디어그룹이 2000년부터 시작한 글로벌 포럼입니다. 매일경제는 독자들을 위해 세계적 명사들의 강연 중 일부를 ‘오픈 세션’으로 개최해 무료로 공개하고 있습니다. 미리 참가 신청을 하면 누구나 직접 강연을 들을 수 있습니다. 올해는 한국 최초의 메이저리거이자 ‘투 머치 토커’ 방송인으로 알려진 박찬호 팀육십일 대표와, 에스파·보아·동방신기 등 글로벌 K팝 스타들을 탄생시킨 ‘K팝의 아버지’ 이수만 프로듀서의 강연을 공개합니다. 김서준 해시드 대표는 현명한 투자 전략을 위한 조언을 제공합니다. 박찬호 대표는 한국 최초의 메이저리거에서 124승의 역사를 쓰기까지의 과정 속에 있었던 실패와 좌절, 극복과 성취의 이야기를 진솔하게 들려드릴 것입니다. 아울러 19년간의 야구선수 생활을 마치고 방송인으로 새로운 삶을 나서며 사람들에게 웃음과 활기를 불어넣는 ‘투머치 토커’로 변신하기까지의 비하인드 스토리도 풀어냅니다. 이수만 프로듀서는 인공지능(AI)이 K팝 셀러브리티와 관객의 관계를 어떻게 변화시킬지에 대해 강연합니다. 김서준 해시드 대표는 ‘물리 세계의 정부, 그리고 디지털 세계의 블록체인’을 주제로 이야기합니다. 이외에도 나프탈리 베네트 전 이스라엘 총리, 야렉 쿠틸로브스키 딥엘(DeepL) 창업자를 비롯한 세계적 명사들이 지정학, 인공지능, 세계 경제, 가상자산 등 다양한 주제로 공개 강연합니다. 세계지식포럼 홈페이지에서 강연에 대한 자세한 정보를 찾아보실 수 있습니다. 신청 기간은 9월 5일 오후 5시까지입니다. 많은 신청 부탁드립니다!

딥마인드 연구진이 어려운 수학 문제를 풀어낸 AI를 기념하기 위해 징을 울리고 있습니다. [사진=딥마인드] 딥마인드가  징을 울린 이유 지난 7월 중순 구글 딥마인드 사무실에 ‘징’이 울립니다. 딥마인드는 중대한 결과 발표가 있을 때 징을 두드리는 ‘전통(?)’을 가지고 있는데요. 지난 2016년 알파고가 이세돌 9단을 이겼을 때, 그리고 2017년 알파제로가 체스를 정복했을 때 징을 울렸다고 해요. 이번에 딥마인드가 징을 울린 이유는 수학 분야에서 AI가 거둔 기념비적인 성과를 축하하기 위해서였습니다. ‘알파 프루프’라고 불리는 AI가 2024년 국제수학올림피아드에 출제된 수학 문제 6개 중 4개를 풀었거든요. 딥마인드에 따르면 이들의 AI는 총 28점을 받아 은메달에 걸맞은 성과를 냅니다. AI가 올림피아드 문제에서 메달을 받을 만한 성과를 낸 것은 이번이 처음이라고 해요. 기억하시는 분들도 계시겠지만 올해 1월, 딥마인드의 ‘알파 지오메트리’라는 AI가 국제수학올림피아드에 출제됐던 기하학 문제를 풀었다는 논문이 발표된 바 있는데 이번 성과는 그보다 진일보한 것이라고 해요.   알파 지오메트리는 ‘기하학’에 최적화된 AI 모델이고 알파 프루프는 보다 넓은 수준의 수학 증명에 최적화된 모델로 보시면 됩니다.  알파 프루프는 IMO에 출제된 대수학 문제, 정수론 문제를 3일 만에 해결했습니다(실제 IMO 참가 학생들에게는 4시간 30분의 시간이 주어진다고 해요). 또 다른 영역인 ‘조합론’ 문제는 풀지 못했다고 하는데요, 딥마인드는 “AI가 메달 수준의 성과를 달성한 것은 이번이 처음”이라며 “고급 정리 증명을 구축하는 여정에서 중요한 이정표가 될 것”이라고 자신했습니다.  딥마인드가 이러한 성과를 달성할 수 있었던 원인은 챗GPT가 수학을 극복해가는 과정과 비슷합니다. 부족한 데이터를 보완하기 위해 자연어로 작성된 100만 건의 문서를 ‘린’이라는 언어로 번역해 증명을 읽고 쓰도록 훈련합니다. 이 과정에서 제미나이를 이용했고요. 알파 프루프는 문제가 발생하면 ‘후보’를 만든 뒤에 가능한 증명 단계를 검색하고 증명 또는 반증하는 과정을 거칩니다. 이 과정을 스스로 해 나가면서 문제 해결 능력은 강화됩니다. 또한 이 방식은 과거 알파고가 기보학습에서 나아가 스스로 바둑을 두며 성장했던 방식과 같아요. 딥마인드 연구진은 수백만 개의 문제를 증명하거나 반증함으로써 훈련을 시켰다고 합니다.

위 삼각형 그림을 보시면 됩니다. AB의 길이와 AC의 길이가 같을 때 각B와 각C가 같음을 증명하는 과정에서 AI는 AD라는 새로운 선을 그리고, 이를 통해 각B와 각C가 같음을 증명하는 데 성공합니다. 이러한 학습을 통해 아래에 있는 복잡한 문제(수학올림피아드 문제라 하네요...)를 풀어 나갑니다. [그림=딥마인드] 추론 기능을 보완한 AI 기하학 문제를 풀어낸 알파 지오메트리도 ‘알파 지오메트리2’로 업그레이드 되었는데요, 기존 AI가 가진 추론의 한계를 극복한 방식이 눈에 띕니다. 위 그림으로 간단히 설명해 볼게요.  삼각형이 있습니다. AB와 AC의 길이가 같을 때 (이등변삼각형) 각B와 각C의 크기는 같습니다. 이를 증명하기 위해서는 점 A에서 BC로 ‘가상의 선’을 그리면 되는데요, 이 과정이 바로 ‘추론’에 해당합니다. AI는 추론에 약하죠. 알파 지오메트리는 증명하다가 답이 나오지 않을 경우 또다른 AI 모델을 이용해 ‘보조선을 그려라’라는 명령을 합니다. 보조선(위 그림에서는 AD입니다)이 생기고 나면 이를 기반으로 나눠진 두 삼각형이 합동이 되니까 각B와 각C가 같다는 결론을 내리게 됩니다. 알파지오메트리2는 이 과정을 고도화해 더 어려운 기하학 문제를 풀어냅니다. 위 그림에서 아래 부분에 있는 도형 보이시죠? 파란색 선이 AI가 만들어 낸 보조선입니다.  즉 AI가 추론, 지능이 없다면 다양한 방식을 시도해봄으로써(알파 지오메트리를 예로 들면 문제에는 없는 새로운 선을 그리는 과정) 문제 해결 능력을 키워나가는 겁니다. 딥마인드는 제미나이를 이용해 자연어 추론 시스템을 실험했다고 해요. 이러한 방식을 통해 얻은 결과는 큰 가능성을 보여줬다고 합니다.

"나는 미라클레터로 이렇게 미라클모닝을 한다" 미라클레터가 동기부여 책인 <미라클레터>를 9월 초에 발간합니다. 많은 독자님들이 미라클레터를 어떻게 사용하고 계시는지 책에 적으려고 하는데요. 독자님의 도움이 필요해요. "나는 미라클레터로 이렇게 미라클모닝을 한다"라는 내용을 여쭤보려고 하는 이유입니다. 선착순으로 적어주신 분 가운데 가장 유익한 내용을 주시는 분 20분께 미라클레터 책 발간과 동시에 책을 보내드리도록 하겠습니다. 적어주실 내용은 아래와 같습니다. "나는 미라클레터로 이렇게 미라클 모닝을 한다": 어떻게 미라클레터를 사용하고 계시는지 노하우를 공유해 주시면 감사하겠습니다. 성함 소속 직함: 책에는 실명으로 기입이 됩니다 (밝히기 부담스러우시면, 20대 학생, 이렇게 적어도 좋습니다) 이메일, 휴대전화 번호: 책을 배송하기 위해서 입니다. 많은 분들의 참여 부탁드립니다. "독자님이 성장하시는 만큼, 미라클레터 역시 성장합니다."

인사말

뇌를 연구하는 과학자들은 이런 말을 합니다. “우리가 뇌에 대해 아는 것은 1%조차 채 되지 않을 거예요.” 뇌의 명령으로 나타나는 지능 역시 정확히 무엇인지, 인간은 잘 알지 못합니다. AI에게 지능을 부여하려는 시도가 어려운 이유일 거예요. 

많은 AI가 수학에 도전하는 이유는 명확합니다. 수학 문제를 해결해 가는 과정에서 인간이 가지고 있는 ‘추론’이라는 능력을 끌어낼 수 있을 테니까요. 이는 곧 AI가 인간의 지능을 흉내 내는데 필요한 단서를 제공해줄 수 있을 거예요. 

수포자였던 AI가 수학에 도전하는 흐름을 살펴보던 중 문득 이런 생각이 떠올랐습니다. 인간이 수학을 발전시켜왔던 과정도, AI가 이를 흉내 내는 과정도 단순하게 표현할 수 있었습니다. 바로 ‘끊임없이 시도하는 것’이에요. 

앞서 ‘이등변삼각형 내각의 크기는 같다’라는 명제를 증명하는 과정에서 AI가 인간처럼 기존에는 없던 보조선을 그려 증명을 끌어냈다고 말씀드렸는데요. 인간 역시 과거 수많은 보조선을 그리고 실패를 거듭하며 이러한 증명을 쌓아왔습니다. AI도 같은 방식으로 인간을 쫓고 있고요. 결국 인간의 지능이란 끊임없이 쌓인 실패의 결과물이 아닐까요. 

휴식기를 가지고 온 뒤라 말이 많았습니다. ‘지능’ 얘기가 나왔으니 오늘 점심에는 뇌에 좋은 음식 어떠세요.

뇌에 좋은 음식은 여러 가지가 있지만 탄수화물, 지방, 단백질을 골고루 드시는 게 효과적입니다. 고기가 주메뉴라면 한 점 드실 때 마다 채소를 가득 드시면 됩니다. 식사 후 생과일 주스로 부족한 비타민 챙기시고요. 

16일 하루만 휴가 내면 4일을 쉴 수 있는 금요일. 출근하고 공부하는 모든 분을 응원합니다. 읽어주셔서 감사합니다.

함께 적어가겠습니다

원호섭 드림