좋은습관연구소의 <반도체 애널리스트의 리서치 습관>의 저자 김경민 애널리스트께서 <AI 혁명을 이끈 천재들> 책을 읽고, 직접 필사까지 해주신 문장들. (애널리스트님 블로그에서 가져왔습니다.)
긴 글 입니다만, 쓱 한 번 읽는 것만으로도 재미난 발견 하실 수 있습니다.
AI 혁명을 이끈 천재들 : 인공지능의 과거, 현재, 미래를 읽다 | 이승민 저 | 출판사 좋은습관연구소
인공지능을 “인간이 인위적으로 만들어낸 패턴 인지 능력”으로 이해해도 될까요? 사실 패턴을 인지한다는 것은 사기에 가까울 정도로 굉장히 놀라운 능력입니다. 그 이유는 패턴을 인지하면 미래를 예측할 수 있기 때문입니다. 똑같은 농사를 짓더라도 계절의 변화라는 패턴을 잘 알고 활용하는 농부는 다른 농부에 비해 훨씬 많은 수확을 얻고, 같은 방식으로 어부는 더 많은 고기를 잡고, 학생은 더 높은 성적을 얻고, 장군은 더 많은 전투에서 승리할 수 있습니다.
역전파 알고리즘은 산의 꼭대기가 아닌 산의 밑자락에서부터 미분을 이용해서 현재의 가중치가 최종 오차에 미치는 영향을 계산합니다. 최종 오차를 줄이는 방향으로 모든 뉴런에 대해서 이 계산을 반복하면, 각 뉴런이 가져야 하는 최적의 가중치 값을 구할 수 있습니다. 역전파 알고리즘 이전까지는 사람이 직접 바위를 옮기고 땅을 파고 물을 흘려가며 인공신경망을 만들었다면, 이제는 컴퓨터가 자동으로 바위의 위치와 땅의 깊이를 계산해줍니다. 몇 달, 몇 년이 걸리던 신경망 최적화 작업이 수 분, 수 시간 내에 끝날 수 있게 된 것입니다. 빠른 시간에 인공신경망의 학습이 가능해지자 인공지능은 오랜 겨울을 벗어나 빠르게 발전하기 시작했습니다. 이제부터 문제가 되는 것은 컴퓨팅 파워였습니다.
어느 일요일에 사무실에서 프로그래밍을 하고 있는데, 평범한 노크가 아닌 긴급해 보이는 노크 소리가 들렸습니다. 문을 열어보니 한 젊은 학생이 서 있었는데, 여름 방학에 패스트푸드점에서 감자튀김이나 만들까 했다가 대신 내 연구실에서 일하고 싶다고 말했습니다. 내가 정식으로 면담 약속을 잡자고 하자 “지금 하면 어떨까요?”라고 하더군요. 이것이 일리야 수츠케버와의 첫 만남이었습니다.” — 제프리 힌튼, 영국 왕립연구소와의 인터뷰 (2024) 중에서
토론토 대학에서 인공지능 연구를 이어가던 제프리 힌튼 교수는 어느 날 제자로부터 재밌는 제안을 받습니다. 그동안은 인공지능 학습에 CPU를 사용했었는데, GPU를 사용해보라는 제안이었습니다. 제안을 듣고 곧바로 엔비디아 GPU를 구입해서 사용해보니, CPU에 비해 30배나 빨리 계산을 마쳤습니다. 고성능 게임 PC에만 사용되던 GPU의 새로운 용도를 찾은 순간이었습니다. 엔비디아는 물론이고 향후 인공지능 업계의 판도를 바꾸는 발견이었으나, 2006년 당시에는 아무도 상상하지 못한 일이었습니다.
일리야 수츠케버는 제프리 힌튼 교수의 알고리즘에서 최적화가 덜 된 부분을 찾아냈던 것입니다. 당연히 힌튼 교수는 이 젊고 똑똑한 학생이 마음에 들었습니다. 일리야는 이후 더 많은 데이터를 더 많은 프로세서로 학습하면 결과가 좋아진다는 “확장의 법칙”(Scaling Law)을 발견하고, 구글을 거쳐 오픈AI(OpenAI)의 창립 멤버가 되는 등 인공지능 업계의 거물로 성장합니다.
사람들은 이런 인공지능에 대해 큰 위협을 느끼지 않는 것 같습니다. 외계인이 지구에 착륙했는데, 그들이 아주 훌륭한 영어를 구사하다 보니 사람들이 그 위협을 깨닫지 못하고 있는 것과 비슷한 상황입니다.
“저는 과학자들이 사회에 도움이 되는 일을 해야 한다고 생각하지만, 실제로 최고의 연구는 그렇게 해서 나오는 것이 아닙니다. 최고의 연구는 호기심에 의해 추진될 때 나옵니다. 단지 무언가에 대해 끝까지 이해하고 싶은 욕구, 그것이 위대한 연구로 이어집니다.” — 제프리 힌튼, 영국 왕립연구소와의 인터뷰 (2024) 중에서
제프리 힌튼 교수는 생리학, 철학, 심리학, 인공지능에 이르기까지 많은 시행착오를 거치면서도 결코 포기하거나 다른 유망해 보이는 분야로 눈길을 돌리지 않았습니다. 그만큼 지능의 동작원리를 알고 싶다는 호기심이 강했습니다. 1969년부터 1986년까지, 17년 동안 이어진 길고 긴 인공지능 겨울도 그를 멈추게 하지 못했습니다. 돌파구가 분명 있을 거라는 희망을 놓지 않았고, 이는 역전파 알고리즘의 발명으로 이어졌습니다.
제프리 힌튼 교수는 강한 호기심에 더해 유연한 사고의 소유자이기도 했습니다. 천재 중의 천재라고 불리는 아인슈타인도 양자역학이라는 새로운 패러다임을 수용하지 못하고 “신은 주사위놀이를 하지 않는다”라며 강하게 거부한 바가 있습니다. 그만큼 어떤 지배적인 패러다임 속에 있을 때 우리는 “다른 것”을 생각하기가 쉽지 않습니다. 그런데 제프리.힌튼 교수는 본인이 만든 볼츠만 머신은 물론이고, 역전파 알고리즘도 틀릴 수 있다고 말했습니다.
우리는 종종 우리를 둘러싼 모든 것들이 누군가의 발명품이라는 것을 잊고 삽니다. 우리가 매일 사용하는 컴퓨터는 폰 노이만의 설계에서 시작되었고, 전구는 토마스 에디슨, 자동차는 헨리 포드와 카를 벤츠로부터 시작되었습니다. 1920년대 미국의 경제대공황 이후 등장한 수정 자본주의는 존 메이너드 케인즈의 작품이기도 합니다.
2013년, 인공지능 업계에 기념비적인 논문이 하나 나옵니다. 〈심층 강화학습으로 아타리 플레이하기〉Playing Atari with Deep Reinforcement Learning라는 제목의 논문으로, 이 논문에서 딥마인드의 연구진들은 강화학습 Reinforcement Learning을 사용하여 블록깨기 Breakout와 같은 고전 게임에서 인간 능력을 뛰어넘는 인공지능을 만드는 데에 성공했음을 알립니다.
세상을 놀라게 한 알파고는 인공지능 학습의 세 개의 큰 패러다임인 지도학습 Supervised Learning, 비지도학습 Unsupervised Learning, 강화학습 Reinforcement Learning 중에서 지도학습과 강화학습을 함께 사용하여 만들어진 모델입니다.
지도학습이란 많은 사례를 가지고 “이 숫자는 1이고, 이 숫자는 2야”를 무수히 많이 학습시키는 방식입니다. 딥마인드 연구진은 3,000만 개의 기보를 가지고 인간 바둑 기사들이 각 상황에서 어떻게 두는지 데이터셋으로 만들어 알파고를 학습시켰습니다.
강화학습이란 강아지를 훈련시킬 때처럼, 원하는 행동을 할 때 보상을 주고 원하지 않는 행동을 할 때 벌칙을 줘서, 우리가 원하는 행동을 “강화”하도록 학습시키는 방식입니다. 딥마인드팀은 지도학습이 완료된 알파고끼리 서로 게임을 하게 한 뒤 최고의 스코어를 얻는 행동을 “강화”했습니다.
이세돌 9단과의 두 번째 경기에서 알파고가 둔 제37수 즉, Move 37은 전통적인 바둑 정석에서 매우 벗어난 착수였습니다. 전문가들은 이 수가 나올 확률을 약 1만 분의 1 정도라고 평가했습니다. 하지만 나중에 이 수를 분석해보자, 겉보기에는 비효율적으로 보였는데, 알고보니 장기적인 전략적 이점을 가져다준 창의적 한 수였습니다.
이 수는 인공지능이 단순히 인간의 기보를 모방하는 것을 넘어, 새로운 전략을 창조할 수 있다는 것을 보여주었습니다. 이세돌 9단은 이 수를 보고 깊은 충격을 받았다고 합니다. 그는 나중에 인터뷰에서 “인간이라면 절대 두지 않았을 수”라고 언급했습니다. 이 수는 알파고가 자신들끼리 바둑을 두면서 스코어를 높이는 행동을 강화해주는 과정에서 스스로 체득한 한 수였습니다.
딥마인드의 알파폴드 논문은 인용 상위 0.1%만 들어간다는 Citation Laureate(사이테이션 로리에이트)에 선정되기도 했기 때문에, 일부에서는 노벨상 수상 결과를 어느 정도 예상하기도 했습니다. 혹자는 이런 알파폴드의 등장을 현미경의 등장에 비유하기도 합니다. 현미경 이전과 이후의 연구가 달라졌듯, 알파폴드 이전과 이후의 연구가 달라졌다는 것입니다.
힌튼 교수는 인공지능이 상온 초전도체와 같은 신소재발견에도 큰 도움이 될 것을 예견했는데, 이것 역시 딥마인드의 GNoMe 프로젝트로 한 단계씩 현실화되고 있습니다. 이미 사이언스Science 저널에 게재된 연구를 통해 20만 개의 새로운 결정 구조를 발견했으며, 상온 초전도체와 혁신적인 배터리 소재를 연구하고 있습니다.
무수히 많은 가능성을 탐색해 나가는 가운데, 모든 경우의 수를 다 탐색하는 Brute Force(전수조사) 방식이 아니라, 이미 알파고와 알파폴드로 물리학과 화학적 이해를 근거로 현명하게 조합을 탐색해나가는 방식으로 신물질 개발을 앞당기고 있습니다. 특히 상온 초전도체는 곧바로 에너지 저장의 혁명, 그리고 핵융합 기술과도 직접적으로 연결이 되어 있기 때문에 GNoME 프로젝트의 성공은 인간 문명의 도약을 이끌 수도 있습니다.
저는 체스 선수이기 때문에 항상 몇 년 앞을 내다보고 계획을 세웁니다. 아마도 4살 때부터 체스를 둬서 이렇게 되어버린 것 같네요. 다만, 과거의 저에게 한마디 할 수 있다면 저는 아마 저 자신에게 잘 될 테니 조금만 더 즐기라고 말했을 거예요. 당시에는 이게 어떻게 잘 될 수 있을까 싶었거든요.” – 데미스 허사비스, 팟캐스트 Big Technology와의 인터뷰 (2025) 중에서
일론 머스크는 12살이던 1984년에 스페이스 인베이더Space Invader라는 게임과 유사한 블라스터Blaster라는 게임을 만들어 500달러에 판매한 적도 있고, 52세에도 디아블로4 최상위권 플레이어일 정도로 게임을 즐기고 있습니다.
미국 캘리포니아주 산타클라라에 위치한 엔비디아 본사 사옥을 보면 삼각형을 모티브로 하고 있다는 사실을 쉽게 알 수 있는데, 오늘의 엔비디아를 있게 한 기술인 삼각형 기반 텍스처 매핑 기술을 건물 설계에 반영한 디자인입니다.
사티야 나델라는 성장 마인드셋의 핵심을 “모든 것을 아는 사람(know-it-alls)이 모든 것을 배우는 사람(learn-it-alls)으로 바뀌는 것”이라고 간결하게 정의했습니다. 이는 지식이나 능력이 고정된 것이 아니라 노력과 학습을 통해 발전시킬 수 있다는 관점이며 앞서 다루었던 젠슨 황의 리더십과도 일치하는 부분입니다.
2013년 8월, 갑자기 2대 CEO 스티브 발머 (Steve Ballmer)가 사임을 발표합니다. 승승장구하던 클라우드 사업과는 달리 윈도우폰과 같이 크게 실패한 프로젝트들이 회사의 발목을 잡았고, 스티브 잡스의 아이폰, 아이패드, 맥북에어 등 새로운 기기들이 연일 사람들의 입에 오르내리는 사이 “더이상 마이크로소프트는 혁신적이지 않다”는 평이 나오기도 하는 등 회사의 분위기가 좋지 않은 가운데에 벌어진 전격적인 결정이었습니다.
“선임 과정은 상당히 공개적이었습니다. 그 당시, 솔직히 말해서, 처음에는 빌이 떠날 것이라고도, 스티브가 떠날 것이라고도 전혀 생각하지 않았습니다.” – 사티야 나델라, 유튜브 채널 Bg2 Pod와의 인터뷰 (2024) 중에서
사티야 나델라에게도 이 뉴스는 갑작스러웠습니다. 그리고 생각지도 않게 이사회로부터 CEO 후보로 검토 중이니 앞으로 CEO가 되면 어떻게 하겠다는 비전을 글로 작성해 공유해달라는 요청을 받게 됩니다. 이때 작성한 10장의 메모는 그를 마이크로소프트의 3대 CEO로 만들어주었을 뿐만이 아니라 주춤했던 마이크로소프트를 다시 일으켜 세우는 계기를 마련합니다. 메모의 내용은 “배경 지능”(Ambient Intelligence)과 “유비쿼터스 컴퓨팅”(Ubiquitous Computing), 이 두 가지 개념으로 요약됩니다. 배경 음악처럼 사용자 주변에 늘 존재하며 손쉽게 접근할 수 있는 인공지능이 필요하다는 것과 장소에 구애받지 않고 사용이 가능한 컴퓨팅, 즉 클라우드 서비스로의 집중이 필요함을 주장한 것입니다.
성장 마인드셋의 본질은 끊임없는 학습과 발전, 그리고 지속적인 겸손함으로 사티야 나델라가 마이크로소프트에 적용하려고 했던 아이디어가 바로 이것이었습니다.
더닝-크루거 효과(Dunning-Kruger Effect)라는 이야기가 있습니다. 더닝-크루거 효과는 능력이 부족한 사람들은 자신의 능력을 과대평가하는 경향이 있는 반면, 실제로 뛰어난 전문가들은 오히려 자신의 능력을 과소평가하는 인지적 편향을 말하는데요. 실제로 업계의 뛰어난 사람들을 만나서 이야기를 나누어보면 겸손하고, 항상 상대의 말을 경청한다는 것을 알 수 있습니다. 이런 분들은 이미 뛰어난 역량을 가졌음에도 불구하고 자신은 모르는 게 많다고 생각하고 더 열심히 배우고 더 빨리 성장하려는 특징을 갖고 있습니다.
사티야 나델라는 “겸손”에 대해서도 다음과 같은 내용을 고백한 적 있습니다. Bg2 Pod과의 인터뷰에서 나델라는 마이크로소프트의 시가 총액이 $3조 달러를 돌파한 날, 자신도 모르게 걸음걸이가 거만해져 있어 새삼 깜짝 놀랐다는 경험을 공유했습니다.
“고대 그리스에서 현대 실리콘밸리에 이르기까지, 문명과 국가, 기업을 몰락시키는 것은 단 하나입니다. 바로 오만함입니다.” – 사티야 나델라, 유튜브 채널 Bg2 Pod와의 인터뷰 (2024) 중에서
AI를 잘 쓰는 사람들이 더 좋은 콘텐츠를 더 빠르게 만들어내고 있음도 사실입니다. 결국 어디에서든 경쟁을 피해 갈 방법은 없고, AI를 잘 쓰는 사람이 결국에는 경쟁 우위를 가져갈 것입니다. 앞으로 “초개인화 AI”는 각 개인의 역량과 환경에 따라 맞춤형 성과를 창출하기 때문에, AI를 적극적으로 활용할 수 있는 사람과 그렇지 못한 사람 간의 소득 격차는 더욱 벌어질 것입니다.
GPT-1은 8개의 엔비디아 V100 GPU로 한 달간 훈련했고, 다양한 자연어 처리 작업에서 상당한 가능성을 보여주었습니다. 이어서 일리야 수츠케버는 WebTx라는 더 크고 다양한 데이터셋을 가지고 100개의 V100 GPU로 일주일간 학습된 모델 GPT-2를 만들었습니다. GPT-2는 GPT-1에 비해 훨씬 뛰어난 성능을 보였으며, 비지도학습 (Unsupervised Learning)에서도 더 강력한 컴퓨팅과 더 많은 데이터로 인공지능 모델이 학습하면 성능이 향상된다는 것을 입증해냈습니다. 일리야의 이 발견은 이후 “확장의 법칙”Scaling Law으로 불리게 됩니다.
제프리 힌튼 교수와 리처드 서튼 교수 모두 튜링상을 받은 뛰어난 연구자임에도 시각이 크게 다르다는 점은 매우 흥미롭습니다. 요약하자면, 힌튼 교수는 강력한 AI가 인간을 지배하는 상황을 우려하고, 서튼 교수는 강력한 AI를 손에 쥔 소수의 집단이 인간을 지배하는 상황을 우려한다고 볼 수 있습니다. 그래서 각자의 해법도 힌튼 교수는 초정렬, 즉 AI의 목표를 인간의 이익에 일치시켜야 한다는 것이고, 서튼 교수는 사회적 규범과 구조를 통해 다양한 AI가 인류와 공존하며 누구 하나도 다른 존재를 압도하지 못하는 자연적 균형 상태를 추구해야 한다고 말합니다.
“지능은 우주에서 가장 강력한 현상입니다. 지능은 초신성이나 블랙홀보다도 더 강력합니다. 블랙홀과 초신성은 꽤 강력하지만, 이들이 만들어지는 것과 똑같이 10억 년을 지능에게 준다면 어떻게 될까요? 아마도 우리는 초신성보다 더 많은 별을 움직이게 될 것입니다.” – 레이 커즈와일(구글 엔지니어링 디렉터), 저서 『특이점이 온다』 중에서
[출처] [2025년 독서 필사] AI 혁명을 이끈 천재들 : 인공지능의 과거, 현재, 미래를 읽다 | 이승민 저 | 좋은습관연구소 출판|작성자 애널리스트김경민CFA
좋은습관연구소 