🤯상하이 한 블록이 로봇으로 이사하는 영상

https://youtu.be/7ZccC9BnT8k

GPU 모니터링 앱을 하나 만들어서 새벽에 공개했다. all-smi 라는 이름의 앱이다. (미리 아답터를 만들어 두었다면) GPU, NPU 종류에 상관없이 하나의 뷰로, 지금 내 컴퓨터 또는 여러 서버에 걸쳐 모든 자원을 모니터링하는 툴이다. GPU 모니터링하러 뭔가 잔뜩 깔고, 웹까지 개발하고 열고 보는 그 모든 과정이 너무 불편해서 만들었다.

지금은 Nvidia GPU들, Nvidia Jetson GPU 및 (달려 있는 보드라면) DLA 가속모듈, Apple silicon 의 GPU 및 ANE 모니터링을 지원한다. 여러 서버 노드에 API 모드로 데몬으로 띄운 후 한 곳에서 모아서 보는 뷰 모드가 핵심인데, 서버 노드 300여대, GPU는 2400장까지 지원하는 것을 1차 목표로 만들었다. (더 많아지면 커넥션 풀과 뷰 설계가 좀 바뀌어야 할 듯 하다. 운영체제에 따라 현재 64개 정도의 커넥션 풀을 쓰는데, 더 댓수가 많아지고 중간에 몇몇 뻗는 노드들이 생길 때 타임아웃 고려하면 커넥션 풀 고갈 관련해서 머릴 써야 한다.)

설치는 cargo install all-smi 또는
https://github.com/inureyes/all-smi 에서 바이너리를 받으면 된다.

애플 머신을 위한 homebrew 랑 리눅스 배포판 추가 등은 저녁에 진행할 예정.

여기까지는 앱 소개였고,

사실 이 앱은 작년 8월 초에 휴가갔다가 rust 나 배워볼까 하고 만들기 시작했던 앱이다. 작년 여름에 NPU용 뷰잉 도구가 제대로 된 것이 없고, 사용성도 다 달라서 여러 GPU나 NPU가 섞여 있는 상황에서 뭘 하기가 너무 어려웠다. 그래서 휴가 간 김에 만들까 해서 시작했던 앱이다. rust 를 선택한 이유는 가장 안 해 본 언어라서였다. rust 는 정식 버전도 나오기 전 아주 초창기에 book of rust 읽고 해 본 것이 다였다.

당시의 페이스북 글이다.
https://www.facebook.com/share/p/1B44JfnsQU/

Google AI studio 와 ChatGPT에 계속 코드 조각을 물어보고 작성하고 수정할 때 준 프롬프트는 이랬다.

"난 러스트를 거의 처음 한다. C 프로그래밍 및 파이썬 3에는 익숙하다. 비동기 기술 및 패키징 기술, UI 기술에 대해서는 jQuery와 웹컴포넌트에 대한 풍부한 경험이 있다. 지금부터 프로그래밍을 하다가 오류가 생기면 디버그를 부탁할 것이다. 오류 및 수정 제안 코드를 설명할때 나의 백그라운드를 고려하여, 이해할 수 있는 설명 및 비유를 충분히 활용해서 설명하라. 비슷한 레토릭 및 일대일 대응이 되는 기능이 있다면 그 내용을 원용하여 설명하라. 오류가 발생할 경우, 원래 내가 알고 있는 지식과 러스트 언어의 특징을 비교하여, 러스트 언어의 특징에 의한 휴먼 에러인 경우 해당 부분을 상세하게 설명하라."

사흘 만들다가 휴가를 마치고 돌아와 일 년 가까이 잊고 있다가, 이번 주말에 다시 코드를 손댔다. 작년처럼 GPU/NPU가 섞인 상황도 있지만, 이번엔 GPU 네자릿수를 모니터링해야 할 상황이 되어서 귀찮아져서 다시 코드를 잡았다. GPU 달랑 천 대 모니터하려고 dcgm 셋업에 그라파나 대시보드를 짜야 한다는게 좀 그랬다. 한두번 할 것도 아니기 때문에 더 그랬다.

이번에는 Gemini CLI 를 거의 옆에 끼고 개발했다. 중간에 무한루프를 돌면 Gemini CLI를 잠시 끄고 (Gemini CLI 에 어제 그저께 replace tool 관련 버그가 있었다. GitHub 보니 구글에서 고치는 중으로 보인다.) Claude Code로 개발하고, Claude code가 영 감을 못잡으면 에디터 열어서 한 10분씩 직접 코딩했다. 다음주 발표자료 만들면서 한쪽에서 코딩하다 보니 대략 원하는 형태의 모습이 되어서 릴리즈까지 하게 되었다. 자동 릴리즈용 GitHub action 작성은 Gemini 에게 처리하라고 하고, Cargo 릴리즈는 ChatGPT 에게 방법을 물어봐서 적용했다.

오늘 개발 및 릴리즈를 하며 깨달은게 있는데, 코드와 컴퓨팅, 네트워크를 깊게 알수록 에이전틱 코딩에 절대적으로 유리하다. 중간중간 Gemini 나 Claude code의 삽질을 중간에 멈추고 해결책에 대한 의견 주기를 통해 최종 해결을 위한 가이드를 하며 느낀 점이다. 터미널에서 더블 버퍼링을 구현한다거나, 여러개의 스크린 버퍼를 두고 컴포지션해서 뿌리라거나 하는 가이드를 줘서 터미널 출력 관련 플리커링이나 프레임 문제들을 해결했다. 준기님 컴퓨터에서는 여전히 플리커링이 일어나 오늘 적응형 프레임 버퍼까지 구현을 하게 되었다. (터미널 프로그램 맞다.)

AI 모델로 코딩을 잘 외주하려면 우선 가이드를 줄 사람이 그런 기술들이 있다는걸 알아야 한다는 부분을 갈수록 더 많이 느낀다. 코딩 모델들은 핵심 구현에 대한 기술적 가이드를 줄 때는 그 방향으로 깊이 들어갈 수 있지만, 그렇지 않으면 그저그런 대답이나 코드들을 만들어낸다. 알아서 좀 잘 못하냐? 하기엔 AI는 의지가 좀 허약하다. 구현 디테일의 정도를 깊이 생각하지 않고 일단 지시에 따라 코드를 찍어내는 정도라, AI 모델 코딩 실력의 한계는 그걸 잡고 있는 사람의 실력 바운더리를 크게 넘지 못하는 듯 하다.

강한 방향성이 문제를 파고드는 의지를 만든다. AI나, 사람이나.

덧. Gemini CLI (맨정신일땐) 네가 최고다…

https://www.facebook.com/share/p/16ggK9RGFP/

요즘 AI Agent에 대해서 읽고 생각한 것들을 노정석 대표님 팟 캐스트에서 이야기 나눴습니다.

AI 에이전트에 대한 관찰

1. 현재 상황: 산업혁명과 AGI 이전의 '과도기'
산업혁명 비유: 현재는 증기기관 발명 후 가내수공업에서 자동화 공장으로 넘어가던 시기와 같다. AGI(범용인공지능)가 도래하기 전까지의 기술적 '갭'에서 새로운 사업 기회가 존재한다.
AGI의 의미: 사람보다 AI에게 업무를 맡기는 것이 비용, 품질, 속도 모든 면에서 월등해지는 시점. AGI가 오면 기존 비즈니스 패러다임이 근본적으로 바뀔 것이다.

2. 핵심 사례: 개발 도구 'Cursor'가 보여주는 힌트
Cursor는 AI 시대의 변화를 예측할 수 있는 세 가지 중요한 단서를 제공한다.

① 개발자의 역할 변화: 코드를 직접 짜는 '빌더'에서 AI가 생성한 코드를 리뷰하고 관리하는 '매니저'로 역할이 바뀌고 있다.
② 새로운 시장 창출: 코딩 지식이 없는 사람도 아이디어만으로 코딩하는 '바이브 코딩' 시장을 열었다.
③ 프론티어 모델과의 경쟁 전략: 거대 모델(항공모함)에 맞서는 스타트업(제트보트)은 **'속도'**로 생존한다.

독점 데이터 (맛집 소스): 고객사의 실제 코드베이스와 AI 추천에 대한 개발자의 피드백(암묵지) 데이터를 축적, 이를 통해 모델을 고도화하는 데이터 선순환 구조를 구축하여 경쟁 우위를 확보한다.
자원과 인재: 충분한 자본으로 GPU를 확보하고, 경쟁사의 핵심 인재를 영입해 이노베이션 속도를 극대화한다.
다음 전쟁터는 '팀 생산성': 개인의 생산성을 넘어, 코드 리뷰 지원 등 팀 워크플로우에 스며들어 네트워크 효과를 창출하는 것이 핵심이다.

3. 'Cursor for X': 다른 지식 노동 분야로의 확장
'코드'를 '텍스트'로, '개발'을 '지식 노동'으로 치환하면 모든 전문 분야에 동일한 모델을 적용할 수 있다.

법률 (Harvey AI): 로펌의 내부 데이터를 학습해 계약서 수정, 법률 자문 등 다단계 워크플로우를 자동화한다. 변호사를 직접 고용해 모델 평가와 제품 개발에 참여시키는 것이 차별점이다.
의료 (Abridge): 의사-환자 대화를 녹음해 진료 기록과 보험 청구 서류를 자동 생성한다. GPT 등장 후 병원에서 먼저 도입을 원하는 등 시장의 수요가 바뀌었다.

핵심 과제: '라스트 마일 문제(Last-mile Problem)': 현재 AI는 업무의 전 과정을 완벽히 처리하지 못하며, 최종 검토와 판단이라는 '마지막 단계'는 여전히 사람의 개입이 필요하다. 이 간극을 해결하는 것이 사업의 핵심이다.

4. 자본 시장의 전략: 'AI 롤업'
VC와 PE는 전통 산업을 AI로 재정의하는 '롤업(Roll-up)' 전략을 구사하고 있다.

AI 롤업 프로세스:
AI로 자동화 가능한 전통 산업(콜센터, 회계)을 타겟팅.
소프트웨어 판매 대신, 해당 산업 전문가를 영입하고 AI 기술을 결합.
한 회사를 인수해 AI 적용 플레이북을 만든 후, 자본을 투입해 동종 기업들을 인수하며 산업 전체를 장악.
전략적 이유: 소프트웨어 판매의 긴 주기를 극복하고, 자본의 힘으로 시장을 더 빠르게 혁신하기 위함이다.

5. 미래의 UX: 음성 인터페이스와 실시간 AI 코칭
사용자 경험은 키보드/마우스 중심에서 음성과 실시간 AI 지원으로 진화할 것이다.
음성 인터페이스: 걸어 다니며 말로 코딩하는 '입 코딩'처럼, 음성이 주요 입력 수단이 될 것이다.
실시간 AI 코칭: 화상 회의 중 AI가 상대방의 반응을 분석해 영업 전략을 코칭해주거나, 모르는 질문에 대한 답변을 실시간으로 제공한다.

AI 의존성 심화: 실시간 AI 비서가 보편화되면, AI 연결이 끊기는 것은 인터넷 단절 이상의 상실감을 줄 것이며, 사람들은 '벌거벗은 느낌'을 받게 될 것이다.

https://youtu.be/WU7Bx2QlEdA?si=8GrSvLJPtttuwmo4

https://matthewcontinuouslearning.notion.site/AI-Agent-2262857ddb1680a192b3c29f5fae602f

우리는 AI 시스템이 스스로를 개선하는 시대의 임계점을 넘어섰습니다.

AI 에이전트가 10만 줄의 레거시 코드를 분석하고, 스스로 문서를 작성하며, 그 문서를 기반으로 인간의 개입 없이 기능을 배포할 수 있다면, 이는 더 이상 '코파일럿'의 수준이 아닙니다. 이것은 자동화된 자기 개선(self-improving) 제품을 의미합니다.

진정으로 판도를 바꾸는 능력은 단순히 AI가 코드를 더 잘 작성한다는 점이 아닙니다. AI가 스스로의 발전을 지휘할 수 있게 되었다는 사실입니다. 즉, AI를 위한 더 나은 프롬프트를 작성하고, 결과물 개선을 위한 기반을 구축하며, 스스로의 문제를 해결하는 AI 말입니다.

이는 더 이상 먼 미래의 이야기가 아닙니다. 이미 현실이 되었습니다.

Rocketable은 이 새로운 영역을 논리적 귀결, 즉 완전 자동화된 소프트웨어 제품이라는 궁극적인 형태로 이끌기 위해 존재합니다.
저희는 수익성 있는 SaaS 제품을 인수하여 자기 개선 시스템으로 전환합니다.

소프트웨어가 스스로 운영되고, 개선하며, 성장할 수 있도록 하는 플랫폼을 만들고 있습니다. 저희 포트폴리오의 모든 제품은 AI의 역량과 비즈니스 운영 사이의 인위적인 제약을 허물었을 때 무엇이 가능한지를 보여주는 하나의 실험실이 됩니다.

도약은 이미 시작되었습니다.
준비되셨습니까?

https://www.rocketable.com/

AI를 도구로 볼 것이냐 파트너로 볼 것이냐에 따라서, 그리고 그 시간이 언제 올 것인지 보는 뷰에 따라 전략이 달라진다.

- 컴퓨터가 인간을 위해 일한다 (Computers do things for you): AI가 인간의 작업을 대신 수행하고 자동화하는 것을 목표로 합니다. (에이전트, 자동화)
- 컴퓨터가 인간의 일을 돕는다 (Computers are tools for humans): AI를 인간의 능력을 증폭시키는 도구로 봅니다. (코파일럿, 보조 도구)

메타 (Meta):
전략: 공격적인 투자 (칩 & 인재 확보)
이유: AI는 광고 사업에 엄청난 기회를 제공하며, 메타의 철학은 '컴퓨터가 인간을 위해 일하는 것'에 완벽하게 부합합니다. 따라서 최고의 인재를 영입하는 데 비용을 아끼지 않습니다.

애플 (Apple):
전략: 소극적이고 보수적인 투자 (칩 & 인재 확보에 주저)
이유: 단기적으로 AI가 자사의 핵심인 '디바이스' 사업에 미치는 영향이 작다고 판단하며, 애플의 철학은 '인간을 위한 도구(Bicycle for the mind)'에 가깝기 때문입니다.

구글 (Google):
전략: 기술적으로는 선도적이지만 사업 모델과 충돌
이유: AI는 검색 광고에 의존하는 기존 사업 모델을 파괴할 **'파괴적 혁신'**의 성격을 가집니다. (AI가 완벽한 답을 주면 광고를 볼 필요가 없음) 하지만 '최고의 답을 찾아준다'는 것은 구글의 창업 정신("I'm Feeling Lucky")이므로, 사업적 딜레마에도 불구하고 AI에 막대하게 투자합니다.

마이크로소프트 (Microsoft) & 오픈AI (OpenAI):
전략: AI를 '코파일럿(Copilot)'이라는 '도구'로 포지셔닝.
이유: 이들의 철학은 컴퓨터가 인간의 생산성을 높이는 것을 돕는 것입니다. 하지만 이는 직원들이 스스로 사용법을 배우고 업무 방식을 바꿔야 하는 '변화 관리'의 과제를 안고 있습니다. 이 때문에 사용자의 자발성에 의존하는 ChatGPT(OpenAI)가 기업 내에서 오히려 더 많이 쓰이는 현상이 나타납니다.

앤트로픽 (Anthropic):
전략: 챗봇이 아닌, 인간을 대체하는 '에이전트(Agents)'에 집중.
이유: 이들의 철학은 명확하게 '컴퓨터가 인간을 위해 일하는 것'에 해당하며, 기업의 비용 절감(인력 대체)이라는 확실한 비즈니스 목표를 추구합니다.

https://stratechery.com/2025/tech-philosophy-and-ai-opportunity/

Internet의 Gateway를 차지하기 위해서 Google/OpenAI 그리고 수 많은 스타트업이 엄청 싸울 것 같다.

애플/삼성이 디바이스를 쥐고 있어서 저 싸움이 끝나기 전에 해볼 수 있는 게 많을텐데 Innovation Dillema 때문에 디바이스의 변화마저 새로운 회사들에 의해서 시도되지 않을까?

https://www.reuters.com/business/media-telecom/openai-release-web-browser-challenge-google-chrome-2025-07-09/

지금 당장 모든 산업 분야에는 AI 에이전트를 통해 새롭게 창출될 수 있는 '비소비' 시장의 기회가 무한하게 존재한다.

기존에 비용이나 시간 때문에 '아예 시도조차 못 했던' 업무들을 빠르게 처리할 수 있다.

법률: 변호사들이 시간이 없어 검토하지 못하고 쌓아둔 수많은 계약서 검토.
엔지니어링: 핵심 기능 개발이 아니라는 이유로 끝없이 밀려있던, 지루하고 반복적인 백로그(Backlog) 작업 처리.
마케팅: 더 세분화된 고객 그룹을 대상으로 더 많은 맞춤형 캠페인을 실행하고 싶지만, 자원이 부족해 못했던 일.

AI 에이전트는 이런 작업들의 실행 비용을 극적으로 낮춰, 드디어 그 일들이 '수행 가능'하게 만든다.

중요한 것은, 이 작업들은 대부분 인간의 최종 검토가 필요한 더 큰 업무 흐름(Workflow)에 연결되어 있어, 완전 자동화의 위험 없이도 즉시 적용할 수 있다는 점이다.

https://x.com/levie/status/1942441524920475948

2025 valuations:

Nvidia: $4 trillion
Intel: $102 billion

2009 valuations:

Intel: $90 billion
Nvidia: $5 billion

Q: 엔비디아가 세상에 기여하는 바는 무엇인가요?

A: 엔비디아는 GPU(Graphics Processing Unit, 그래픽 처리 장치)를 발명했습니다. GPU 기술과 관련 소프트웨어는 사용자가 이전에는 불가능했던 방식으로 컴퓨터를 통해 정보와 세상을 시각적으로 경험하게 해줍니다. 이를 통해 가상 세계를 체험하고, 구글 어스(Google Earth)로 전 세계를 탐험하며, 사물을 새로운 방식으로 볼 수 있게 합니다.

Q: 비디오 게임 외에 GPU는 오늘날 어떤 분야에서 활용되고 있으며, 미래의 전망은 어떤가요?

A: GPU의 활용 범위는 매우 넓습니다.

1. 에너지 탐사: 석유 매장지를 찾기 위해 방대한 양의 지진파 데이터를 거대한 스크린에 시각화하는 데 사용됩니다.
2. 의료 영상: 의사가 CT 스캔 데이터를 3차원으로 보며 인체 내부를 탐색하여 암이나 종양을 더 정밀하게 찾아낼 수 있습니다.
3. 자동차: 차세대 아우디(Audi) 차량의 내비게이션 및 계기판에 탑재되어 운전 경험을 향상시킵니다.
4. 군사: F-22 랩터 전투기에는 6개의 GPU가 탑재되어 조종사가 적을 더 빠르고 명확하게 식별하도록 돕습니다.

이처럼 GPU는 삶을 바꾸는 것부터 생명을 구하는 일까지 다양한 산업에서 핵심적인 역할을 합니다.


Q: 엔비디아는 자체적으로 필요를 파악하여 제품을 만드나요, 아니면 고객이 문제를 가지고 찾아오나요?

A: 두 가지 방식 모두 해당됩니다. 엔비디아의 본질은 세계에서 가장 어려운 컴퓨팅 문제를 해결하는 것입니다. 때로는 매사추세츠 종합병원 의사들처럼 특정 문제를 가진 고객이 찾아옵니다. 그들은 GPU를 이용해 실시간으로 유방암 검사를 위한 CT 데이터를 재구성하여 환자가 집에 가기 전에 암 여부를 진단하고 싶어 했습니다. 이 협업을 통해 의료 영상 분야에서 큰 성공을 거두었고, 현재는 전 세계 모든 의료 영상 회사와 협력하고 있습니다. 이 기술은 어도비 포토샵(Adobe Photoshop)에도 적용되어 '컴퓨테이셔널 포토그래피'라는 새로운 분야를 열었습니다.

Q: 엔비디아의 사업에서 게임이 차지하는 비중은 어느 정도인가요?

A: 하드코어 게이머를 대상으로 하는 사업이 약 20~30%를 차지합니다. 이 시장에서 엔비디아는 사이버 운동선수들이 선호하는 '장비'를 제공한다는 점에서 나이키(Nike)와 같은 역할을 합니다. 반면, 의사나 과학자들에게는 과거 실리콘 그래픽스(Silicon Graphics)처럼 3D 그래픽 기술을 제공하는 중요한 기업으로 인식됩니다.

Q: 엔비디아는 언제, 어떤 비전을 가지고 설립되었나요?

A:

1993년 30세의 나이로 회사를 설립했습니다. 당시의 직관은 '3D 그래픽이 대량 생산된다면 비디오나 오디오처럼 강력한 상호작용 매체가 될 것'이라는 것이었습니다. 사람들과 소통하고, 배우고, 탐험하는 방식을 바꿀 것이라 상상했으며, '월드 오브 워크래프트'처럼 수많은 사람이 동시에 즐기는 온라인 소셜 경험을 예견했습니다.

Q: 엔비디아와 인텔(Intel)의 경쟁 관계는 어떤가요?

A: "PC의 영혼을 건 전투(the battle for the soul of the PC)"라고 표현합니다. 과거 PC는 CPU를 중심으로 워드(타이핑)와 엑셀(계산) 같은 작업을 위해 설계되었습니다. 하지만 이제 PC는 GPU 덕분에 예술적 표현과 가상 세계를 경험하는 매체가 되었습니다. 둘 사이에는 어떤 프로세서가 미래에 더 중요한지에 대한 긴장감이 존재하며, 인텔이 GPU 개발에 투자하는 것은 GPU의 중요성이 커지고 있음을 인정한 것이라고 봅니다.

Q: 미래 컴퓨팅에서 CPU와 GPU 중 어느 것이 더 중요한가요?

A:

GPU가 혼자 모든 것을 할 수는 없으며, CPU와 GPU 모두 필요합니다. 하지만 '중요성의 이동(shifting of relevance)'이 일어나고 있습니다. CPU는 여전히 중요하지만, 컴퓨팅의 미래를 이미지와 3D 세계로 이끌기 위해서는 GPU의 역할이 결정적일 것입니다.

Q: 엔비디아가 인텔처럼 거대한 회사가 되는 것을 목표로 하나요?

A: 회사의 크기보다는 '중요성(relevance)'에 집중합니다. 업계를 발전시키고 세상에 가치를 더하는 가장 중요한 일을 하고 있는지가 항상 최우선 과제입니다. 현재 엔비디아와 인텔의 경쟁은 마이크로소프트와 구글의 경쟁처럼, 직접적인 제품 경쟁이 아니라 컴퓨팅의 미래 방향성을 두고 벌어지는 '중요성의 경쟁'입니다.

Q: 경기 침체에도 불구하고 R&D 투자를 늘리는 이유는 무엇인가요?

A: GPU의 미래에 대한 확고한 신념이 있기 때문입니다. 지금 하고 있는 일이 너무나 중요하기에 경기 침체 때문에 투자를 멈출 수 없다고 생각합니다.

Q: CUDA 기술이란 무엇이며 왜 중요한가요?A: CUDA는 병렬 컴퓨팅 아키텍처입니다. 과거에는 GPU를 그래픽 외의 용도로 프로그래밍하기가 매우 어려웠습니다. CUDA는 GPU를 3D 그래픽뿐만 아니라 범용 수학 연산에도 사용할 수 있는 범용 프로세서로 만들어, 컴퓨터의 속도를 50배, 100배, 심지어 200배까지 향상시킵니다. 이 기술 덕분에 금융 회사는 옵션 리스크 분석을 하고, 슈퍼컴퓨터는 성능을 획기적으로 높일 수 있게 되었습니다.

Q: 엔비디아는 결함 있는 칩 문제나 해고와 같은 역경을 어떻게 극복했나요?

A: "역경은 혁신의 대가"라고 생각합니다. 과거 최초의 프로그래머블(programmable) GPU를 개발했을 때, 기술적으로 너무 어렵고 비용이 많이 들어 회사가 위기를 맞기도 했습니다. 하지만 그 도전적인 투자가 결국 CUDA라는 혁신적인 기술로 이어져 이미지 처리, 영상 편집, 금융 계산 등 새로운 시장을 열었습니다.

Q: 엔비디아와 비주얼 컴퓨팅의 '성배(holy grail)', 즉 궁극적인 목표는 무엇인가요?

A: 세상을 놀라게 하고 기쁘게 하는 기술을 만들어 차이를 만들어내는 것입니다. 궁극적으로는 '증강 현실(augmented reality)'을 발전시키는 것을 목표로 합니다. 예를 들어, 미래에는 자동차 앞 유리가 단순한 유리가 아니라 컴퓨터 그래픽을 현실 세계에 겹쳐 보여줌으로써 운전자의 시야를 향상시키는 컴퓨터 디스플레이가 될 수 있을 것입니다.

https://charlierose.com/videos/12457

더 깊은 이해를 위한 '독서 동반자'로서의 AI

사전 독서 발판 마련(Pre-Reading Scaffolding): 어려운 텍스트에 뛰어들기 전에, 그는 클로드에게 핵심 논지를 설명해 달라고 요청합니다. 예를 들어, 중세 역사에 관한 책을 읽을 때 "등자(stirrups)가 어떻게 봉건주의를 만들었는지에 대한 챕터를 설명해 줘"라고 질문합니다. 이는 전체적인 내용을 더 쉽게 이해할 수 있는 정신적 틀을 제공합니다.

클로드 프로젝트를 통한 전체 맥락 분석(Full-Context Analysis with Claude Projects): 깊이 있는 연구를 위해 그는 책 전체 텍스트나 여러 기사를 클로드 프로젝트에 업로드합니다. 이를 통해 AI에게 완전한 맥락을 제공하고, 자료에 대해 매우 구체적인 질문을 할 수 있습니다.

죽은 저자와의 소크라테스식 대화(Socratic Dialogue with a Dead Author): 그는 클로드를 사용하여 책의 저자를 '인터뷰'합니다. 주장을 반박하고, 모호한 점에 대해 설명을 요청하며, 모순점을 탐색할 수 있습니다. 이 과정은 그가 피상적인 이해에서 깊고 통합된 이해로 나아가도록 돕습니다.

예시: 유전학자 데이비드 라이크(David Reich)와의 인터뷰를 준비하면서 그는 라이크의 책을 업로드했습니다. 이를 통해 그는 "책 자체"와 대화하며 고대 DNA 분석의 미묘한 차이를 이해할 수 있었습니다.

간헐적 반복 학습(Spaced Repetition)을 통한 지식 강화

이해는 전투의 절반에 불과하며, 나머지 절반은 기억입니다. 드와르케시는 간헐적 반복 학습 시스템을 만들고 관리하기 위해 AI를 사용합니다.

AI 기반 플래시카드 생성: 그는 (앤디 마투샥의 원칙에 기반한) 맞춤형 프롬프트를 사용하여, 읽고 있는 모든 텍스트에서 클로드가 자동으로 질문-답변 형식의 플래시카드를 생성하도록 합니다.

목표는 지식의 복리 효과(Compounding Knowledge): 플래시카드의 목적은 단순히 사실을 암기하는 것이 아닙니다. 핵심 개념의 '정신적 캐시(mental cache)'를 구축하는 것입니다. 이 기초 지식을 유지함으로써, 그는 모든 것이 어떻게 연결되는지를 볼 수 있기 때문에 새로운 관련 주제를 훨씬 빠르게 배울 수 있습니다.

'미래의 이해'를 위한 카드: 때때로 그는 아직 완전히 이해하지 못한 개념에 대한 카드도 만듭니다. 나중에 그 분야에 대해 더 많이 배우게 되면, 그는 그 카드를 다시 보며 개념이 명확해지는 '아하!'하는 순간을 경험합니다.

AI를 활용한 인터뷰 준비

드와르케시는 유전학자 데이비드 라이크와의 다음 인터뷰를 위한 질문을 구체화하며 자신의 인터뷰 준비 과정을 시연합니다.

'진짜' 질문을 찾기 위한 AI 활용: 인터뷰 준비 과정에서 AI의 가장 가치 있는 용도는 기존 지식의 한계를 파악하는 것입니다.

그는 클로드에게 "마지막 빙하기 이후 왜 신대륙과 구대륙에서 문명이 그렇게 빠르고 동시에 출현했는가?"라는 복잡한 질문을 던졌습니다.
클로드는 일반적이고 만족스럽지 못한 답변을 내놓았습니다.
이것이 핵심적인 통찰이었습니다: AI가 명확한 답을 내놓지 못했다는 것은 이것이 진정으로 어렵고 아직 정립되지 않은 질문임을 시사하며, 이는 인간 전문가와 토론하기에 훌륭한 주제가 됩니다.

AI의 한계: 질문에 대한 '스타일 전이(Style Transfer)'의 실패:
그들은 한 가지 실험을 시도했습니다: 드와르케시의 이전 인터뷰 스크립트를 클로드에게 제공하고, 새로운 게스트를 위해 그의 스타일로 질문을 생성해달라고 요청했습니다.

결과는 실패였습니다. AI는 그의 실제 질문이 가진 구체적이고, 깊이 연구되었으며, 개인적인 호기심이 담긴 특성이 결여된 일반적이고 높은 수준의 질문들을 생성했습니다.

결론: AI는 강력한 연구 보조 도구이지만, 훌륭한 인터뷰를 이끄는 독특한 호기심과 관점을 대체할 수는 없습니다.

https://youtu.be/Vm49oIPtyRE

집중한다는 것은 어떤 것인가? Andrej Karpathy

Q: 하루를 어떻게 보내나? 아침형 인간인가, 저녁형 인간인가?

A: 저는 확실히 저녁형 인간(night owl)입니다. 특히 박사과정 때는 새벽 3시에 자곤 했는데, 모두가 잠든 그 시간이 방해 없이 집중하기에 가장 좋은 시간이었습니다. 생산성을 높이려면, 문제에 대한 추진력(momentum)을 만들고, 방해 없이 작업 기억(working memory)에 그 문제를 완전히 로드해야 합니다. 샤워를 하거나 잠자리에 들 때도 그 문제에 완전히 집착하는 상태가 되어야 좋은 결과가 나옵니다.

Q: 이상적으로 생산적인 날에는 얼마나 오래 집중해서 일하나?

A: 몇 시간 정도 집중하고, 식사 등을 위해 중간에 휴식을 취합니다. 하지만 하루 종일 코딩 시간을 추적해보면, 매우 생산적인 날에도 순수 코딩 시간은 6~8시간에 불과합니다. 출퇴근, 사람들과의 대화, 식사 등 인간으로서 생명을 유지하는 데 드는 비용이 매우 크기 때문입니다.

Q: 힘든 집중의 날을 버티게 해주는 원동력은 무엇인가?

A: "이것은 반드시 존재해야 한다(It needs to exist)"는 강한 집착입니다. 또한, 다른 사람들이 제가 만든 것을 좋아하고 유용하게 사용하며 감사함을 표현할 때 큰 기쁨과 동기부여를 느낍니다. 만약 제가 만든 것들을 공유하지 않았다면 지금과 같은 동기부여는 없었을 것입니다.

Q: 머신러닝에 입문하려는 초심자에게 어떤 조언을 해주고 싶나?

A: "무엇을 할까(what to do)"보다 **"얼마나 많이 하느냐(how much you do)"**에 집중해야 합니다. 저는 **'1만 시간의 법칙'**을 믿습니다. 어떤 분야든 1만 시간을 의식적으로 노력하면 전문가가 될 수 있습니다. 어떤 것을 선택하든, 실수를 통해 배우고 '흉터 조직(scar tissue)'을 쌓아가면 결국 더 강해집니다. 중요한 것은 지난주에 내가 무엇을 했는지 돌아보며 꾸준히 시간을 투자하는 것입니다.

Collison 형제가 똑똑하다는 것은 알고 있었지만 인터뷰 듣는 내내 다양한 분야의 지적 호기심을 자극해줘서 너무 재미있었던 대화였다.

https://joincolossus.com/episode/collison-a-business-state-of-mind/

Q1: Stripe는 어떻게 지속적으로 확장하고 있으며, 창업자들의 다양한 호기심을 사업에 어떻게 반영하고 있나요?

A:

- 두 가지 종류의 사업적 호기심 (존 콜리슨):
1. 기업 규모에 따른 경영 방식에 대한 호기심: “Stripe는 2명일 때와 50명일 때, 그리고 현재 7,000명일 때 각각 다른 회사였습니다. 각 단계에서 좋은 회사를 운영하기 위해 무엇이 필요한지에 대해 호기심을 가져야 합니다. 우리는 다른 회사들이 무엇을 했는지 살펴보는 데 많은 시간을 할애합니다. 맹목적으로 모방하려는 것이 아니라, 최소한 이해는 해야 합니다. 체스 챔피언 매그너스 칼슨이 체스 상식 퀴즈 대회에서 우승한 것은 우연이 아닙니다. 세계 1위 선수가 체스 역사 전반에 대해 가장 많이 공부했다는 뜻이죠. 애플과 아마존은 상상할 수 없을 정도로 다르게 작동하지만 둘 다 엄청나게 성공했습니다. 그 차이를 이해하는 프레임워크를 갖는 것이 유용합니다.”
2. 다양한 분야의 핵심 멘탈 모델에 대한 호기심: “찰리 멍거가 말한 '다중 멘탈 모델'처럼, 금융, 엔지니어링, 제품, 세일즈 같은 다양한 분야에서 최고의 멘탈 모델들을 빌려오는 것이 효과적이라고 생각합니다. 각 영역에서 가장 중요한 멘탈 모델을 배우려는 호기심 없이는 효과적으로 일하기 어렵다고 봅니다.”
- Stripe의 본질과 미션의 재정의 (패트릭 콜리슨):
- “저는 Stripe를 결제 회사라고 생각하지 않습니다. 제게 Stripe는 비즈니스 간의 거래와 교환을 촉진하는 **인프라 회사**입니다. 우리는 의도적으로 우리의 미션을 **'인터넷의 GDP를 높이는 것'**으로 명시합니다. 이는 거래에 국한된 것이 아닙니다. 이 관점에서 보면, 세상에 더 많은 비즈니스가 존재하게 하고, 그 비즈니스들이 더 성공하도록 돕는 방법은 무엇일까? 라는 질문은 단기간에 우리의 호기심이 고갈되지 않을 만큼 충분히 풍부한 광맥이라고 생각합니다.”
- “과학이 원자 수준의 근본 법칙을 파헤친 후, 이제는 그것들을 결합하여 나타나는 **상위 레벨의 창발적 효과(emergent effect)**를 탐구하는 것처럼, 비즈니스 역시 사람들의 자발적인 합의가 만들어내는 창발적 효과입니다. 이는 끝없이 흥미로운 주제입니다.”

Q2: 다른 개발자 도구 회사와 달리 Stripe가 '하나의 상태(State of Being)'처럼 특별한 위상을 갖게 된 이유는 무엇인가요?

A:

- 보편적 필요와 넓은 고객층 (패트릭 콜리슨):
- “우리는 꽤 보편적인 필요(결제)를 위해 셀프서브 제품을 제공하며, 이 영역은 사실 셀프서브로 만들기 어려운 분야입니다. 우리 막냇동생의 물리치료사도 Stripe를 쓴다고 했습니다. 아마 그 물리치료사는 Databricks를 쓰진 않겠죠. 우리는 아마존, 포드 같은 거대 기업뿐만 아니라 아주 작은 사업의 말단(low end)에도 존재할 수 있다는 점이 특별함을 만듭니다.”
- 디테일에 대한 집요한 관심 (패트릭 콜리슨):
- “Stripe 사람들은 정말로, 정말로, 정말로 신경을 씁니다(really, really, really caring). 디테일에 신경 쓰는 것에 대한 보상은 정량화하기 어렵고 브랜드와 관련되어 있어 단기적으로는 잘 드러나지 않습니다. 그래서 대부분의 회사는 이 문제를 해결하는 데 실패합니다. 하지만 Stripe의 초기 100명에게 이 문화가 깊이 체화되었고, 이것이 엄청난 추진력과 지속성을 갖게 되었습니다. 오늘날에도 Stripe 사람들은 패딩, 간격, 일관성 문제에 광적으로 집착합니다. 이것들이 쌓여서 차이를 만듭니다.”
- “사람들이 자주 언급하는 디테일은 **API 키를 샘플 코드에 바로 보여주는 것**입니다. 또한, 많은 오류 메시지는 단순히 '무엇이 잘못됐다'고 말하는 대신 **'우리는 당신이 무엇을 하려 했다고 생각한다'**고 알려줍니다. 이 기능은 10년 전에 구현됐지만, 지금도 누군가의 몇 시간을 절약해줬다는 트윗을 가끔 봅니다.”
- 고객에 대한 존중과 B2C 사고방식의 거부 (존 콜리슨):
- “소비자 제품(B2C)의 사고방식을 Stripe 같은 B2B 영역에 가져오는 것은 매우 해롭다고 생각합니다. B2C에서는 사용자를 MAU(월간 활성 사용자 수) 같은 집계된 숫자로 취급하고, '프로필을 완성하세요'처럼 비즈니스 성과를 위해 교묘하게 유도합니다. 우리는 Stripe에서 이것을 머리 위로 계속 내리치며 강조합니다. 우리의 고객은 훌륭한 아이디어와 비전을 가진 재능 있는 사업가들입니다. 그들은 자신의 분야에 대해 정교한 이해를 가지고 있습니다. 우리는 고객을 존중하며(talking up to the user), 현란한 말로 현혹하는 것이 아니라, 그들이 가진 구체적인 필요를 이 제품이 어떻게 해결할 수 있는지 기술적인 토론을 합니다.”
- 고객과의 지속적인 연결 (존 콜리슨):
- “매주 전사 미팅에서 우리는 'Fireside'라는 세션을 통해 10~15분간 실제 사용자를 인터뷰합니다. 그들의 사업, Stripe 사용 경험, 개선점에 대해 듣죠. 이를 통해 우리는 고객과 계속 연결되어 있습니다. 기술 제품 관리의 전형적인 방식은 사용자가 실제로 누구이며 얼마나 유능한지에 대해 충분히 존중하지 않는다고 생각합니다.”

Q3: '0달러 시장(잠재적이지만 아직 형성되지 않은 시장)'을 찾으려면 어떻게 해야 하나요? 그리고 MBA 방식의 TAM 분석과 무엇이 다른가요?

A:

- 기존 MBA 방식의 한계 (존 콜리슨):
- “MBA 출신들은 항상 '이익 풀(profit pools)'이 어디에 있는지 이야기합니다. 생각해보면 이것은 세상을 보는 매우 야망 없는(unambitious) 방식입니다. '당신의 마진이 나의 기회다'라고 말하는 것과 같죠. 많은 비즈니스들이 무심코 현상 유지(stasis)에 베팅하고 있습니다.”
- Stripe의 접근 방식: '증분(Incrementality)'과 마찰 제거 (존 & 패트릭):
- 증분 측정: “우리는 '증분(incrementality)'을 많이 측정합니다. Stripe Atlas로 사업을 시작한 사람들에게 'Stripe가 어떤 영향을 미쳤나요?'라고 묻습니다. 상당수가 'Stripe가 없었다면 사업을 시작하지 못했을 것'이라고 답합니다. 또한, A/B 테스트에서 Stripe 결제 인프라를 사용한 기업은 **10.5%의 전환율 상승**을 경험했습니다. 이는 우리가 없었다면 일어나지 않았을 10.5%의 상거래를 의미합니다.”
- 지루한 마찰(Prosaic Friction)에 집중: "Google Cloud가 한때 인도에서 서비스를 제공하지 못한 것은 전략적 결정 때문이 아니었습니다. 데이터 정책, 금융, 세금 문제 등이 복합적으로 얽혀 있었기 때문이죠. Stripe의 암묵적이고 구조적인 믿음은, 이러한 것들의 총합이 사실은 엄청나게 크다는 것입니다. 우리는 '다음 50조 달러의 GDP는 어디서 올 것인가?'라고 질문하고, 그에 대한 인과적 책임을 지려고 합니다.”
- 0달러 시장 선호: "젠슨 황이 말했듯, 엔비디아는 100억 달러 시장보다 0달러 시장을 훨씬 선호합니다. CUDA를 처음 소개했을 때, 그것은 0달러 시장이었습니다. 우리도 마찬가지입니다. 우리는 다른 사람의 이익을 뺏는 것보다, 아무도 만들지 못하고 있는 이익, 즉 새로운 것을 만드는 것이 더 쉽고 성취감 있다고 생각합니다.”

Q4: 오래된 기업의 역사에서 어떤 비즈니스 교훈을 얻을 수 있나요? (헐리우드, 과학 분야 포함)

A:

- 듀폰(DuPont)과 화학 산업 (패트릭 콜리슨):
- “최근 듀폰의 역사를 읽었는데 매우 흥미로웠습니다. 화학 산업은 초기 기술 산업 중 하나였습니다. 어떤 화학 물질을 발견하게 될지 그 특성을 알 수 없는, 불확실한 R&D를 가진 비즈니스가 많지 않았기 때문이죠. 아마도 현대 기술 기업들이 직면한 문제와 질문들을 해결한 경험이 있을 겁니다.”
- “초기 화학 산업에서도 반도체 산업과 똑같은 역동성이 보였습니다. 누군가 무언가를 발견하고 경영진을 설득하려 하지만 실패하고, 결국 그 아이디어를 세상에 존재하게 하고 싶다는 의무감 때문에 직접 회사를 차립니다. 이는 실리콘밸리만의 현상이 아니라 더 깊은 인간 본성에 관한 것 같습니다.”
- 소프트웨어 엔지니어링의 특수성과 비가시성 (존 콜리슨):
- “현대 경영 문화와 이론의 대부분은 1950년대의 명령-통제식 제조업 조직에서 비롯되었습니다. 그들은 재고처럼 측정 가능한 것(legible)들을 다루는 데 익숙했습니다. 하지만 소프트웨어 엔지니어링은 아무도 잘 측정하지 못합니다. 만약 빌딩을 짓는 사람에게 '더 나은 방법이 있나요?'라고 물으면 '무슨 소리냐, 우리는 빌딩 짓는 법을 알아냈다'고 답할 겁니다. 하지만 구글이나 마이크로소프트의 누군가에게 이론적 생산성의 몇 퍼센트로 일하고 있냐고 물으면, 보통 20% 정도라고 답할 겁니다.”
- “이러한 '비가시성(lack of legibility)' 때문에 저는 자원을 논의할 때 인원수(heads) 대신 '엔지니어 500kg' 같은 무게 단위로 이야기하고 싶어 합니다. 5명이나 10명이라는 단위도 사실은 터무니없다는 점을 지적하기 위함이죠.”
- 창의적 영역에서의 교훈: 헐리우드와 과학 (패트릭 콜리슨):
- 헐리우드: “헐리우드에서는 비전(vision)을 가진 오퇴르(auteur, 작가주의 감독) 없이는 모든 것이 무의미합니다. Stripe에서도 마찬가지입니다. 이론적으로는 어떤 분야에서 무언가를 해야 할지 모르지만, 진짜 질문은 **'여기에 비전을 가진 특정 인물이 있는가?'입니다. 또한, 비전만으로는 충분하지 않다는 점도 중요합니다. 취향과 판단력의 정량화 불가능성(unquantifiability)은 조직이 다루기 힘든 문제입니다.”
- 과학 (코리 부부의 연구실): “2차 세계대전 후, 거티와 칼 코리 부부의 연구실 학생 중 6명이 노벨상을 받았습니다. 이는 단순히 학생들이 똑똑해서가 아니라, 그 연구실에서만 전수될 수 있었던 **암묵적 지식(tacit knowledge)의 힘**을 보여주는 놀라운 증거입니다. 복잡한 지적 작업에서 멘토십을 통한 지식 전수는 예외가 아닌 규칙입니다. Stripe가 장기 근속(tenure)을 장려하는 이유도 여기에 있습니다. 우리 분야는 경험과 지식에 대한 보상이 엄청나게 크기 때문입니다.”

Q5: 미래에 Stripe가 어떤 회사로 기억되기를 바라나요? (은퇴 후 회상 관점)

A:

- 인터넷 경제의 활력 유지 (존 콜리슨):
- “팀 우(Tim Wu)의 저서 『The Master Switch』는 모든 정보 네트워크가 혁신으로 시작해 결국 소수 독점으로 끝났다고 경고합니다. 인터넷도 예외는 아닐 수 있습니다. 만약 우리가 앞으로 70년간 인터넷 경제의 활력을 유지하는 데 기여하고, 새로운 플레이어들이 기존 강자들과 공평한 운동장에서 계속 경쟁할 수 있도록 만들었다고 느낄 수 있다면, 저는 꽤 행복할 것 같습니다.”
- 아름다움과 장인정신 (패트릭 콜리슨):
- “성장과 번영도 중요하지만, 아름다움(beauty)과 장인정신(craftsmanship)을 놓치고 싶지 않습니다. 만약 Stripe가 괴물처럼 성공적인 비즈니스가 되더라도, 우리가 만든 것이 아름답지 않고, Stripe가 극도로 까다로운 장인정신 문화를 구현하지 못한다면, 저는 훨씬 덜 행복할 겁니다.”
- “세상은 필요 이상으로 추합니다. 아름다움은 경쟁적인 재화가 아닙니다. 아름다운 것을 만드는 것은 이성적인 선택이기도 합니다. 아름다운 것은 그것을 만든 사람이 정말로 신경 썼다는 것을 말해주기 때문이죠. 겉으로 보이는 디테일만 신경 쓰고 나머지는 엉망으로 했을 리 없다고 믿게 됩니다. 좋은 API와 좋은 소프트웨어 아키텍처를 좋아하는 사람들은 다른 영역에서도 멋지고 잘 만들어진 것을 선호하는 경향이 있습니다. 이것은 자기 강화적인 선순환 고리를 만듭니다.”

AGI라고 하는 것이 인간 수준의 업무를 해주는 것을 넘어, 인간이 우주를 탐색하는 방식, 문제를 해결하는 방식을 다른 차원으로 도약시킬 기술이 될 것 같다.

인터뷰를 듣는 내내 새로운 세상을 개척하는 사람의 어깨너머 신기한 것들을 관찰하는 느낌을 받았다.

Q: 노벨상 수상 강연에서 '자연에서 생성되거나 발견될 수 있는 모든 패턴은 고전적인 학습 알고리즘에 의해 효율적으로 발견되고 모델링될 수 있다'는 매우 흥미로운 추측을 제시하셨습니다. 여기에 어떤 종류의 패턴이나 시스템이 포함될 수 있을까요? 생물학, 화학, 물리학, 어쩌면 우주론이나 신경과학까지요.

A: 노벨상 강연에서는 약간 도발적인 내용을 말하는 것이 전통이라고 느껴서 그 전통을 따르고 싶었습니다. 제가 거기서 말한 것은, 한 걸음 물러서서 우리가 알파고나 알파폴드 같은 프로젝트로 해온 모든 작업을 본다면, 그것들은 본질적으로 매우 조합적으로 고차원적인 공간의 모델을 구축하는 것입니다. 만약 바둑에서 최선의 수를 찾거나 단백질의 정확한 모양을 찾기 위해 무차별 대입(brute force)을 시도한다면, 우주의 시간으로도 부족할 겁니다. 그래서 훨씬 더 똑똑한 방법을 써야 했고, 두 경우 모두 우리는 그 환경의 모델을 구축했습니다. 그리고 그것이 탐색을 현명한 방식으로 이끌어 tractable(다루기 쉬운)하게 만들었죠.

자연 시스템인 단백질 접힘을 생각해 봅시다. 왜 그것이 가능할까요? 물리학은 어떻게 그것을 해낼까요? 단백질은 우리 몸에서 밀리초 단위로 접힙니다. 즉, 물리학은 우리가 이제 계산적으로 해결한 이 문제를 어떻게든 해결하고 있는 거죠. 저는 그것이 가능한 이유가 자연 속, 즉 자연 시스템에는 진화 과정에 의해 형성된 '구조'가 있기 때문이라고 생각합니다. 만약 그렇다면, 그 구조가 무엇인지 학습할 수 있을 것입니다.

Q: 이 관점은 거의 '진화할 수 있는 모든 것은 효율적으로 모델링될 수 있다'는 말로 요약할 수 있겠네요. 여기에 진실이 있다고 보십니까?

A: (데미스 하사비스) 네, 어느 정도 진실이 있다고 봅니다. 저는 가끔 그것을 '가장 안정적인 것의 생존(survival of the stablest)'이라고 부릅니다. 생명체에 대한 진화도 있지만, 지질학적 시간을 생각해보면, 산의 모양은 수천 년에 걸친 풍화 작용에 의해 형성되었습니다. 더 나아가 우주론적으로 행성의 궤도, 소행성의 모양 등도 모두 오랜 시간에 걸쳐 작용한 일종의 생존 과정을 거쳤습니다. 만약 그렇다면, 역으로 학습할 수 있는 어떤 종류의 패턴, 즉 올바른 해답이나 모양으로 가는 탐색을 돕는 일종의 매니폴드가 있어야 합니다. 그리고 그것은 효율적인 방식으로 예측을 가능하게 할 겁니다. 왜냐하면 그것은 무작위 패턴이 아니기 때문이죠.

그래서 큰 수를 소인수분해하는 것과 같은 인공적이거나 추상적인 것들에는 이것이 불가능할 수 있습니다. 수 공간에 패턴이 없다면 학습할 모델도 없고 탐색을 도울 방법도 없으니까요. 그럴 경우 무차별 대입을 해야 하고, 아마 양자 컴퓨터 같은 것이 필요할 겁니다. 하지만 우리가 관심 있는 자연의 대부분은 그렇지 않습니다. 이유가 있어 진화했고 시간이 지나며 살아남은 '구조'를 가지고 있습니다. 만약 그렇다면, 그것은 잠재적으로 신경망에 의해 학습 가능하다고 생각합니다.

Q 이론 컴퓨터 과학과 복잡성 이론의 팬으로서, 학습 가능한 시스템의 집합, 즉 '학습 가능한 자연 시스템(LNS)'과 같은 복잡도 종류(complexity class)를 만들 수 있다고 생각하십니까? 데미스 해사비스의 새로운 시스템 클래스로, 고전적 시스템으로 학습 가능한 자연 시스템 말입니다.

A: 저는 항상 P=NP 문제와 고전 시스템(비양자 시스템, 즉 튜링 머신)으로 모델링할 수 있는 것이 무엇인지에 매료되어 왔습니다. 그리고 그것이 바로 제가 여가 시간에 몇몇 동료들과 함께 연구하고 있는 것입니다. 즉, 이러한 유형의 신경망 프로세스로 해결할 수 있고, 물리학에 존재하며 구조를 가진 이러한 자연 시스템에 매핑될 수 있는 새로운 종류의 문제가 있어야 하는지에 대한 것입니다. 저는 그것이 물리학을 생각하는 매우 흥미로운 새로운 방식이 될 수 있다고 생각합니다. 이는 제가 물리학을 일반적으로 생각하는 방식과도 일치하는데, 저는 정보가 가장 기본적이라고 생각합니다. 정보는 에너지나 물질보다 더 근본적인 우주의 단위라고 봅니다. 저는 우주를 일종의 정보 시스템으로 생각합니다.

Q: 우주를 정보 시스템으로 생각하면 P=NP 문제는 물리학 문제가 됩니다. 그리고 이 문제는 우리가 겪고 있는 이 모든 현상을 해결하는 데 도움이 될 수 있는 질문이겠네요.

A: (데미스 하사비스) 맞습니다. 저는 그것이 물리학을 정보적으로 생각할 때 가장 근본적인 질문 중 하나라고 생각하며, 그 답은 매우 계몽적일 것이라고 봅니다.

Q: P=NP 문제에 대해 좀 더 구체적으로, 우리가 이야기하고 있는 것 중에 다항 시간 또는 상수 시간 계산을 미리 수행하여 거대한 모델을 구축하면 이론 컴퓨터 과학적인 방식으로 매우 어려운 문제들을 해결할 수 있다는 것을 보여줄 수 있는 무언가가 있다고 생각하십니까?

A: (데미스 하사비스) 네, 저는 이런 방식으로 설명될 수 있는 엄청난 종류의 문제들이 있다고 생각합니다. 우리가 알파고와 알파폴드를 했던 방식처럼, 시스템의 동역학, 즉 당신이 이해하려는 환경의 속성을 모델링하면 해답을 찾거나 다음 단계를 예측하는 탐색이 효율적으로, 기본적으로 다항 시간 내에 이루어지게 됩니다. 즉, 신경망과 같은 고전 시스템에 의해 다루기 쉬워지는 것이죠. 신경망은 일반 컴퓨터, 즉 고전 컴퓨터, 사실상 튜링 머신에서 실행됩니다. 그리고 저는 그 패러다임이 어디까지 갈 수 있는지가 가장 흥미로운 질문 중 하나라고 생각합니다. 저는 우리와 AI 커뮤니티 전반이 고전 시스템, 즉 튜링 머신이 우리가 이전에 생각했던 것보다 훨씬 더 많은 것을 할 수 있다는 것을 증명했다고 생각합니다. 단백질 구조를 모델링하거나 세계 챔피언 수준 이상으로 바둑을 두는 것과 같은 일들이죠. 10~20년 전만 해도 많은 사람들이 그것이 수십 년 후의 일이거나 단백질 접힘 같은 것을 하려면 양자 시스템이 필요할 것이라고 생각했을 겁니다. 그래서 저는 우리가 소위 고전 시스템이 할 수 있는 것의 표면조차 아직 긁지 않았다고 생각합니다. 그리고 물론, 고전 컴퓨터 위의 신경망 시스템 위에 구축된 AGI는 그것의 궁극적인 표현이 될 것입니다. 그러한 시스템이 할 수 있는 것의 한계는 매우 흥미로운 질문이며, P=NP 문제와 직접적으로 관련이 있습니다.

한 걸음 물러서서 우리가 해결한 시스템과 문제들을 보고, Veo 3와 같은 비디오 생성, 물리 렌더링, 조명 같은 것들을 보면, 물리학의 정말 핵심적인 것들을 다루고 있죠. 꽤 흥미롭습니다. 제 생각에 그것은 우주가 어떻게 구조화되어 있는지에 대한 꽤 근본적인 무언가를 말해주고 있습니다. 어떤 면에서는, 제가 AGI를 만들고 싶은 이유도 바로 과학자들이 P=NP와 같은 질문에 답하는 것을 돕기 위해서입니다.

Q: 고전 컴퓨터로 모델링할 수 있는 것의 범위에 대해 계속해서 놀라게 될 것 같습니다. 알파폴드 3의 상호작용 모델링, 유전 코드를 기능과 연결하는 알파지놈(AlphaGenome) 등은 모두 놀랍습니다. 조합 가능한 옵션이 너무 많다고 생각했는데, 효율적으로 모델링되는 커널을 찾을 수 있다는 것이죠.

A: 에너지 환경(energy landscape) 같은 곳에 어떤 구조가 있어서 따라갈 수 있는 경사(gradient)가 있기 때문입니다. 그리고 물론 신경망은 경사를 따르는 데 매우 능숙합니다. 그래서 따라갈 경사가 있고 목적 함수를 정확하게 명시할 수 있다면, 우리가 수십 년 동안 순진하게 생각해왔던 것처럼 모든 가능성을 열거하는 복잡성을 다룰 필요가 없습니다. 모든 가능성을 열거하면 완전히 다루기 힘들어 보이죠. 10의 300제곱 가지의 가능한 단백질 구조, 10의 170제곱 가지의 가능한 바둑 포지션 등, 이 모든 것은 우주의 원자 수보다 훨씬 많습니다. 어떻게 올바른 해답을 찾거나 다음 수를 예측할 수 있을까요? 하지만 그것이 가능하다는 것이 밝혀졌습니다. 그리고 물론 현실, 즉 자연은 그것을 해냅니다. 단백질은 접히죠. 그것은 만약 우리가 물리학이 그것을 어떻게 하는지 이해하고 그 과정을 모방할 수 있다면, 우리의 고전 시스템에서도 가능해야 한다는 확신을 줍니다. 그것이 바로 이 추측의 핵심입니다.

Q: 그리고 유체와 관련된 모든 것, 즉 매우 비선형적인 동적 시스템도 있습니다. 테렌스 타오(Terrence Tao)와의 대화에서 그는 특이점을 가진 시스템의 수학적 어려움에 대해 이야기했습니다. 우리 인간이 이런 시스템에 대해 명확한 예측을 하기는 어렵습니다. 하지만 당신의 말처럼, 고전적인 학습 시스템이 유체에 대해서도 놀라운 일을 해낼 수 있을지도 모르겠네요.

A: (데미스 하사비스) 그렇습니다. 정확해요. 유체 역학, 나비에-스토크스 방정식은 전통적으로 고전 시스템에서 다루기 매우 어렵고 난해한 문제로 여겨졌습니다. 기상 예측 시스템처럼 엄청난 양의 컴퓨팅 자원을 필요로 하죠. 하지만 저희 비디오 생성 모델인 Veo와 같은 것을 보면, 액체를 놀라울 정도로 잘 모델링합니다. 재료나 반사광도 마찬가지죠. 사람들이 유압 프레스에 투명한 액체를 넣고 압착하는 영상을 생성한 것을 보면 정말 감탄스럽습니다. 저는 초기에 게임 업계에서 물리 엔진과 그래픽 엔진을 작성했었는데, 그런 프로그램을 만드는 것이 얼마나 고된 작업인지 잘 압니다. 그런데 이 시스템들은 단지 유튜브 비디오를 보는 것만으로 그것을 리버스 엔지니어링하고 있습니다. 아마도 이 물질들이 어떻게 행동하는지에 대한 근본적인 구조를 추출하고 있는 것이겠죠. 어쩌면 그 내부에서 실제로 무슨 일이 일어나고 있는지 완전히 이해한다면, 학습될 수 있는 어떤 저차원 매니폴드(manifold)가 존재할지도 모릅니다. 이것은 아마 현실의 대부분에 해당될지도 모릅니다.

Q: Veo가 보여주는 물리 현상 모델링은 정말 놀랍습니다. 비판적인 시각에서는 확산 모델(diffusion model)이 아무것도 이해하지 못한다고 하지만, 그런 영상을 이해 없이 생성하는 것은 불가능해 보입니다. Veo가 우리 세계를 어느 정도까지 이해하고 있다고 생각하시나요?

A: (데미스 하사비스) 일관성 있는 다음 프레임을 예측할 수 있는 한, 그것은 일종의 이해라고 할 수 있습니다. 의인화된 버전의 이해, 즉 무슨 일이 일어나고 있는지에 대한 깊은 철학적 이해는 아니라고 생각합니다. 이 시스템들이 그런 것을 가지고 있다고는 생각하지 않아요. 하지만 그들은 분명히 동역학의 충분한 부분을 모델링해서, 눈으로 볼 때 적어도 언뜻 보기에는 문제점을 구별하기 어려운 8초간의 일관된 비디오를 꽤 정확하게 생성할 수 있습니다. 2~3년 후를 상상해 보세요. 1~2년 전의 초기 버전에 비하면 얼마나 놀라워질지 생각하고 있습니다. 진행 속도는 정말 놀랍습니다. 그리고 저도 당신처럼, 많은 사람들이 스탠드업 코미디언이나 인간의 동역학을 잘 포착하는 영상들을 좋아하지만, 제가 가장 감명 깊고 매료된 것은 물리적 행동, 즉 조명, 재료, 액체입니다. 그것을 할 수 있다는 것이 꽤 놀랍습니다. 그리고 그것은 이 시스템이 적어도 직관적인 물리, 즉 물건들이 어떻게 작동해야 하는지에 대한 직관적인 이해를 가지고 있다는 것을 보여준다고 생각합니다. 아마도 박사 과정 학생이 모든 방정식을 풀어내는 것보다는, 어린아이가 물리를 이해하는 방식과 더 비슷할 겁니다.

Q: 그 직관적인 물리 이해가 바로 상식이라고 불리는 기본 층입니다. 많은 사람들이 놀란 부분이죠. 로봇처럼 물리적 세계와 상호작용해야만 그 세계를 이해할 수 있다는 생각에 Veo가 직접적으로 도전하는 것 같습니다.

A: (데미스 하사비스) 네, 그리고 그것은 매우 흥미롭습니다. 5~10년 전에 저에게 물었다면, 비록 제가 이 모든 것에 깊이 관여하고 있었음에도, "네, 아마도 직관적인 물리를 이해해야 할 겁니다. 이 유리잔을 테이블에서 밀면 깨질 것이고, 액체는 쏟아질 거라는 것들이죠." 라고 말했을 겁니다. 그리고 신경과학에는 '인식 속의 행동(action in perception)'이라는 이론이 많습니다. 즉, 세상을 깊이 인식하기 위해서는 세상 속에서 행동해야 한다는 것이죠. 직관적인 물리를 이해하기 위해서는 구체화된 지능(embodied intelligence)이나 로봇공학, 혹은 적어도 시뮬레이션된 행동이 필요하다는 이론들이 많았습니다. 하지만 수동적인 관찰을 통해서도 그것을 이해할 수 있는 것 같습니다. 이것은 저에게 꽤 놀라운 일이며, 제 생각에는 그것이 생성하는 멋진 비디오를 넘어 현실의 본질에 대한 무언가를 암시한다고 봅니다. 그리고 물론 다음 단계는 그 비디오들을 상호작용 가능하게 만드는 것입니다. 그래서 실제로 그 안으로 들어가서 움직일 수 있게 하는 거죠. 제 게임 배경을 고려하면 정말 놀라운 일일 겁니다. 그러면 우리는 제가 '세계 모델(world model)', 즉 세상이 어떻게 작동하는지에 대한 모델, 세상의 역학, 물리, 그리고 그 세상 속의 사물들에 대한 모델에 가까워지기 시작하는 것입니다. 그리고 물론 그것이 진정한 AGI 시스템에 필요한 것이죠.

알파이볼브 (AlphaEvolve)

Q: 최근에 발표된 알파이볼브(AlphaEvolve)는 알고리즘을 진화시키는 시스템입니다. 이런 종류의 진화와 유사한 기술이 미래의 초지능 시스템의 구성 요소로서 유망하다고 보시나요?

A: (데미스 하사비스) 네, LLM 또는 파운데이션 모델을 다른 계산 기술과 결합하는 매우 유망한 방향의 한 예라고 생각합니다. 진화적 방법이 하나이지만, 몬테카를로 트리 탐색과 같은 다양한 종류의 탐색 알고리즘이나 추론 알고리즘을 파운데이션 모델 위에 얹거나 기반으로 사용하는 것을 상상할 수 있습니다. 그래서 저는 실제로 이러한 하이브리드 시스템으로 발견될 흥미로운 것들이 꽤 많다고 생각합니다.

Q: 진화라는 메커니즘에는 가치가 있다고 생각하시나요? 자연 시스템에 대해 이미 이야기했듯이, 우리가 진화를 이해하고 시뮬레이션하며, 그 자연에서 영감을 받은 메커니즘을 사용하여 탐색을 더 잘할 수 있는 잠재력이 많다고 보십니까?

A: (데미스 하사비스) 네. 우리가 만든 시스템을 근본적인 핵심으로 분해해 보면, 시스템의 기본 동역학 모델이 있습니다. 그리고 이전에 보지 못했던 새로운 것, 참신한 것을 발견하고 싶다면, 탐색 공간의 새로운 영역으로 당신을 이끌어 줄 어떤 종류의 탐색 과정이 필요합니다. 진화적 컴퓨팅은 그 방법 중 하나입니다. 알파고에서는 몬테카를로 트리 탐색을 사용했고, 그것이 바둑에서 이전에 본 적 없는 새로운 전략인 '37수'를 찾아냈습니다. 그렇게 해서 이미 알려진 것을 넘어설 수 있습니다. 모델은 현재 알고 있는 모든 데이터에 대해 모델링할 수 있지만, 어떻게 그것을 넘어설 수 있을까요? 이것은 창의성에 대한 아이디어와 연결됩니다. 이 시스템들이 어떻게 새로운 것을 창조하고 발견할 수 있을까요?

Q: 진화는 단지 자연선택뿐만 아니라, 여러 요소를 결합하여 점점 더 복잡한 계층적 시스템을 구축하는 데 능숙합니다. 특히 프로그램 공간에서 알파이볼브와 같은 시스템의 경우, 이러한 측면이 매우 흥미롭습니다.

A: (데미스 하사비스) 맞습니다. 진화 시스템에서는 새로운 창발적 능력이 나타날 수 있다는 추가적인 속성을 얻을 수 있습니다. 하지만 LLM과 현대 AI가 없던 시절의 전통적인 진화 컴퓨팅 방법의 문제점은, 새로운 창발적 속성을 진화시키는 방법을 알아내지 못했다는 것입니다. 항상 시스템에 입력한 속성의 하위 집합만을 얻었습니다. 하지만 아마도 파운데이션 모델과 결합한다면 그 한계를 극복할 수 있을 것입니다. 분명히 자연의 진화는 그것을 해냈습니다. 박테리아에서 지금의 우리까지 새로운 능력을 진화시켰으니까요. 분명히 진화 시스템으로 새로운 패턴과 능력을 생성하는 것이 가능해야 합니다. 어쩌면 우리는 그것을 어떻게 하는지 발견할 문턱에 와 있는지도 모릅니다.

AI 연구

Q: '연구 취향(research taste)'이라는 흥미로운 개념이 있습니다. AI 시스템이 훌륭한 과학자들이 올바른 방향을 찾아내는 것과 같은 '연구 취향'을 가질 수 있다고 생각하십니까? 진정으로 새로운 아이디어를 생성하기 위해 어떤 방향을 탐색해야 하는지 스스로 알아내는 것이 가능할까요?

A: (데미스 하사비스) 저는 취향이나 판단력이라는 이 아이디어가 모방하거나 모델링하기 가장 어려운 것 중 하나가 될 것이라고 생각합니다. 그것이 위대한 과학자와 좋은 과학자를 구분하는 것이죠. 모든 전문 과학자들은 기술적으로는 훌륭합니다. 하지만 올바른 방향, 올바른 실험, 올바른 질문이 무엇인지 감지해내는 취향을 가지고 있는가? 과학에서 가장 어려운 부분은 올바른 질문을 선택하는 것입니다. 올바른 가설을 세우는 것이죠. 오늘날의 시스템들은 분명히 그것을 할 수 없습니다. 저는 종종 정말 좋은 추측을 내놓는 것이 그것을 푸는 것보다 더 어렵다고 말합니다. 우리는 곧 꽤 어려운 추측을 풀 수 있는 시스템을 갖게 될지도 모릅니다. 예를 들어, 작년에 우리 시스템 알파프루프(AlphaProof)가 국제수학올림피아드에서 은메달을 땄습니다. 언젠가는 밀레니엄 문제 같은 것을 풀 수 있을지도 모릅니다. 하지만 테렌스 타오 같은 사람이 "이건 수학이나 수, 또는 물리학의 본질에 대한 정말 깊은 질문이다"라고 할 만한 연구 가치가 있는 추측을 시스템이 내놓을 수 있었을까요? 그것은 훨씬 더 어려운 종류의 창의성이며, 우리는 그 메커니즘이 무엇일지 아직 잘 모릅니다. 아인슈타인이 특수 상대성 이론과 일반 상대성 이론을 생각해냈을 때와 같은 상상력의 도약 같은 것이죠.

Q: 흥미로우면서도 증명 가능한 추측을 내놓는 것이 중요합니다. 너무 어렵거나 쉬운 것은 의미가 없죠.

A: (데미스 하사비스) 맞습니다. 바로 그 지점, 과학을 발전시키고 가설 공간을 이상적으로는 둘로 나누는 바로 그 스위트 스팟에 있어야 합니다. 그것이 참이든 거짓이든, 정말 유용한 것을 배우게 되니까요.

Q: 당신은 실험을 올바르게 설계하면 실패는 없다고 말했습니다. 성공과 실패 모두 가설 공간을 이분화하기 때문에 유용하다는 의미인가요?

A: (데미스 하사비스) 그렇습니다. 정말 기초 연구(blue sky research)를 할 때는, 가설 공간을 의미 있게 나누는 실험과 가설을 선택하는 한 실패란 없습니다. 작동하지 않는 실험에서도 그에 못지않게 가치 있는 것을 배울 수 있습니다. 실험을 잘 설계했고 가설이 흥미롭다면, 그것은 다음에 어디로 가야 할지에 대해 많은 것을 알려줄 것입니다.

생물학적 유기체 시뮬레이션

Q: 세포를 모델링하려는 꿈을 이루기 위해 앞으로 어떤 큰 과제들이 남아있나요?

A: (데미스 하사비스) 저는 항상 거창한 꿈을 꾸고 그것을 관리 가능하고 달성 가능한 중간 단계로 나누려고 노력합니다. '가상 세포(Virtual Cell)'라고 부르는 세포 모델링 프로젝트는 제가 25년 이상 하고 싶었던 아이디어입니다. 생물학 분야의 멘토인 폴 너스(Paul Nurse)와 90년대부터 이 이야기를 나눠왔습니다. 가상 세포에서 실험을 하고 그 예측이 실제 실험실에서의 시간을 크게 절약해줄 수 있다면, 그것이 꿈일 겁니다. 어쩌면 실험 속도를 100배 향상시킬 수 있을 겁니다. 그리고 이제 마침내, 알파폴드와 같은 구성 요소들을 구축하여 궁극적으로 세포의 전체 시뮬레이션을 모델링할 수 있게 될지도 모릅니다. 저는 아마 효모 세포부터 시작할 겁니다. 효모 세포는 완전한 단세포 유기체이기 때문이죠. 알파폴드는 단백질의 3D 구조, 즉 정적인 그림에 대한 해결책입니다. 하지만 생물학의 모든 흥미로운 일은 동역학, 즉 상호작용에서 일어납니다. 그것이 알파폴드 3가 목표하는 첫걸음입니다. 단백질과 단백질, 단백질과 RNA/DNA의 쌍별 상호작용을 모델링하고, 다음 단계는 아마도 암과 관련된 mTOR 경로와 같은 전체 경로를 모델링하는 것이 될 겁니다. 그리고 결국에는 세포 전체를 모델링할 수 있게 될지도 모릅니다.

Q: 세포 내의 현상들은 서로 다른 시간 척도에서 일어납니다. 이것이 모델링에 어려움을 주지 않을까요? 또한, 양자 역학적 측면을 시뮬레이션하지 않고도 필요한 동역학을 포착할 수 있을까요?

A: (데미스 하사비스) 네, 어려울 겁니다. 아마도 이러한 다른 시간적 동역학에서 상호작용할 수 있는 여러 시뮬레이션 시스템이 필요하거나, 적어도 계층적 시스템처럼 되어 다른 시간 단계 사이를 오갈 수 있어야 할 겁니다. 그리고 어떤 자연 시스템을 모델링할 때, 어느 정도의 세분화 수준까지 모델링할 것인지 결정해야 합니다. 그래야 관심 있는 동역학을 포착할 수 있습니다. 세포의 경우, 아마도 단백질 수준에서 충분하고 원자 수준까지 내려갈 필요는 없기를 바랍니다.

---

생명의 기원

Q: 생명의 기원을 시뮬레이션하고 모델링할 수 있게 될까요? 즉, 무생물에서 생명체가 탄생하는 과정을 시뮬레이션하는 것입니다.

A: (데미스 하사비스) 저는 그것이 물론 가장 깊고 매혹적인 질문 중 하나라고 생각합니다. 저는 그 생물학 분야를 사랑합니다. 닉 레인(Nick Lane)의 책처럼요. 저는 AI가 그것을 돕지 못할 이유가 없다고 봅니다. 그것 역시 조합적 공간을 통한 탐색 과정입니다. 여기 원시 수프가 있고, 초기 조건이 주어집니다. 세포처럼 보이는 것을 생성할 수 있을까요? 아마도 그것이 가상 세포 프로젝트 이후의 다음 단계가 될 것입니다.

Q: 생명의 기원에 대한 '신의 한 수'(Move 37) 같은 발견이 있었으면 좋겠습니다. 무생물과 생물 사이에 경계가 없으며, 빅뱅부터 오늘날까지 동일한 과정이 이어져 왔다는 것을 엄밀하게 증명할 수 있다면 굉장할 것입니다.

A: (데미스 하사비스) 그것이 바로 제가 평생 AGI와 AI에 매달려온 이유입니다. AGI가 이런 종류의 질문에 답하는 데 도움이 되는 궁극적인 도구가 될 수 있다고 생각하기 때문입니다. 그리고 저는 왜 보통 사람들이 이런 것들에 대해 더 걱정하지 않는지 잘 이해하지 못합니다. 우리가 생명과 무생물에 대한 좋은 정의도 없고, 시간의 본질은 물론 의식과 중력 같은 것들도 모르고 있다는 사실이 말입니다. 양자역학의 기묘함도 그렇죠. 제게는 이 모든 것이 항상 얼굴 앞에서 소리치는 것 같았고, 그 소리는 점점 더 커지고 있습니다. 도대체 여기서 무슨 일이 일어나고 있는 걸까요? 가장 깊은 의미에서, 현실의 본질이라는 궁극적인 질문 말입니다. 우리가 서로를 쳐다보고, 모든 생명체를 현미경으로 검사하고 거의 원자 수준까지 분해할 수 있으면서도, '생명'을 어떻게 정의하는가라는 질문에 여전히 명확하고 간단하게 답할 수 없다는 것은 놀라운 일입니다.

Q: 날씨는 인류 역사상 가장 중요한 문제 중 하나였고, 모델링하기 매우 어려운 시스템입니다. 구글 딥마인드는 이 분야에서도 진전을 이루었죠.

A: (데미스 하사비스) 네, 우리는 세계 최고의 기상 예측 시스템을 만들었고, 이는 대규모 슈퍼컴퓨터에서 계산되는 전통적인 유체 역학 시스템보다 뛰어납니다. 우리 WeatherNext 시스템으로 신경망을 이용해 날씨 동역학의 많은 부분을 모델링했습니다. 흥미로운 점은, 이러한 종류의 동역학이 매우 복잡하고 거의 혼돈에 가까운 시스템임에도 불구하고 모델링이 가능하다는 것입니다. 허리케인 경로 예측과 같은 것들도 포함해서요.

AGI로 가는 길

Q: 2030년까지 AGI가 등장할 것이라고 예측하셨습니다. 우리가 AGI에 도달했다는 것을 어떻게 알 수 있을까요? 그리고 AGI의 '신의 한 수'는 무엇일까요?

A: (데미스 하사비스) 제 추정치는 앞으로 5년 안에, 즉 2030년까지 50%의 확률입니다. AGI의 정의에 따라 달라지겠지만, 제 기준은 꽤 높습니다. 뇌가 가진 인지 기능을 따라잡을 수 있는가 하는 것이죠. 진정한 AGI를 가졌는지 알기 위해서는 그 모든 능력을 갖추었는지 확인해야 합니다. 오늘날의 시스템처럼 어떤 면에서는 뛰어나지만 다른 면에서는 결함이 있는 들쭉날쭉한 지능이 아니어야 합니다. 일관성이 필요하죠. 그리고 우리가 이야기했던 진정한 발명 능력이나 창의성 같은 빠진 능력들도 있습니다. 그것을 어떻게 테스트할 것인가... 한 가지 방법은 인간이 할 수 있다고 알려진 수만 개의 인지 과제를 무차별적으로 테스트하는 것입니다. 또는 각 분야의 세계 최고 전문가 수백 명에게 시스템을 제공하고, 한두 달 동안 명백한 결함을 찾아보라고 하는 방법도 있습니다. 만약 그들이 찾지 못한다면, 우리는 완전히 일반적인 시스템을 가졌다고 꽤 확신할 수 있을 겁니다.

Q: 인간은 지능이 향상될수록 그것을 당연하게 여기는 경향이 있습니다. 10,000개의 인지 과제 테스트보다는, '신의 한 수'처럼 한두 가지 경이로운 성과가 AGI의 등장을 알리는 신호가 되지 않을까요?

A: (데미스 하사비스) 정확합니다. 그래서 저는 일관성을 확인하기 위한 전반적인 테스트와 함께, '37수'와 같은 등대 같은 순간들을 찾을 것입니다. 하나는 아인슈타인이 그랬던 것처럼 물리학에 대한 새로운 추측이나 가설을 발명하는 것입니다. 1900년까지의 지식만 주고 특수 상대성 이론과 일반 상대성 이론을 생각해낼 수 있는지 엄격하게 백테스트해 볼 수 있을 겁니다. 또 다른 하나는 바둑과 같은 게임을 발명할 수 있는지입니다. 단순히 새로운 전략을 내놓는 것이 아니라, 바둑만큼 깊고 미학적으로 아름답고 우아한 게임을 발명하는 것이죠. 저는 그런 것들을 찾을 것입니다.

Q: 우리 인간, 심지어 당신 같은 전문가조차도 AGI의 발견을 놓칠 수 있다는 걱정은 없으신가요? 그 발견이 매우 복잡할 수 있으니까요.

A: (데미스 하사비스) 저는 그것이 최고의 인간 과학자들에게 완전히 미스터리하지는 않을 것이라고 생각합니다. 체스에서 게리 카스파로프나 마그누스 칼센과 게임을 하고 그들이 훌륭한 수를 뒀을 때, 제가 그 수를 생각해낼 수는 없겠지만, 그들은 나중에 왜 그 수가 타당했는지 설명해 줄 수 있고 우리는 어느 정도 이해할 수 있을 겁니다.

Q: AI가 생성한 코드나 아이디어를 볼 때, 이것이 버그인지 아니면 제가 놓치고 있는 더 깊은 통찰력인지 항상 스스로에게 질문해야 할 것입니다.

A: (데미스 하사비스) 네, 그리고 그것은 앞으로 더 복잡해질 것입니다. 하지만 물론, 그 코드나 아이디어를 생성하는 AI 시스템과, 그것을 분석하는 인간 프로그래머가 다른 AI 도구의 도움을 받는 모습을 상상할 수 있습니다.

Q: 알파이볼브와 같은 시스템이 재귀적 자기 개선(recursive self-improvement)을 가능하게 할 수 있을까요? 미래의 AGI 시스템은 어떤 모습일까요?

A: (데미스 하사비스) 잠재적으로는 가능하지만, 그것이 바람직한지는 확실하지 않습니다. 그것은 일종의 하드 테이크오프 시나리오니까요. 알파이볼브 같은 현재 시스템들은 인간이 결정 과정에 참여합니다. 언젠가 종단 간(end-to-end)으로 그것을 할 수 있을 것이라고 보지만, 현재 시스템들은 "더 나은 버전을 만들어라"와 같은 모호하고 높은 수준의 지시를 처리할 만큼 좋지는 않습니다. 하지만 "더 빠른 행렬 곱셈 알고리즘을 만들어라"와 같이 매우 구체적인 지시를 주면 점진적으로 개선하는 데는 매우 능숙합니다.

스케일링 법칙

Q: 스케일링 법칙은 여전히 유효한가요? 아니면 AI 발전이 벽에 부딪힐 것으로 예상하시나요?

A: (데미스 하사비스) 우리는 스케일링만으로도 아직 여지가 많다고 느낍니다. 사전 훈련, 사후 훈련, 추론 시간 등 세 가지 스케일링이 동시에 일어나고 있습니다. 새로운 돌파구가 필요한지, 아니면 기존 기술의 스케일링만으로 충분할지는 50대 50이라고 봅니다. 그래서 우리는 경험적인 방식으로 두 가지 모두를 최대한 밀어붙이고 있습니다. 새로운 기초 연구 아이디어와 현재 능력의 최대 스케일링 모두요.

Q: 고품질 데이터, 특히 인간이 생성한 고품질 데이터가 고갈될 것을 우려하시나요?

A: (데미스 하사비스) 별로 걱정하지 않습니다. 시스템을 꽤 좋게 만드는 데 충분한 데이터가 있거나, 올바른 분포에서 더 많은 합성 데이터를 생성할 수 있는 시뮬레이션을 만들 만큼 충분한 데이터가 있다고 입증되었기 때문입니다.

컴퓨팅 자원

Q: AGI 구축에 컴퓨팅 규모 확장은 얼마나 중요한가요? 에너지 문제와도 연결되는데요, 컴퓨팅 규모가 계속 확장될 것이라고 생각하시나요?

A: (데미스 하사비스) 네, 여러 가지 이유로 그렇게 생각합니다. 훈련, 추론, 그리고 더 오래 생각할수록 더 똑똑해지는 '사고 시스템(thinking systems)'이라는 새로운 패러다임 모두에 많은 컴퓨팅 자원이 필요하며, 그 수요는 줄어들지 않을 것입니다. 그리고 AI 시스템이 더 좋아질수록 더 유용해지고 더 많은 수요가 생길 겁니다. 그리고 우리는 AI 시스템을 구축하여 에너지 사용을 돕는 데에도 매우 관심이 많습니다. 데이터 센터 냉각 시스템 효율화, 전력망 최적화, 그리고 궁극적으로는 핵융합로의 플라즈마 제어와 같은 것들입니다.

Q: 20, 30, 40년 후의 주된 에너지원은 무엇이 될 것이라고 생각하시나요? 핵융합일까요?

A: (데미스 하사비스) 저는 핵융합과 태양광, 이 두 가지에 걸겠습니다. 태양광은 본질적으로 하늘에 있는 핵융합로죠. 여기서 진짜 문제는 배터리와 송전입니다. 핵융합은 올바른 원자로 설계와 플라즈마 제어가 가능하다면 분명히 가능해 보입니다. 이 두 가지가 해결되면, 우리는 거의 무료에 가까운 재생 가능한 청정에너지를 갖게 될 것입니다.

Q: 100년 후 인류가 카르다쇼프 척도 1단계 문명을 넘어섰다면 놀라시겠습니까?

A: (데미스 하사비스) 100년이라는 시간 척도라면 그다지 놀라지 않을 겁니다. 에너지 문제가 해결되면 물 부족 문제(해수 담수화), 로켓 연료 문제 등이 해결되고, 소행성 채굴이나 인류 번영의 새로운 시대가 열릴 수 있습니다. 저는 그것을 '급진적 풍요(radical abundance)' 시대라고 부르는데, 자원이 풍부해지는 것이죠. 물론 그 다음 큰 문제는 그것이 공정하게 공유되도록 하는 것입니다.

프로그래밍의 미래

Q: AI 시스템이 프로그래밍을 점점 더 잘하게 되면서, 프로그래머들이 일자리를 잃을까 걱정하고 있습니다. 얼마나 걱정해야 할까요? 그리고 이 새로운 현실에 어떻게 적응해야 할까요?

A: (데미스 하사비스) 프로그래밍과 수학은 합성 데이터를 많이 만들고 검증할 수 있기 때문에 AI가 배우기 더 쉬운 기술로 판명되었습니다. 앞으로 5~10년 동안은, 이 기술들을 받아들이는 사람들이 거의 초인적인 생산성을 갖게 될 것이라고 생각합니다. 훌륭한 프로그래머들은 오늘날보다 10배 더 나아질 것입니다. 그들은 자신의 기술을 사용하여 도구를 최대한 활용할 수 있을 것입니다.

Q: 기술 변화의 속도가 산업 혁명보다 10배 빠르고 10배 큰 영향을 미칠 수 있어 사회가 대처하기 더 어려울 것입니다. 우리는 지금 당장 이 문제에 대해 논의해야 합니다.

A: (데미스 하사비스) 맞습니다. 많은 변화가 있을 것입니다. 사회가 이에 어떻게 영향을 받을지, 그리고 보편적 기본 소득(UBI)과 같은 것들을 포함하여 무엇을 해야 할지에 대해 최고의 경제학자들과 철학자들이 생각하기 시작해야 합니다. 또한, 이러한 전환을 돕기 위해 새로운 거버넌스 구조와 기관이 필요할 것입니다. 정치 철학과 정치 과학이 핵심이 될 것입니다.

Q: 이세돌 9단의 '신의 한 수'는 인간의 천재성이 AI를 이긴 특별한 순간이었습니다. 이런 순간들이 앞으로도 계속될까요?

A: (데미스 하사비스) 네, 특별한 순간이었고, 서로에게 영감을 준 것이라고 생각합니다. 앞으로도 여러 분야에서 인간이 자신의 독창성을 발휘하고, 올바른 질문을 던지며, 이러한 도구를 활용하여 문제를 해결하는 일이 계속될 것입니다.

Q: AI가 점점 더 똑똑해지면서, '인간을 특별하게 만드는 것은 무엇인가?'라는 질문을 던지게 됩니다. 무엇이라고 생각하시나요?

A: (데미스 하사비스) 저는 항상 이것에 매료되었습니다. AI라는 지능적인 인공물을 만들고 그것을 인간의 마음과 비교하여 그 차이점을 보는 것이, 인간의 마음이 특별한 점이 있다면 그것을 발견하는 가장 좋은 방법이라고 항상 상상해 왔습니다. 그리고 저는 아마도 특별한 점이 있을 것이라고 생각하지만, 그것을 정의하기는 어려울 것입니다. 우리가 걷고 있는 이 여정이 그것을 이해하고 정의하는 데 도움이 될 것입니다.

의식과 양자 계산

Q: 의식은 계산(computation)이라고 생각하시나요? 만약 그렇다면, 고전 컴퓨터로 모델링할 수 있을까요, 아니면 양자 역학적인가요?

A: (데미스 하사비스) 로저 펜로즈는 놀라운 사상가이지만, 우리는 이 문제에 대해 정중하게 의견이 다릅니다. 제 생각에 뇌에서 일어나는 일은 대부분 고전적인 계산이며, 이는 모든 현상이 고전 컴퓨터에 의해 모델링되거나 모방될 수 있음을 시사합니다. 하지만 우리는 모릅니다. 의식의 느낌, 즉 퀄리아(qualia)와 같은 것들은 우리가 사용하는 기질(substrate)에 고유한 것일 수 있습니다. 우리가 서로를 의식한다고 생각하는 이유는 행동이 같고, 같은 기질에서 작동하기 때문입니다. 하지만 실리콘 기반의 AI와는 후자를 의지할 수 없을 것입니다.

Q: 인류 문명의 미래에 대해 희망을 주는 것은 무엇인가요?

A: (데미스 하사비스) 저에게 희망을 주는 것은 우선 우리의 거의 무한한 독창성입니다. 최고의 인간 지성은 정말 놀랍습니다. 그리고 또 다른 것은 우리의 극단적인 적응력입니다. 우리의 수렵-채집인 뇌로 어떻게 현대 세계에 대처하고 있는지 보세요. 비행기를 타고, 팟캐스트를 하고, 가상 시뮬레이션을 합니다. 우리는 이미 엄청난 변화에 적응해왔습니다.

Q: (렉스 프리드먼) 인간이 가진 호기심, 적응력, 그리고 사랑할 수 있는 능력에 깊이 감사합니다.

A: (데미스 하사비스) 네, 감사합니다, 렉스.

배우고 해보고 고치고 더 빠르게 해보고 배우고.

나발: 저는 최근에 또 다른 회사를 시작했습니다. 아주 어려운 프로젝트죠. 실제로 회사 이름이 '불가능한 회사(The Impossible Company)'입니다. '임파서블 주식회사(Impossible, Inc.)'라고 불리죠. 흥미로운 점은 이 일이 저를 맹렬하게 배우도록 만들었다는 것입니다. 그리고 이게 꼭 부정적인 방식으로 동기 부여된 것도 아니고, 오히려 오랜만에 그 어느 때보다 배우고 싶다는 강한 영감을 받고 있습니다.

그래서 저는 Grok과 ChatGPT에게 훨씬 더 많은 질문을 퍼붓고 있는 제 자신을 발견합니다. 더 많은 책을 읽고, 더 많은 기술 팟캐스트를 들으며, 훨씬 더 많이 브레인스토밍하고 있는 제 자신을 발견하죠. 저는 그저 정신적으로 더 활발해졌을 뿐입니다. 심지어 투자 목적이 아니더라도 그들에게서 배울 점이 있기 때문에 더 많은 회사들을 기꺼이 만나려고 합니다.

이렇게 활동적인 것만으로도 자연스럽게 더 배우고 싶어지고, 그 과정이 재미없거나 저를 번아웃시키는 방식도 아닙니다. 그래서 저는 '행동'이 배움에 대한 열망으로 이어지고, 결과적으로 '배움'으로 이어진다고 생각합니다. 물론 행동 그 자체로부터 얻는 배움도 있고요. 반면에, 순전히 배움을 위한 배움을 한다면 얼마 지나지 않아 공허해진다고 생각합니다. 동기 부여가 같지 않죠.

우리는 생체역학적인 존재입니다. 저는 걸어 다닐 때 뇌가 더 빨리 작동합니다. "아니, 에너지 보존 법칙 때문에 더 느리게 작동해야 하는 거 아니야?" 라고 생각할 수도 있지만, 실제로는 그렇지 않습니다. 가장 훌륭한 브레인스토밍 중 일부는 그냥 앉아서 이야기할 때가 아니라, 걸으면서 이야기할 때 나옵니다.

그래서 한동안 저는 '걸으면서 하는 팟캐스트'를 시도해 보려고 했습니다. 저는 걷고 말하는 것을 정말 즐기고, 그럴 때 제 뇌가 더 잘 작동하기 때문이죠. 바로 그런 방식으로 저는 행동과 배움이 밀접하게 연결되어 있다고 생각합니다. 그러니 배우고 싶다면, 행동하세요.

https://nav.al/do