파인튜닝·디스틸·포스트트레이닝의 난도가 급락하면서, 랩 API 래퍼로 출발한 앱도 결국 자체 모델로 이동할 수밖에 없다.

이유는 두 가지다. 첫째, 품질 재현성: 모델 성능은 데이터·컴퓨트·아키텍처의 함수이고, 최근 DeepSeek이 약 $6M 규모로 o1급 추론 성능을 보여준 사례가 장벽 붕괴를 입증한다. 둘째, 분배(Distribution): 단기 코딩이 대거 자동화되면, 소프트웨어는 사실상 D2C 브랜드처럼 경쟁하며, 모델을 ‘내 것’으로 컨트롤하는 쪽이 유지·차별화·원가구조를 장악한다.

패턴(Wrapper → 전용 모델)
Cursor처럼 랩퍼로 PMF와 트레이스(경로) 데이터를 모은 뒤, 작은 특화 모델을 파인튜닝(예: Tab/Fast Apply 류 기능)하고, 나중엔 자체 데이터 모트로 사내 모델을 학습·멀티 모델 오케스트레이션을 한다. 이때 모델과 엔지니어링을 하나의 제품경험으로 묶어, 고객이 지불한 토큰 대비 **‘지능의 가치’**를 더 크게 제공하면 잔존가치가 누적된다.

데이터가 병목, 앱이 곧 RL 환경
핵심 제약은 데이터다. 앱이 만들어내는 세션 리플레이/행동 궤적이 곧 RL 경험이며, 여기가 진짜 레버리지 포인트다. OpenAI의 Statsig 인수는 대규모 실험/피처플래깅/세션 데이터 스택을 제품 내부 RL 인프라로 편입하려는 움직임으로 해석할 수 있다. Sutton & Silver가 말한 **‘경험의 시대’**가 바로 이것: 컴퓨터 유즈 자체가 AGI로 가는 자료 생성 엔진이다.

경제학: Token Factor Productivity(TFP)
모델은 ‘지능’이 아니라 **‘생산성 요소’**다. 성패는 토큰 1단위가 창출한 경제가치로 측정해야 한다.
TFP = (산출의 경제가치) / (소비된 토큰)

실무에서는 **수율(유효 산출/전체 산출)**과 추론단가를 함께 관리해야 하고, 이를 끌어올리려면 **오너십(자체 모델) + 데이터 효율 + RL-후훈련(예: LMPO/TRL/VERL)**의 삼각편대를 구축해야 한다.

https://sdan.io/blog/training-imperative

로봇, 우주, 통신, 자율주행, 지능. 일론, Tesla, SpaceX, Neural Link, Boring Company 그외에 여러 회사들이 문명에 변화를 주고 있다.

Q: 옵티머스에 대한 진행 상황은 어떤가요?

기본적으로 인간 수준의 수작업 정교함(manual dexterity)을 갖게 될 것입니다. 즉, 매우 복잡한 손을 가졌다는 뜻이죠. 현실을 탐색하고 이해할 수 있는 AI 두뇌를 가질 것이며, 매우 대량으로 생산될 것입니다. 다른 로봇 공학 회사들을 보면 이 세 가지가 빠져 있습니다. 이 세 가지가 정말 어려운 것들이죠.

현실 세계의 AI 문제, 옵티머스의 모든 전기기계적 문제, 그리고 공급망 및 생산 문제를 해결하는 데 말이죠. 왜냐하면 휴머노이드 로봇을 위한 공급망이 존재하지 않기 때문입니다. 그래서 우리는 그것을 처음부터 다시 만들어야 합니다. 이는 많은 수직적 통합을 필요로 합니다. 옵티머스에 들어가는 액추에이터 중 어느 것도 기존 공급망에서 구할 수 없습니다.

Q: 왜 손을 제대로 만드는 것이 그렇게 중요한지, 왜 액추에이터 디자인이 그렇게 독특하고 어려운지, 왜 아무도 만들지 않아서 로봇의 나머지 부분을 제대로 만들기 위해 거의 거기서부터 시작해야 하는지 설명해 주실 수 있나요?

A: 인간의 손은 믿을 수 없을 정도로 정교한 기계로 진화했습니다. 손은 믿을 수 없을 정도로 다재다능한 도구입니다. 손의 근육 대부분은 사실 팔뚝에 있습니다. 그래서 손은 꼭두각시 인형과 같습니다. 근육이 팔뚝에서 나와 힘줄을 당기는 거죠. 인간의 힘줄 디자인도 놀랍도록 좋습니다. 힘줄의 망이 있고, 세는 방식에 따라 다르지만 인간의 손은 약 27~28개의 자유도를 가집니다. 정말 놀랍죠. 그래서 범용적인 휴머노이드 로봇을 만들려면, 반드시 '손 문제'를 해결해야 합니다.

Q: 이것이 마치 공급망이 존재하지 않았던 초창기 테슬라를 만들 때와 같은 상황인가요?

네, 우리는 어떤 금액을 지불하더라도 액추에이터를 살 수 없었습니다. 그냥 존재하지 않았어요. 세상에는 다양한 크기와 모양의 전기 모터가 1만, 2만 개는 있겠지만 말이죠. 우리는 모든 전기 모터, 기어박스, 그리고 제어 전자 장치를 기본적으로 물리 제1원칙(physics first principles)부터 처음부터 설계해야 했습니다.

Q: 하드웨어 문제를 해결했다고 가정했을 때, LLM의 발전 덕분에 소프트웨어적으로 얼마나 거저먹는 부분이 있나요?

(소비자와의 상호작용은) 문제없습니다. 인간이 할 수 있는 모든 일을 하길 원한다면, 휴머노이드 로봇이 필요하다는 결론에 이르게 됩니다. 부분적인 일만 하길 원한다면 그건 훨씬 쉽죠. 하지만 인간은 타당한 이유들로 현재의 모양과 능력을 갖도록 진화했습니다. 네 개의 손가락과 엄지손가락이 있는 것에는 가치가 있습니다. 심지어 새끼손가락도 꽤 유용합니다. 게다가 인간은 세상을 우리에게 맞춰 설계했습니다. 그래서 휴머노이드 로봇을 만들면 우리가 만든 세상과 즉시 하위 호환이 될 것입니다.

Q: 이 주파수들은 실내나 건물 안에서도 현재 휴대폰처럼 작동할까요? 그리고 당신의 비전은 우리가 AT&T 계정을 갖거나 영국이나 인도에서 로밍하는 대신, 스타링크와 직접 계약하여 전 세계에서 작동하게 하는 것인가요? 지역 통신사 없이 글로벌 통신사 하나만 두는 것이 최종 목표인가요?

A: 일반적인 집에서는 네, 작동할 겁니다. 하지만 두꺼운 금속 지붕이 있는 건물 안에서는 안 될 겁니다. 그리고 네, 그것이 하나의 옵션이 될 수 있습니다. 명확히 하자면, 우리는 다른 통신사들을 망하게 하려는 것이 아닙니다. 그들은 여전히 존재할 겁니다. 하지만 네, 당신은 스타링크 계정을 가질 수 있고, 그것이 집의 스타링크 안테나, 무료 와이파이, 그리고 휴대폰과 모두 연동될 것입니다. 집과 휴대폰에서 고대역폭을 위한 포괄적인 솔루션이 될 것입니다.

Q: 스타십 발사가 경이로워 보였습니다. 상업적으로 예측 가능하고 준비된 상태에 얼마나 가까워졌나요?

A: 내년에는 우주선(ship)을 회수할 수 있을 것이라고 생각합니다. 스타십 버전 2 스택의 발사가 한 번 더 남았고, 그 이후에는 버전 3로 넘어갑니다. 버전 3는 랩터 3 엔진을 탑재하여 엄청난 업그레이드가 이루어집니다. 버전 3는 완전히 재설계되었기 때문에 초기에 약간의 성장통이 있을 수 있지만, 궤도에 100톤 이상을 실어 나를 수 있고 완전히 재사용 가능합니다. 큰 차질이 없다면, 스페이스X는 내년에 부스터와 우주선 모두를 회수하여 완전한 재사용성을 입증하고, 유용한 궤도에 100톤 이상을 운반할 수 있을 것입니다. 이는 현재 세계 최고의 상업용 로켓인 팰컨 헤비(Falcon Heavy)보다 2.5배 더 많은 화물을 운반하면서 완전 재사용이 가능한 것입니다.

Q: 이전 발사 실패 후 환경 및 FAA 문제로 지연될 것이라는 예측이 많았는데, 어떻게 그렇게 빨리 다시 발사할 수 있었나요?

A: 많은 질문과 검토가 있었습니다. 우리는 그 모든 것을 통과했습니다. 스페이스X 팀에게 공을 돌립니다. 그들은 믿을 수 없을 정도로 열심히 일했고, 다음 우주선과 부스터를 테스트하고 발사대에 올려 비행시켰습니다. 완전히 재사용 가능한 궤도 로켓을 만드는 것은 역사상 가장 어려운 엔지니어링 문제 중 하나이며, 적어도 포디움에 오를 만한 후보입니다. 2002년부터 스페이스X의 목표였고, 23년이 지난 지금, 마침내 내년에는 완전한 재사용성을 달성할 수 있을 것이라고 생각합니다.

Q: 완전한 재사용성을 달성하기까지 남은 가장 큰 기술적 장애물은 무엇인가요?

A: 우주선의 완전한 재사용을 위해서는 방열판(heat shield)에 아직 해야 할 일이 많이 남아 있습니다. 아무도 완전히 재사용 가능한 궤도용 방열판을 만든 적이 없습니다. 우주 왕복선의 방열판은 매 비행 후 9개월간의 수리가 필요했습니다. 이것은 재료 과학과 엔지니어링의 문제입니다. 우리는 근본적인 물리학, 제1원칙에 입각하여 열을 견디면서도 매우 가볍고, 주 구조물에 열을 전달하지 않으며, 비를 맞아도 녹지 않는 무언가를 어떻게 만들지 알아내려 노력하고 있습니다. 또한 수만 개의 타일이 모두 작동하고 하나씩 점검하거나 수리할 필요가 없다는 것을 확신할 수 있어야 합니다.

Q: 그록(Grok)과 xAI의 진화에 대해 업데이트해주실 수 있나요? 특히 합성 데이터를 대량으로 사용하여 훈련을 시작할 것이라는 혁신적인 아이디어에 대해 설명해주세요.

A: 네, 우리는 추론 컴퓨팅과 추론 능력을 많이 사용하여 모든 소스 데이터, 즉 인류 지식의 총체를 살펴보고 있습니다. 그리고 각 정보 조각에 대해 생각하고, 빠진 것을 추가하며, 실수를 수정하고, 그 훈련 데이터에서 거짓을 제거하고 있습니다. 예를 들어 위키피디아 페이지를 보고 '이 페이지에서 무엇이 사실이고, 부분적으로 사실이며, 거짓이거나, 빠져있는가?'라고 묻는 것과 같습니다. 그리고는 거짓을 제거하고, 절반의 진실을 바로잡고, 빠진 맥락을 추가하여 페이지를 다시 작성하는 것입니다.

Q: 멤피스에 있는 슈퍼클러스터 콜로서스(Colossus)를 확장하고 계신데, 스케일링 법칙(scaling laws)은 현재 어느 단계에 있나요? 클러스터를 키우면 더 강력한 AI 모델을 얻게 되나요, 아니면 수확 체감의 지점이 있나요? 컴퓨팅을 두 배로 투입하면 모델이 10% 좋아지나요, 100% 좋아지나요?

A: 컴퓨팅 양과 관련하여 자연 로그 함수 관계가 있다고 생각합니다. 대략적으로 말해, 컴퓨팅 양이 10배 증가하면 지능은 두 배가 될 수 있습니다. 이는 IQ 100에서 200으로 가는 것과 같으니 여전히 매우 큰 변화입니다. 저는 지능이 태양 에너지의 대부분이, 그리고 궁극적으로는 은하계 에너지의 대부분이 컴퓨팅에 활용될 때까지 계속해서 확장될 것이라고 봅니다. 제 생각에는 빠르면 내년에 어떤 한 가지 일에 있어서는 어떤 단일 인간보다도 더 똑똑한 AI를 보게 될 수도 있습니다. 그리고 아마 5년 안에, 예를 들어 2030년경에는 모든 인간의 지능을 합친 것보다 더 똑똑한 AI가 나올 것입니다.

Q: 이 컨퍼런스에서 '자살적 공감(suicidal empathy)', 서구의 쇠퇴, 낮은 출산율, 국경 개방 등에 대한 이야기가 많았습니다. 서구의 자살에 대한 당신의 견해는 무엇인가요?

A: 저는 그것에 대해 매우 걱정하고 있습니다. 서구의 행동들은 자살과 구별할 수 없습니다. 가장 명백한 증상은 출산율이 인구 대체 수준에 미치지 못한다는 것입니다. 국경이 완전히 개방되어 서구 문화와 사회 구조가 무너지기 시작하는 것도 문제입니다. 유럽에서 특히 두드러지죠. 범죄 문제도 해결되거나 심지어 인정되지도 않고 있습니다. 서구가 자살 충동을 느끼거나, 자신을 방어하거나 번성시키고 싶어하지 않는 것 같습니다.

Q: 과거에 종교가 사람들에게 낙관론을 심어주는 역할을 했다고 생각하시나요?

A: 그렇게 생각합니다. 자연은 진공을 싫어하죠. 종교를 없애면, 그 자리에 이전에 있던 것보다 실제로는 더 나쁜 것이 들어선다고 생각합니다. 종교가 차지했던 구멍을 '워크 마인드 바이러스(woke mind virus)' 같은 파괴적인 것들이 채우는 겁니다. 디스토피아적인 사실상의 종교들이 생겨나고, 그것들은 매우 자기 파괴적입니다. 그래서 아마도 종교의 부활이나, 적어도 사람들이 흥분할 수 있는 일관된 철학이 필요하다고 생각합니다. 저에게는 그것이 '호기심의 철학'입니다. 저는 우주의 본질에 대해 궁금하고, 인류가 저 별들을 탐험하길 바랍니다.

Q: 우리가 시뮬레이션 속에 살고 있다는 질문에 대해, 그 답을 AI에서 먼저 찾을까요, 아니면 별에서 먼저 찾을까요?
A: 더 많은 사람들이 '호기심의 철학'을 지지할 수 있기를 바랍니다. 그것은 매우 흥미롭고 본질적으로 낙관적이니까요.

https://youtu.be/qeZqZBRA-6Q