“우리의 개발 프로세스는 사전학습(pre-training)에서 시작됩니다. 새로운 베이스 모델을 만들어내고, 그 위에 추가적인 개선을 쌓아가는 방식입니다. 이 과정은 항상 회사 내 많은 사람들이 참여하는 대규모 작업입니다“

”그리고 지난 18개월 동안 저는 대부분의 시간을 GPU 인프라에 집중해왔습니다. 특히 대규모 학습을 수행하는 트레이닝 프레임워크 팀들이 확장(scale up)할 수 있도록 지원하는 데 주력했습니다.“

”그래서 저는 Spud를 하나의 새로운 기반(base), 즉 새로운 프리트레인 모델로 보고 있습니다. 이 모델에는 약 2년 정도 축적된 연구 성과가 결실을 맺고 있다고 볼 수 있습니다.”

“매우 흥미로운 결과가 될 것이고, 사용자 입장에서는 결국 ‘성능이 전반적으로 향상된 모델’로 체감하게 될 것이라고 생각합니다. 이를 통해 경제 전반의 속도가 우리가 예상하는 것보다 빠르게 가속화 될 것입니다“

“‘빅 모델 스멜(big model smell)’이라는 게 있습니다. 이런 모델들은 실제로 훨씬 더 똑똑하고, 훨씬 더 많은 능력을 가지게 되면서, 사용자에게 훨씬 더 잘 맞춰집니다. 그리고 그 차이를 직접 체감하게 됩니다.”

“텍스트 모델이 어디까지 갈 수 있는지에 대한 논쟁이 있어왔습니다. 텍스트 기반 지능이 얼마나 멀리 갈 수 있을까? 실제로 세상이 어떻게 작동하는지에 대한 진짜 개념을 가질 수 있을까?”

“저는 우리가 그 질문에 대해 확실한 답을 냈다고 생각합니다. 그것은 AGI까지 갈 것입니다. 우리는 그 방향에 대한 명확한 경로(line of sight)를 보고 있습니다. 그리고 지금 시점에서는 올해 안에 등장할 훨씬 더 뛰어난 모델들에 대한 가시성도 확보한 상태입니다.”

“하지만 오픈AI 내부에서는 컴퓨팅 자원을 어떻게 배분할지를 두고 겪는 고통이 시간이 갈수록 줄어드는 게 아니라 오히려 더 커지고 있습니다. 그래서 결국 핵심은 이것일 수 있습니다. 지금 이 순간, 우리가 늘 꿈꿔왔던 종류의 애플리케이션들이 실제로 손에 닿는 범위에 들어오기 시작했다는 점입니다.”

“우리는 자동화된 AI 연구 인턴 자율적으로 실행되게 할 수 있을 것입니다. 하지만 동시에 적극적으로 관리에도 관여할 예정입니다. 지금도 주니어 연구원을 예로 들면, 너무 오래 혼자 두면 그다지 유용하지 않은 방향으로 갈 가능성이 큽니다. 반면 시니어 연구자나 명확한 비전을 가진 사람은 인턴이 만들어낸 결과물(그래프 등)을 검토하고 피드백을 주며, 무엇을 달성해야 하는지 방향성을 제시할 수 있습니다.”

“이 시스템에서는 AI가 ‘주니어 연구자’ 역할을 맡아 작업을 자율적으로 수행하고, 인간은 ‘시니어 연구자’로서 결과를 검토하고 전체적인 방향과 비전을 제시하게 됩니다. 시니어 연구자는 반드시 세부적인 기계적 기술을 모두 알 필요는 없습니다. 인턴이 만든 결과를 검토하고 피드백을 주며, 무엇을 달성해야 하는지에 대한 비전을 제시할 수 있으면 됩니다.”

“저는 이것을 우리의 모델 개발 속도를 대폭 가속화하는 시스템으로 봅니다. 새로운 연구 돌파구를 더 빠르게 만들어내고, 모델을 현실 세계에서 더 유용하고 사용 가능하게 만들며, 그 모든 과정을 점점 더 빠른 속도로 수행하게 될 것입니다.”

“결국 이것은 연구 과학자가 수행하는 전체 엔드투엔드 작업을 하나의 시스템이 디지털 환경(in silico)에서 수행하는 것으로 볼 수 있습니다.”

랠리 시도의 초기 며칠은 무시한다. 그건 잠재적인 노이즈에 불과하다. 중요한 것은 시장이 후속 상승을 이어갈 수 있는지, 그리고 리더십이 나타나고 제대로 된 셋업이 형성되는지 여부다.

기술적으로 보면 전형적인 스냅백이다. 200일선을 하회했던 지수들은 다시 그 수준으로 반등하고 있고, 200일선을 지켜낸 지수들은 그 위에서 반등하고 있다. 이는 추세 전환이 입증되기 전까지는 전형적인 역추세 움직임이다.

변동성은 계속 높은 수준을 유지할 것으로 예상된다. 이 구간은 저위험으로 돈을 벌 수 있는 구간은 아니지만, 리스크가 가장 크게 존재하는 구간임은 분명하다. 조정 국면에서 해야 할 일은 단순하다. 상대적으로 가장 강한 주식과 가장 타이트한 가격 흐름을 보이는 종목을 찾는 것이다. 그런 종목들이 시장이 결국 방향을 틀 때 미래의 리더가 된다.

매크로 측면에서는 아직 아무것도 해결되지 않았다. 높은 원유 가격은 여전히 문제다. 어제의 반등은 유가를 의미 있게 낮추지 못했다. 더 큰 문제는 여전히 진행 중이며, 결론은 아직 나지 않았다. 현재 수준의 유가는 인플레이션을 자극하고 성장에 압박을 가하며, 연준이 더 오래 금리를 동결할 이유를 제공한다. 이런 환경에서는 금리 역시 높은 수준을 유지하게 된다.

이 모든 노이즈를 걷어내기 위해 나는 시장 자체를 본다. 시장은 정치인, 애널리스트, 뉴스, 그리고 각종 전문가들보다 훨씬 더 높은 확률로 진실을 말해주는 존재다.