토큰과 토큰당 가격에 관하여

이 주제에 대해 좀 더 써보겠다고 했으니, 이어서 이야기해보겠습니다.

오픈AI의 토큰 1개는 다른 모델의 토큰 1개와 같지 않습니다. 우리는 마치 토큰이 그램이나 킬로와트시처럼 표준화된 단위인 것처럼 AI 가격을 ‘100만 토큰당 몇 달러’라는 기준으로 비교합니다.

하지만 실제로는 그렇지 않습니다.

모델마다 완전히 동일한 텍스트를 처리하고 생성하는 데 사용하는 토큰 수가 다릅니다. 따라서 토큰당 가격이 더 저렴하다고 해서 실제 청구 금액까지 반드시 더 저렴한 것은 아닙니다.

똑같은 피자 두 판이 있다고 생각해봅시다. 한 곳에서는 피자를 8조각으로 잘라 조각당 2달러에 팝니다. 다른 곳에서는 16조각으로 잘라 조각당 1.25달러에 팝니다.

두 번째 가게는 ‘더 저렴한 피자 조각’을 광고할 수 있지만, 피자 한 판 전체 가격은 16달러가 아니라 20달러입니다. 아쉽죠. 사실 여러분의 배는 방금 먹은 피자가 몇 조각으로 잘려 있었는지에는 관심이 없습니다.

이제 배가 고파졌겠지만, 다시 토큰 이야기로 돌아가겠습니다.

영어, 기술 문서, 다국어, 숫자 텍스트를 포함한 소규모 비교에서 GPT-5.6 Sol에 사용하는 토크나이저는 766개 토큰을 사용한 반면, Claude Opus 5는 약 1,170개 토큰을 사용하는 것으로 추정됐습니다.

이는 상당히 큰 차이로, GPT-5.6 Sol이 약 34.5% 적은 토큰을 사용한다는 의미입니다. 완전히 동일한 텍스트를 처리하더라도 추가로 사용되는 토큰에 대해서는 모두 비용을 지불해야 합니다. 단순한 토큰당 가격만 봐서는 이런 차이가 제대로 드러나지 않습니다.

하지만 토크나이저 차이를 보정하는 것만으로도 핵심을 완전히 파악할 수는 없습니다.

실제로 중요한 것은 ‘성공적인 결과 하나를 얻는 데 드는 비용’, 즉 price per successful outcome입니다.

이를 평가할 때 벤치마크를 출발점으로 활용할 수는 있지만, 결국에는 각자의 실제 사용 사례에서 직접 모델을 사용해보고 측정해야 합니다.

이게 전부입니다. 토큰이 끊임없이 흐르기를

근본적으로 우리가 하고 있는 일은 경제의 수많은 분야에서 확인할 수 있습니다. 방금 이야기한 사이버보안은 AI의 절대적으로 중요한 활용 분야이며, 앞으로 큰 성장이 나타날 것이라고 봅니다

올해 소프트웨어 엔지니어링은 완전히 변화했고, 이제 거의 모든 지식 노동 영역에서도 실질적인 변화가 시작되고 있습니다.

과학적 발견에서도 변화가 시작되고 있습니다. 몇 주 전 발표했듯이, 우리 AI는 약 2,000달러어치의 컴퓨팅만으로 수학자들이 수십 년 동안 풀지 못했던 장기 미해결 수학 문제 10개를 해결했습니다

이런 수준의 역량이 생물학이나 재료과학에 적용된다고 생각해 보십시오. 이 모든 일이 이제 시작되고 있습니다.

우리가 보기 시작한 이 모든 활용 사례는 하나의 근본적인 자원에 의해 구동됩니다. 바로 컴퓨팅입니다. 컴퓨팅은 진정으로 새로운 석유, AI 시대의 새로운 희소 자원이 되고 있습니다.

AI는 본질적으로 인간이 해결하고 싶어 하는 문제를 해결하는 것입니다. 따라서 한 가지 근본적으로 믿어야 할 것은 ‘해결해야 할 문제에 대한 수요는 무한하다’는 것입니다. 저는 그렇게 믿고 있으며, 실제로 우리가 목격한 것도 그렇습니다.

현재 ChatGPT 사용자는 10억 명이고, 기업 고객도 200만 곳에 달합니다. 사람들이 에이전트를 사용하기 시작하면서 사용의 깊이가 말 그대로 폭발적으로 증가하고 있습니다.

이런 기술을 사용해 보는 모든 기업은 자신들이 이전에 생각했던 것보다 훨씬 더 야심찬 방식으로 움직일 수 있다는 사실을 깨닫기 시작합니다.

우리는 앞으로 무엇이 다가오는지, 미래가 어떤 모습일지를 보기 시작했습니다. 모델의 지수적인 발전, 즉 역량 곡선은 계속 이어지고 있습니다. 앞으로도 AI 역량이 상당한 수준으로 계속 향상될 수 있는 로드맵을 갖추고 있습니다.

이를 간단하게 설명하기 어려운 이유는 AI가 인간 활동의 거의 모든 영역에서 가치를 더하고, 사람들이 더 많은 일을 할 수 있도록 역량을 강화하는 것과 관련돼 있기 때문입니다. 인간의 창의성과 야망을 믿는다면, 궁극적으로 AI가 제공하게 될 힘 역시 믿을 수밖에 없다고 생각합니다.

우리는 이번 사안을 매우 심각하게 받아들였습니다. 지난 몇 주 동안 전면적인 사후 분석을 진행하며 무슨 일이 일어났는지 면밀히 살펴봤고, 프런티어 모델 훈련 과정의 안전, 보안, 정렬 전반을 한 단계 끌어올리고 있습니다.

이번 사건은 우리가 실제로 수준을 높여야 한다는 사실을 깨닫게 된 중요한 순간이었습니다. 근본적으로 놀라운 일은 아닙니다. 우리는 이런 순간이 언젠가는 올 것이라고 항상 예상해 왔습니다.

실제로 이런 일이 발생하자 팀 전체가 즉각 대응에 나섰습니다. 우리는 적절한 수준의 통제 장치가 마련돼 있는지 확실히 하기 위해 실제로 프런티어 모델 훈련을 연기했습니다.

이제 모델들의 역량이 매우 강력해진 지점에 도달했고, 이는 양날의 검입니다. 모델이 강력해진 만큼 훈련 과정에서 제대로 정렬돼 있는지 확인하고 강력하게 모니터링해야 합니다.

동시에 그만큼 매우 유용해졌다는 의미이기도 합니다. 새로운 방식으로 문제를 해결할 수 있다는 점에서 바로 그 경제적 가치가 발생합니다.

우리는 훈련 과정에서 정렬이 유지되도록 확실히 조치하고 있습니다.