안드레 카파시, 강화학습의 한계와 가능성 대한 고찰 (자료: karpathy)
- 점점 더 Test-time compute 및 토큰 사용량만을 늘려가는 방향만으로의 발전이 아닌, 리뷰와 반성(reflection)을 통해서 교훈을 얻고 시스템에 반영하는 학습 방식이 필요하다는 주장
- 강화학습은 효과적이지만 정보 손실이 크다 : 강화학습은 기본적으로 무언가 '잘되면' → 앞으로 모든 행동에 그 행동의 확률을 좀 더 '높이는' 간접적인 피드백 방식. 마지막 보상만을 갖고 전체 과정을 평가하는 과정
- 인간은 '리뷰와 반성'을 통해 더 많은 교훈을 얻는다 : 인간은 어떤 행동을 하고 나면, 결과만 보는 게 아니라 과정에 대해서 평가. 이 과정은 단순한 숫자보다 더 풍부한 정보를 얻음
- 따라서 강화학습으로만은 부족하고, '실패~ 성찰~교훈생성~프롬프트 반영~내면화' 같은 새로운 학습 패러다임이 필요하다.
- 점점 더 Test-time compute 및 토큰 사용량만을 늘려가는 방향만으로의 발전이 아닌, 리뷰와 반성(reflection)을 통해서 교훈을 얻고 시스템에 반영하는 학습 방식이 필요하다는 주장
- 강화학습은 효과적이지만 정보 손실이 크다 : 강화학습은 기본적으로 무언가 '잘되면' → 앞으로 모든 행동에 그 행동의 확률을 좀 더 '높이는' 간접적인 피드백 방식. 마지막 보상만을 갖고 전체 과정을 평가하는 과정
- 인간은 '리뷰와 반성'을 통해 더 많은 교훈을 얻는다 : 인간은 어떤 행동을 하고 나면, 결과만 보는 게 아니라 과정에 대해서 평가. 이 과정은 단순한 숫자보다 더 풍부한 정보를 얻음
- 따라서 강화학습으로만은 부족하고, '실패~ 성찰~교훈생성~프롬프트 반영~내면화' 같은 새로운 학습 패러다임이 필요하다.
X (formerly Twitter)
Andrej Karpathy (@karpathy) on X
Scaling up RL is all the rage right now, I had a chat with a friend about it yesterday. I'm fairly certain RL will continue to yield more intermediate gains, but I also don't expect it to be the full story. RL is basically "hey this happened to go well (/poorly)…
❤14🔥3
Forwarded from [삼성 이영진] 글로벌 AI/SW
주커버그, 슈퍼인텔리전스와 컴퓨팅 관련 코멘트
“우리의 슈퍼인텔리전스 프로젝트를 위해, 업계에서 가장 엘리트하고 인재 밀도가 높은 팀을 만드는 데 집중하고 있습니다. 우리는 슈퍼인텔리전스를 구축하기 위해 컴퓨팅 자원에 수천억 달러를 투자할 예정입니다. 이를 실행할 수 있는 자본은 우리 비즈니스에서 확보되어 있습니다.”
“SemiAnalysis가 Meta가 업계 최초로 1GW 이상의 슈퍼클러스터를 가동할 예정이라고 보도했습니다. 💪”
“우리는 실제로 여러 개의 GW급 클러스터를 구축 중입니다. 첫 번째는 프로메테우스(Prometheus)라고 부르며, 2026년에 가동될 예정입니다.
“또한 하이페리온(Hyperion)이라는 클러스터도 구축 중이며, 이는 수 년에 걸쳐 최대 5GW까지 확장 가능하도록 설계되어 있습니다.이 외에도 다수의 타이탄(Titan)클러스터들을 짓고 있으며, 이들 중 하나만으로도 맨해튼의 상당 부분 면적을 차지할 규모입니다.”
“Meta Superintelligence Labs는 업계 최고 수준의 컴퓨팅 리소스를 갖출 것이며, 연구자 1인당 컴퓨팅 자원은 업계 최고 수준이 될 것입니다. 최고의 연구자들과 함께 미래의 경계를 확장해 나가기를 기대하고 있습니다!”
“우리의 슈퍼인텔리전스 프로젝트를 위해, 업계에서 가장 엘리트하고 인재 밀도가 높은 팀을 만드는 데 집중하고 있습니다. 우리는 슈퍼인텔리전스를 구축하기 위해 컴퓨팅 자원에 수천억 달러를 투자할 예정입니다. 이를 실행할 수 있는 자본은 우리 비즈니스에서 확보되어 있습니다.”
“SemiAnalysis가 Meta가 업계 최초로 1GW 이상의 슈퍼클러스터를 가동할 예정이라고 보도했습니다. 💪”
“우리는 실제로 여러 개의 GW급 클러스터를 구축 중입니다. 첫 번째는 프로메테우스(Prometheus)라고 부르며, 2026년에 가동될 예정입니다.
“또한 하이페리온(Hyperion)이라는 클러스터도 구축 중이며, 이는 수 년에 걸쳐 최대 5GW까지 확장 가능하도록 설계되어 있습니다.이 외에도 다수의 타이탄(Titan)클러스터들을 짓고 있으며, 이들 중 하나만으로도 맨해튼의 상당 부분 면적을 차지할 규모입니다.”
“Meta Superintelligence Labs는 업계 최고 수준의 컴퓨팅 리소스를 갖출 것이며, 연구자 1인당 컴퓨팅 자원은 업계 최고 수준이 될 것입니다. 최고의 연구자들과 함께 미래의 경계를 확장해 나가기를 기대하고 있습니다!”
❤12🔥6
Forwarded from 에테르의 일본&미국 리서치 (Aether)
2026년까지 지속될 마이크론의 HBM 공급 과잉 루머
고대역폭 메모리(HBM)가 2026년까지 지속될 수 있는 공급 과잉 문제에 직면해 시장 균형과 가격 압력에 대한 우려가 커질 수 있다는 루머가 나왔다.
EdgeWater: 마이크론의 경우, 상반기 수요와 가격은 개선중이지만 하반기 수요는 평소보다 약세를 보이며 하락할 가능성이 큽니다.
https://x.com/wallstengine/status/1944709467599417567
고대역폭 메모리(HBM)가 2026년까지 지속될 수 있는 공급 과잉 문제에 직면해 시장 균형과 가격 압력에 대한 우려가 커질 수 있다는 루머가 나왔다.
EdgeWater: 마이크론의 경우, 상반기 수요와 가격은 개선중이지만 하반기 수요는 평소보다 약세를 보이며 하락할 가능성이 큽니다.
https://x.com/wallstengine/status/1944709467599417567
❤11
: https://naver.me/F16pMhj0
- 2025년 7월 15일, 데일리 전해드립니다.
🌴 최근 글
- 주간전략보고 : 투자의 생각 (7월 14일~7월 18일)
- 서클과 스테이블코인에 대한 모든 것 : 뜨거운 여름의 시작일까?
구체적인 네프콘 채널 변경사항 디테일은
-
새로운 올바른 미국주식 by SAPIENS 채널 링크입니다.
- 🐳 올바른 미국주식 by SAPIENS
Please open Telegram to view this post
VIEW IN TELEGRAM
Naver
일간보고 : 투자의 생각 (250715)
안녕하세요 사피엔스입니다. 2025년 7월 15일, 데일리 전해드립니다. 일간보고 : 투자의 생각 250715
❤6🔥2
엔비디아 GB10, 생각보다 더 높은 수요 & 곧 양산 및 출하 예정
> 매출 기여도 자체는 크지 않을 것으로 예상
> Edge 추론면에서는 GB10을 연결하는 수요가 있음
> 특히 중국에서 논의 및 요구가 활발한 상황
https://www.digitimes.com.tw/tech/dt/n/shwnws.asp?CnlID=1&Cat=40&id=0000727231_C2D3UCLD2AY6QB2Z5WTPH&wpidx=4
> 매출 기여도 자체는 크지 않을 것으로 예상
> Edge 추론면에서는 GB10을 연결하는 수요가 있음
> 특히 중국에서 논의 및 요구가 활발한 상황
https://www.digitimes.com.tw/tech/dt/n/shwnws.asp?CnlID=1&Cat=40&id=0000727231_C2D3UCLD2AY6QB2Z5WTPH&wpidx=4
DIGITIMES 科技網
GB10需求超乎預期！ 聯發科聯手NVIDIA綜效加速展現
NVIDIA和台系IC設計一哥聯發科合作開發的GB10晶片以及超級電腦相關產品，即將進入量產出貨階段，市場傳出，GB10晶片的實際需求，看起來比原先預想的「多出數倍」。
❤7
Forwarded from 올바른 미국주식 (4Q25)
B30은 HBM이 아니라서 거의 소규모 추론에만 쓰일 거라 생각했는데, H20이면 생각보다 더 많이 팔수도 있겠네요. 오늘 일간보고에서 말씀드린 것처럼, 화웨이도 아직 루머지만 Ascend 920을 재설계하는 것으로 알려져 있습니다. 개발자들의 니즈에 맞춰서 CUDA에서 아예 벗어난 CANN을 우선하는 대신 AMD ROCm처럼 CUDA와의 호환성을 우선한 개발플랫폼을 만드는 쪽으로 선회했습니다. H20, B30 모두 팔리기만 하면 수요는 많을 거라 생각합니다.
이제 미국 및 서방권역은 GB200 NVL72 → GB300 NVL72로 넘어가는 국면인데, 상대적으로 충분한 컴퓨팅 격차를 벌렸으니 H20 판매는 다시 허가해주는 그림이려나 싶네요. 대신 이렇게 되면 말레이시아/태국을 통한 GB200/GB300 등 프론티어 칩에 대한 접근권은 더 치밀하게 막지 않을까 합니다.
이제 미국 및 서방권역은 GB200 NVL72 → GB300 NVL72로 넘어가는 국면인데, 상대적으로 충분한 컴퓨팅 격차를 벌렸으니 H20 판매는 다시 허가해주는 그림이려나 싶네요. 대신 이렇게 되면 말레이시아/태국을 통한 GB200/GB300 등 프론티어 칩에 대한 접근권은 더 치밀하게 막지 않을까 합니다.
Naver
일간보고 : 투자의 생각 (250715)
안녕하세요 사피엔스입니다. 2025년 7월 15일, 데일리 전해드립니다. 일간보고 : 투자의 생각 250715
❤10
Forwarded from 올바른 미국주식 (4Q25)
젠슨황, 워싱턴 D.C.에서 코멘트
> 젠슨황 "H20를 다시 판매하기 위해 신청서를 제출 중이고, 미국 정부는 엔비디아에게 라이선스가 발급될 것이라 보장했으며, 엔비디아가 곧 제품 공급을 시작할 수 있기를 기대하는 중"
Huang also provided an update to customers, noting that NVIDIA is filing applications to sell the NVIDIA H20 GPU again. The U.S. government has assured NVIDIA that licenses will be granted, and NVIDIA hopes to start deliveries soon.
https://blogs.nvidia.com/blog/nvidia-ceo-promotes-ai-in-dc-and-china/
> 젠슨황 "H20를 다시 판매하기 위해 신청서를 제출 중이고, 미국 정부는 엔비디아에게 라이선스가 발급될 것이라 보장했으며, 엔비디아가 곧 제품 공급을 시작할 수 있기를 기대하는 중"
Huang also provided an update to customers, noting that NVIDIA is filing applications to sell the NVIDIA H20 GPU again. The U.S. government has assured NVIDIA that licenses will be granted, and NVIDIA hopes to start deliveries soon.
https://blogs.nvidia.com/blog/nvidia-ceo-promotes-ai-in-dc-and-china/
❤13🔥3
: https://naver.me/FLeJRDDX
- 네비우스 기업분석 자료입니다. 간단하게 네오클라우드의 구조에 대해서 생각해보고 Tactical Idea로 코어위브와 네비우스의 차이에 대해 정리해봤습니다.
- GPU IaaS 역량이 좋습니다. 코어위브가 GPU 베어메탈을 판매한다면 네비우스는 완제품을 판매하는 식입니다. AWS, GCP보다 역량이 좋고 엔터프라이즈AI 및 소버린AI 트렌드에도 수혜를 보고 있습니다.
- 부채가 없는 구조이다보니 코어위브와의 격차를 줄일 자금여력이 있다고 봅니다. 네비우스가 지분을 가지고 있는 ClickHouse와 Toloka도 꽤나 유망한데 이들의 지분을 매각할 여력도 있습니다.
🌴 최근 글
- 일간보고 : 투자의 생각 (250715)
- 주간전략보고 : 투자의 생각 (7월 14일~7월 18일)
- 서클과 스테이블코인에 대한 모든 것 : 뜨거운 여름의 시작일까?
구체적인 네프콘 채널 변경사항 디테일은
-
새로운 올바른 미국주식 by SAPIENS 채널 링크입니다.
- 🐳 올바른 미국주식 by SAPIENS
Please open Telegram to view this post
VIEW IN TELEGRAM
Naver
네비우스 기업분석 : GPU 네오클라우드의 선두주자
안녕하세요 사피엔스입니다. 네비우스 기업분석 자료입니다. 간단하게 네오클라우드의 구조에 대해서 생각해보고 Tactical Idea로 코어위브와 네비우스의 차이에 대해 정리해봤습니다. GPU IaaS 역량이 좋습니다. 코어위브가 GPU 베어메탈을 판매한다면 네비우스는
❤7🔥2
7월 23일, 트럼프 "AI 액션 플랜" 발표 예정
🇺🇸 PRESIDENT TRUMP TO RELEASE “AI ACTION PLAN” IN SPEECH ON JULY 23RD
🇺🇸 PRESIDENT TRUMP TO RELEASE “AI ACTION PLAN” IN SPEECH ON JULY 23RD
❤12
: https://naver.me/xS1OvrMN
- 2025년 7월 16일 수요일, 데일리 전해드립니다.
🌴 최근 글
- 네비우스 기업분석 : GPU 네오클라우드의 선두주자
- 일간보고 : 투자의 생각 (250715)
- 주간전략보고 : 투자의 생각 (7월 14일~7월 18일)
구체적인 네프콘 채널 변경사항 디테일은
-
새로운 올바른 미국주식 by SAPIENS 채널 링크입니다.
- 🐳 올바른 미국주식 by SAPIENS
Please open Telegram to view this post
VIEW IN TELEGRAM
Naver
일간보고 : 투자의 생각 (250716)
안녕하세요 사피엔스입니다. 2025년 7월 16일 수요일, 데일리 전해드립니다. 일간보고 : 투자의 생각 2025-07-16 (수)
❤4
Forwarded from 도널드 J. 트럼프 대통령 (공부의여신)
저는 지금 백악관 집무실에서 GENIUS 법안통과에 필요한 12명의 하원의원 중 11명과 함께 있습니다. 짧은 논의 끝에, 이들은 모두 내일 아침 ‘규칙’에 찬성하여 표결하기로 합의했습니다. 하원의장인 마이크 존슨은 전화로 회의에 참석했으며, 가능한 한 이른 시일 내에 표결이 이뤄지기를 기대하고 있습니다. 이처럼 빠르고 긍정적인 반응을 보여준 하원의원들께 감사드리며, 미국을 다시 위대하게 만듭시다!
❤14🔥7
: https://naver.me/x0Xm6f2V
- 로빈후드 기업분석 자료입니다. "확장에 미쳐있는 새로운 시대의 금융 플랫폼"입니다. 거래량으로 돈을 버는 비즈니스에서, 이제 수탁자산과 이자를 통해 돈을 벌고, 앞으로는 뱅킹이 되려 합니다.
- 로빈후드의 구독서비스인 'Robinhood Gold'는 코스트코 멤버십 같은 영향력을 갖기 시작했습니다. 그리고 이것이 고객들의 퇴직연금과 각종 자산들을 끌고오고 있습니다.
- 이제 카드와 대출 그리고 뱅킹으로 나아가고 비트스탬프 인수를 통해 암호화폐 플랫폼으로 진출합니다. 기업과 기관으로도 사업을 확대할 예정인 만큼 성장여력은 많아보입니다.
🌴 최근 글
- 일간보고 : 투자의 생각 (250716)
- 네비우스 기업분석 : GPU 네오클라우드의 선두주자
- 일간보고 : 투자의 생각 (250715)
- 주간전략보고 : 투자의 생각 (7월 14일~7월 18일)
구체적인 네프콘 채널 변경사항 디테일은
-
새로운 올바른 미국주식 by SAPIENS 채널 링크입니다.
- 🐳 올바른 미국주식 by SAPIENS
Please open Telegram to view this post
VIEW IN TELEGRAM
Naver
로빈후드 기업분석 : 확장에 미쳐있는 새로운 시대의 금융 플랫폼
안녕하세요 사피엔스입니다. 로빈후드 기업분석 자료입니다. "확장에 미쳐있는 새로운 시대의 금융 플랫폼"입니다. 거래량으로 돈을 버는 비즈니스에서, 이제 수탁자산과 이자를 통해 돈을 벌고, 앞으로는 뱅킹이 되려 합니다. 로빈후드의 구독서비스인 'Robinhood Gold
🔥12❤2