메타 Llama 4 벤치마크 이슈 정리

■ 내부 직원 폭로
: 중국 SNS 포럼에서 내부 직원이라 주장하는 인물이 Llama 4 모델 성능을 부풀리기 위해 벤치마크 테스트 데이터를 훈련 과정에 혼합했으며, 자신은 이에 반발해 사임했다는 글 게시

■ 사용자 피드백
: X, 레딧 등 사용 사례에서 복잡한 추론 작업 및 코딩 분야 성능이 부족하다는 지적. 이전 모델과 크게 다르지 않다는 주장 제기

■ LM아레나 모델 차이
: Llama 4 매버릭은 LM아레나 2위를 차지, 해당 모델이 대화 최적화를 거친 실험용(experimental)으로 일반 버전과 행동 패턴이 다르다는 지적

■ 주요 임원 사임
: 메타 AI 연구 부문 부사장 Joelle Pineau와 아태 지역 부사장 Dan Neary 사임에 따라 AI 전략 및 내부 관리에 대한 의구심 확대

■ 생성 AI 부문 VP Ahmad Al-Dahle의 부인
: X 포스팅을 통해 다양한 서비스 내 혼합된 퀄리티는 모델이 준비되자마자 공개했기 때문이며, 모델 내 벤치마크 테스트셋 학습 루머 부인

■ Llama 4 매버릭의 지위
: Artificial Analysis Index 상 딥시크 V3-0324, Grok 3, GPT-4o(3월말 업데이트) 보다 낮은 순위

알리바바는 8일 온라인 이벤트를 열고 싱가포르의 회사를 통해 주력 AI 모델의 업데이트 버전을 서비스형 플랫폼(PaaS)으로 출시한다고 발표했다.

여기에는 ▲전문가 혼합(MoE) 방식의 '큐원-맥스' ▲추론 모델 'QwQ-플러스' ▲시각 추론 모델 'QvQ-맥스' ▲멀티모달모델 '큐원2.5-옴니-7b' 등 최고 성능의 최신 모델이 포함됐다.

또 오픈 소스 모델을 PaaS로 서비스하기 위해 알리바바 클라우드는 서비스 플랫폼을 보강했다. 이를 통해 모델을 확장가능하고 비용 효율적인 형태로 서비스한다는 의도다.

여기에 다양한 유형의 문서를 분석하는 'AI 독(AI Doc)'과 생성 AI를 사용한 콘텐츠 생성용 '스마트 스튜디오(Smart Studio) 등 사용자 대상 제품군도 공개했다.

셀리나 위안 알리바바 클라우드 국제 사업 부문 사장은 "우리는 전 세계적으로 증가하는 디지털 혁신 수요를 충족하기 위해 PaaS 및 AI 기능 업데이트를 출시한다"라며 "클라우드와 AI가 글로벌 성장에 필수적이 됨에 따라, 기업의 변화하는 요구에 부응하기 위해 핵심 제품 제공을 개선하는 데 전념하고 있다"라고 했다.

이처럼 중국 AI 기업이 글로벌 비즈니스를 위해 AI 모델의 클라우드 서비스에 나선 것은 거의 처음이다. 그동안 중국 AI 기업은 자국 기업을 대상으로 B2B를 펼쳐왔으며, 최근에는 오픈 소스에 집중하는 추세였기 때문이다.

https://www.aitimes.com/news/articleView.html?idxno=169449

[삼성 이영진] 글로벌 SW 헤드라인 (25/4/9)

■ 구글, 딥 리서치 기능의 모델을 Gemini 2.5 Pro exp로 업데이트. 초기 테스트에서 타 제품 대비 2:1 비율로 선호되었다는 코멘트

■ 트럼프 대통령, 데이터센터 전력 수요 증가에 대응해 석탄 채굴 및 화력 발전을 유지하는 행정명령 서명

■ 미 상원 민주당 의원, 마이크로소프트 및 구글와 AI 회사(오픈AI, 앤스로픽)간 협력에 대한 조사 요청

■ 아마존, 신규 음성 AI 모델 Nova Sonic 공개. 속도, 인식 정확도, 대화 품질 경쟁력 강조. Alexa+에 적용

■ 아마존 Zoox, LA에서 소규모 로보택시 시험 운행 시작

■ 미라 무라티의 Thinking Machines Lab에 전 오픈AI 최고 연구 책임자(CRO) Bob McGrew와 전 오픈AI 연구원 Alec Radford가 자문 역할로 합류

■ 알리바바, 상가포르 회사를 통해 주력 AI 모델의 최신 버전을 PaaS 형태로 출시. 모델을 글로벌 서비스용으로 업그레이드하며 클라우드 플랫폼 강화

■ IBM, AI 도입 가속화 목적의 유즈 케이스 업데이트가 포함된 최신 메인프레임 하드웨어 IBM z17 발표

■ 스노우플레이크, Apache Iceberg 테이블에 대한 완전 지원 발표. 데이터 레이크하우스 전략 강화

■ 팔로알토 네트웍스, 구글 클라우드 마켓플레이스 누적 매출 15억 달러 돌파

감사합니다.

구글 Gemini 딥 리서치 vs 오픈AI 딥 리서치

■ 인간 평가자 선호도(Gemini는 2.5 Pro)

: 전체 → Gemini 69.9% vs 오픈AI 30.1%
: 지침준수 → Gemini 60.6% vs 오픈AI 39.4%
: 포괄성 → Gemini 76.9% vs 오픈AI 23.1%
: 완전성 → Gemini 73.3% vs 오픈AI 26.7%
: 글쓰기 → Gemini 58.2% vs 오픈AI 41.8%

■ 질문 한도

: 무료 유저 → Gemini 월 5회 vs 오픈AI 월 2회
: 유료 유저
→ Gemini Advanced($20/월) 일 20회, 월 600회
vs 오픈AI Plus($20/월) 월 10회
vs 오픈AI Pro($200/월) 월 120회

https://blog.google/products/gemini/deep-research-gemini-2-5-pro-experimental/

글로벌 소프트웨어의 AI 프리미엄 반납은 어디까지

안녕하세요 삼성증권 글로벌 SW 담당 이영진입니다.

관세 폭풍이 시장을 뒤흔드는 가운데 소프트웨어 기업 주가도 부진한 흐름을 보이고 있습니다.

무형물인 소프트웨어는 이론적 관세 대상이 아닌 만큼 직접적인 영향은 제한적이지만, 높은 밸류에이션은 불확실성이 상승할 때 우선적 이탈을 야기하는 이유가 되고 있습니다.

또한 관세 이슈가 소프트웨어 섹터에 '간접적' 영향으로 이어질 수 있다는 우려도 예상보다 강하게 대두되고 있는데요 관세로 인한 생산 비용 상승, 공급망 붕괴, 기업 수익성 악화, 경기 침체 가능성 등 매크로 불확실성은 엔터프라이즈 고객의 지출 불확실성으로 연결됩니다. 기업은 관세에 면역이 아니니까요

연장선상에서 비용 상승에 따라 AI 투자 축소 관련 우려의 목소리도 커지고 있고, 미국의 디지털 분야에 대한 보복성 정책 가능성에 대한 의견도 나오고 있습니다.

글로벌 소프트웨어 Top 40 기업의 12M FWD P/S 중간값(Factset)은 7.7배로 24년 8월 기록한 저점 레벨로 회귀했습니다. 챗GPT 등장(22년 11월) 이후 밸류에이션 트렌드상 -1SD 수준입니다.

22년 11월 이후 저점은 6.8배입니다. -11% 추가 하락한 수준인데요. AI 프리미엄이 모두 삭제된다는 것을 가정해야 합니다.

AI 산업은 빠른 발전과 변화 속도를 보여주고 있습니다. 신규 모델과 기능의 업데이트는 매일 매일 이루어지고 있고, 앞으로 기대되는 이벤트도 다수 존재합니다. AI 프리미엄 전체의 반납을 생각하기에는 실체가 분명히 존재합니다.

하지만 저점 레벨에 근접한다면 경기 침체 우려가 더욱 강화된 상황일 것이고, 공격적으로 확대한 AI 프로젝트에 대한 검토 가능성도 배제할 수 없습니다. 지지선 형성에 대한 고민도 생기게 되는 것이지요 

투자 옵션으로 상대적 방어주 역할 기대할 수 있는 마이크로소프트나, 반등 시 높은 탄력성을 보여줄 수 있는 트레이딩 옵션인 팔란티어 모두 로직 자체는 이상하지 않지만 선뜻 손이 나가진 않네요

생각이 꼬리에 꼬리를 물어 국가 간 긴장도 상승과 사이버 위협 증가 가능성에 따라 사이버 보안 섹터가 의외로 주목받을 수 있지만, 여기까지 가야 하나.. 라는 생각도 듭니다.

어지러운 시장 상황 속 1분기 실적 시즌에 돌입하게 됩니다. 불확실성에 따른 엔터프라이즈 고객의 지출 행태 변화와 빅테크 기업 Capex 톤 변화가 어느 때보다 중요한 시점입니다. 추가로 업데이트해 드리겠습니다.

(2025/4/9 공표자료)

로이터는 8일(현지시간) 소식통을 인용, 앤드리슨 호로비츠가 200억달러 규모의 펀드를 조성하고 있다고 보도했다.

미국 AI 기업에 투자하고 싶어 하는 글로벌 투자자들을 끌어들이는 것이 목적이다. 실제로 국제적인 투자자들은 이를 제한 없이 미국 AI 기업에 쉽게 투자할 방법으로 본다고 전해졌다.

미국에 많은 투자를 유치하려는 트럼프 정부의 정책과도 맞아떨어진다. 특히 앤드리슨 호로비츠는 대선 기간 중 트럼프 지지를 선언, 정부와 관계가 좋은 편이라는 것이 외부에는 매력적이라는 분석이다.

펀드는 아직 초기 단계로 마감까지 몇달이 걸릴 수도 있다. 

또 이미 자금을 투입한 회사들의 후속 투자에 상당 부분 배분될 것으로 알려졌다. 여기에는 일론 머스크의 xAI와 미스트랄 AI, 일리야 수츠케버의 SSI, 데이터브릭스 등이 포함된다.

https://www.aitimes.com/news/articleView.html?idxno=169480

구글 Cloud Next ‘25 주요 발표 내용

- Ironwood
추론을 위해 설계된 7세대 TPU. 이전 세대 대비 전력 효율성 2배, 피크 연산 성능 5배, 고대역폭 메모리 용량 6배. 생각하는 모델을 지원하도록 설계. 올해 말 출시 예정

- Gemini 2.5 Flash
저지연성과 비용 효율성을 갖춘 실용 모델. Vertex AI에서 제공 예정

- 미디어 모델 업데이트
1) 음악 생성 AI 모델 Lyria, Vertex AI에 추가
2) 영상 생성 AI 모델 Veo 2, 신규 수정 및 비쥬얼 이펙트 옵션 추가
3) 음성 AI 모델 Chrisp 3 기반 음성 복제 기능 출시
4) 이미지 생성 AI 모델 Imagen 3 퍼포먼스 개선

- Gemini Workspace 업데이트
Docs, Sheets, Meet, Chat 등 일상적 도구에 유용한 AI 기능 통합 제공

- Agentspace 개선
유저가 AI 에이전트를 쉽게 찾고, 제작하고 도입할 수 있도록 지원. AI 에이전트 마켓플레이스 확대

- AI 에이전트 개발 도구
1) Agent Development Kit (ADK): 다중 에이전트 시스템 구축을 간소화하는 오픈소스 프레임워크
2) Agent2Agent (A2A): 에이전트 간 상호작용을 지원하는 개방형 프로토콜

- Google Unified Security
위협 인텔리전스, 보안 운영, 클라우드 보안 등 보안 프로덕트를 하나의 AI 기반 보안 솔루션으로 통합

- Cloud WAN(Cloud Wide Area Network)
구글 서비스에 수십억 사용자를 연결하는 고속 저지연 네트워크 인프라. 최대 40% 네트워크 성능 향상과 비용 절감

https://cloud.google.com/blog/topics/google-cloud-next/welcome-to-google-cloud-next25?hl=en

[삼성 이영진] 글로벌 SW 헤드라인 (25/4/10)

■ 구글, Cloud Next 25에서 7세대 TPU Ironwood, Gemini 2.5 Flash, 다양한 미디어 모델 업데이트, 에이전트 생태계 강화, 보안 및 네트워킹 강화 노력 등 발표

■ 알파벳, 25년 Capex 계획 750억 달러 재확인

■ 순다르 피차이, X 포스팅을 통해 구글의 MCP 채택 시사

■ 오픈AI, AI 벤치마크 한계 극복을 위한 Pioneers Program 발표. 특정 산업 분야 특화 벤치마크 개발 계획

■ 앤스로픽, 신규 구독 플랜 Claude Max 출시. $100/월(Pro 대비 5배 리밋)와 $200/월(Pro 대비 20배 리밋) 요금 구성. 신규 모델 및 기능 우선 접근권

■ 일리야 수츠케버의 SSI, 구글 TPU를 활용해 AI 연구 진행

■ 메타 내부고발자 세라 윈-윌리엄스, 메타가 중국 정부와 협력해 검열 요구를 수용하려 했고, 국가안보 저해 활동을 했다고 주장. 의회 증언 준비 중

■ 앤드리슨 호로비츠, 미국 AI 기업 투자를 위한 200억달러 규모 펀드 조성

감사합니다.

오픈AI, 일론 머스크의 소송에 대한 반소 제기

: 오픈AI 측은 머스크의 행동을 불법적이고 부당하다고 주장. 추가 행동을 금지하고, 이미 초래한 손해에 대해 책임 목적으로 반소 제기

: 머스크의 행동이 조직의 주요 목표를 방해하고, 필수적 파트너십과 대중의 신뢰를 무너뜨리고 있다고 주장

: 머스크가 원래의 사명보다는 자신의 의제를 추구하고 있다고 강하게 비판하며, 자신들의 비영리 구축 목표는 여전히 유효하다는 입장

: 영리 법인 전환이 필수적이며, 이를 통해 비영리 부문을 강화하고 의료, 교육, 과학 등 공공 분야 프로젝트에 더 많은 자원을 쏟을 수 있다고 강조

https://techcrunch.com/2025/04/09/openai-attorneys-call-for-musk-to-be-enjoined-from-further-unlawful-and-unfair-action/

xAI, Grok 3 API 가격 공개

Grok 3
: 인풋 $3 및 아웃풋 $15(Fast 모드 $5 및 $25)

Grok 3 mini
: 인풋 $0.3 및 아웃풋 $0.5(Fast 모드 $0.6 및 $4)

(참고) 경쟁 모델 API 가격(/백만토큰)

구글 Gemini 2.5 Pro
: 인풋 $1.25 및 아웃풋 $10(토큰 20만 미만)
: 인풋 $2.5 및 아웃풋 $15(토큰 20만 초과)

앤스로픽 Claude 3.7 Sonnet
: 인풋 $3 및 아웃풋 $15

오픈AI GPT-4o
: 인풋$5 및 아웃풋 $15

구글 Gemini 2.0 Flash
: 인풋 $0.1 및 아웃풋 $0.4

Google Cloud Next ‘25, 빨라지는 AI 에이전트의 시대

안녕하세요 삼성증권 글로벌 SW 담당 이영진입니다.

최근 구글의 폼은 남다릅니다. GPT, 클로드, 그록3 등 탑티어 경쟁사를 압도하는 퍼포먼스를 보여주고 있습니다.

경쟁력의 비밀은 풀스택 AI 입니다. 모델의 성능, 가격 그 무엇 하나 빠지지 않습니다.

오픈AI가 넷츠케이프(선각자)라면 현재 알파벳은 익스플로러에 비교해 볼 수 있습니다. 물론 당장 오픈AI가 망하지는 않겠지만요.

구글은 이번 행사에서도 다양한 영역에서 최고, 최신의 경쟁력을 증명했습니다.

1) 블랙웰에 비견되는 7세대 TPU Ironwood(이전 세대 대비 컴퓨팅 성능 5배 향상, HBM 용량 6배(192 GB), FP8)

2) 내부에서만 사용하던 초고속, 저지연 네트워크인 WAN(Wide Area Network)을 기업용 클라우드로 출시

3) AI 워크로드를 위한 하이퍼컴퓨터 성능 업그레이드(엔비디아 최신 GPU 도입)

4) 소프트웨어 혁신(AI에 최적화된 쿠버네티스 엔진, Gemini 모델 학습에 활용되었던 분산처리 시스템인 Pathway 오픈)

5) 다양한 고성능 모델들을 Vertex AI로 통합 제공Gemini 2.5 Pro, Flash, Veo 2(영상), Imagen 3(이미지),  Chirp 3(음성), Lyria(음악)

개인적으로 가장 주목하는 것은 AI 에이전트 프로토콜인 A2A(Agent2Agent)입니다. 클로드의 MCP가 호출에 따라 특정 기능을 수행하는 펑션 콜링에 특화되었다면 A2A는 에이전트들이 직접 협업하는 방식을 표준화했습니다.

즉, 서로 생태계 싸움을 하는 경쟁 관계가 아니라 전체 생태계를 이루는 보완재 역할을 하며 AI 에이전트 시대의 가속화를 만들어내고 있는 상황입니다.

마치 과거 앱스토어가 등장하며 다양한 앱들이 쏟아져 나온 것과 비슷합니다. 향후 수개월 전후로 놀라운 모멘텀이 만들어질 가능성이 높아졌습니다.

당장 숫자에 반영이 되지 않는다고 해서 초조해할 필요는 없습니다. 챗GPT가 보여줬던 것처럼, 거대한 기술의 흐름이 만들어지면 결국 시간의 문제이기 때문입니다.

AI 시대의 진정한 강자로 거듭나고 있는 구글에 대한 지속적인 관심이 필요하다는 생각입니다.

자세한 내용은 보고서를 참고 부탁드립니다.

감사합니다.

보고서 링크: https://bit.ly/4johhPk

(2025/4/10 공표자료)

포켓몬 게임을 플레이 하는 Gemini 2.5 Pro

트위치 방송: https://m.twitch.tv/gemini_plays_pokemon

샘 올트먼 “일 년에 몇 번, 오랫동안 너무나 기대했던 새로운 기능을 출시하는 날이면 일찍 잠에서 깨서 다시 잠들 수가 없어요. 오늘이 바로 그런 날이랍니다!”

+ 챗GPT 웹 코드에 o3, o4-mini, o4-mini-high 업데이트 발견

오픈AI, 신규 모델 관련 보도(The Verge)

: 소식통을 인용해 다음주 GPT-4o 멀티모달 모델을 개선한 GPT-4.1와 4.1 Mini 및 Nano 버전 출시 예정이라는 보도

: 최근 웹 버전 코드에서 발견된 o3와 o4 mini도 유사한 출시 타임라인 언급

https://www.theverge.com/news/646458/openai-gpt-4-1-ai-model

[삼성 이영진] 글로벌 SW 헤드라인 (25/4/11)

■ 오픈AI, 챗GPT 내 신규 장기 메모리 기능 도입. 이전 대화를 모두 참고해 개인화된 응답 제공. Pro 및 Plus 구독자 우선 제공

■ 오픈AI, 다음주 GPT-4.1 시리즈와 o3, o4-mini 등을 출시한다는 보도

■ 오픈AI, AI 에이전트가 복잡하고 찾기 어려운 인터넷 정보를 검색하고 추론하는 능력을 평가하기 위한 벤치마크 BrowseComp 공개

■ 구글, 미국 연방 조달청(GSA)와 계약을 통해 구글 Workspace 가격을 기존 대비 71% 할인해 제공

■ 구글, 앤스로픽의 MCP를 자사 AI 모델과 SDK에 도입 예정

■ 데미스 하사비스, 궁극적으로 Gemini와 Veo 모델의 결합 계획 언급

■ 앤디 제시, 주주 서한을 통해 AI는 우리가 알고 있는 모든 것을 재창조하는 기회라며 기업의 AI에 대한 공격적 투자 주장

■ 마이크로소프트, 주요 AI 모델이 소프트웨어 디버깅 작업에서 제한적 성과를 보였다는 연구 결과 발표

■ 일론 머스크, Grok 3.5는 주요 업그레이드와 함께 곧 출시 예정이며, Grok 4는 올해 말 출시 예정이라 코멘트

■ xAI, Grok 3 시리즈 API 가격 공개. Grok 3는 인풋 $3 및 아웃풋 $15으로 앤스로픽 Cluade 3.7 Sonnet과 유사한 수준

■ 미라 무라티의 Thinking Machines Lab, 100억 달러 밸류로 20억 달러 시드 펀딩 추진

■ 스노우플레이크, 국방부 IL5 보안 등급 획득을 통해 민감 데이터 처리 자격 확보. 가장 높은 보안 등급은 IL6

■ 캔바, Visual Suite 2.0 업데이트를 통해 다양한 AI 기반 기능 추가

감사합니다.

미국 정부 소프트웨어 시장에 드리운 변화의 폭풍

안녕하세요 삼성증권 글로벌 SW 담당 이영진입니다.

구글이 미국 연방조달청(GSA)과 계약을 통해 연방 정부 기관 대상 구글 워크스페이스(Google Workspace) 소프트웨어 제품군을 할인 제공할 계획입니다.

9/30일까지 유효한 임시 가격이지만 모든 연방 기관의 대상으로 기존 다수공급자계약(MAS) 프로그램 대비 71% 할인된 가격인데요

개별 기관 또는 거래별 협상을 통해 할인을 받는 형태에서 연방 정부를 하나의 고객으로 간주하고 전체 구매량을 기준으로 가격을 책정하는 형태입니다.

GSA는 워크스페이스 분야를 넘어 GCP(구글 클라우드)의 가격 경쟁력 확대를 위한 노력도 하고 있다고 언급했네요

GSA 입장에서는 중복 감소와 IT 조달 간소화를 목표로 정부 기관의 구매력을 비용 절감을 위한 협상 카드로 제시한 것입니다. 정부 기관 내 전체적으로 채택될 경우 3년간 최대 20억 달러 비용 절감을 추정하고 있습니다.

이러한 움직임은 연방 지출을 줄이려는 트럼프 행정부의 노력과 머스크가 주도하는 DOGE 활동의 연장선입니다. DOGE는 출범 이후 정부 기관의 과도한 소프트웨어 지출 및 낭비에 대한 조사를 지속하고 있으니까요

GSA는 구글 외 다른 기업과도 관련 협력을 진행하고 있으며, 이번 계약은 IT 비용을 절감하려는 노력의 '이정표'라고 언급했습니다. 유사한 형태의 추가 발표 가능성도 높아보이네요

단기적으로 정부 소프트웨어 시장 내 IT 지출 효율성을 우선시 하는 가격 정책이 도입 될 것입니다.

서비스나우, 유아이패스, 액센츄어 등의 실적에서 대두된 정부 IT 지출 불확실성이 오히려 할인과 같은 계약 조건을 통해 해소된다면 나쁠 것은 없습니다.

물론 소프트웨어 기업 입장에서는 P를 낮춰준 만큼 Q가 늘어날 수 있는지가 중요합니다.

경쟁 측면 변화도 주목해야합니다. 변화에 보수적인 태도와 비용 민감도가 낮은 특성에 따라 정부 소프트웨어 시장은 일반 엔터프라이즈 시장 대비는 경쟁이 치열하지 않은 분야였습니다.

기존 강자로 꼽혔던 마이크로소프트나 오라클 등의 정부 소프트웨어 시장 점유율에 변화가 생길지 여부를 예의주시해야합니다. 추가 업데이트해 드리겠습니다.

(2025/4/11 공표자료)

[삼성 이영진] 글로벌 SW 기업 주요 일정(현지시간)

실적(E)은 잠정 일정으로 향후 변동 가능

■ 4월 4주 차
SAP(SAP DE) - 4/22
서비스나우(NOW) - 4/23
IBM(IBM) - 4/23
아마존(AMZN) - 4/24(E)

■ 5월 1주 차
메타 LlamaCon - 4/29
알파벳(GOOGL) - 4/29(E)
마이크로소프트(MSFT) - 4/30
메타 플랫폼스(META) - 4/30
허브스팟(HUBS) - 4/30(E)
애플(AAPL) - 5/1
데이터도그(DDOG) - 5/1(E)
클라우드플레어(NET) - 5/1(E)

■ 5월 2주 차
팔란티어 테크놀로지스(PLTR) - 5/5(E)
서비스나우 Knowledge - 5/6~8
앱러빈(APP) - 5/7
포티넷(FTNT) - 5/7
트레이드 데스크(TTD) - 5/7(E)

■ 5월 3주 차
유니티 소프트웨어(U) - 5/13(E)

■ 5월 4주 차
구글 I/O - 5/20~21
마이크로소프트 Build - 5/20~22
팔로알토 네트웍스(PANW) - 5/21(E)
스노우플레이크(SNOW) - 5/21(E)
워크데이(WDAY) - 5/22(E)

■ 5월 5주 차
세일즈포스(CRM) - 5/28(E)
크라우드 스트라이크(CRWD) - 5/29(E)
몽고DB(MDB) - 5/29(E)
엘라스틱(ESTC) - 5/29(E)
지스케일러(ZS) - 5/29(E)

■ 6월 1주 차
스노우플레이크 서밋 - 6/2~5

■ 6월 2주 차
데이터브릭스 Data+AI 서밋 6/9~12
오라클(ORCL) - 6/10(E)
어도비(ADBE) - 6/12

오픈AI, 안전성 테스트 축소 논란

: 파이낸셜 타임스(FT)는 오픈AI가 최신 AI 모델의 안전성 테스트에 투입하는 시간과 자원을 대폭 줄였다고 보도

: 과거 모델(GPT-4 등) 테스트에 수개월이 걸렸던 반면, 최근 모델(o3 등)은 며칠 만에 평가 진행

: 전문가들은 테스트 기간 단축으로 인해 모델의 잠재적 위험을 충분히 식별하고 완화하기 어려워졌다고 우려. 치열한 경쟁 속 신규 모델을 빠르게 출시하려는 압박감 때문으로 분석

: 오픈AI는 자동화 등으로 테스트 프로세스가 효율화 되었으며, 테스트 방법을 투명하게 공개하고 있고, 테스트 버전과 최종 버전이 거의 동일하다는 입장

오픈AI GPT-4.5 개발 과정 관련 유튜브 영상 요약

1. GPT-4.5에 대한 반응
출시 직후 예상보다 훨씬 긍정적인 반응을 얻음. 많은 사용자들이 GPT-4와는 확연히 다른 대화 품질을 체감했고, 그 차이를 설명하기 어려울 정도로 경험이 달랐다고 평가

2. 개발 기간과 준비 과정
GPT-4.5 훈련은 약 2년 전부터 시작. 새로운 컴퓨팅 자원을 염두에 둔 설계와 함께, 시스템·ML·데이터 전반의 광범위한 사전 테스트 및 리스크 제거 진행. 

GPT-4는 현재 소규모 팀(5~10명)으로도 재훈련 가능하지만, GPT-4.5는 여러 팀 간 협업이 필요한 복잡하고 방대한 프로젝트

3. 목표와 성과
내부 목표는 GPT-4보다 10배 더 ‘똑똑한’ 모델을 만드는 것. 실질적인 연산 성능 기준으로 이 목표를 달성한 것으로 평가

4 대규모 학습의 복잡성
대규모 학습에선 예측 불가능한 문제들이 자주 발생.하드웨어 오류나 미묘한 소프트웨어 버그가 치명적인 이슈로 이어질 수 있음.해결되지 않은 문제를 안고 훈련을 시작해야 하는 경우도 많아, ‘완전 해결 후 시작’과 ‘진행하면서 해결’ 사이의 균형이 중요.

5. torch.sum 버그 사례
학습 중 PyTorch의 기본 함수(torch.sum)에서 희귀한 데이터 의존적 버그 발생.불법 메모리 접근으로 심각한 불안정성 유발.이 문제를 해결한 후 훈련 안정성과 ETA(남은 시간)가 크게 개선되었고, 팀 사기도 향상

6. 데이터의 한계와 효율성
향후 모델을 10~100배 더 키우기 위해선 데이터량이 가장 큰 병목 요소. 단순히 컴퓨팅 파워가 아닌, 더 적은 데이터로 더 많이 학습할 수 있는 알고리즘이 관건.현 모델들은 인간 대비 매우 비효율적인 데이터 사용을 하고 있음

7. 시스템 설계와 병목
시스템 안정성, 내결함성, 네트워크 견고성은 대규모 훈련의 핵심 인프라 요소.공동 설계를 통해 자원 부담을 나눌 수 있지만, 메모리 대역폭과 네트워크 병목은 여전히 큰 제약.

8. 미래 훈련 방식
향후 수천만 개 GPU를 활용한 대규모 훈련도 예상됨.이는 기존처럼 완전 동기화된 방식이 아닌, 반동기화·분산형 훈련 방식으로 발전할 가능성 큼

9. 핵심 인사이트 – 사전학습과 스케일링 법칙
언어 모델은 비지도 학습을 통해 데이터를 압축하려 하며, 이는 패턴, 연결, 추상화를 인식하는 방식

스케일이 커질수록 test loss(압축 성능)가 예측 가능하게 향상되며,그 과정에서 예기치 못한 일반 지능의 징후도 나타남.

중요한 것은 단순 암기가 아니라, 진정한 일반화 능력이며, 이를 위해선 엄선된 테스트셋을 통한 검증이 필수.

https://www.youtube.com/watch?v=6nJZopACRuQ