오픈AI, o3 및 o3 mini 모델 초기 벤치마크 공개
: 코딩 및 수학 관련 SWE-bench, Codeforces, AIME 2024, GPQA Diamond 등 벤치마크에서 기존 모델 상회
: 특히 ARC-AGI Low 모드 76%, High 모드 88% 달성. 인간 평균 85%
: 현재 안전 테스팅 단계. o3 mini 25년 1월 말 대중 공개. o3는 이후
영상: https://www.youtube.com/live/SKBG1sqdyIU?si=1cNt6G-dE1uttUli
: 코딩 및 수학 관련 SWE-bench, Codeforces, AIME 2024, GPQA Diamond 등 벤치마크에서 기존 모델 상회
: 특히 ARC-AGI Low 모드 76%, High 모드 88% 달성. 인간 평균 85%
: 현재 안전 테스팅 단계. o3 mini 25년 1월 말 대중 공개. o3는 이후
영상: https://www.youtube.com/live/SKBG1sqdyIU?si=1cNt6G-dE1uttUli
👍3
[삼성 이영진] 글로벌 AI/SW
오픈AI, o3 및 o3 mini 모델 초기 벤치마크 공개 : 코딩 및 수학 관련 SWE-bench, Codeforces, AIME 2024, GPQA Diamond 등 벤치마크에서 기존 모델 상회 : 특히 ARC-AGI Low 모드 76%, High 모드 88% 달성. 인간 평균 85% : 현재 안전 테스팅 단계. o3 mini 25년 1월 말 대중 공개. o3는 이후 영상: https://www.youtube.com/live/SKBG1sqdyIU?si=1cNt6G…
오픈AI는 20일(현지시간) 12일 발표 이벤트 십마스(shipmas) 마지막 날을 맞아 o3와 'o3-미니(mini)'를 출시한다고 발표했다.
샘 알트먼 CEO는 "우리는 이것을 다음 단계 AI의 시작(begining of next AI)으로 보며, 이 모델을 사용해 많은 추론이 필요한 점점 더 복잡한 작업을 수행할 수 있다"라고 말했다. o3가 AGI에 근접했다는 것을 보여주기 위해 각종 벤치마크를 동원했다.
https://www.aitimes.com/news/articleView.html?idxno=166425
샘 알트먼 CEO는 "우리는 이것을 다음 단계 AI의 시작(begining of next AI)으로 보며, 이 모델을 사용해 많은 추론이 필요한 점점 더 복잡한 작업을 수행할 수 있다"라고 말했다. o3가 AGI에 근접했다는 것을 보여주기 위해 각종 벤치마크를 동원했다.
https://www.aitimes.com/news/articleView.html?idxno=166425
AI타임스
"o3는 AGI에 도달한 첫번째 모델"...오픈AI, 최첨단 추론 모델 공개
오픈AI가 \'o1\'의 후속작인 추론 모델 \'o3\'를 공개했다. 이를 \'인공지능(AI)의 새로운 단계\'라며, 인공일반지능(AGI)에 접근한 최초의 모델이라고 주장했다.오픈AI는 20일(현지시간) 12일 발표 이벤트 십마...
❤1
오픈AI, GPT-5 프로젝트 지연 관련 보도
: 오픈AI GPT-5(코드명 오리온)는 기존 모델보다 획기적 성능 향상을 목표로 18개월간 개발 중이나 일정 지연. 개발 과정에서 높은 비용과 기술적 문제 직면
: 고품질 데이터 부족에 따른 데이터 확보 및 직접 생성해야 하는 상황. 대규모 훈련에 소요되는 시간과 비용 이슈. 주요 인재 이탈, 경쟁사의 연구자 빼가기 등으로 프로젝트에 어려움 가중
: 코드,수학 문제 해결 등 새로운 데이터 직접 생성. 합성 데이터 활용 및 품질 관리. 추론 중심 접근법 채택 등으로 대응
: 오픈AI는 GPT-5 출시 일정에 대해 확신하지 못하며, 2024년 출시 가능성은 낮음. 추론 모델 기반의 오리온 개선 계획 진행 중
https://www.wsj.com/tech/ai/openai-gpt5-orion-delays-639e7693?st=GXr1bN&reflink=desktopwebshare_permalink
: 오픈AI GPT-5(코드명 오리온)는 기존 모델보다 획기적 성능 향상을 목표로 18개월간 개발 중이나 일정 지연. 개발 과정에서 높은 비용과 기술적 문제 직면
: 고품질 데이터 부족에 따른 데이터 확보 및 직접 생성해야 하는 상황. 대규모 훈련에 소요되는 시간과 비용 이슈. 주요 인재 이탈, 경쟁사의 연구자 빼가기 등으로 프로젝트에 어려움 가중
: 코드,수학 문제 해결 등 새로운 데이터 직접 생성. 합성 데이터 활용 및 품질 관리. 추론 중심 접근법 채택 등으로 대응
: 오픈AI는 GPT-5 출시 일정에 대해 확신하지 못하며, 2024년 출시 가능성은 낮음. 추론 모델 기반의 오리온 개선 계획 진행 중
https://www.wsj.com/tech/ai/openai-gpt5-orion-delays-639e7693?st=GXr1bN&reflink=desktopwebshare_permalink
WSJ
The Next Great Leap in AI Is Behind Schedule and Crazy Expensive
The startup has run into problem after problem on its new artificial-intelligence project, code-named Orion.
👍3
오픈AI는 20일(현지시간) 십마스(Shipmas) 마지막 날 발표를 통해 'o3' 모델 공개에 이어 안전한 언어 모델 구축을 위한 방법으로 신중한 정렬을 소개했다.
이 방법은 ▲추론 모델에게 인간이 작성하고 해석 가능한 안전 사양의 텍스트를 직접 가르치고 ▲답변하기 전에 이런 사양에 대해 '생각의 사슬(CoT)'로 추론하도록 훈련하는 것으로 구성됐다.
우선 광범위한 안전 교육에도 불구하고, 대형언어모델(LLM)은 자주 탈옥 공격의 희생자가 된다고 지적했다. 그 이유로 모델이 충분하게 추론하지 않고 즉시 응답하는 점을 들었다. 또 자연어로 안전 원칙을 학습하는 대신, 데이터 학습 중 많은 예제를 통해 안전 원칙을 추측해야 하기 때문이라고 전했다.
신중한 정렬은 이런 문제를 해결하기 위해 등장한 것이다. 모델에 안전 원칙에 관한 텍스트를 직접 가르치고, 모델이 답을 내는 시점에 이런 사항을 추론하도록 훈련하는 최초의 접근 방식이라는 설명이다.
특히 이 방식은 기존에 주요 사용된 인간 피드백을 통한 강화 학습(RLHF)이나 AI 피드백을 통한 강화 학습 등보다 뛰어난 결과를 보인다고 강조했다.
훈련 방법은 안전 관련 사항이 포함된 시스템 프롬프트가 포함된 데이터셋을 감독 미세 조정(SFT)과 강화 학습(RL)을 사용해 미세조정하는 방식이다. 합성 데이터를 사용하는 방법으로, 인간이 라벨링한 데이터에 대한 의존도를 낮출 수 있다는 설명이다.
오픈AI는 "o1이나 o3처럼 모델이 더 많은 지능과 자율성을 얻으면서 정렬 오류나 오용으로 인해 발생할 수 있는 잠재적 피해 규모가 극적으로 증가한다"라며 "신중한 정렬은 우리의 노력에서 가장 최근의 진전을 나타내며, 그 결과는 매우 고무적"이라고 말했다.
https://www.aitimes.com/news/articleView.html?idxno=166433
이 방법은 ▲추론 모델에게 인간이 작성하고 해석 가능한 안전 사양의 텍스트를 직접 가르치고 ▲답변하기 전에 이런 사양에 대해 '생각의 사슬(CoT)'로 추론하도록 훈련하는 것으로 구성됐다.
우선 광범위한 안전 교육에도 불구하고, 대형언어모델(LLM)은 자주 탈옥 공격의 희생자가 된다고 지적했다. 그 이유로 모델이 충분하게 추론하지 않고 즉시 응답하는 점을 들었다. 또 자연어로 안전 원칙을 학습하는 대신, 데이터 학습 중 많은 예제를 통해 안전 원칙을 추측해야 하기 때문이라고 전했다.
신중한 정렬은 이런 문제를 해결하기 위해 등장한 것이다. 모델에 안전 원칙에 관한 텍스트를 직접 가르치고, 모델이 답을 내는 시점에 이런 사항을 추론하도록 훈련하는 최초의 접근 방식이라는 설명이다.
특히 이 방식은 기존에 주요 사용된 인간 피드백을 통한 강화 학습(RLHF)이나 AI 피드백을 통한 강화 학습 등보다 뛰어난 결과를 보인다고 강조했다.
훈련 방법은 안전 관련 사항이 포함된 시스템 프롬프트가 포함된 데이터셋을 감독 미세 조정(SFT)과 강화 학습(RL)을 사용해 미세조정하는 방식이다. 합성 데이터를 사용하는 방법으로, 인간이 라벨링한 데이터에 대한 의존도를 낮출 수 있다는 설명이다.
오픈AI는 "o1이나 o3처럼 모델이 더 많은 지능과 자율성을 얻으면서 정렬 오류나 오용으로 인해 발생할 수 있는 잠재적 피해 규모가 극적으로 증가한다"라며 "신중한 정렬은 우리의 노력에서 가장 최근의 진전을 나타내며, 그 결과는 매우 고무적"이라고 말했다.
https://www.aitimes.com/news/articleView.html?idxno=166433
AI타임스
오픈AI, 추론으로 탈옥 시도 막는 '신중한 정렬' 방법 공개
오픈AI가 추론 기능을 활용해 탈옥 시도에 대응할 수 있는 새로운 안전 방식을 공개했다. 모델이 답하기 전에 안전에 대해 충분히 생각한다는 뜻으로 \'신중한 정렬(Deliberative alignment)\'이라는 이름을 붙였...
❤1
[삼성 이영진] 글로벌 AI/SW
오픈AI, GPT-5 프로젝트 지연 관련 보도 : 오픈AI GPT-5(코드명 오리온)는 기존 모델보다 획기적 성능 향상을 목표로 18개월간 개발 중이나 일정 지연. 개발 과정에서 높은 비용과 기술적 문제 직면 : 고품질 데이터 부족에 따른 데이터 확보 및 직접 생성해야 하는 상황. 대규모 훈련에 소요되는 시간과 비용 이슈. 주요 인재 이탈, 경쟁사의 연구자 빼가기 등으로 프로젝트에 어려움 가중 : 코드,수학 문제 해결 등 새로운 데이터 직접 생성.…
GPT-5 지연 관련 WSJ 기사에 대한 샘 알트먼의 반응
팔란티어 & 안두릴, 미국 정부 사업 입찰을 위한 컨소시엄 구성
: 기존 방위 계약자의 독점을 타파하고, 국방 경쟁력 확보 목표. 스페이스X, 오픈AI 등 기업 포함. 최종 발표는 빠르면 1월
+ 일론 머스크, 팔란티어 공식 계정 팔로우
https://on.ft.com/3ZJhxjU
: 기존 방위 계약자의 독점을 타파하고, 국방 경쟁력 확보 목표. 스페이스X, 오픈AI 등 기업 포함. 최종 발표는 빠르면 1월
+ 일론 머스크, 팔란티어 공식 계정 팔로우
https://on.ft.com/3ZJhxjU
❤3
마이크로소프트, MS 365 Copilot에 서드파티 AI 모델 추가 작업 진행
: MS 365 Copilot 비용 절감과 성능 향상을 위해 오픈AI 외 내부 및 서드파티 AI 모델 추가 작업 진행 보도
: GitHub 등 다른 사업 부문에서 앤스로픽 및 구글 모델 통합을 통해 오픈AI 의존도를 줄이고 있음
https://www.reuters.com/technology/artificial-intelligence/microsoft-works-add-non-openai-models-into-365-copilot-products-sources-say-2024-12-23/
: MS 365 Copilot 비용 절감과 성능 향상을 위해 오픈AI 외 내부 및 서드파티 AI 모델 추가 작업 진행 보도
: GitHub 등 다른 사업 부문에서 앤스로픽 및 구글 모델 통합을 통해 오픈AI 의존도를 줄이고 있음
https://www.reuters.com/technology/artificial-intelligence/microsoft-works-add-non-openai-models-into-365-copilot-products-sources-say-2024-12-23/
👍3
데미스 하사비스의 연말 코멘트에서 주목할 부분
: 2.0 Flash thinking - 우리의 첫 사고 모델. 곧 더 많은 소식이 있을 예정. 많은 분들이 기억하는 것 처럼 AlphaGo, AlphaZero, AlphaProof로 이러한 유형 모델 개척해왔음
: Willow - 10셉틸리온 년이 걸렸을 계산을 수행한 세계 최고 수준 양자 칩. 언젠가 AI 학습에 쓰일 수 있을 것
: 2.0 Flash thinking - 우리의 첫 사고 모델. 곧 더 많은 소식이 있을 예정. 많은 분들이 기억하는 것 처럼 AlphaGo, AlphaZero, AlphaProof로 이러한 유형 모델 개척해왔음
: Willow - 10셉틸리온 년이 걸렸을 계산을 수행한 세계 최고 수준 양자 칩. 언젠가 AI 학습에 쓰일 수 있을 것
👍7
오픈AI - MS 파트너십 조건 재협상 & AGI 정의
: 10월부터 4가지 주요 사안에 대한 논의 진행 중. 1) 영리법인 지분 비율, 2) 독점 클라우드 제공 유지 여부, 3) IP 사용 권리 기간, 4) 매출 20% 공유 조건
: The Information 보도에는 양사 간 작년 협약에서 AGI를 초기 투자자에게 최대 1,000억 달러 수익을 창출할 수 있는 시스템으로 정의했다는 내용 포함
https://www.theinformation.com/articles/microsoft-and-openais-secret-agi-definition
: 10월부터 4가지 주요 사안에 대한 논의 진행 중. 1) 영리법인 지분 비율, 2) 독점 클라우드 제공 유지 여부, 3) IP 사용 권리 기간, 4) 매출 20% 공유 조건
: The Information 보도에는 양사 간 작년 협약에서 AGI를 초기 투자자에게 최대 1,000억 달러 수익을 창출할 수 있는 시스템으로 정의했다는 내용 포함
https://www.theinformation.com/articles/microsoft-and-openais-secret-agi-definition
The Information
Microsoft and OpenAI’s Secret AGI Definition
Finally, a verifiable, numbers-based description of artificial general intelligence has arrived!Whether AGI has or hasn’t been “achieved” by AI developers has been a hotly debated topic due to its fuzzy and subjective definition. OpenAI has publicly described…
❤2