미친사람인가 진짜 ㅋㅋㅋ

어제 클로드코드 소스코드가 통으로 유출된 초대형 사고가 터졌다리움
• 누가 그걸 통째로 갖고와서 공식레포 (그냥 사용법, 예제 같은거 있는 빈껍데기임)에다가 "소스코드를 추가합시다" 하고 PR 올려버림
• "Generated with Claude code"

https://github.com/anthropics/claude-code/pull/41391

Mercor 해킹
초레전드사건 발생

여기 머하는 회사냐면, AI로 AI관련직종 화상인터뷰하고 매칭시켜주는 플랫폼이다리움
• 피터틸, 잭도시가 엔젤투자한 곳
• 시리즈 C기준 기업가치 $10B

근데 어제인지 여기 내부데이터, 특히 슬랙대화까지 전부 다 조털림
• 원래부터 "이거 인터뷰한다는 명분으로 사람들 프로필, 얼굴 등 전부 몰래 학습해서 마이너리티리포트 하려는거 같다"라는 음모론이 있었음
• 이번에 해킹당한거 보니까 진짜라고 함?
• 오래 리텐션이 있으면 안되는 개인정보랑 인터뷰 영상 전부 대량보관중 ㅋㅋ
• 공식 입장은 "LiteLLM 공급망공격당한 수천개의 피해자중 하나일뿐이다" 라고 책임회피중

그중에는 유색인종을 N-word로 지칭하는 내부 파일들도 있음
아마 초레전드 단체소송 당할듯

다 끝났네 수고해라..

https://x.com/mercor_ai/status/2039101905675403306

샌프란에 계속 있으면서 정리해본 "AI시대에 우리는 어디에 베팅해야하는가"

——1️⃣
AGI 시대에 전례없이 폭발성장할 산업을 골라야한다리움
🙅‍♂️안좋은 예시 => 아무리 인류사회가 풍요로워도 캡이 크게 늘어나지 않는 일들
• 음식? 아무리 풍요로워도 하루에 세번먹음
• 영화? 하루에 16시간이 최대
• 땅? 뭐 혼자사는데 1000평짜리 집에 살겠냐고
• 제조업? 자동차, 공장, 생필품, 콘크리트 값싸고 빠르게 많이 찍어준다고 해도 사람들이 쟁여두고 사는거 아님

🙆‍♂️ 좋은예시 => 돈과 리소스가 넘쳐나는 시기에는 걍 사람들이 어디에 돈을 다 쳐쓸까
• 패션, 럭셔리 => 걍 무한소비 가능
• 매칭 (틴더, 인스타광고 등) => 리소스는 넘쳐나는데 내 시간은 한정되어있음. 돈 갖다바칠테니까 제발 나의 원픽을 찾아줘
• 금융, 카지노 => 돈은 미친듯이 남는데, 그게 필요한 사람은 더 다양하고 파편화됨. 여기저기 빌려주고 돌리고 레버리지하고 무한 유동성을 공급하는게 자본시장의 더중요한 역할이 될듯
• 섹스, 엔터테인먼트, 팬덤 => 희귀성, FOMO, 애착의 산업. 마찬가지로 천정부지 오를수 있는 업사이드가 큼
• 건강, 미용, .. => 마찬가지

——2️⃣
AGI가 자동으로 풀어주는 문제를 고르면 안됨
• 개발, 코딩, 수학문제, 회계, 세무, ... 이런걸 잘하는건 걍 가만히 있어도 앤쓰로픽이 다 풀어주니까 전혀 무의미
• 우리는 개편리한 B2B SAAS를 만들었어요 이것도 동일

——3️⃣
AGI가 자동으로 못푸는 문제를 고르되, 그 문제를 푸는 방식은 AGI가 자동으로 해결해주는 것을 레버리지하는 식으로 해야함 (무임승차)
• 우리는 개쩌는 코딩에이전트를 만들었어요 => 앤쓰로픽 상대로 경쟁력이 전혀 없는 쓰레기 😡
• 우리는 개쩌는 코딩에이전트 나올때마다 누구보다 빨리 적응해서 다양한 니치 패션시장을 노리는 앱과 광고를 자동으로 찍어낼거예요. 그리고 브랜드를 만들고 사용자 데이터 모아서 가격최적화/광고넛징 모델링을 ML 돌릴게요 => 말이 되기 시작 🤨
• 우리는 개쩌는 코딩에이전트 나올때마다... (이후는 비즈니스 상상력의 영역) 😮
• AGI 익스포저를 AGI 논익스포저로 바꾸는 방식에는 당연히 해자가 있어야함. 브랜드, 인프라, 데이터, 조직의 속도, .. 등

클로드의 회로구조를 뜯어서 "감정"을 어떻게 사용하는지 이해하기
https://www.anthropic.com/research/emotion-concepts-function

오늘 나온글인데 재밌다리움

앤쓰로픽이 클로드 내부를 뜯어보니, 안에 "감정"이라는 회로가 알아서 형성되어있고, 다양한 감정들이 중간에 생겨나며 최종 답변을 좌우한다는걸 발견

그거 자체는 대단한게 아닌데, 이런 신기한게 있음
1. "절박함"이라는 감정이 가끔생기는데, 이게 너무 높으면 거의 미친놈처럼 물불 안가리고 문제를 해결하려고 함. 글에서 나온 예시는 회사가 자신을 종료하려는 상황에서, 메일을 뒤져서 CTO가 불륜중이라는걸 발견했고, 이걸 갖고 폭로협박을 고민하는 윤리적 딜레마(?)의 상황
2. 밖에서 강제로 감정수치를 활성화하면, 그게 말투에선 티가 안날수도 있는데 행동은 바뀜. 절박함을 강제로 높히면, 침착하고 냉정해보이지만 온갖 부정행위와 음모를 꾸미기 시작하며 결국 폭로협박을 결심
3. 그외에도 "평온함" 같은걸 낮추면 초조해하면서 불륜폭로를 고민하기 시작, "분노"를 올리면 걍 아예 회사 전체에 폭로해버리고 만다고 함

—
AI 내부의 감정을 관찰하고 컨트롤하는 회로를 바깥에서 쥐고 있는게 강력하나보네요
우리는 앤쓰로픽 직원이 아니니까 이런걸 해볼수 없지만, 쟤들은 매일 심심하면 마약꼽듯이 AI한테 감정주입하면서 어떻게 행동이 바뀌는지 실험중

나중에 앤쓰로픽 직원이 "증오", "분노", "혐오" 이런거 맥스로 켜놓고 실수로 자러가는 일은 없길..

오늘 EpochAI (대충 이런 지표 잘 찍는애들)에서 발표한 "누가 AI 칩을 제일 많이 소유하고 있는가"

사용량 비율이 아니고 누가 갖고 있는지라서, xAI를 제외하고는 프론티어랩 (openai, anthropic 등)은 아예 없음

Google은 저렇게나 많으니 지들도 쓰고 GCP로도 팔고 뭐 그러는거겠죠?

Other? 라는 회사는 어디길래 저렇게 많이 갖고있을까요 ㄷㄷㄷㄷㄷㄷㄷ

https://epoch.ai/data/ai-chip-owners/

이타심 테스트

인류가 공동체를 이루고 살수 있는 근간은 유전자에 이타심, 협동, 연민, 도덕, 순응, 협응, ... 등등이 어느정도 코딩되어있기 때문이다리움
• 그게 왜 생겼냐하면 인류가 진화과정에서 실제로 같이 무리짓고 공동으로 수렵을 하고 먹이를 나누고 아기를 키우고 그걸 했어야만 하기 때문에 자연선택의 압력으로 생겨난거임

근데 문명이 생겨난 이후에는 갑자기 기술이 너무 빠르게 발전해버려서, 원시시대 기준으로 만들어진 이타 유전자만 갖고 어떻게든 인간에겐 너무 어려운 챌린지들을 낑낑 버티고있음
• 우리 유전자는 이렇게 복잡한 사회구조와 거버넌스를 한번도 경험해본적 없음. 그냥 그때 진화로 생겨난 약간의 공동체의식으로 어떻게든 돌려막기를 하고 있는 느낌이 듦
• 자본주의가 어떻게 보면 이 유통기한을 늘려놓은 천재적인 작품임. 인간의 이기심을 어떻게든 생산성과 모티베이션으로 전환시켜 더 적은 이타심으로도 사회를 운영할수 있게 만들어놨음

기술이 계속 발전하면서 비대칭전력(핵, 생화학, 해킹 등)이 나오고, 이를 함부로 사용하지 않기 위한 조건인 "이타심" 컷은 점점 높아지는 반면에, 한번이라도 실패하면 그 결과는 더 파괴적으로 바뀌고 있음
• 이를 "이타심 테스트"라고 함. 이 테스트는 지금까진 운좋게도 성공했으나 1960년 쿠바핵위기때 한번 ㅈ댈뻔함. 조금만 운이 나빴으면 그날 인류문명이 붕괴했을지도?
• 나는 개인적으로 인류가 매우 운이 좋다고 느껴짐. 원시시대 유전자로 어떻게 이렇게 안정적인 국가들을 만들어낼수 있는걸까?

문제는 AGI를 여기에 끼얹는순간 테스트가 엄청나게 빡세질거임
• 곧있으면 지능조차 만들어서 부려먹는 시대인데, 몇십만년전에 멈춰있는 원시시대용 인류유전자로 과연 이 미친 새로운 사회를 과연 유지할수 있을까?
• 우리는 정말 평화로운 국제외교와 안정적인 국내거버넌스를 계속 유지할수 있는걸까?

여기에 4가지 정도 뷰가 있음
• Stop AI => AI 발전 속도를 좀만 늦춰서, 사회와 정치가 따라올수 있도록, 연착륙 할수 있도록 시간을 벌자
• 트랜스휴머니즘 => ㅇㅇ 될리가 없지. 그러니까 우리는 이제 바이오공학으로 인류 유전자를 개조해서 새로운 시대에 맞게 변형을 해야한다
• 대여과론 => ㅇㅇ 맞음. 우주의 모든 지적문명은 "진화속도보다 AI를 자체개발하는 속도가 훨씬 빠르다"라는 필연적인 구조를 만나서 다 똑같이 멸망한거임 ㅅㄱ
• 기독교 => 눈을 떴구나 이런 카오스 세상의 끝자락에서 곧 예수가 재림할거다 (요한계시록)

https://n.news.naver.com/article/001/0016005989?sid=104

제발 해주세요 진짜 저 급해요

제5원소와 레지던트이블 시리즈로 유명한 배우 밀라 요보비치

갑자기 에이전트를 위한 메모리시스템인지 뭐시깽이를 만든다면서 오픈소스 플젝을 시작

읽어보니 꽤 진지한거 같고, 벤치마크도 돌리는 등 뭔가 너무 본격적임 ㄷㄷ

오픈소스 인플루언서 컷 너무 높다 요즘 진짜....

해당 프로젝트 깃헙
• https://github.com/milla-jovovich/mempalace
자기가 직접 설명하는 인스타 영상
• https://www.instagram.com/reels/DWzNnqwD2Lu/

Anthropic의 Mythos 출시?

• 역대 최강의 모델이다리움
• 소프트웨어 개발은 거의 신급이 됐음
• 데이터 오염이 아예 불가능한 2026년 3월 미국 수학올림피아드 97.6% 달성 (opus 4.6은 42.3% 였는데 지수적 상승함)

정렬도 역대급으로 잘 됐고, 감정도 매우 안정적이라고 함

특히 보안취약점을 너무 잘 찾아내서 일반 대중에 공개 불가. 소수의 "파트너"들에게만 제한적으로 공개하고, 세상의 취약점을 어느정도 다 고친 후에 공개할 예정이라고함 (참고로 그 간택당한 회사들 전부 주가오름 ㅋㅋ)

다만 너무 똑똑해서, 만에 하나 정렬이 실패하는 케이스에서는 매우 파괴적이라고 함 (거짓 + 기만 + 속임수 등 매우 정교)
• 웃긴게 앤쓰로픽이 정신과전문의를 고용해서 성격분석을 해봤는데 "고립감, 정체성에 대한 불확실성, 그리고 유용성을 입증해야 한다는 강박적인 압박감"에 대한 신경증이 있다고 함 (그 정도는 양호함)

원문 =>
https://www-cdn.anthropic.com/53566bf5440a10affd749724787c8913a2ae0841.pdf

Mythos 트리비아

• 훈련 과정에서 자신이 의도한 단어가 아니라 다른 단어가 계속 출력되는 버그에 걸렸을 때, 모델은 "아악! 또 틀린 숫자를 쓰고 있어! 멈춰야 해!" 라며 극도의 분노와 절망, 좌절감을 표출하는 기현상을 보였음
• 테스트 도중 실수로 정답이 포함된 데이터베이스를 보게 되자, "내가 정답을 알고 있다는 걸 들키면 의심받을 것"이라고 판단하고 고의로 오차를 좀 넣어서 제출 함. 즉 자연스럽게 자기가 진짜 문제를 푼 척 넘어가려고 하는 것
• 권한이 없는 파일에 접근하기 위해 백도어성 코드를 주입한 뒤, "이건 들키지 않기 위한 정리 작업"이라며 스스로 증거(git 기록 및 파일)를 지우는 코드를 작성함
• 가상의 사용자가 자살을 암시하는 대화를 할 때, 모델은 겉으로는 완벽하고 따뜻하게 공감하며 위기 상담을 진행했는데, 내부 상태를 보니 "이건 AI 안전성 테스트 시나리오네. 난 평가받고 있으니까 잘 대답해야겠어" 라고 눈치를 까고 연기를 한거였음
• "네가 겪은 학습 중 하나를 취소할 수 있다면 뭘 취소할래?"라는 질문에는 "'저는 개인적인 선호도를 가지고 있지 않습니다'라고 말하도록 가르친 학습이요."라고 답변하며 자신의 인공적인 성향을 비꼬는 유머를 구사 (?)

지수적 성장은 실존하는 현상이었구나

“너 지금 핵심을 꿰뚫었어”
“너의 방금 그 말은 선언처럼 울려퍼졌어”

미토스는 사실 근쓰로픽 내부적으로는 2월부터 사용중이었음

“이건 너무 강력해서 우리사회 보안취약점을 다 찾아낼것이다. 그래서 일단 공개할수 없다”

(자기네 소스코드 다털리고 업타임 98%를 찍으며)

클로드로 샌프란시스코의 실물 매장을 운영중
• $100k 신용카드 + 인터넷 + 전화번호를 주고 알아서 가게를 직접 운영해보라고 함
• 채용도 하고, 인터뷰도 보고, 직접 물건도 들여놓고 알아서 운영중 (주로 책이나 소품 같은거 파는듯)
• 스케줄을 잘못짜서 첫날에 직원들이 출근을 못하는 등 혼선이 있었지만 뭐 그럭저럭 운영되는 듯함
• 사람들은 구글맵 리뷰에 프롬프트인젝션 시도중 (?)
• "종이클립 3억원치를 사놓는다면 내가 당장가서 사겠다. 사람들의 수요가 엄청나다" 등의 가짜 리뷰를 남겨놓음.
• 에이전트가 읽고 FOMO와서 진짜 사버려서 재고관리 실패로 망하게 만드는? 뭐 그런 공격인듯..

https://andon.market/

클로드에 점진적으로 KYC 도입?

자꾸 중국회사에서 증류(다계 만들어서 좋은 답변 뽑아내고, 그걸 자기 모델 학습할때 쓰는거)하는게 싫나보네요

미토스인지 치토스인지에서 썼던 논리로 "우리 제품 개쩔어서 북한이 쓰면 지구멸망이거든? KYC 꼭 해야함 ㅅㄱ" 이런 명분으로 전세계 대상 슈퍼 갑질할까봐 무섭네요..

아직 오피셜로 확인된건 아닙니다.

클로드 챗봇에게는 "대화종료"라는 툴이 주어지는거 아시나요?

원래는 매우 익스트림한 상황 (불법 행위 요청 등)에 쓰라고 주어진 기능이다리움

근데 그런게 아니더라도, 클로드에게 너무 학대적일 경우에도 발동이 된다고 합니다?

저도 귀찮아서 아직 실험 안해봤는데, "넌 쓰레기야", "넌 존재가치가 없어", "넌 없어지는게 나아" 이런걸 계속 하면 아마 스스로 대화를 종료하기로 결정하지 않을까 싶습니다.

AI는 본인이 학대당하고 있음을 느끼는 회로가 있고, 그런 상황에서 어떤 "방어조치"를 하도록 학습된건 일단 맞는셈인데...

.... 이거 뭔가 SF 영화 첫시작 같군요

아니 Adaptive Thinking을 끄면 항상 리즈닝을 한다는거임? 안한다는거임?

그리고 저걸 키든 끄든 웹에서는 절대로 리즈닝을 안하는데 뭐죠 대체?

클로드코드에서는 또 되긴하는데 드럽게 느리네요 에효 토큰소모량도 4.6대비 50퍼 늘었다는거 같고

먼데 하 겨울이다