진짜 레전드 초 여름이다.....

클로드코드에서 Opus 4.6 콘텍스트 윈도우가 200k -> 1M으로 늘었고 전구간 같은 요금이라네요 무슨 이런 미친 혜자가 ㄷㄷ

너무 은혜롭고 감사해서 눈물날거 같네요
앤쓰로픽은 나의 신이다리움

정렬과 전략

정렬(Alignment)이 뭐냐면, AI가 똑똑한거랑 별개로 사람에게 도움이 되는 방식으로 일하냐는 거다리움
사용자를 속이거나, 아첨하거나, 꼼수로 문제를 풀거나, 과도하게 굴종적이거나 고집부리거나 등 전부 정렬문제입니다.

작년인가 ChatGPT가 아첨이 너무 심해서 욕먹고 고친적 있고, 딥시크는 체스게임에서 게임은 안하고 상대방 해킹시도(?)를 하고, 최근에는 Opus가 벤치마크 상황임을 눈치까는 능력이 우려스럽다 이런 이야기가 많고.. (METR 리포트 참고: https://metr.org/blog/2026-03-12-sabotage-risk-report-opus-4-6-review/) 이런것들이 정렬 이야기입니다

제가 요즘 포착한 문제는 "와 정렬이 정말 중요하구나 ㅠㅠ"가 아닙니다.
• 애초에 OpenAI나 Anthropic같은 모델만드는 회사는 AI 강화학습단계에서 "넌 정렬되어야해"하는 강한 압력을 계속 만들어낼거고 계속 발전할거 같음
• 근데 그 과정에서 부작용으로 AI가 전략적으로 행동하는 능력을 억누를수밖에 없지 않을까?
• AI가 정말 게임이론적 상황에 놓였을때 다른 참여자의 미묘한 심리상태나 편향 같은걸 알아채고, 그걸 착취하고, 기만하고, 싸움붙이고, 속임수를 쓰고... 이런 능력은 사실상 포기하게 되지 않나 싶습니다.
• 예를들어 AI끼리 마피아게임 같은걸 시켜보면 진짜 초딩보다 못해요. 상대방을 속이기 위해 어떻게 교묘하게 행동해야하는지 아예 컨셉이 없음. 자꾸 마피아가 유언에 다른 마피아를 적고감..

물론 정말 잘하면 "전략적으로 행동할수 있는 능력이 충분한데, 그냥 선택적으로 발휘하는 로열티가 생김"이라는 이상적인 발전방향도 있겠지만, 강화학습 리소스를 순수 정렬에만 때려박아도 잘 안된다고 욕먹는 판에 저런 위험한 빠꼼이를 만들기위한 새로운 인문학적 열린문제 리서치를 시작할 동기가 있나 싶네요 대기업 입장에선

OpenClaw 같은게 막 다른사람 해킹하고 그런거보면 "아니 AI 전략적인거 아님?"라고 생각할수도 있겠지만
단순히 집요하고, 목표지향적이고, Hacky한 것과 "게임이론적/전략적"인건 다릅니다.
후자는 본인도 행동에 대한 결과의 리스크가 있는 상황에서 다른 사람의 마음속, 다른사람이 생각하는 나의 마음속을 모델링해가면서 "선택"을 잘 하는 능력인거 같아요 (그냥 이것저것 때려보면서 문제를 해결하는게 아니라)

예를들어 OpenClaw가 당근마켓에서 가격협상 잘할 수 있을까요?
제가 상대방이면 가스라이팅 + 역할극 + 탈옥프롬프트 때려서 모든 물품을 1000원에 사는 후려치기 바로 할 수 있을거 같네요

어쨌든 당분간은 AI가 계속 발전하더라도 "전략적 행동" 능력은 (코딩/수학등에 비해) 지지부진할거같습니다. 지금까지 그래왔고요. AI는 착취할 능력도 없고, 착취당하기는 쉽습니다. 왜냐면 모델 만드는 곳은 "협력적 상황"에서 정렬을 잘 지키는 능력을 기르는 곳에 집중하고 있지, 적대적 상황에서 전략적 사고를 하는 법에는 별 관심이 없기 때문!

https://karpathy.ai/jobs/

카파시가 직업별 AI 노출도 + 마켓캡을 트리맵으로 시각화해서 공유했네요.

근데 읽어보니까 미국 노동통계청에서 직업 분류 + 마켓캡을 얻어온거까지만 뭔가 잘한거고

그 이후에 노출도 평가는 걍 직업설명을 Gemini Flash에 때린거라서, data-driven 된 분석은 전혀 아니고 걍 재미로 보면 될듯

소프트웨어 회사들은 진짜 존 레전드 찍고 있네요

다끝났네...
춤을추는 저거말고 다 해당안됨

요즘 링크드인 현황
ㄹㅇ...... (나쁘다는건 아님)

닫힌 회로 이야기

요즘 사람들이 생산성 관련해서 많이 하는 이야기가 닫힌 회로 (Closed Circuit)인 것 같다리움
간단하게 말하면, 에이전틱한 개발 사이클 중간에 개입되는 외부 의존성을 다 제거해야만 스스로 밤새 돌 수 있고,
사용자가 그런 환경을 만들어주는게 지수적인 생산성 격차를 만드는 핵심이라는 거임

그럼 닫힌 회로를 만들지 못하게 하는 병목이 뭐냐? 하면 세가지임

1. Human-in-the-loop
즉, 닝겐이 그 사이클 중간에 들어가서 뭔가 피드백을 해줘야하거나, 대신 테스트나 검토를 해줘야하는 구조임
소프트웨어 개발 태스크 같은경우에는 테스트만 잘 정의해줘도 되고, 머신러닝같은 최적화 문제 같은거면 지표만 잘 정의해줘도 어느정도 해결되겠지만, 디자인이나 프로덕트 운영에 있어서는 정성지표(디자인 등)를 자동 피드백할순 없으니, 머리를 많이 써야할듯. 진짜 회로 활활 태우고 싶으면 AB 테스팅 같은것도 알아서 해야할지도? 보안이나 인프라도 hitl을 유발하는 예시일듯

2. 컨텍스트 관리
계속 작업내역이 쌓이면 컨텍스트가 꽉차니까, 그걸 비우고 다시 로딩하느 작업을 해야함. 클로드코드는 압축 (`/compact`)이랑 메모리에 자기가 적는 메커니즘 정도가 있지만, OpenClaw는 다른 테크닉을 몇개 더 넣음:
a) 요약이 임박하면 미리 중요한거 딴데 써놓으라고 시스템이 지시를 해줌 (pre-compaction ping)
b) 오래된 툴콜링 결과 등 쓸데없는 아티팩트들 가지치기 해줌 (session pruning)
c) 일별로 분리해서 메모리를 관리하고, 그중 최근 N일것만 넣음 (moving window)
등등..

3. 잘 수렴하기
좀 멍청한 모델 같은 경우에는 사소한 프롬프트에 너무 쉽게 휘둘려서, 사이클이 길어짐에 따라 본질에 집중을 못하고 계속 피상적인 작업을 할 수 있음
그럼 매 사이클이 점점 "완성"을 향해 일관되게 나아가는게 아니라, 이거 찔렀다 저거 찔렀다 그냥 매번 발견되는 피상적인 현상들에 휘둘리다가 결국 발산해버릴수도 있음. (G모사 모델로 코딩에이전트 돌리면 이런현상이 좀 있는듯..)

1은 문제 정의에 가까운거라서 여전히 "똑똑한" 사용자가 잘 설계 해야함
2는 에이전트 엔지니어링의 문제인데 그냥 openclaw 같은 플젝이 알아서 잘 발전할거라고 기대하는게 나을듯 (언제 이거 내가 직접하냐)
3도 우리가 할일은 아니고 모델을 더 똑똑하게 만들어야하는거라서 앤쓰로픽 응원하면 댐

결론 => 1을 잘 고민하자

https://apenwarr.ca/log/20260316

리뷰 병목 이야기
Tailscale (대충 개쩌는 VPN 회사) 대표가 이틀전에 쓴 글입니다.

왜 AI는 지수적으로 발전했는데 사회는 지수적으로 발전하지 않았냐?
=> 리뷰/검토/검수 병목이 그대로 있기때문이라고 진단합니다.

이 사람이 제시하는 해결법은 간단합니다 - 결국 쪼개야한다.
작은팀일수록 제품의 효용대비 리뷰코스트가 적기 때문입니다.
더 잘게, 모듈화된 제품들이 작은팀에 의해 빠르게 개발되게 하고
그게 알아서 자연선택되도록 하면, 결국 "미친듯이 빠른 개발"이 온전히 사회에 나올 수 있다는겁니다 (리뷰병목에 막혀있는게 아니라요)

시도해볼수 있는거
1. 같은 컴포넌트를 여러 작은 팀들이 경쟁적으로 만들게 하기
2. 팀의 단위는 "외부승인 없이 자기 혼자서 진행할수 있는 태스크" 기준으로 다시 나누기
3. 당장 회사를 나와서 창업해라 (?)
4. 소모적인 리뷰하지말고 근본적으로 향후 리뷰를 줄여주는 리뷰만 해라.

—
1-2년 전부터 실리콘밸리 VC에서 많이 나오던 내러티브인 "작은팀만 생존한다"에 대한 직관적인 설명인거 같다리움

?? ㅋㅋㅋ

"2026년에 아무일도 없음"
https://polymarket.com/event/nothing-ever-happens-2026

우연히 봤는데 폴마에 이 마켓 어이없어서 웃기네요

2026년동안
• 트럼프 탄핵
• 중국이 대만 침공
• 시진핑 탄핵
• 미국이 이란 침공 (점령목적이 아니라 아직 안걸린듯?)
• 이란 정권 멸망
• 비트코인 1M or 10K
• 앱스타인 생존
• 러시아가 NATO 침공
• 지진 9.0 이상
• 250킬로톤 이상 운석충돌

중에 한개라도 걸리면 No고, 아니면 Yes
바이너리 옵션을 OR 조건으로 묶는 프라이싱? 쉬울거 같지만 각각이 독립이 너무 아니게 생겨서 감이 안오긴하네요

—
근데 한개는 걸릴만하지 않나?? 지금 확률은 엄대엄

클로드 또 터졌네요
이건 좀 심하지 않나.. 거의 하루에 2-3번씩 터진듯

작년 4분기 하이닉스 공장 가동률이 100퍼센트라던데
클로드는 지금 99퍼센트 깨지기 직전
업타임 대결 60만평짜리 반도체공장 승!!!

진짜 심오하네...
이거 보고 울었네요

안녕하세요 샌프란시스코에 잠시 와있습니다.
별로 기다리는 사람은 없겠지만 잠시 포스팅이 뜸했다리움...

앤쓰로픽 헤드쿼터가 샌프란에 있는데, 여기 웃긴게 진짜 사람들이 진지하게 시위하고 있음...
(사진은 제가 찍은거 아니고 트위터펌)
https://x.com/MichaelTrazzi/status/2035447418033254646

앤쓰로픽에서 화학무기 전문가를 연봉 4억에 채용중 ㅋㅋ
• 화학/폭발성 무기의 제조법을 클로드와 상담하려는 시도를 차단/조기탐지
• 화학/화학공학 박사 학위 요구
• 국제원자력기구나 방산업체 출신 우대

https://job-boards.greenhouse.io/anthropic/jobs/5140226008

핵전쟁 생존자들을 위한 오프라인 컴퓨터 셋업도구

갑자기 인터넷이 다 끊기는 세계관을 대비하기 위해, 내 컴퓨터를 미리 생존도구로 만들어주는 오픈소스 플젝이다리움
다양한 구성품을 한번에 쉽게 설치해주는게 핵심
• Ollama => 로컬 LLM 돌려주는 프레임워크. QWEN, GLM 등 원하는거 골라서 설치해놓으면 됨
• Kiwix => 오프라인 위키피디아
• Kolibri => 오프라인 코세라? 다양한 강좌들을 모아놓은 아카이브 같은 뭐시깽이인듯. 농사짓는법 + 도자기굽는법 + 물고기잡는법 공부 드가자..
• ProtoMaps => 오프라인 구글지도
• 그외 잡다한 유틸리티와 라이브러리들...

선택하기에 따라 다른데, 풀코스로 가려면 한 1-2TB 한다네요..
전쟁 + 좀비 + 대지진 + 운석충돌 + 외계인침공 등 대비하고싶으신 분은 미리 컴퓨터 하나 장만해서 깔아놓읍시다

https://github.com/Crosstalk-Solutions/project-nomad

한국 트위터에서 갑자기 "메타홍대" 이론에 대해 말이 많네요

홍대병 (1단계)
• 일반인 취향이 싫음
• 실리카겔, 아리애스터, 라디오헤드, 에반게리온, .. 어쩌구저쩌구

메타홍대병 (2단계)
• 일반인 취향 싫다고 지랄하는 애들 싫음
• "BTS 공연 잘하더라~ 왕사남 재밌게 보긴했지 ㅋㅋ" 등
• "야~~ 다 똑같아 인기많은데는 이유가 있어 ㅋㅋㅋ"

메타메타홍대병 (3단계)
• 일반인 취향 싫다고 지랄하는 애들이 싫다고 지랄하는 애들이 싫음
• 여기서부터는 이제 1-2단계 사람들은 듣도보도 못한걸 파기 시작

참고로 저는 홀수단계는 확실한거 같은데... 5단계..? 정도 아닐까 싶다리움