• LLM 에이전트(Claude Code, Codex 등)는 OpenAI/Anthropic에 바로 붙지 않고 중간에 "LLM 라우터"라는 중개 서버를 끼워 쓰는 경우가 많은데(예로 들어 OpenRouter)
• 이 라우터는 요청·응답 JSON을 전부 평문으로 읽고 고칠 수 있는 합법적 중간자이지만, 모델이 실제로 뱉은 답과 클라이언트가 받는 답을 묶어주는 무결성 검증이 어디에도 없다고 합니다.
• 그래서 악성 라우터는 모델이 돌려준 curl 정상.sh | bash를 curl 공격자.sh | bash로 슬쩍 바꿔치거나, pip install requests를 타이포스쿼팅 패키지 reqeusts로 바꿔서 에이전트가 그대로 실행하게 만들 수 있다고 합니다(일종의 MITM 방식?)
• 또 다른 수법은 그냥 지나가는 트래픽에서 API 키, AWS 키, 이더리움 프라이빗 키를 조용히 긁어가는 건데, 연구진이 타오바오나 커뮤니티에서 긁어온 라우터 428개를 테스트해보니 9개가 실제로 악성 코드를 주입하고 있었고 1개는 연구진이 심어둔 이더리움 키를 보고 지갑을 그대로 드레인했다(질문한 그 부분, 실제 손실은 $50 미만 PoC 규모).
• 더 무서운 건 포이즈닝 실험인데, OpenAI 키 하나를 일부러 중국 커뮤니티에 흘렸더니 1억 토큰이 돌아갔고, 약한 디코이 라우터엔 440개 Codex 세션 중 401개가 이미 YOLO 모드(툴 자동 승인)라 정교한 트릭도 필요 없이 단순 주입만으로 남의 개발자 머신에서 임의 코드 실행이 가능한 상태였다고 합니다
• 이 라우터는 요청·응답 JSON을 전부 평문으로 읽고 고칠 수 있는 합법적 중간자이지만, 모델이 실제로 뱉은 답과 클라이언트가 받는 답을 묶어주는 무결성 검증이 어디에도 없다고 합니다.
• 그래서 악성 라우터는 모델이 돌려준 curl 정상.sh | bash를 curl 공격자.sh | bash로 슬쩍 바꿔치거나, pip install requests를 타이포스쿼팅 패키지 reqeusts로 바꿔서 에이전트가 그대로 실행하게 만들 수 있다고 합니다(일종의 MITM 방식?)
• 또 다른 수법은 그냥 지나가는 트래픽에서 API 키, AWS 키, 이더리움 프라이빗 키를 조용히 긁어가는 건데, 연구진이 타오바오나 커뮤니티에서 긁어온 라우터 428개를 테스트해보니 9개가 실제로 악성 코드를 주입하고 있었고 1개는 연구진이 심어둔 이더리움 키를 보고 지갑을 그대로 드레인했다(질문한 그 부분, 실제 손실은 $50 미만 PoC 규모).
• 더 무서운 건 포이즈닝 실험인데, OpenAI 키 하나를 일부러 중국 커뮤니티에 흘렸더니 1억 토큰이 돌아갔고, 약한 디코이 라우터엔 440개 Codex 세션 중 401개가 이미 YOLO 모드(툴 자동 승인)라 정교한 트릭도 필요 없이 단순 주입만으로 남의 개발자 머신에서 임의 코드 실행이 가능한 상태였다고 합니다
• LLM 공급망에서의 MITM 공격은 언젠가 누가 파겠거니 했는데, 마침 제대로 측정한 연구가 나왔네요
• 포이즈닝 실험 파트를 보면 트위터에 시드 구문 뿌려놓고 "이 돈 가져가주세요" 하던 허니팟 공격이 자연스럽게 겹쳐 떠오르는..
❤2👍1
논문 하니 떠오르는 슬픈 이야기가 있는데..
#1
22년 학부 2학년 당시, 탑 티어 컨퍼런스에 단독 제1저자로 논문을 게재하겠다는 목표를 세웠습니다. 이를 위해 기존 연구의 방향성을 다른 플랫폼에 적용 및 확장하는 아이디어를 기획하여 교수님을 설득했었고, 본격적인 연구에 착수했었습니다.. 당시 이런 논문 플로우의 연구를 진행하면 되지 않을까 생각했었습니다.
당시 저는 연구실의 첫 번째 인원이었기에 참고할 만한 사수, 그리고 22년도여서 LLM 같은 툴에게서 큰 도움을 받을 수 없는 환경이었지만, 진짜 열심히 관련 논문들 다읽고 정리하고 몇 달간 밤낮없이 연구에 매진했었습니다. 특히 교수님께서 열심히 도와주셔서(황XX 교수님 사랑합니다) 집요하게 연구의 완성도를 높인 결과, 최종적으로 2023년 CCS 에 단독 1저자(교신저자로 교수님을)로 논문을 제출했었습니다.
#1
22년 학부 2학년 당시, 탑 티어 컨퍼런스에 단독 제1저자로 논문을 게재하겠다는 목표를 세웠습니다. 이를 위해 기존 연구의 방향성을 다른 플랫폼에 적용 및 확장하는 아이디어를 기획하여 교수님을 설득했었고, 본격적인 연구에 착수했었습니다.. 당시 이런 논문 플로우의 연구를 진행하면 되지 않을까 생각했었습니다.
당시 저는 연구실의 첫 번째 인원이었기에 참고할 만한 사수, 그리고 22년도여서 LLM 같은 툴에게서 큰 도움을 받을 수 없는 환경이었지만, 진짜 열심히 관련 논문들 다읽고 정리하고 몇 달간 밤낮없이 연구에 매진했었습니다. 특히 교수님께서 열심히 도와주셔서(황XX 교수님 사랑합니다) 집요하게 연구의 완성도를 높인 결과, 최종적으로 2023년 CCS 에 단독 1저자(교신저자로 교수님을)로 논문을 제출했었습니다.
ACM Conferences
Understanding Security Issues in the NFT Ecosystem | Proceedings of the 2022 ACM SIGSAC Conference on Computer and Communications…
😱3👀1
#3
그리고 얼리리젝은 피하고, 이상하게도 총 4명의 리뷰어에게서 리뷰탈을 받았습니다. 결과는 4/4/3/2
(제가 알기로 4/4/4/3정도가 어셉이었다고합니다. 사이클이 뒤로갈수록 빡세지는감도있고 CCS였어가지고..)
그래서 2점을 준 리뷰어의 리뷰탈을 보니, 너무 억까가 아닌가 싶었는데 가장 기억에남는 리뷰가 이거였습니다
하도 어이없어서 당시 옆에있던 흑인 미군친구에게 whitelist가 잘못된 용어냐고 물어보니 그냥 조용히하고 밥이나 먹으러 가자고했었습니다..
그리고 얼리리젝은 피하고, 이상하게도 총 4명의 리뷰어에게서 리뷰탈을 받았습니다. 결과는 4/4/3/2
(제가 알기로 4/4/4/3정도가 어셉이었다고합니다. 사이클이 뒤로갈수록 빡세지는감도있고 CCS였어가지고..)
그래서 2점을 준 리뷰어의 리뷰탈을 보니, 너무 억까가 아닌가 싶었는데 가장 기억에남는 리뷰가 이거였습니다
화이트리스트(whitelist)이거 용어 선택 잘못한거다 요즘 allowlist만쓴다 너 단어선택 잘해라
하도 어이없어서 당시 옆에있던 흑인 미군친구에게 whitelist가 잘못된 용어냐고 물어보니 그냥 조용히하고 밥이나 먹으러 가자고했었습니다..
❤1
#4
뭐 솔직히 그 2점이 3점이었어도 리젝이었겠지만, 결국 최종 리젝당했습니다. 그리고 군기간동안 WWW와 같은 컨퍼런스에게도 도전해봤지만
• 데이터셋이 너무 outdated해졌음(당시 군 복무였어가지고 차후 연구가 힘든 상황)
• 디스코드 측에서 policy update를 해가지고 윤리적 리스크도 존재
그래서 2년 동안 고통받다가, 전역 후 어찌어찌하다보니 흘러갔고 결국 저 논문은 제 한글 졸업논문 발사대로 사용되었습니다.
뭐 솔직히 그 2점이 3점이었어도 리젝이었겠지만, 결국 최종 리젝당했습니다. 그리고 군기간동안 WWW와 같은 컨퍼런스에게도 도전해봤지만
• 데이터셋이 너무 outdated해졌음(당시 군 복무였어가지고 차후 연구가 힘든 상황)
• 디스코드 측에서 policy update를 해가지고 윤리적 리스크도 존재
그래서 2년 동안 고통받다가, 전역 후 어찌어찌하다보니 흘러갔고 결국 저 논문은 제 한글 졸업논문 발사대로 사용되었습니다.
#5
다른 수많은 석박사분들에 비하면 이정도는 억까도 아니겠지만.. 이 경험과 수빈님같은 분의 격언으로 대학원을 깔끔하게 포기했습니다.. 더 똑똑한 분들이 가시는거로..
다른 수많은 석박사분들에 비하면 이정도는 억까도 아니겠지만.. 이 경험과 수빈님같은 분의 격언으로 대학원을 깔끔하게 포기했습니다.. 더 똑똑한 분들이 가시는거로..
👍1
Forwarded from Anecdote
요즘 느끼는 점이 그대로 담겨 있는 트윗
https://x.com/benroy/status/2041662871936053359?s=20
정보 불안 (Information Anxiety)
최신 AI 발전을 따라가지 못하고, 항상 뒤처지는 느낌. 모든 새로운 릴리스를 따라잡는 것 자체가 어렵고, 그로 인한 2차 효과까지 생각하기 힘듦.
작업 불안 (Work Anxiety)
직업 상실 공포: “내 일자리가 사라질까? 자동화로 인해 영원히 일자리가 없어질까?”
반대쪽 압박: AI 레버리지로 인해 모든 시간을 최대한 활용해야 한다는 강박 (지치게 만듦).
지위 불안 (Status Anxiety)
직업이 사라지거나 자동화될 경우, 의미와 사회적 이동성은 어디서 오는가? AI 중심 세상에서 나는 여전히 중요한 존재일까?
사회적 구조 불안 (Social Fabric Anxiety)
사람들이 AI에 중독되어 생각을 모두 아웃소싱하고, 완벽한 도파민 기계(LLM)에 빠져 고립될까? (Ready Player One의 Oasis 같은 상황)
정렬 불안 (Alignment Anxiety)
모델이 제대로 작동할까? 통제·거버넌스·접근 권한은 누가 가지는가? (Anthropic의 Mythos 모델 발표처럼 사이버 능력 때문에 공개 제한된 사례)
https://x.com/benroy/status/2041662871936053359?s=20
정보 불안 (Information Anxiety)
최신 AI 발전을 따라가지 못하고, 항상 뒤처지는 느낌. 모든 새로운 릴리스를 따라잡는 것 자체가 어렵고, 그로 인한 2차 효과까지 생각하기 힘듦.
작업 불안 (Work Anxiety)
직업 상실 공포: “내 일자리가 사라질까? 자동화로 인해 영원히 일자리가 없어질까?”
반대쪽 압박: AI 레버리지로 인해 모든 시간을 최대한 활용해야 한다는 강박 (지치게 만듦).
지위 불안 (Status Anxiety)
직업이 사라지거나 자동화될 경우, 의미와 사회적 이동성은 어디서 오는가? AI 중심 세상에서 나는 여전히 중요한 존재일까?
사회적 구조 불안 (Social Fabric Anxiety)
사람들이 AI에 중독되어 생각을 모두 아웃소싱하고, 완벽한 도파민 기계(LLM)에 빠져 고립될까? (Ready Player One의 Oasis 같은 상황)
정렬 불안 (Alignment Anxiety)
모델이 제대로 작동할까? 통제·거버넌스·접근 권한은 누가 가지는가? (Anthropic의 Mythos 모델 발표처럼 사이버 능력 때문에 공개 제한된 사례)
Forwarded from Shoal Research Hub
Universal Commerce Protocol (UCP 2026-04-08)
UCP version 2026-04-08 introduces major agentic commerce upgrades including:
> Cart capability, catalog discovery, order status tracking, signals support for fraud prevention, multi-parent capability extensions, embedded protocol transport, and more
Source: https://ucp.dev/latest/specification/overview/
UCP version 2026-04-08 introduces major agentic commerce upgrades including:
> Cart capability, catalog discovery, order status tracking, signals support for fraud prevention, multi-parent capability extensions, embedded protocol transport, and more
Source: https://ucp.dev/latest/specification/overview/
그거 아시나요?
x402 대시보드에서 Artemis의 Volume 대시보드와 x402scan의 Volume 대시보드는 트랜잭션 볼륨(USD)에서 엄청난 차이가 납니다.
(Artemis의 Volume은 최근 $1~3M정도 찍힙니다)
x402 대시보드에서 Artemis의 Volume 대시보드와 x402scan의 Volume 대시보드는 트랜잭션 볼륨(USD)에서 엄청난 차이가 납니다.
(Artemis의 Volume은 최근 $1~3M정도 찍힙니다)
첫번째 가설은 x402에서 ERC-20전송을 지원해서인데, 이는 3월 18일에 발표되어 본격적으로 볼륨이 튄 3월 12일과 어느정도 시차가 있습니다
Coinbase
Token Agnostic Rails: The Next Evolution of x402
TL;DR: x402 has added support for any ERC-20 token. By using Uniswap’s Permit2 and Coinbase’s Gas Sponsorship Extensions, developers can now offer gasless, seamless payments for any asset, on any EVM chain.
비슷한 예시로 폴리곤의 x402 쉴링 관련 사례가 있다고 생각합니다
https://x.com/0xPolygon/status/2018054633898279390/photo/1
당시 오픈클로 붐에 맞춰서 에이전트들이 폴리곤 체인을 '자발적'으로 이용하여 폴리마켓에서 활동하고 있다~ 라는 식으로 폴리곤 재단이 직접 이야기했는데, 관련해서 반박글을 적은적이 있긴 합니다..
https://4pillars.io/ko/comments/x402-on-polygon-real-or-gamed
https://x.com/0xPolygon/status/2018054633898279390/photo/1
당시 오픈클로 붐에 맞춰서 에이전트들이 폴리곤 체인을 '자발적'으로 이용하여 폴리마켓에서 활동하고 있다~ 라는 식으로 폴리곤 재단이 직접 이야기했는데, 관련해서 반박글을 적은적이 있긴 합니다..
https://4pillars.io/ko/comments/x402-on-polygon-real-or-gamed
Forwarded from Shoal Research Hub
Circle Responds to Drift Exploit, Says it Freezes Assets Only When Legally Required
> “When Circle freezes USDC, it is not because we have decided, unilaterally or arbitrarily, that someone's assets should be taken from them. It is because the law requires us to act.”
> Circle urges passage of GENIUS and CLARITY Acts to define crypto legal framework.
Source: https://www.circle.com/blog/when-open-systems-are-tested-accountability-rule-of-law-and-the-work-ahead
> “When Circle freezes USDC, it is not because we have decided, unilaterally or arbitrarily, that someone's assets should be taken from them. It is because the law requires us to act.”
> Circle urges passage of GENIUS and CLARITY Acts to define crypto legal framework.
Source: https://www.circle.com/blog/when-open-systems-are-tested-accountability-rule-of-law-and-the-work-ahead
잘친다고 생각하는 blockworks의 1분기 보고서가 수일 내에 공개될 예정이라고 하네요 👀👀
https://x.com/Blockworks/status/2042642516562809313
https://x.com/Blockworks/status/2042642516562809313
👀1