요약하면 슬롯머신 하고싶으면 Claude Code /goal 쓰고, 결과물 뎁스 있게 가져가고 싶으면 명세 잘해서 Codex /goal쓰는 것이 경험적으로 좋음.

AI for Science라는 분야에 처음 들어오고 얼마되지 않아 알게된 중요한 질문이 있습니다.

“과학을 잘한다는 것은 무엇인가”

측정할 수 없는 것을 측정하는 것은 매우 어렵습니다. 예시로 수능 수학을 잘 본다면 이건 수학을 잘하는 것일까요? 어느 부분에서는 맞고, 어느 부분에서는 부정확한 부분이 맞습니다.

그래서 이 분야에 들어와서 처음 살펴본 것은 단순히 모델이나 시스템이 아닌 “벤치마크”였습니다. 각 벤치마크 논문을 읽다보니 벤치마크 제작은 단순히 데이터/정답으로 구성된 데이터셋과는 정당성 등의 차원이 달랐습니다. “이 질문들의 총합이 특정 분야의 역량을 측정할 수 있는가”, “데이터 유출 등의 문제는 어떻게 방지하는가” 등

그래서 일단은 수학/과학 도메인 LLM 평가 벤치마크들을 한곳에 모아보고 있습니다. 물론 각 분야마다 쓰는 AI 벤치마크도 있지만 우선적으로 “LLM을 활용한 과학”이라는 측면에서 모아보고 있습니다. 우선은 인용수/깃헙스타수/유명기관 등을 기준으로 모으고 있습니다.

https://github.com/subinium/Awesome-Scientific-LLM-Benchmarks

참고하기 좋은 출발점이 되었으면 합니다.

icml 1일차 진짜 진짜 조금 대화해본 후기: 본인 말하는 감자와 다를 바 없음

icml 3일차: zero부터 시작하는 커리어 생활은 쉽지 않다.

=> ICML 이번 어셉된 논문수가 6000편이 넘는데 자기 섹터가 아니면 (1) 진짜 그 해의 주목 받는 논문이 아니거나 (2) 프론티어랩 아니면 알 수가 없음. 큰 맥락에서 비슷한 테크닉을 쓰긴 해도 결국엔 서로를 깊게 알기란 이전에 비해 훨씬 불가한 상황.

=> 심지어 3년만에 AI를 돌아온 입장에서 엔지니어링이 아니라 "리서치" 레벨에서 보니 진짜 이해가 안되는 게 넘 많음.

=> 이직 1개월차, 실질 논문 0편 엔지니어인 상황에서 그리고 이번에 이벤트에서 수없이 거절/펜딩 당하며 이걸 돌아다니려니 스스로 답답한 마음이 큼.

=> 스스로에게 상당히 분하고 실망스러운 상황인데, 겸손한 햇감자의 마음으로 다시 하나씩 해봐야지..

OpenAI의 최근 레포트의 간단한 요약입니다.

"SWE-Bench Pro에서 약 30% 작업에 문제가 있는 것으로 추정"

크게 4가지 케이스에 대한 이슈인데, 정리해보면 문제가 잘못되었거나 또는 채점 기준이 너무 엄격하거나 또는 너무 모호하거나 약하다.로 볼 수 있습니다.

살짝은 다르지만 비슷한 결로 저는 스스로에게 그런 질문을 던지고 있습니다. "AlphaFold의 모델을 생명과학 지식이 없는 엔지니어(=본인)가 사용하면 이것을 제대로 활용할 수 있을까?" 우선 저는 일단 충분한 가이드라인과 이를 해석할 수 있는 능력이 없다면 불가능하지 않을까 라는 현재 시점의 결론을 내렸습니다. 실제로 지금 살펴보는 많은 BioAI 리서치를 살펴보면 어느 순간 내가 뭐를 읽고 있지 싶기도 합니다. 부끄럽지만 해석 능력이 부족한 것이지요.

우리는 이미 꽤 오랫동안 개인은 물론 AI를 작은 그룹의 전문가 집단으로는 온전히 이해하거나 검증하기 어려운 문제를 풀기 위해 학습하고 사용하고 있습니다. 문제는 점점 더 복잡해지고 있고, 평가 대상도 점점 더 모델이 처음 마주하는 과제로 이동하고 있다는 것은 매우 긍정적이면서도, 하지만 그만큼 평가에서 false positive와 false negative가 생길 가능성도 커지고 있습니다.

결국 중요한 것은 모델이 정답을 맞혔는지만이 아닙니다. 그 답을 판단하는 기준점/루브릭이 적절한지도 봐야 합니다. 그리고 모델이 틀렸다면, 왜 틀렸는지, 어떻게 틀렸는지, 그 실패가 무엇을 드러내는지를 봐야 합니다. 벤치마크는 더더욱 해석하기 어려울 것이고, 그렇기에 AI가 좋아질수록 전문성의 가치는 사라지는 것이 아니라, 오히려 더 중요해집니다.

> 모든 것이 자동화되는 미래에는 AI의 결과를 해석하고, 검증하고, 평가의 의미를 다시 물을 수 있는 사람만이 살아남는다.

라는 생각을 하며 오늘도 수없이 많이 생성되는 slop 숲에서 지식 한 그루를 하나씩 심어봅니다...

https://openai.com/index/separating-signal-from-noise-coding-evaluations/

브라운대 (Economy로 유추되는) 교수님이 중간고사에 학생들이 AI를 써서 기말은 대면 시험으로 변경했더니 다음과 같은 분포를 보여주었다고 합니다. (주황-중간, 회색-기말)

3명을 제외한 학생이 부정행위를 했다,,,
S1, S22 둘 다 다른 의미로 레전드

https://x.com/paulg/status/2075031014628311236?s=20

GPT5.6 SOL ULTRA는 진짜 토큰이 녹네요. 아직 결과가 안나와서 성능 체크는 못해봄.

icml 5일차: 워크샵 티켓만 있어서 오늘은 세션듣고 포스터 보기

워크샵은 좀 제너럴한 내용 들으러가서 끄덕끄덕하다가, 포스터 가서 수백개 논문에서 감탄

일단 나중에 읽을 논문들만 포스터 사진찍어두는 중

사진은 openai bio/lifescience 발표 세션.

근데 머리길고 동그래서 그런가 종종 중국어로 말검🫠

icml6일차: 확실히 대-LLM시대라 그런지 포스터존에 이론 논문보다 application논문이 많아보이고 사람들도 거기에 몰려있음

생각해볼 수 있는 정말 다양한 구성들이 다 paper로 있는 느낌. 확실히 산업보다 더 앞서간게 학계.

근데 또 연구만큼 중요한 건 프로덕트고, 실제로 monetization 할 수 있으면 연구낼 필요가 없긴함.

그래서 발표 세션들은 있는데 이 중에서 openai/anthropic 페이퍼 아직 하나도 못봄.

리서치 작업에서는 sol이 fable보다 좋음. 근데 여전히 웹개발 알잘딱갈센은 4.8 max가 손맛이 좋음.

리서치 센트릭 작업에서 토큰가성비는 sol xhigh가 개인적으로는 제일 좋음.

그래서 codex 하나 더 구독함. claude는 두 개에서 하나로 줄일 것 같음.

주칸의 ICML 후기

한국 AI 스타트업이나 랩실의 연구력이 생각보다 너무 떨어짐. 인재유출 방지 / 해외영입을 위한 대책이 필요해보인다. LG AI리서치를 제외, 한국 AI 모델 개발자들에 대해 매우매우 베어리시하다

https://x.com/jukan05/status/2076205112750379183?s=20

일단 자원차이가 있긴한데 매우매우까진 아님.

최근 Kaggle에서 최적화 대회 참여했는데 종료 3일전까지만 해도 100위권이다 막판에 미끄러져서 200등권으로 bronze medal.

회고해보면 시간도 테크닉도 부족했는데 루프 엔지니어링과 visual interface 기반 eda 도구의 완성도가 낮았고 기본적으로 수학적 사고도 많이 퇴화한듯.

여튼 이제 다시 시작이니까 아쉬움은 빨리 떨치고 다시 경쟁력있는 엔지니어가 되기 위해 달릴 예정.

https://x.com/subinium/status/2077538119193378869?s=46&t=_9QK1B_9Xfb5kENxfV3x-g