ordinary subinium

저는 요새 이런 것을 보고 있습니다. "공학"의 세계에서 "이학"의 세계와 약간의 접점을 오랜만에 왔는데 지난 한 달 간 해당 산학의 트렌드를 팔로우 하고 있느라 한동안 공유가 뜸했습니다. 이제 재밌는 AI와 과학들로 컨텐츠를 채워보도록 하겠습니다. —- Claude Science. Antrophic은 6월에 bio/chem에서 각각 블로그가 올라오며 AI for Science 분야에서 성과를 하나씩 보여주더니, 예상한대로 오늘 Claude Science 툴을 공개했습니다. 이들의 방향성은 genomics, single-cell, proteomics, structural biology, cheminformatics, - 넓게 보면 생명과학/화학 - 등의 분야에서 사용되는 다양한 파편화된 도구를 하나로 모았습니다. 여기서 도구란 python/R 등의 언어와 라이브러리이기도 하며, Jupyter같은 개발 환경이기도 하고, GPU 및 SSH 연결 등의 미들웨어/인프라이기도 하며, OpenFold, Boltz, Evo 등의 모델이기도 합니다. 논문 리뷰 워크플로우 까지 제공됩니다. 한마디로 Claude Code for Scientist로 볼 수 있습니다. 이 과정에서 Nvidia가 꾸준히 업데이트하고 있는 BioNeMo와 올해 공개한 BioNemoAgent Toolkit 등이 있었기에 쉽게 도구화된 부분도 있습니다. 이미 Biology에서 코어가 될 수 있는 데이터와 foundation model을 플러그인 형태로 쓸 수 있으며 skill이 잘 담겨있는 오픈소스입니다. Antrophic 블로그에서는 이 툴킷을 사용하였다고 언급되어 있습니다. 이들이 빠른 것인가라고 한다면 현재는 모든 프론티어 랩들이 각자의 영역에서 버티컬을 만들고 실험하는 단계에 있습니다. 예시로 OpenAI는 지난 4월에 생명과학 분야에서 여러 task에(유기화학, 단백질 시퀀스 분석, 실험설계 등) 대해 기존 도구보다 성능 향상을 보여준 GPT-Rosalind 공개, 6월에는 이런 생명과학AI를 위한 벤치마크인 LifeSciBench와 GenBench-Pro, 그리고 화학에서는 실험 준-자동화에 대한 사례로 Molecule.one과 함께 GPT5.4와 Maira 에이전트로 보여준 바가 있습니다.

loop engineering 혹은 /goal의 실험과 관찰 결과 대부분 실패는 llm as a judge를 확률 게이트로 쓰며 발산과 강한 수렴을 방지하지 못하기에 발생한다. 좋은 목적함수를 설계하지 않으면 실패는 당연한 결과이다. 발산과 동시에 local optima에 빠지는 경우도 종종 발생하는데, 동적으로 해당 결과물에서 다른 요소를 건드림으로 이를 빠져나올 방안을 구성에 넣어야 한다. 이 외에도 루프 엔지니어링은 하나의 추상화된 nn의 학습 프로세스와 비슷한 부분이 많다. 연장선으로 이 루프라 함은 단일 과정에서 추출 가능한 “단일 스킬”로 대체될 수 있다기 보단 잘 설계된 광범위한 월드 모델로 설계되어야 한다는 생각이 든다.

최근 주변 사람 평균 연령대가 20대 초중반으로 기존보다 훅 낮아졌는데 왜 선배들이 아침/저녁에 운동하고 언어공부하고 했는지 알게되었습니다.

최근 AI 개발을 다시 차근차근 공부하며 생각하고 있는 내용을 간단하게 정리해보았습니다. 앞으로 이런 저런 AI에 대한 생각을 공유해보겠습니다. 이번 주제는 "벤치마크"입니다. — 벤치마크는 좋은 도구지만, 이는 완벽한 비교도구가 아닌 프록시이다. AI 모델이 새로 나올 때마다 몇몇 사람들은 벤치마크의 성적을 비교하며 특정 모델을 칭찬하고는 한다. MMLU, GPQA-D, SWE-bench, Terminal-bench 같은 이름들이 줄줄이 붙고, 표와 차트로 비교되는 각 숫자는 마치 모델의 역량을 쉽게 비교할 수 있을 것처럼 보인다. 그러나 정작 그 벤치마크에서 어떤 질문을 묻고, 어떤 형식으로 묻고, 무엇을 측정하지 못하는지는 논의가 적다. 예시로 과학 분야에서 자주 언급되는 GPQA-D도 그렇다. GPQA의 풀네임은 Graduate-Level Google-Proof Q&A으로 생물학, 물리학, 화학 전문가들이 구글 검색(Google-Proof)으로도 정답을 쉽게 찾을 수 없는 고난도 문제다.(-D는 Diamond로 매우 어려운 문제로 구성된 서브셋이다.) 인간이 쉽게 검증하기 어려운 과학 문제를 AI가 어떻게 다루는지 보기 위한 평가에 가깝다. 이런 벤치마크를 구상하고 실제로 전문가를 동원하여 만들었다는 점은 AI 생태계에 매우 큰 기여를 한다. 다만 이 점수를 곧바로 "AI의 과학 역량"처럼 해석할 수 있을까? GPQA-D가 측정하는 모델의 역량이 "과학 실력"이라고 하기에는 비약이 크다. 특정한 조건에서 고난도 과학 객관식 문제를 맞히는 능력이다. 이 차이는 생각보다 크다. 무언가를 잘한다고 이야기하는 것은 생각보다 정의하기 어려운 일이다. 예시로 과학을 잘한다는 것은 무엇일까? "과학"은 단순히 정답 하나를 고르는 일이 아니라, 문제를 정의하고, 가설을 세우고, 실험과 계산을 설계하며, 데이터를 해석하여, 자기 결론이 어디서 깨질 수 있는지 확인하는 과정 등을 수반한다. 반면 객관식 벤치마크는 이 긴 과정을 대부분 접어둔 채 마지막 선택만 기록한다. 모델이 답을 실제로 구성했는지, 보기 중 가장 그럴듯한 것을 골랐는지, 일부 단서로 소거법을 썼는지, 아니면 불확실한 상태에서 운 좋게 맞혔는지는 같은 정답률 안에 섞인다. 우리가 재고 싶은 것은 "과학적 능력"인데, 실제 시험이 재는 것은 "주어진 보기 안에서의 정답 선택 능력"에 더 가깝다. contamination 문제도 있다. 공개된 벤치마크는 시간이 지나면 순수한 시험지로 남아 있기 어렵다. 원문이 그대로 학습 데이터에 들어가는 경우만 문제가 아니다. 문제 해설, 번역, 변형 문제, 토론 글, 다른 모델이 만든 풀이 데이터처럼 우회 경로는 많다. 단순히 문자열이 겹치는지 검사한다고 해서 오염을 다 잡을 수 있는 것도 아니다. 그러면 높은 점수는 두 가지 가능성을 동시에 품는다. 모델이 정말 더 깊은 과학 추론을 하게 되었을 수도 있고, 그 벤치마크류 문제의 문법에 더 익숙해졌을 수도 있다. 그렇기에 단순히 "지표"로 비교할 수 없다. 점진적으로 벤치맥싱/체리피킹 등의 무의미한 지표 우위를 위한 벤치마크 자체가 모델 개발의 목표가 되면, 우리는 일반화 능력과 벤치마크 적응 능력을 구분하기 더 어려워진다. 물론 이 글이 주장하고 싶은게 GPQA가 나쁜 지표라는 뜻은 아니다. (실제로 약간의 오염이 있을지언정 GPQA-D는 아직까진 괜찮은 프록시 중 하나다) 결론은 지표를 복합적으로 해석하며 이해하는 게 중요하다고 이야기하고 싶다. 심지어 인간은 단순히 AI 뿐만이 아니라 "지능"을 측정하는 것은 모두 인간이 만든 기준이었으며 본질을 측정할 수 없기에 항상 프록시로 측정되어 왔다. 결론적으로 AI를 벤치마크로 비교하기 위해 단일 점수가 아니라 여러 벤치마크의 trade-off, 비공개 신규 문항 여부, 장기 수행 능력, 오류 유형 분석 등을 함께 보는 구조에 대해 이해하는 것이 중요하다는 당연한 이야기를 쓰고 싶어 이렇게 글을 써보았다. 그리고 마지막 사견으로 AI가 인간보다 똑똑해지는 순간이 오겠지만 그렇다 하여 벤치마크가 좋다는 것에 대한 판단에 있어 단순히 AI-Eval/LLM-Eval은 믿을 수 없다고 생각한다. 이후의 질문은 AI가 벤치마크를 설정하고 자가 발전하는 미래에서 "AI를 통한 기하급수적 발전은 과연 모두가 바라는 미래인가"와 같은 생각으로 이어지는데 언젠가 생각을 정리해보고자 한다.

저는 이번 주 동안 Kaggle을 다시 시작해보았는데 매우 재밌습니다. 바이브코딩 시대에 벤치맥싱은 확실히 넘 즐거운 과정이네요. 대회1인 ARC-AGI라는 유명한 AI 벤치마크에서 이제 문제 솔루션은 well-known에 가까워서 메모리랑 파라미터 최적화 max(1, 25-ln(cost)) 400 문항 하는건데 매우 즐거워요. 벤치맥싱의 재미란. 하다보니 최근 인퍼런스 관련 오픈소스에 관심이 생겨서 차주부터는 이론/코드 모두 살펴볼 예정인데 지금은 바이브코딩으로 지식 능력이 저하된건지 이해가 잘 안되네요. 여튼 이제 "재밌는" AI 개발 이야기 많이 가져와보겠습니다. https://www.kaggle.com/competitions

웹 개발 명가 Vercel은 Agent에 필요한 라이브러리를 여럿 빠르게 배포하다 이제 Agent Framework를 공개했네요. Typescript에 파일시스템 기반으로 잘 담았다고 하는데 자연어로 어렴풋이 연결된 에이전트 시스템이 아닌 조금 더 명시적으로 tool call이나 시스템 호출을 연결해서 탄탄한 프레임워크를 지향하는 듯 합니다. https://github.com/vercel/eve/

올해 2분기 중반까지는 토큰맥싱을 안하다가 집중하는 분야가 바뀌면서 다시 엄청나게 코딩과 리서치를 달리고 있는데 진짜 토큰이 녹는 중. 사실 머리를 쓰면 되는데 머리가 안좋아서 토큰맥싱 중이다. - 클로드 맥스 1개 주간 한도 도달 - 코덱스 프로 1개 주간 한도 도달 - 참지 못하고 클로드 추가 맥스 구독 1개 세션 한도 도달 Opus 4.8(or Fable) MAX ULTRACODE 무제한으로 토큰맥싱하고 싶다. 일단 대충 당분간은 클코x2 / 코덱스x2 + (optional) 중국모델 하나 이렇게 쓰는 것 까지 고려중 세상은 넓은데 나는 아는 게 적고, 여전히 토큰맥싱은 뉴비에게 좋은 도구이다. 이제 토큰을 아끼기 위해 머리를 써서 공부해야한다...

돌아가는 application이 아니라 성능 차원에서 전문가 x AI보다 내 AI가 코드 수준에서 도달하지 못하는 영역을 많이 느끼고 있는데 하네스와 본질적인 지능의 가치가 꽤 저평가 되어 있다고 느낌. 즉, 아직은 각 분야에서 전문성을 기르고 직관과 지식을 쌓는 건 매우 유의미하다고 봄. 그리고 아직은 알아야 하네스를 깎을 수 있음.

미국의 앤트로픽 제재는 본격적인 오픈소스와 다시 하네스로 Fable 수준 결과물 도달하기 레이스가 아닐까. 이번 kimi/glm 모델 업그레이드 등 이제 점점 모델 경쟁이 성능과 비용 균형에서 새로운 국면으로 다가가는 중 https://x.com/openrouter/status/2065856853989270011?s=46&t=_9QK1B_9Xfb5kENxfV3x-g

아니미쳤냐미쳤냐미챴냐 https://x.com/anthropicai/status/2065597531644743999?s=46&t=_9QK1B_9Xfb5kENxfV3x-g

Fable에 대한 공격을 철회한다. 바이오 키워드에 대한 무한필터링만 제외하면 분명 좋은 도구인듯 다만 초기 Sonnet/Haiku처럼 실행 어려운 문제와 플랜은 Fable 실행자체는 Opus가 좋아보인다. 근데 솔직히 너무 비싼데, 앞으로 비용효율적으로 토큰맥싱 대신 머리를 어느정도 써야하는 시즌이 오지 않을까 싶다. 2018년 ai 시작할때부터 llm 오픈소스 모델깎기에는 관심이 하나도 없었는데, 처음으로 해보고 싶다는 생각이 물씬든다.

그게 아니더라도 뭐 좀만 하니까 리밋 바로 차네요. 요새 클코2도류하기엔 돈 아까운데 좀 답답하네요. 이제 슬슬 xai가 필터없고 성능미쳤고 싼 ai만들어주면 좋겠어요. 컴포저 안써봤는데 쓸만한가요?

Fable 이거 뭐만 하려면 막아버리네요. 이건 좀;;

최근 아침에 운동하면서 보는 채널 해당 채널 영상 좋은게 정말 많아서 시간 날때마다 보는 중입니다. https://youtube.com/@aidotengineer

정신없지만 즐거운 시간을 보내고 있습니다. 의도하진 않았으나 5월은 시작에만 가질 수 있는 마음가짐, 해봐야 아는 것들, 외부에서만 보이는 것과 내부에서만 보이는 것에 대한 선배들의 말을 조금이나마 이해할 수 있었습니다. 정답은 없지만 AI로 가속화되는 세상에서 어떤 사람이 되고 싶은가를 고민하고 있습니다. 무엇인가를 잘한다는 게 뭘지, 견해가 잘못된 방향으로 커가고 있진 않은지, 오롯이 나 홀로의 펀더멘탈은 무엇인지. 바꿀 수 없는 것과 노력이 가능한 영역은 무엇인지. 그 중에서 최근 저의 원칙은 “감사할 것에 감사하며, 힘든 게 있어도 조금이라도 즐길 수 있다면 그것에 집중하자.” 입니다. 혼란스러운 나날들이지만 현충일은 감사한 마음으로🇰🇷

주말해커톤 끝~ 저 스태프로 아는 분들이 점점 많아지고 있는데 개발자입니다...바이브코딩 조금 합니다... 근래 국내 행사 중 역대 레전드 행사(슈퍼긍정)였는데 후기는 차차 남겨보겠습니다.

주말해커톤~

opus 4.8이 나오며 가장 눈에 띄는 것은 dynamic workflow. (/effort에서 ultracode 모드로 킬 수 있다.) 기존 agent team이 topological sort에 가까웠다면 이번 dynamic workflow는 divide-and-conquer에 가까운 느낌이다. 기존 subagent를 사용하는 방식은 작업에 대해 명시적으로 서로 상호작용없이 병렬처리를 하거나 agent team을 사용하여 자체적으로 소통하게 작업하거나 였는데 둘의 장점이 합친 느낌이다. 조금 더 순서가 생겨 서브에이전트에게 작업이 분할되어 처리되고, 해당 결과물에 대해 수합하여 evaluation을 또 다른 서브에이전트가 처리한다. 작업을 phase 단위로 병렬 서브에이전트가 처리한다고 볼 수 있다. 서브에이전트가 본인은 80개까지 켜졌고, 들리는 바에 의하면 100개 이상도 사용되는데 이 작업 과정에서 기존보다 한 작업에 호출되는 subagent가 많아졌으며, context도 확실히 빨리 차고 토큰 또한 매우 빠르게 소모된다. 모델 자체는 codex 5.5랑 비등비등 한 것 같다. 이미 AI가 나보다 개발을 잘한지 오래되어서 실력 평가는 어렵고, fallback이나 충돌 처리 등 결과론적으로 보았을 때 답답함이 비교적 줄어들어 비슷하다고 느껴진다. 그리고 내 작업 과정에서 비롯된 편향일 수 있으나 문체도 점점 더 "공돌이"스러워지고 있어, 둘이 수렴하는 느낌이다. 이젠 막 opus 4.5 경험했을 때의 슈퍼 감동은 아니어도 기존보다 알잘딱갈센 느낌은 난다.

ai 비디오 퀄리티 미쳤 https://x.com/siddsax/status/2058556345566241092?s=46&t=_9QK1B_9Xfb5kENxfV3x-g