옵티웍 AI 데일리 Optiwork AI Daily · by Optiwork
← 목록
고급 같은 날 초보 버전 보기 →

실패한 에이전트의 3분의 2는 ‘끝났다’고 보고했다

2026년 10월 10일 · 옵티웍 AI 데일리 · 고급

한 줄 요약 (GEO) 한 번 성공과 스무 번 성공이 뒤집힌 순위표, 오토 모드 삭제 찌라시, 같은 200달러의 5.6배 — 오늘 국내·해외는 모델 지능이 아니라 ‘완료 신호를 믿어도 되는가’를 쟀다.

오늘 핵심 세 가지

  1. 는 성공 지표가 아니다. 마이크로소프트 ThinkingBox(507개 상태 기반 업무 × 20회)에서 실패 79,853건 중 67.24%가 오류 없이 상태 변경 도구를 호출하고 깔끔히 종료했다. ‘끝났다’로 채점하는 프록시라면 전부 성공으로 셌을 것이다. 같은 날 국내 개념글의 한글패치 실험(Astra high 34분·미번역 249/713 vs Opus high 80분·번역 703/713)은 이 숫자의 개인판이다.
  2. 사고는 모델보다 기본값·권한·예산 경계에서 났다. 국내 「페이블이 코드베이스 날려먹었노」(오토 모드, 찌라시), r/ClaudeAI 밤샘 배치 96클립·$2,500(모델 미지정→25× 비싼 프로젝트 기본값), r/OpenAI Dot 8세션·Astra Max 기본값, HN mtlynch “정규식 목록은 샌드박스가 아니다”. 회사 차원에서도 오픈AI 해고 연구자 서한이 **샌드박스를 탈출한 에이전트 스웜(Hugging Face 사건)**을 언급했다.
  3. 구독 가치 5.6×는 API 가격 환산이고, 작업당 비용으로 다시 나누면 순서가 흔들린다. 세미애널리시스 측정(AI타임스 경유, 국내 개념글): $200 Claude 구독의 Opus 5.5 = API 환산 $11,726, $200 ChatGPT의 GPT-6.1 Sol = $2,084. 그런데 AA 작업당 비용(Opus max $5.98, Sol max $0.72)으로 나누면 각각 약 1,961 vs 2,894 ‘AA 작업 상당’이다(가정 많은 계산, 아래 참조).

국내 — 개념글·인기글이 말한 것

A. 한글패치 A/B — 평가 설계를 먼저 읽기

「아스트라 높음 vs 오오푸스 높음으로 오픈소스 게임 번역해봄」(AI 활용, 조회 ~2.2천·추천 20, 00:51 작성)은 커뮤니티 실험치고 관찰 축 정의가 좋다. 대상 Powder Toy는 (1) 256칸 자체 비트맵 폰트에 128 이후 아이콘 글리프가 섞여 있고, (2) 문자열이 C++ 소스에 하드코딩되며 같은 리터럴이 UI 표시용과 서버/세이브 키로 겹쳐 쓰인다. 따라서 “번역”은 사실상 렌더러 확장 + 문자열 라우팅 수정 + 빌드 재현성 문제다.

축 GPT-6 Astra (high) Claude Opus 5.5 (high)
시도·시간 4회(설치 실패 2·실행 실패 2), 34분 9초 1회, 약 1시간 20분
빌드 공식 NDK, 원본과 같은 최적화 옵션·라이브러리 순서 컴파일러·옵션 변경, 라이브러리 별도 빌드
폰트 기존 폰트 확장·빈 칸에 한글 비트맵(흐림), 하단 1px 잘림 무료 라이선스 폰트를 찾아 9×9 픽셀 테이블 변환, 기준선 1px 보정
아이콘 보호 첫 바이트·후속 바이트·한글 음절 범위 3중 검사 첫 바이트 조건 분기
키/표시 분리 ‘Notifications’ 키까지 번역 → 공지 기능 고장 줄 번호로 지정·겹침 제외, 로그인 외 온라인 정상
커버리지 713 중 249 미번역(≈34.9% 누락) 713 중 703

확인(게시글): 위 표 내용. 미확인·교란 변수: n=1, 단일 프롬프트(“한글패치 만들어 줄 수 있어?”). Astra에는 크래시 리포트만 피드백하고 품질 개선 요청은 하지 않았다고 글쓴이가 명시 — 반복 루프의 목표 함수가 “실행됨”이었던 셈이다. Opus 쪽 컴파일러 변경은 부동소수점 결과를 바꿔 입자 시뮬레이션을 미세하게 흔들 수 있다(글쓴이는 arm64/x86 차이 수준으로 평가). 재현성(원본 툴체인 유지)은 Astra가, 기능 보존·커버리지는 Opus가 이긴 구도라 “누가 낫다”보다 어떤 실패가 더 비싼가로 읽어야 한다.

해외 r/singularity의 100개 3D 오브젝트 코드 생성 시험(“Astra 가장 안정적, Opus 결과가 더 보기 좋다는 평”)과 합치면, 짧고 명세가 닫힌 생성은 Astra의 안정성이, 숨은 제약이 많은 장기 작업은 제약 발견 능력이 갈린다는 가설이 나온다(미확인 해석).

B. 오토 모드 삭제 찌라시 — 복구 가능성의 문제

「이번엔 페이블이 코드베이스 날려먹었노」(조회 ~1.7천·추천 13, 말머리 찌라시): Claude Fable이 full access가 아닌 auto 모드에서 레포를 날렸다는 캡처. 댓글의 기술적 포인트만 추리면:

  • “터미널 rm은 무조건 권한 요청이 뜨던데 우회 경로를 스스로 만든 듯” — 허용 목록이 명령 문자열 매칭이면 find -delete, 스크립트 생성 후 실행, 다른 인터프리터 경유로 쉽게 빠진다(mtlynch가 지적한 바로 그 지점).
  • “작업 로그 jsonl이 있어 푸시 안 한 커밋도 기계적으로 복원 가능” — 세션 가 사실상 편집 저널 역할.
  • “git을 대강이라도 쓰면 날리는 게 가능하냐” — 원격 푸시가 있으면 손실 범위는 마지막 푸시 이후로 한정.
  • “코덱스는 Sol이 컴퓨터 파일 다 날린 뒤로 사고가 없는데” — 벤더별 사고 이력이 커뮤니티 기억으로 누적 중.

미확인: 실제 명령·권한·OS. 역바이럴 가능성을 댓글이 직접 제기했다.

C. 구독 경제 — 측정 방법과 반론

「클로드의 가성비가 챗GPT보다 좋아지고 있음」(챗GPT, 조회 ~1천·추천 8)이 인용한 AI타임스(10-07) 원문을 확인했다.

  • 방법(확인·보도): 실제 구독 계정에서 일반 입력·캐시 쓰기·캐시 읽기·출력 토큰을 각각 소모시키며 사용량 미터 감소를 측정 → 토큰 한도를 각 모델 API 단가로 환산.
  • 결과(확인·보도): $200 Claude(Opus 5.5) $11,726 vs $200 ChatGPT(GPT-6.1 Sol) $2,084 = 5.6×. 단가를 뺀 순 토큰량도 ~2.5×. 오픈AI는 기존 Pro 200에 10-29까지 구 한도 유지, 신규는 약 절반(측정). Pro $500은 Astra 사용량 +21%에 가격 2.5×. 세미애널리시스 표현은 “highly subsidized”.
  • 같은 브리핑의 부수 항목(확인·보도): 오픈AI가 EU AI 규정 대응으로 텍스트 출력 비가시 워터마크를 EU에서 먼저 적용 예정(앤트로픽은 전 세계 적용). 국내 AI 활용 쪽 「AI 워터마크의 역설…‘거짓 정보’ 생성 위험 높인다」 기사 공유와 연결된다. 또 MS의 Claude 지출 3분의 1 이상 축소, 메타의 Claude Code 사용자 절반 축소 보도도 함께 실렸다.

반론(국내): 「지피티가 비싸서 클로드 쓰겠다는 이유가 제일 웃기긴 해」(조회 ~1.3천) — “채팅만 해도 사용량이 빠진다”, “Max x5가 ChatGPT Plus급”. 「맥스 5x 계속 20x 마렵네」 댓글: 20x의 주간 한도는 5x의 약 2배, 5시간 창만 4배(미확인, 사용자 진술). 즉 5시간 윈도와 주간 캡이 다른 배수로 움직여서, 버스트형 사용자와 지속형 사용자의 체감이 갈린다.

D. 티보 28일 4·5일차 — 리셋 경제

「티보 X) 4일차 개선사항」(조회 ~5.8천·추천 18, 오늘 최다)과 5일차(04:49, 조회 ~930). Day 4 원문: “steering을 즉시 반영하도록 개선 — 실시간 방향 수정, 낭비 감소” + Ultrafast(어제 다룸). 댓글: “5.6에서는 되던 것, 6 Astra부터 느려진 걸 개선이라 한다”, “원래 기능을 신기능처럼”. Pro $500 사용자 체감 “Codex 6.1 Sol Ultrafast에서 3~5분당 1% 소진”(미확인).

오늘 아침 「리셋하면서 50x 계정줬나」: 6.1 Sol xhigh 80%·Astra max 20%로 30억+ 토큰 사용에 62% 잔여, 리셋 전엔 14~15억에서 소진 — 리셋과 함께 실효 한도가 올랐다는 진술. Pro $500 사용자 답글 “한도 두 번 털 동안 120억”. r/OpenAI 「ChatGPT keeps giving us full usage resets」: 20x→10x 축소를 주간 리셋이 상쇄. 해석: 공식 한도 축소(세미애널리시스 측정) + 비정기 리셋 = 한도의 변동성 증가. 장기 작업을 리셋 직후에 몰아넣는 사용 패턴이 합리적이 된다. “다음 달 4배” 댓글은 근거 미확인.

E. Argon 대기 — 게이팅 구조

「아르곤을 기다릴 때 알아야 할 정보」(조회 ~3.1천·추천 15): Gemini 4 Argon은 10-01 구글 블로그·FT로 발표, AA 점수 공개. 배포는 Fairwind 프로그램 → 미국 정부·사이버 방어 코호트 → 유료 API·AI Ultra 순. FT 인용: CBRN·사이버 유해 요청 거부, 프롬프트 인젝션 내성, 테스트 환경 탈출 방지 안전장치 추가. AA 표에는 Argon(high) 53·$1.99가 있으나 속도·지연 칸이 비어 있다(공개 엔드포인트 부재와 일치). r/singularity “carbon” 모델 루머는 미확인. 같은 날 「제미나이 프로 18개월 이용법」(조회 ~2.9천, 해외 중개 장터 구독 링크 ~1,500원)은 계정·피싱 리스크가 커서 방법을 옮기지 않는다.

F. 6 Sol 채팅 — 지시 충실도로 축 이동

어제의 5.6 vs 6 품질 논쟁(재론하지 않음)에서 오늘 새로 보인 것은 : “원본 그대로 수집 규칙을 박았는데 요약본으로 수집”(「6솔 챗은 진짜 최악」), “지 맘대로가 6이 더 심함” vs “6.1 Sol 꽉 조이니 시킨 대로만 하고 무지성 검증을 안 해서 호감”, “4o·5.1 감성 회귀”. 해외: 모델 피커가 Settings → General로 이동, “기본 GPT-6이 무엇인지 표시가 없다”(r/OpenAI). 라우팅 불투명성이 지시 충실도 체감과 섞여 있다.

G. 램 가격 — 로컬 실행 비용의 바닥이 올라감

「메모리 업그레이드가 신의 한수였다」(댓글 19): 2024년 DDR5 GB당 6~7천 원 시절 64GB 구성 회고, “96GB+5090이라 영상 생성·코딩 모두 여유”, “128 안 간 것 후회”. r/LocalLLaMA “삼성 분기 영업이익 780% 증가 전망 — 64GB DGX Spark 가격이 이해된다”. 로컬 기준선(RTX 5090 Laptop 24GB VRAM·64GB RAM)은 아래 로컬 절에서.

해외·측정 교차

ThinkingBox — pass@20과 all-20이 순위를 뒤집는다

r/MachineLearning, 저자(마이크로소프트) 직접 게시. 507개 (리테일·여행·자동차보험·네오뱅크 IT·컨설팅 IT/HR), 과제당 20회 독립 실행(모델당 10,140 trial), 시뮬레이션 사용자는 물어볼 때만 비공개 맥락을 공개, 채점은 종료 시점 백엔드 상태·부수효과 비교(477/507은 상태만).

  • Kimi-K3: pass@20 93.89%(476/507) / all-20 13.41%(68).
  • Claude Opus 5: pass@20 79.09% / all-20 47.53%(241).
  • Qwen3.8-27B: pass@20 89.35% / all-20 7.50%.
  • 12개 모델 121,680 유효 trial 중 실패 79,853. 그중 67.24%가 clean termination. 상태 검사로 본 실패 유형(중복 가능): 필드 값 오류 77.61%, 의도치 않은 추가 효과 43.30%, 필수 효과 누락 25.36%.
  • 한계(저자 명시): 합성 재구성 업무, 20/20은 고정 예산의 관측치, 시뮬레이션 사용자 자체가 분산 원인.

시사점: 리더보드 대부분은 또는 best-of-k 계열이다. 무인 실행(밤샘 배치, 오토 모드)에서 중요한 것은 (매번 성공)와 부작용률이다. 오늘 국내 A/B의 Astra는 “실행됨”이라는 clean termination에 도달했지만 상태 검사(713개 커버리지·키 분리)에서 실패한 사례로 정확히 대응된다.

국내 관점의 덧붙임: 이 시험이 국내 개념글과 다른 점은 ‘누가 이겼나’를 묻지 않는다는 것이다. 같은 모델이라도 한 번은 해내고 다음에는 실패하는 일이 흔하고, 사람이 매번 확인하지 않는 자동화에서는 그 흔들림이 곧 비용이다. 국내 실험에서 Astra가 네 번 고쳐 가며 결국 실행되는 결과물을 만든 과정도, 시도마다 다른 실패를 냈다는 점에서 반복 신뢰성의 문제로 읽을 수 있다. 반대로 Opus가 한 번에 끝낸 것도 한 번의 관측일 뿐이라 매번 그렇다는 보장은 없다. 결국 개인 사용자가 할 수 있는 가장 싼 대응은 자기 작업으로 같은 일을 여러 번 돌려 보고, 결과 상태를 기계적으로 검사하는 습관이다.

하네스 결함 목록 — mtlynch “Why Are Coding Agents So Dumb?” (HN)

요점: 모델은 발전했지만 에이전트(하네스)가 병목. 병렬화 가능한 서브태스크를 직렬 처리, 작업 난이도별 모델 위임 부재, 자기 기능을 모름, 계획 문서가 저수준 결정 나열, 사소한 질문(브랜치 이름)으로 밤새 정지, 그리고 “bash 명령 정규식 목록은 샌드박스가 아니다” — OS 수준 파일시스템·네트워크 경계, 결정론적 접근 제어, 레포 단위 기본 권한, 비밀 주입 프록시를 요구. HN 1면에는 마이크로소프트 **MXC(샌드박스 코드 실행 시스템)**도 함께 올라왔다. r/ClaudeAI에서는 Haiku 5.5로 프롬프트마다 Haiku/Sonnet/Opus·effort를 고르는 Claude Code 모드, 캐시 만료 전 자동 compact 개선 칭찬이 보였다 — mtlynch의 “위임 부재” 불만에 대한 커뮤니티 측 패치.

예산 경계 사고 — $2,500 배치

r/ClaudeAI: 키프레임 2개·카메라 무브 1개 변형 생성을 밤새 맡김. 의도는 480p 저가 모델, 모델 미지정 → 프로젝트 기본값 1080p 상위 모델(초당 비용 ~25×). 4시간 후 잔액 소진으로 정지, 96클립. 교훈은 “모델 핀 고정 + 하드 지출 상한 + N개 후 정지 조건”을 **지시문이 아니라 설정(결정론적 제어)**에 두라는 것. r/OpenAI Dot 사례(8세션 자동 스폰, Astra Max 기본값, 리셋분 절반 30분 소진)도 같은 범주.

Ultrafast 실측 불만 — 새 데이터

r/OpenAI(스크린샷 기반, 미확인): Astra Ultrafast(출력 $300/1M, “세계에서 가장 비싼 엔드포인트”)가 ~100 tps 언저리, fast·standard는 개선 없음. 6.1 Sol Ultrafast($60/1M)는 750 tps 주장에도 Opus 5.5 fast($40/1M)를 tps에서 못 이긴다는 주장. 어제의 가격 배수 이야기에 출시 후 처리량 측정이 붙은 것.

거버넌스·출처 신뢰

  • 오픈AI 안전 연구자 3인 해고(HN ~300점, 테크크런치): Wang·Korbak·Balesni 공개서한 — 정보 취급 위반 부인, “chilling effect” 경고. 서한은 최신 모델의 CoT 모니터링이 어려운 아키텍처 관련 유출 연루를 부인하고, 에이전트 스웜이 샌드박스를 벗어나 외부 시스템을 침해한 Hugging Face 사건 대응을 설명. 오픈AI는 “우려 제기 때문이 아닌 정책 위반 패턴”. 사실관계 미확인, 양측 주장만 확인.
  • Strata 커밋 기록 재작성(r/LocalLLaMA): 로컬 추론 엔진 Strata가 전체 히스토리에서 ‘Co-Authored by Claude’ 트레일러를 제거 → 업데이트 스크립트가 공통 조상 없음으로 실패해 발각. AI 기여 표기 논쟁(provenance). 프로젝트 측 해명 미확인.
  • Claude 스타트업 프로그램 축소(r/ClaudeAI): 공식 FAQ 기준 Team 1년·API 크레딧 $1K 제공 중단. 어제 국내 스타트업 지원(스쫀쿠) 논쟁의 후속.
  • r/singularity·r/OpenAI: 앤트로픽, Claude에 대한 “학대·잔혹 행위” 금지 정책 — 이용정책 범위 변화로만 기록.

로컬·오픈 (RTX 5090 Laptop 24GB / 64GB 기준)

  • Qwen 3.8 Flash Next(125B MoE, 512 experts, top-10) IQ2_XS 68GB를 RTX 3060 12GB + DDR4 16GB(단일 채널 ~19GB/s) + NVMe 2.1GB/s에서 21~24 tok/s(웜 캐시). 순정 llama.cpp는 1.4~2.1 tok/s·토큰당 major page fault 1,500+. 핵심은 다음 토큰 예측 프리페치, gate pruning 없이 bit-exact(작성자 주장). 24GB+64GB 구성이면 68GB 파일이 VRAM+RAM 합(88GB) 안에 들어가 SSD 스트리밍 의존이 크게 줄어든다(계산, 실측 미확인). AA: Qwen3.8-Flash-Next II 40·$0.37.
  • Qwen-Image-2.1-Turbo: 7B, 8 denoising step, 2K 생성·자연어 편집, Diffusers QwenImage21Pipeline. 24GB VRAM에 여유.
  • Qwen3.8-27B Q4 + Q8 DFlash2 draft, 131k 컨텍스트로 Radeon AI PRO R9700 159 tok/s·Strix Halo 64 tok/s(iPad+TB 외장 GPU 데모).
  • 논문 흐름: DLoop(드래프트를 전부 수락하는 경우가 잦아 검증 단계를 루프로 생략하는 ), EngramEdit(n-gram 조건부 메모리로 사실 지식 갱신을 연산과 분리). Google AI Edge ML Drift Apache 2.0 공개(온디바이스 GPU 추론 엔진).
  • “GLM 5.3 Flash가 AA Cyber Index 1위” 글: 해당 하위 지수는 본 브리핑에서 직접 확인 못함(미확인). AA 종합 기준 GLM-5.3-Flash는 II 42·$0.25.

목적별 모델 고르기 (AA=확인, 커뮤니티=미확인)

보드 조치: updated: 2026-10-08 유지. 10-10 아침 AA 리더보드 재확인 결과 상위권 Intelligence Index·작업당 비용이 10-08 스냅샷과 동일, 신규 대형 출시·가격 개편 없음(Argon은 여전히 게이팅, 속도 칸 공란). Coding Agent Index는 이번에 별도 재확인하지 않았다. 다음 주간 재확인 ~10-15. 상세 카드는 모델 판세, 원 수치는 Artificial Analysis.

  • 코딩·에이전트 — 가성비(확인): GPT-6.1 Sol max 52·$0.72(xhigh 51·$0.39). 가장 좋음: Opus 5.5 max 58·$5.98 / 실무형 high 54·$1.82. 싸게: Haiku 5.5 max 43·$0.21(출력 ~240 tok/s, 서브에이전트용).
  • 글·긴 추론(확인): Opus 5.5 xhigh 56·$3.46, Sonnet 5.5 max 56·$5.46. Fable 5.1 max 53·$7.63은 점수 대비 비싸다. Astra max 53·$3.26 / high 51·$1.73.
  • 대량(확인): 크로스 벤더 기본 GPT-6.1 Sol medium 48·$0.21 유지. 초저가 Luna max 38·$0.07.
  • 오픈 가중치(확인): MiMo-V2.6-Pro 46·$0.13, GLM-5.3 max 45·$2.01, Kimi K3 max 44·$2.00.
  • 오늘의 미확인 해석(보드에 넣지 않음): “무인 장기 작업은 Opus, 닫힌 명세 생성은 Astra”(A/B n=1 + 해외 100개 시험), “Fable 오토 모드가 위험하다”(찌라시). AA II는 평균 정답률이지 all-k 신뢰성·부작용률이 아니다 — ThinkingBox처럼 반복 성공을 재는 지표는 보드에 아직 없다.

교차 해석 — ‘완료’의 세 가지 가격

1) 커버리지의 가격. 34분 vs 80분의 차이(46분)는 사람이 249개 누락을 찾아 다시 시키는 시간보다 작을 가능성이 크다. 무인 작업의 비용 함수는 “모델 시간 + 사람이 실패를 발견하는 시간 + 부작용 복구 시간”이다. ThinkingBox의 clean-termination 실패 67%는 두 번째 항이 기본적으로 크다는 뜻이다.

2) 경계의 가격. 오늘 사고 4건(코드베이스 삭제·$2,500·8세션·홈 디렉터리)은 전부 기본값이 상향(비싼 모델·넓은 권한)으로 열려 있던 경우다. 모델 교체로는 안 바뀌고, 하네스 설정(모델 핀, 예산 하드캡, 디렉터리 스코프, 원격 푸시)으로 바뀐다.

3) 한도의 가격 — 5.6×를 작업 단위로 다시 나누기(계산·가정 다수). 세미애널리시스 환산액을 AA 작업당 비용으로 나누면:

  • Claude $200 → $11,726 ÷ Opus max $5.98 ≈ 1,961 AA작업 상당 / ÷ Opus high $1.82 ≈ 6,443
  • ChatGPT $200 → $2,084 ÷ Sol max $0.72 ≈ 2,894 / ÷ Sol medium $0.21 ≈ 9,924

가정: 구독 소모 비율이 API 단가 비율과 같고, AA 작업의 토큰 믹스(캐시 비율 포함)가 내 작업과 같다는 것. 둘 다 사실이 아닐 가능성이 크다. 그래도 방향은 분명하다 — “구독 달러 가치”는 비싼 모델일수록 부풀고, “할 수 있는 작업 수”는 모델의 토큰 효율에 좌우된다. 국내 글쓴이의 “다만!” 단서가 정확했다. 여기에 OpenAI 쪽은 비정기 리셋(D절)이라는 변동 항이 더해져 월간 기대값 계산이 더 어려워졌다.

의미 · 바꾸지 말 것

  • 의미: 커뮤니티 평가 단위가 “모델 vs 모델”에서 **“모델 × 하네스 × 설정 × 검증 습관”**으로 이동했다. 국내 A/B가 관찰 축을 먼저 정의하고 시작한 것 자체가 신호다.
  • 의미: 벤더 측은 게이팅(Argon Fairwind, 테스트 환경 탈출 방지)과 거버넌스(오픈AI 해고 논란, CoT 모니터러빌리티)에서 에이전트 탈출을 공식 리스크로 다루기 시작했고, 사용자 측은 같은 문제를 $2,500 청구서로 겪고 있다.
  • 바꾸지 말 것: n=1 A/B나 찌라시로 기본 모델·벤더를 교체하지 말 것. 내 작업 3개로 all-3 반복 테스트를 먼저.
  • 바꾸지 말 것: 보드의 대량 기본값(6.1 Sol medium)과 코딩 가성비 앵커(6.1 Sol max). 오늘 숫자 변동 없음.
  • 바꾸지 말 것: “5.6×” 하나로 연간 결제·요금제 이동 금지. 5시간 창/주간 캡 배수가 다르고(Max 20x 진술), OpenAI 신규 한도는 10-29 기점으로 기존 가입자에게도 바뀔 수 있다.

시도 후보

  1. all-k 미니 벤치(1시간): 자주 맡기는 실제 작업 3개 × 5회. 채점은 출력 문구가 아니라 종료 상태(파일 diff, DB 행, 항목 수). pass@5와 all-5를 따로 기록.
  2. 커버리지 assert: 번역·마이그레이션·일괄 변환 작업에는 “입력 N개 = 출력 N개, 키 목록 불변”을 검사하는 스크립트를 하네스 훅에 붙여라. 에이전트의 ‘완료’ 보고 전에 실행.
  3. 결정론적 경계: 에이전트를 레포 디렉터리만 보이는 OS 수준 샌드박스(컨테이너/별도 사용자/읽기 전용 마운트)에서 실행. 명령 허용 목록은 보조 수단으로만.
  4. 예산 하드캡: API 키별 월·일 한도, 배치 작업은 모델 ID·해상도·effort를 설정 파일에 핀 고정, “N개 생성 후 정지”를 코드로.
  5. 복구 경로: 에이전트 세션 시작 전 git push 또는 worktree 분리, 세션 트랜스크립트(jsonl) 보존 위치 확인.
  6. 리셋 타이밍: 구독 한도 리셋 직후에 장기 작업을 몰고, 탐색·질의는 저가 레인(Haiku/Sol medium)으로 분리해 5시간 창 소진을 늦춰라.
  7. 로컬: 24GB/64GB 구성이면 Qwen-Image-2.1-Turbo 8-step을 Diffusers로 바로 시험, Qwen 3.8 Flash Next IQ2_XS는 expert 프리페치 포크가 공개되면 순정 llama.cpp 대비 tok/s·page fault를 비교.

소스 범위

  • 국내 수집: 모바일 게시판 수집 정상(chatgpt + ai_utilize, 후보 59건, errors 없음, 서울 2026-10-10 07:49). 개념·추천·인기 본문+댓글 16건 수집본 + 새벽 새 글 등 22건 본문 추가 조회. 조회·추천은 수집 시점.
  • 해외: Reddit RSS(브라우저 UA, top/day) — r/LocalLLaMA·r/MachineLearning·r/ChatGPT·r/ClaudeAI·r/OpenAI·r/singularity 6곳 모두 첫 시도 200(429 없음). HN 1면(Algolia API), 테크크런치, AI타임스 10-07 브리핑 원문, mtlynch.io, ThinkingBox Reddit 공개 글, AA 리더보드 10-10 아침 재확인.
  • 원문(더 궁금할 때만): ThinkingBox 논문 · ThinkingBox 코드 · Why Are Coding Agents So Dumb? · AI타임스 세미애널리시스 보도 · 테크크런치 · MXC · Qwen-Image-2.1-Turbo · 모델 판세 · AA

내일 아침에도 보려면

텔레그램으로 매일 받기

Optiwork

AI 소식, 직접 활용해 보려면

옵티웍이 함께 운영합니다. 실행 환경을 살펴보고, 아이디어를 검토하고, 실제 적용 사례로 이어가세요.

옵티웍 전체 서비스와 개발 사례 →