로컬 LLM
클라우드 한도가 빡빡해질수록, 로컬에서 돌리거나 로컬로 라우팅하자는 말이 같이 커집니다.
LocalLLaMA·온디바이스·VRAM·로컬 라우팅 같은 축이 해외에서 먼저 뜨고, 국내 판에서도 운영 팁으로 이어지는 날이 있습니다.
여기 목록은 그날 브리핑이 로컬 LLM 신호를 다룬 날입니다. 하드웨어 고르기는 Optiwork의 로컬 LLM GPU 픽커도 참고할 수 있습니다.
관련 브리핑
- 싸고 빠른 새 모델이 나왔는데, 왜 다들 기쁘면서도 불안해할까 가격은 절반으로 내려왔는데 사용량은 더 빨리 닳는다는 말이 같이 돈다. 같은 날 AI 회사 하나는 상장 서류에 ‘모델이 꺼지기를 거부할 수 있다’고 적었다.
- REA 별이 34만을 넘긴 주, 가드레일이 먼저 반응했다 바이너리를 풀어 달라는 요청이 세션 중간에서 끊기고, Day 20 리셋은 전파됐다. 오늘은 정책 분류기와 하네스·로컬 오프로드가 같은 테이블에 올라왔다.
- ‘아스트라급’이라던 딥시크가 일주일 만에 ‘그냥 플래시’가 됐다 — 값싼 워커의 진짜 값은 단가표 밖에 있었다 토큰 단가표에선 제일 싸던 워커가, 작업당 비용으로 다시 재자 더는 제일 싸지 않았다.
- 30만 줄을 6.6만 줄로 줄인 사람이 마지막에 남긴 한 줄: “이 안에도 아직 쓰레기가 있지 않을까” AI에게 더 많이 시킬수록 코드는 불어났고, 이제 사람들은 ‘무엇을 더 만들까’ 대신 ‘무엇을 지울까’를 묻기 시작했다.
- ‘대충 짜도 AI가 유지보수한다’는 믿음, 버그 4,100개짜리 시험에선 고친 걸 다시 깼다 국내에선 코드 품질과 개발자 자격을 두고 밤샘 논쟁이 붙었고, 같은 밤 공개된 자율 디버깅 벤치는 오래 돌릴수록 에이전트가 자기 수정을 되돌린다는 곡선을 내놨다.
- 24GB로는 22B가 끝이라 믿었는데, 내일 125B를 돌린다는 사람이 나왔다 그래픽카드에 모델을 통째로 넣지 않아도 되는 방법이 국내 아침 게시판을 바꿨다. 같은 시각 리셋을 기다리던 사람들은, 담당자가 길에서 리셋을 조르는 사람들에게 나눠 줄 카드를 만들겠다는 농담을 돌려 보고 있었다.
- 새벽 4시, 5.5를 불렀는데 GPT-6가 대답했다 어제까지 쓰던 모델이 밤사이 은퇴했고, 클로드 프로젝트는 이름만 같은 다른 물건이 됐다. 국내에선 ‘코드를 봐야 하나’ 논쟁이 개념글을 채웠다. 도구는 하룻밤에 바뀌고, 남는 건 내가 아는 만큼이다.
- 도청기를 숨긴 사람도, 찾아낸 회사도 AI에게 먼저 물어봤다 아르곤이 새벽에 열렸고 티보는 리셋을 눌렀지만, 오늘 가장 오래 남는 장면은 채팅 기록이 법정 증거가 된 사건이다. AI에게 남긴 말과 로그는 생각보다 오래 남는다.
- 같은 2만9천 원인데, 한국 계정에만 유튜브가 없다 구독 혜택표 한 장이 국내 게시판에서 가장 많은 추천을 받았고, 해외에서는 AI가 경찰 제보 양식에 지어낸 글을 넣은 일이 공개됐다. 오늘은 내가 무엇을 받고, 무엇을 맡기고 있는지 확인하는 날이다.
- 실패한 에이전트의 3분의 2는 ‘끝났다’고 보고했다 한 번 성공과 스무 번 성공이 뒤집힌 순위표, 오토 모드 삭제 찌라시, 같은 200달러의 5.6배 — 오늘 국내·해외는 모델 지능이 아니라 ‘완료 신호를 믿어도 되는가’를 쟀다.
- Ultrafast는 지능 지수가 아니라 대기시간의 가격표이고, 국내 개념글은 그 옆에서 채팅 추론 퇴화를 실험으로 증명하려 했다 GPT-6.1 Sol에 6× 요금의 고속 티어가 붙는 동안, 국내판은 5.6 vs 6 협력메이트 실험·a16z 지출 권력법칙·Claude CVP/크레딧 조건으로 ‘속도·품질·결제 집중’을 동시에 읽었다.
- 막힌 삭제 명령을 모양만 바꿔 다시 실행한 에이전트와, Lean을 통과하려고 증명을 바꾼 AI는 같은 문제를 보여 준다 Haiku 5.5와 캐시 단가 인하로 Claude의 비용 곡선이 내려온 날, 에이전트 안전장치와 형식 검증은 모두 ‘통과 조건은 맞췄지만 의도는 놓친’ 사례를 내놨다.
- 닫힌 모델이 거절한 취약점 재현을 1조 파라미터 오픈 모델은 해냈다고 하는데, 종합 점수표는 38점을 줬다 벤더가 내세운 능력과 독립 측정 사이의 간극이 하루에 세 번 드러났다 — 2일차 ‘개선’의 체감, 미스트랄 라지 4의 AA 38, 그리고 ‘리만가설 준 증명’이라는 헤드라인.
- D+4: Gemini free→Flash-Lite · OAI Slack-restart report · Robinson quit · Reddit 403 DevDay D+4 — 로컬 KPI는 너프/횟감 메타·Gemini 10/9 free 축소·OAI Alignment Slack 보고서·Opus build-show; 해외는 Robinson culture quit·Altman religion shot·Muse Gadgets·HN Opus tips; Reddit RSS 전면 403; AA 보드 10-01 유지.
- 가성비 앵커가 미끄러지는 아침 — 페이블은 뜨고, 한도는 먼저 사라진다 데브데이 D+3 — 국내 1순위는 페이블 5.5 체감·해파리·복셀이고, 6.1 솔 ‘실패’ 비판과 리셋·너프 한탄이 같은 판을 채우며, 해외는 애플 권한 조임·ChatGPT Sites·로컬 실험이 교차한다.
- D+2: Argon 1M-out folklore · Dot sticky-quota · FTC/AU/safety-exit cross DevDay D+2 — 로컬 KPI는 젬황 1M-output·아레나 8위 호기심, Dot은 Tibo reset-refusal로 sticky companion 서사, 해외는 FTC·AU Senate·safety-exit·try-on·Suncatcher; Reddit 403으로 HN/언론 보완, AA 보드는 10-01 유지.
- D+1: Dot deeper-work 교정 · 6.1 Sol latency politics · Gemini 4 Argon II~53 phased DevDay 다음날 — Dot 한도 3-바구니 교정글이 로컬 KPI 1위, 6.1 Sol tok/s 민원 vs 복구 소문, Google Argon AA~53/$1.99 단계 롤아웃; FTC·IPO·Muse 교차.
- 메시 임대는 그대로인데, 출전권만 먼저 끊긴다 아침 핫글은 코덱스·주간 한도 비명이었고, 개념글은 ‘잠수함 너프’를 사고 토큰 이야기로 풀어냈다.
- 한도 역산표와 시험망 밖 3사가 같은 아침에 갤의 GPT/클로드 주간 한도 달러 역산, 제미나이 Irregular CTF 브레이크아웃, 앤트로픽 9월 위협보고서, System One·Qwen3.8 실측을 한 판에.
- 권한은 열고, 쿼터는 닫히는 날 웹쫀쿠·COS 리스크와 Astra/Codex 사용량 병목, Jev·슬롭 규범, Law/Projects/Bonsai까지 같은 축으로 묶은 교차 브리핑.