OpenAI가 GPT-5.6 Sol 공개를 예고

헤드라인: OpenAI가 GPT-5.6 Sol 공개를 예고

참고 링크: 544 Twitters, AINews’ website, AINews is now a section of Latent Space, opt in/out

OpenAI가 GPT-5.6 Sol, Terra, Luna의 공개 출시를 예고했다. 초기 테스터들은 코딩, 수학, 장기 실행, 컴퓨터 사용에서 큰 폭의 개선을 언급했고, 같은 날 공개된 GPT-Live는 풀듀플렉스 음성 상호작용과 비동기 위임 구조로 더 큰 아키텍처 변화를 보여줬다.

---

AI Twitter Recap

OpenAI의 GPT-5.6 Sol 프리뷰와 GPT-Live 음성 아키텍처

• GPT-5.6 Sol이 목요일 출시, 초기 테스터 합의가 이례적으로 강함: OpenAI는 GPT-5.6 Sol과 Terra, Luna를 목요일 공개 출시한다고 발표했고, 프리뷰 접근 권한을 전 세계로 확대했다 @OpenAI. 독립 테스터 전반에서 공통된 평가는 단순한 점진 개선이 아니라 코딩, 수학, 지속성, 컴퓨터 사용에서 단계적 변화라는 것이다. @AcerFur는 수학/코딩에서 “상당한 도약”이라고 했고, @theo는 서브에이전트 오케스트레이션, 장시간 무인 실행, iOS 강점을 강조했다. @skirano는 OpenAI가 “프런트엔드 디자인을 고쳤다”고 했고, @mitchellh는 Sol을 새 기본 모델로 묘사하면서도 좁은 디버그/보안/성능 작업에서는 Fable이 여전히 더 강하다고 말했다. 추가 보고는 세계 최고 수준의 컴퓨터 사용 @theo, Pokémon에서의 강한 자율 게임플레이/공간 추론 @Clad3815, Hermes Agent의 출시 당일 지원과 함께 에이전트 제품에 깊게 통합될 가능성 @Teknium을 강조한다. 여러 게시물의 함의도 주목할 만하다. 일부 테스터는 몇 달 동안 접근 권한이 있었다고 말했고, 더 큰 다음 사전학습(pretrain)이 이미 Sol 뒤에 대기 중일 수 있다는 추측을 낳았다 @kimmonismus, @scaling01.

• GPT-Live가 더 아키텍처적인 릴리스: 같은 날 나온 OpenAI의 음성 출시는 기술적으로 Sol 과열보다 더 중요할 수 있다. GPT-Live는 내장 async delegation을 갖춘 풀듀플렉스(full-duplex) 음성 아키텍처로, 현재 ChatGPT에 배포되고 있으며 API에는 추후 제공될 예정이다 @OpenAI, @juberti, @OpenAIDevs. 핵심 변화는 턴 기반 speech→text→LLM→TTS 파이프라인에서 벗어나, 동시에 듣고 말할 수 있고, 끼어들기를 관리하며, 더 어려운 하위 문제를 백그라운드의 프런티어 추론(reasoning) 모델에 넘기는 지속 작동 대화 계층으로 이동하는 것이다 @OpenAI, @LiorOnAI. 음성 타이밍을 하나의 시스템으로, 더 깊은 추론/검색을 다른 시스템으로 나누는 이 분해는 향후 멀티모달 에이전트 UX의 실용적 템플릿처럼 보인다. OpenAI는 system card도 공개했고 @juberti, 별도로 과제의 30%가 깨져 있음을 발견한 뒤 SWE-Bench Pro를 권장 프런티어 코딩 평가에서 철회한다고 발표했다 @OpenAI. 이는 벤치마크 품질에 대한 이례적으로 직접적인 개입이다.

xAI/Cursor의 Grok 4.5: 더 낮은 비용의 프런티어 코딩 에이전트 공세

• Grok 4.5는 xAI의 가장 신뢰할 만한 프런티어 도약: @elonmusk 등의 티저 이후, SpaceXAI/xAI는 Grok 4.5를 출시하며 이를 코딩과 에이전트를 위해 특별히 학습한 첫 모델이자 Cursor와 공동 구축한 모델이라고 설명했다 @SpaceXAI, @cursor_ai. 가격은 입력/출력 토큰 100만 개당 $2 / $6이며, Musk는 대략 Opus급이지만 더 빠르고, 토큰 효율이 높고, 비용이 낮다고 주장했다 @elonmusk. Cursor는 Grok 4.5가 Composer와 별도의 체급이며 임시로 사용량이 늘어난 상태로 제공될 것이라고 말했다 @cursor_ai, @cursor_ai. Musk는 또한 출시 시 500k였던 컨텍스트가 다음 주 1M으로 돌아올 가능성이 높다고 말했다 @elonmusk.

• 벤치마크와 독립 평가에서 비용 대비 성능 최상위권: Artificial Analysis는 Grok 4.5를 Intelligence Index #4에 올렸고, 그 위에는 Fable 5, GPT-5.5, Opus 4.8만 있었다. 특히 에이전트형 지식 작업과 코딩에서 두드러졌고, 비용 대비 성능 Pareto 위치도 강하다고 평가했다 @ArtificialAnlys, @ArtificialAnlys. 이들은 GDPval-AA v2 Elo 1543, Coding Agent Index 76, 그리고 유사한 Claude/OpenAI 구성보다 훨씬 낮은 작업 비용을 보고했다. 커뮤니티 반응도 같은 지점으로 모였다. 반드시 절대 SOTA는 아니지만 훨씬 나은 경제성의 프런티어 인접 품질이라는 것이다 @cline, @AymericRoucher, @kimmonismus. 여러 사용자는 Grok Build / 에이전트 설정에서 강한 실전 성능도 보고했다 @theo, @tstorm. 주목할 전략적 시사점은, 주요 연구소가 단순한 무차별 프런티어 스케일링이 아니라 학습 파트너십 + 제품 특화 에이전트 튜닝을 통해 지위를 실질적으로 개선한 것으로 보인다는 점이다.

오픈 에이전트 스택, 하네스 엔지니어링, 추론 인프라

• 스택이 “최고 모델”에서 모델+하네스+런타임 공동 설계로 이동: 이날 반복된 주제는 에이전트 성능이 점점 기본 모델 성능만이 아니라 하네스, 오케스트레이션, 평가 규율에 귀속되고 있다는 점이다. LangChain과 NVIDIA는 NemoClaw Deep Agents Blueprint를 출시하며 이를 엔터프라이즈 에이전트를 위한 완전 오픈, 커스터마이즈 가능한 레퍼런스 스택으로 포지셔닝했고, 자체 평가에서 벤치마크 선도 성능과 10배 낮은 추론(inference) 비용을 주장했다 @LangChain, @nvidia, @NVIDIAAI. LangChain은 이후 $4.48에서 aggregate score 0.86을 기록했다고 수치화했으며, 가장 가까운 성능의 모델은 $43.48이었다 @LangChain. Sakana도 단일 제공자 의존 없이 근 SOTA 벤치마크 성능에 도달하는 경로로 동적 모델 오케스트레이션을 제시했다 @SakanaAILabs. 이는 @omarsar0 등 실무자 정서와도 맞닿아 있다. 제공자 충성도는 스마트 라우팅/오케스트레이션에 비해 점점 나쁜 전략이 되고 있다.

• 인프라 업체들은 비용 예측 가능성, 이식성, 이기종 서빙을 공략: Together는 오픈 프런티어 모델을 위한 서버리스형 예약 용량 상품 Provisioned Throughput을 도입했다. 토큰 가격과 99% uptime SLA를 제공하며, 초기 대상은 MiniMax M3와 GLM-5.2다 @togethercompute. Hugging Face와 SkyPilot은 egress lock-in을 줄이기 위한 클라우드 비종속 스토리지 경로를 출시해, 팀이 데이터를 HF에 유지하면서 컴퓨트를 여러 클라우드로 옮길 수 있게 했다 @ClementDelangue, @skypilot_org. ZML은 NVIDIA, AMD, Metal, Intel, TPU를 지원하는 이기종 추론(inference) 서버 ZML/LLMD를 공개했고, DFlash, continuous batching, prefix caching을 포함한다 @steeve. 관련해 llama.cpp는 MTP/Eagle3 speculative 기법과 함께 DFlash를 추가했고 @ggerganov, vLLM은 450+ Transformers 아키텍처에서 수기 작성 모델과 백엔드 동등성을 발표했다 @vllm_project. 공통 방향은 **멀티 아키텍처 추론(inference)**과 프로덕션 처리량의 오픈 모델 배포 마찰을 낮추는 것이다.

코딩 모델, RL 사후학습, 평가 방법론

• Cognition의 SWE-1.7은 진지한 RL/사후학습 데이터포인트: Cognition은 SWE-1.7을 공개하며, 이를 자사가 학습한 가장 강력한 모델로 설명했다. Kimi K2.7 기반 위에 RL 파이프라인 전반을 개선해 구축했다고 한다 @cognition, @cognition. 보고된 수치는 Main set에서 FrontierCode 42.3%, $1.97/task이며, Devin에서 1000 tok/s로 제공되고 Cerebras 기반 Lightning 모드도 있다 @cognition. Cognition은 이 모델이 Devin harness에서 학습됐고, 장기 작업에서 self-compact를 배웠으며, 이제 편집 전에 조사에 더 많은 시간을 쓴다고 말한다 @cognition. 가장 흥미로운 기술적 주장은 점수 자체가 아니라, 엔트로피 붕괴와 데이터 품질을 올바르게 다루면 강하게 사후학습된 기반 모델에서도 RL 한계가 아직 명확히 도달한 것으로 보이지 않는다는 주장이다 @silasalberti. Databricks도 내부 코딩 에이전트 벤치마킹에서 비슷한 업계 흐름을 언급했다. 오픈 모델은 이제 실제로 경쟁력이 있고, $/token보다 $/task가 더 중요하다는 것이다 @matei_zaharia, @Yuchenj_UW.

• 평가는 워크플로 인식형으로, 리더보드 순진함에서 멀어지는 중: 여러 게시물이 같은 방향을 가리킨다. OpenAI의 SWE-Bench Pro 철회가 한 예다 @OpenAI. 또 다른 예는 중국 롤링 벤치마크의 긴 요약으로, 순위 강조점을 최선의 재시도 결과에서 중앙값 신뢰성으로 옮겼다. 에이전트 워크플로에서는 재시도가 비싸고 상태를 오염시킬 수 있기 때문이다 @ZhihuFrontier. Cognition도 수정된 채점과 웹 검색 규칙을 포함한 FrontierCode 1.1을 공개했다 @cognition. 한편 DAIR가 요약한 Oxford식 분류 작업은 반복되는 LLM 에이전트 실패를 여섯 군집으로 정리했다. 도구 호출, 계획/제약 충족, 장기 작업 성능 저하, 다중 에이전트 조정, 안전, 평가 타당성이다 @dair_ai. 이는 의미 있는 변화다. 무게중심이 “최대 벤치마크 점수는 무엇인가”에서 “현실적 하네스, 긴 작업, 인간 수리 비용 속에서 무엇이 살아남는가”로 옮겨가고 있다.

오픈 모델, 로보틱스, 비전, 멀티모달 시스템

• 중국/오픈 생태계 모멘텀은 텍스트 LLM을 넘어 계속됨: MiniMax는 2.7T 파라미터 오픈소스 모델 “MiniMax Pro”를 준비 중인 것으로 알려졌다. 일정대로 출시된다면 현재 M3 라인보다 극적으로 큰 규모가 된다 @kimmonismus. Epoch는 별도로 GLM-5.2를 152 ECI로 추정하며, 지금까지 평가한 오픈 가중치 모델 중 가장 강하다고 했다 @EpochAIResearch. 체화/비전 AI에서는 Ant Group의 Robbyant가 LingBot-Vision을 공개했다. 1.1B부터 21M까지 완전 오픈이며, 2B 원시 웹 이미지에서 필터링한 161M 이미지로 학습했고, 학습 루프에 인간 라벨이나 깊이 센서 없이도 강한 depth 결과를 냈다 @kimmonismus. 관련 릴리스로는 체화 지능용 LingBot-Video (30B MoE, 3B active) @_akhaliq와 인터랙티브 월드 모델링용 LingBot-World 2.0 @_akhaliq이 있다.

• 로보틱스/내비게이션과 미디어 모델에서도 실질적 출시가 이어짐: Mistral은 단일 RGB 카메라를 사용하는 8B 체화 내비게이션 모델 Robostral Navigate를 발표했고, R2R-CE에서 SOTA를 주장했다 @MistralAI. Google은 긴 비디오 생성에서 서사 이탈을 줄이기 위한 계층적 다중 에이전트 시스템 Co-Director @GoogleResearch와 비디오 제작용 Gemini Omni @GoogleResearch를 소개했다. ByteDance의 Seedream 5.0 Pro는 지역 정밀 편집, 다국어 텍스트 지원, 레이어 같은 편집 워크플로를 갖춘 디자인 지향 이미지 모델로 폭넓게 출시됐다 @fal, @JingxiangSun42. Google의 Nano Banana 2 Lite도 빠르고 저렴한 이미지 생성기로 주목할 만하다. AA 테스트에서 1K 이미지에 ~3.4s, 가격은 Nano Banana 2의 절반이지만 이미지 편집에는 더 약하다 @ArtificialAnlys.

Top tweets (by engagement)

• OpenAI / Sol 출시: @OpenAI announces GPT-5.6 Sol, Terra, and Luna
• OpenAI / Voice: @OpenAI launches GPT-Live
• xAI / Grok 4.5: @SpaceXAI announces Grok 4.5
• Prime Intellect 투자 유치: @PrimeIntellect announces $130M Series A for an “Open Superintelligence Stack”
• Cognition 코딩 모델: @cognition launches SWE-1.7
• TypeScript 인프라/devtools: @ahejlsberg announces TypeScript 7 GA with a native port running 10x faster

---

AI Reddit Recap

/r/LocalLlama + /r/localLLM Recap

China AI Models: Access Controls and Scaling

• Beijing IS NOT looking at curbing overseas access to China’s top AI models (Debunking the Reuters report) (Activity: 1381): 이 게시물은 중국 정부가 주요 중국 AI 모델의 해외 접근을 제한할 수 있다고 주장한 Reuters report에 반박한다. 인용된 상무부 회의는 Alibaba, ByteDance, Z.ai 등과 함께 모델 접근 제한이 아니라 외국 인수, 투자, IP 유출, 인재/기술 유출 통제를 논의한 것이라고 주장한다. 또한 중국 법원/IPC 연계 policy discussion document를 근거로, 중국의 프레이밍은 오픈 가중치 배포에 반대하는 것이 아니라 “신뢰 가능하고 통제된” 오픈소스, 즉 외국 소유/통제와 가중치에서 민감 정보 추출 같은 위험을 관리하면서 중국 모델 확산을 촉진하는 것이라고 설명한다. 게시물은 학자 Gu Lingyun이 오픈소스 가중치의 엄격한 국경 간 통제가 중국 개발자에게 준수와 글로벌 참여 사이의 선택을 강제해 *“self-inflicted”*가 될 수 있다고 경고한 점을 강조한다. 상위 댓글들은 Reuters 프레이밍에 회의적이었고, 모호하거나 신뢰하기 어려운 출처일 수 있다고 봤다. 한 댓글은 출처가 Anthropic/OpenAI일 수 있다고 추측했고, 다른 댓글은 중국 모델이 미국 AI 시장 지배에 대한 인식을 약화시키는 데 도움을 주기 때문에 중국이 접근을 제한할 가능성은 낮다고 주장했다.

• 오픈 가중치 중국 모델의 시장 접근 전략: 한 실질적 주제는 오픈 가중치 중국 모델이 시장 접근 전략이라는 주장이다. 특히 수익화와 생태계 영향력이 가장 큰 미국 개발자와 기업에 도달하기 위한 전략이라는 것이다. 댓글들은 해외 접근 제한이 OpenAI와 Anthropic 같은 폐쇄형 미국 연구소에 맞선 중국의 경쟁 우위를 약화시킬 것이며, 특히 독점 모델 제공자에 대한 압박을 줄일 것이라고 봤다.

• Beijing is looking at curbing overseas access to China’s top AI models (Reuters) (Activity: 1112): 이미지는 밈이 아니라 Reuters 뉴스 스크린샷인 image다. 여기서는 중국 정부가 주요 중국 AI 모델의 해외 접근 제한을 검토 중이며, 당국이 국가안보 우려, 모델 유출/절도 처벌 가능성, 국내 AI 스타트업에 대한 외국 연계 자금 제한 가능성을 두고 Alibaba, ByteDance, Z.ai 등과 회의한 것으로 보도한다. 연결된 Reuters article도 참조된다. 댓글들은 이를 AI 분절화와 수출통제 압력이 커지는 또 다른 신호로 해석했고, 경쟁력 있는 중국 오픈/로컬 모델 접근성이 낮아질 수 있다고 우려했다. 한 스레드는 Mistral을 기대되는 대안으로 지목하며, 파리 인근 데이터센터와 10T 파라미터급 모델 학습 가능성에 대한 추측을 언급했다.

• Mistral 대안론: 한 댓글은 중국 프런티어/오픈 가중치 모델 접근이 제한되면 Mistral이 더 중요해질 수 있다고 주장했다. 파리 인근 새 데이터센터가 대략 10T 파라미터 모델 학습을 가능하게 할 수 있다는 것이다. 논의된 기술적 함의는 중국 모델 접근이 줄어들 경우 유럽의 컴퓨트 독립성이 중요해질 수 있다는 점이다.

• 오픈 가중치 모델 로컬 보관: 기술적으로 실용적인 반응은 현재 실행할 수 없는 모델까지 포함해 오픈 가중치 모델을 로컬에 아카이브하라는 것이었다. 정책 변화가 향후 가중치나 호스팅 엔드포인트 접근을 없앨 수 있기 때문이다. 이는 “오픈” 모델 가용성이 수출통제, 플랫폼 호스팅, 국가 정책에 점점 더 의존한다는 더 넓은 우려를 반영한다.

• NVIDIA의 오픈 모델 유인: 다른 댓글은 NVIDIA가 오픈 모델을 공개할 강한 유인을 가진 몇 안 되는 회사로 남을 수 있다고 봤다. 오픈 가중치 릴리스가 로컬 추론(inference) 하드웨어 수요를 촉진하기 때문이다. 실행 가능한 로컬 모델이 많아질수록 GPU 판매로 이어질 수 있다는 생태계 유인으로 설명됐다.

• China’s MiniMax Plans to Launch 2.7-Trillion Parameter Model (Activity: 902): MiniMax는 The Information에 따르면 이르면 Q3에 2.7T 파라미터 LLM인 M3 Pro를 출시하고 오픈소스화할 계획인 것으로 알려졌다. 이 모델은 MiniMax의 현재 M3(428B 파라미터)보다 약 6.3× 크며, 더 강한 **복합 추론(complex reasoning)**과 다단계 지시 이행을 목표로 한다고 한다. 댓글들은 이 모델이 검열되지 않고 오픈소스라면 미국 프런티어 제공자에 대한 경쟁이 커질 것이라고 봤다. 이 규모에서 로컬 사용성이 떨어진다는 회의론도 있었으며, 실용적 경로는 데이터센터/API 기반 호스팅 추론(inference)이 되어 폐쇄형 모델 대비 비용을 낮출 수 있다는 관측이 나왔다.

• 2.7T 오픈 모델의 호스팅 가능성: 댓글들은 2.7T 파라미터 오픈소스 MiniMax 모델이 로컬 소비자 추론(inference)에는 너무 크지만 데이터센터/API 제공자를 통해서는 가능할 수 있다는 함의에 집중했다. 기술적 주장은, 가중치가 오픈이고 독점 프런티어 시스템과 경쟁력이 있다면 여러 제공자가 이를 호스팅해 폐쇄형 모델 라이선싱 대비 서빙 비용을 낮추고 채택 압력을 높일 수 있다는 것이다.

• 작은 파생 모델 기대: 여러 댓글은 플래그십 “M-series” 규모 모델과 더 작은 배포 가능 변형 사이의 격차가 커지고 있다고 논의했다. 사용자들은 MiniMax가 더 작은 “mini” 또는 “flash” 파생 모델을 공개하는 DeepSeek식 릴리스 전략을 따르길 기대했다. 2.7T 모델이 로컬에서는 비현실적이더라도 증류(distillation), 미세조정(fine-tuning), 더 작은 다운스트림 모델 학습의 기반이 될 수 있다는 점이 핵심이었다.

• 창작/역할극 품질 비교: 기술적으로 관련 있는 비교는 검열되지 않은 오픈 모델이 Fable, Sol, Mythos 같은 현재 고급 역할극/창작 글쓰기 모델과 경쟁할 수 있는지였다. 근본적 우려는 파라미터 수만이 아니라 MiniMax가 주관적 생성 품질과 거부 행동에서 독점 모델을 따라잡을 수 있는지다.

Efficient Local Inference Model Releases

• nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16 · Hugging Face (Activity: 431): NVIDIA는 Iterative Puzzle(tech report)을 통해 Nemotron-3-Super-120B-A12B에서 압축한 배포 최적화 하이브리드 Mamba/MoE/Attention LLM NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16을 공개했다. 총 120.7B / 활성 12.8B 파라미터에서 총 75.3B / 활성 9.3B 파라미터로 줄였고, 더 빠른 디코딩을 위한 MTP를 유지하며, 1M-token context를 지원한다. 단일 8×B200 노드에서 약 2× 높은 처리량과 단일 H100의 1M 토큰 동시 요청 수를 1에서 8로 개선했다고 주장하면서, 추론(reasoning), 코딩, 다국어, 장문 컨텍스트, 에이전트 작업 전반의 벤치마크 성능을 보존했다고 한다. 댓글들은 배포 실용성에 집중했다. 사용자들은 크기/컨텍스트 절충이 이례적으로 매력적이라고 봤고, 한 사용자는 64GB DDR4 RAM에서 공격적인 로컬 양자화(quantization) 추론(Q6/Q4)을 계획했다. 또 다른 댓글은 모델 카드가 이를 에이전트 시스템, RAG, 장문 컨텍스트 추론, 대량 워크로드용 범용 추론/채팅 모델로 포지셔닝한다고 인용했다.

• 75B BF16 범용 모델 포지셔닝: 댓글들은 이 모델이 영어, 코드, 다국어 사용, 협업 에이전트, 대량 워크로드, RAG, 복합 지시 이행, 장문 컨텍스트 추론을 위한 75B BF16 범용 추론/채팅 모델로 포지셔닝됐고, 특히 광고된 1M 컨텍스트 윈도우가 눈에 띈다고 강조했다.

• 벤치마크 비판: 한 기술적 비판은 공개 벤치마크가 Super-120보다 나빠 보인다는 것이었다. 이 댓글 작성자는 이미 Super-120도 기대 이하로 봤기 때문에, 긴 컨텍스트와 에이전트 지향 프레이밍에도 불구하고 이 릴리스가 추정 소스/기반 모델을 개선하지 못했을 수 있다고 봤다.

• 라이선스 개선: 라이선스는 긍정적 변화로 언급됐다. 비표준 조건으로 비판받았던 일부 이전 NVIDIA 모델 릴리스와 달리, 이번 모델은 Apache 2.0 / MIT식 허용 라이선스에 더 가깝다고 설명됐고, 개발자와 상업 사용자 채택에 도움이 될 수 있다.

• Unsloth has uploaded several sizes of Deepseek-V4-Flash GGUF’s (Activity: 588): Unsloth는 여러 DeepSeek-V4-Flash GGUF 양자화(quantization)를 업로드했지만, 사용자들은 현재 추론(inference)에 DeepSeek V4 checkpointing fix가 들어간 특정 llama.cpp 포크/브랜치가 필요하다고 지적했다. 8× RTX 3090에서 DeepSeek-V4-Flash-UD-Q4_K_XL을 돌린 초기 llama-bench 결과는 144.44 GiB, 284.33B 파라미터 모델이 258.77 ± 2.23 t/s 프리필(pp512)을 보였지만, 생성(tg128)은 CUDA/NGL 99에서 19.73 ± 0.24 t/s에 그쳤다. 또 다른 사용자는 Framework 16에서 밀집 레이어는 Radeon 7700S, 전문가(experts)는 780M, 96GB DDR5에 배치하는 맞춤형 이기종 배치로 약 70 TPS 프리필과 7 TPS 생성, 약 100 W TDP를 달성했다고 보고했다. 댓글들은 Unsloth Dynamic Quants와 호스팅 V4-Flash 품질에 낙관적이지만, llama.cpp/백엔드 지원이 성숙하면서 성능이 개선될 것으로 본다. 한 벤치마커는 더 작은 27B int8 모델의 훨씬 높은 실전 생성 속도에 “눈이 높아졌다”고 말했다.

• 필수 llama.cpp 브랜치: 이 GGUF를 실행하기 위해 필요한 llama.cpp 포크/브랜치로 danielhanchen/llama.cpp deepseek-v4-checkpointing-fix가 링크됐다. 이는 Unsloth GGUF가 정확하거나 효율적으로 실행되기 전에 현재 upstream 지원에 DeepSeek-V4 전용 체크포인팅 수정이 필요할 수 있음을 시사한다.

• 8x RTX 3090 벤치마크: 한 사용자는 CUDA 오프로딩 NGL=99로 8x RTX 3090에서 DeepSeek-V4-Flash-UD-Q4_K_XL을 벤치마크했다. 모델 크기는 144.44 GiB, 284.33B 파라미터, pp512 프리필은 258.77 ± 2.23 tok/s, tg128 생성은 19.73 ± 0.24 tok/s에 그쳤다. 모델/양자화 품질은 좋았지만, 생성 속도는 27B int8 설정과 비교해 낮게 느껴졌다고 했다. 이는 이 아키텍처/양자화에 대한 백엔드/커널 지원이 아직 미숙한 영향일 가능성이 크다.

• Framework 16 이기종 배치: 한 Framework 16 사용자는 96GB DDR5, 8GB GDDR6 Radeon 7700S, 780M의 혼합 iGPU/dGPU 설정에서 모델을 실행해 약 70 tok/s 프리필과 7 tok/s 생성을 약 100W 시스템 TDP로 달성했다고 보고했다. 맞춤형 추론(inference) 코드는 밀집 레이어를 7700S에 고정하고 MoE 전문가를 780M에 배치한다고 하며, 대형 MoE GGUF를 소비자 노트북 하드웨어에 맞추기 위한 이기종 메모리/컴퓨트 배치 전략을 보여준다.

• Late to the party but… Holy MTP (Activity: 470): 한 사용자는 Qwen 3.6 27B 실행에서 **MTP (multi-token prediction)**를 활성화한 뒤 토큰/초가 대략 2× 증가했다고 보고했고, 이어 “abliterated” MTP 변형을 찾고 싶다고 말했다. 한 댓글은 GGUF 8-bit quant에서도 ~2× 처리량을 보였다고 확인했고, 다른 사용자는 Apple M5 하드웨어에서 예상되는 3–4× 프리필 속도 향상을 위해 MLX MTP 지원이 “따라잡기”를 원한다고 말했다. 댓글들은 MTP 채택을 로컬 LLM 추론(inference)이 아직 초기라는 증거로 보며 추가 성능 개선을 기대했다. 한 댓글은 특히 Dspark를 유망하게 언급했다.

• MTP 속도 향상: 사용자들은 MTP가 로컬 추론(inference)에서 상당한 디코드/프리필 속도 향상을 제공한다고 보고했다. GGUF 8-bit quant 사용 중 대략 2× speedup을 봤다는 보고도 포함된다. 다른 댓글은 MLX MTP 지원이 성숙하기를 원했고, Apple M5 설정에서 3–4× 프리필 속도 향상을 기대했다.

• VRAM 절충: 기술적 절충으로, MTP를 활성화하면 추가로 1.5–2 GB VRAM을 사용할 수 있다는 점이 언급됐다. 매우 큰 컨텍스트 윈도우에서는 VRAM 고갈, 크래시, 느린 시스템 RAM으로의 spill을 피하기 위해 MTP를 비활성화할 수 있다.

Local LLM Reliability for Coding and RAG

• Can you trust local models to answer accurately? (Activity: 442): 이미지는 로컬 LLM을 Node, LangChain.js, TypeScript, Transformers.js, Vue의 markdown 문서에서 생성한 7,648개의 객관식 질문으로 평가한 벤치마크 표 “Accuracy & Memory Across Local Models”다. 핵심 결과는 단독 로컬 모델이 **RAG 없이 약 60–83%**로 훨씬 낮은 점수를 기록하는 반면, 검색 증강은 정확도를 약 **86–97%**까지 끌어올린다는 것이다. Qwen 3.6 27B가 **96.9%**로 가장 높았다고 하며, Apple Intelligence / AFM 2 3B on-device는 다른 모델의 32k 대비 훨씬 작은 약 4k 컨텍스트 윈도우에도 약 **86%**에 도달해 주목된다. 댓글들은 Apple Intelligence / AFM 2 3B와 Gemma 4 E2B 같은 작은 로컬 모델이 크기 대비 놀라울 만큼 유능해 보인다는 데 대체로 동의했지만, 정확한 기술 답변은 RAG, 브라우저 검색, MCP식 통합 같은 도구에 크게 의존한다고 봤다. 또한 Gemma 31B와 Qwen 27B 같은 더 큰 로컬 모델이 RAG 없이도 82% 정확도를 넘는다는 점에 관심을 보이며, 로컬 모델 기준선이 빠르게 개선되고 있음을 시사한다고 평가했다.

• RAG 없는 기준선 개선: 한 댓글은 Gemma 31B와 Qwen 27B가 RAG 없이 82%+ 정확도를 달성한 것이 약 6개월 전과 비교해 눈에 띄는 도약이라고 강조했다. 당시 비슷한 로컬 모델 정확도는 훨씬 낮았다고 설명했다. 또한 모델 주변의 적절한 도구화가 답변 신뢰성을 실질적으로 개선할 수 있다고 강조했다.

• 브라우저 MCP 워크플로: 한 사용자는 정확성이 중요할 때 로컬 모델이 웹을 검색하게 하기 위해 Chrome 확장과 opencode를 통한 browser MCP 설정을 사용한다고 설명했다. 내포된 워크플로는 기본 모델에만 의존하지 않고 검색/검색 도구를 붙여 환각이나 오래된 지식을 보완하는 것이다.

• Qwen 3.6 27B absolutely fails at agentic work (Activity: 833): 게시자는 RTX 6000에서 llama.cpp nightly로 Qwen 3.6 27B를 8-bit/16-bit로 실행하면 단발성 출력은 강하고 자신들의 Qwen 3.5 122B 4-bit/5-bit 설정보다 더 긴 생성을 하지만, 다중 턴/에이전트 워크플로에서는 대략 ~4턴마다 잦은 지시 이행 오류로 실패한다고 보고했다. 기술적 답변들은 모델 품질만이 아니라 추론(inference)/구성 디버깅을 제안했다. 예를 들어 froggeric/Qwen-Fixed-Chat-Templates의 수정된 채팅 템플릿을 사용하고 preserve_thinking 같은 파라미터를 확인하라는 것이다. 댓글들은 이 보고가 프롬프트, 샘플러 설정, 채팅 템플릿, 추론 파라미터 등 재현 세부사항이 부족하다고 반박했다. 한 댓글은 *“most people aren’t having your experience,”*라고 하며 문제가 27B 모델 자체가 아니라 로컬 구성일 수 있음을 시사했다.

• 템플릿/파라미터 문제 가능성: 여러 댓글은 보고된 에이전트 실패가 Qwen 3.6 27B 모델 자체가 아니라 채팅 템플릿 또는 추론 파라미터 문제일 수 있다고 제안했다. 언급된 구체적 수정에는 Hugging Face의 froggeric 수정 템플릿(Qwen-Fixed-Chat-Templates) 사용과 preserve_thinking 같은 파라미터가 올바르게 활성화/구성됐는지 확인하는 것이 포함됐다.

• 성공적인 하네스 사례: 성공적으로 배포한 사용자들은 Qwen3.6:27B가 적절한 에이전트 하네스로 감싸면 코딩, 도구 호출, 채점에 잘 작동할 수 있다고 말했다. 한 댓글은 이 모델로 *“four or five agents”*를 만들었고 특히 Pi code 안에서 *“a very good coder, a good tool caller, a good scorer,”*라고 느꼈다고 보고했다. 또 다른 사용자는 사용자의 워크플로 지시에 Pi를 맞추라고 권했다.

Less Technical AI Subreddit Recap

/r/Singularity, /r/Oobabooga, /r/MachineLearning, /r/OpenAI, /r/ClaudeAI, /r/StableDiffusion, /r/ChatGPT, /r/ChatGPTCoding, /r/aivideo, /r/aivideo

GPT-5.6 Sol and Grok 4.5 Launches

• GPT-5.6 Sol, along with Terra and Luna, will launch publicly this Thursday. (Activity: 976): 이미지는 **“GPT-5.6 Sol”**에 대한 마케팅식 출시 발표이며, 동반 이름으로 Terra와 Luna가 있다. 공개 사용은 이번 목요일 시작되고 프리뷰 접근이 전 세계로 확대된다고 말한다: image. 게시물/이미지에는 기술 세부사항이 없다. 벤치마크, 아키텍처 노트, 컨텍스트 윈도우 사양, 가격, API 제한, 배포 세부사항이 없기 때문에, 의미는 주로 OpenAI의 향후 모델/제품 출시 주장이라는 맥락에 있다. 댓글들은 이 발표를 Anthropic에 대한 경쟁 압박으로 받아들였고, 한 사용자는 *“Competition is a win for everyone.”*이라고 말했다. 다른 이들은 이름 체계가 혼란스럽다고 비판했고, 출시를 위해 주간 사용 한도를 아껴두겠다고 언급했다.

• Grok 4.5 is live (Activity: 1014): 이미지는 **“Grok 4.5 is live”**라고 발표하는 어두운 벤치마크 표이며, Opus 4.8, GPT-5.5, Composer 2.5, Fable 5와 Terminal-Bench 2.1, SWE-Bench Multilingual, DeepSWE 1.0, SWE-Bench Pro 같은 코딩 에이전트 벤치마크를 비교한다. Grok 4.5는 각각 83.3%, 78.0%, 62.0%, 64.7%로 표시된다. 기술적 요지는 Grok 4.5가 소프트웨어 엔지니어링 벤치마크에서 프런티어에 가까워 보인다는 것이며, 댓글들은 주장된 $2/$6 가격과 xAI의 효율 개선 주장을 강조했다. image와 xAI의 pricing/efficiency page를 참조한다. 댓글들은 절대 벤치마크 선두 여부보다 비용 대비 성능에 더 집중했고, $2/$6 가격을 “진짜 놀라움”이라고 부르며 출력 토큰 처리량과 속도가 작은 벤치마크 차이보다 더 중요할 수 있다고 주장했다.

• 가격/처리량 효율: 댓글들은 원시 벤치마크 순위보다 가격/처리량 효율에 더 집중했다. Grok 4.5가 $2/$6로 가격이 매겨졌고, xAI가 pricing/efficiency post에서 현재 최고 프런티어 모델보다 최대 2x 더 나은 효율을 주장한다고 지적했다. 핵심 기술 질문은 이런 출력 토큰 속도와 지연 시간이 출시 벤치마크가 아니라 실제 워크로드에서도 유지되는지다.

• 엔터프라이즈 관점: 기술적으로 관련 있는 엔터프라이즈 관점은 공개된 벤치마크 결과, 비용, 속도가 재현 가능하다면 Grok 4.5가 브랜드 우려에도 시장 점유율을 얻을 수 있다는 것이다. 특히 프로덕션 LLM 배포에서 구매 결정은 대중 인식보다 평가 통과, 낮은 지연 시간, 더 저렴한 추론(inference) 비용을 우선할 것이라는 주장이다.

Claude Fable 5 Limits and Local Economics

• Anthropic extending Fable 5 for paid users till 12 july (Activity: 1801): image는 인증된 Claude 계정의 X 게시물로, Claude Fable 5 접근 권한이 유료 Anthropic 사용자에게 7월 12일까지 연장된다고 발표한다. 답글은 할당량 메커니즘을 설명한다. 유료 사용자는 주간 사용 한도의 최대 **50%**를 Fable 5에 쓸 수 있고, 이후에는 사용량 크레딧으로 계속하거나 다른 모델로 전환할 수 있다. 댓글들은 대부분 계획과 할당량 타이밍에 불만을 보였다. 여러 사용자는 Fable 접근이 끝난다고 생각해 주간 사용량을 급히 소진하거나 추가 크레딧을 샀고, Anthropic이 연장을 더 일찍 알리거나 사용 한도를 리셋했으면 좋았겠다고 말했다.

• 사용량 리셋 없는 연장의 한계: 사용자들은 usage reset 또는 quota adjustment 없이는 연장의 실질적 가치가 제한적이라고 보고했다. 여러 명은 Fable 5 접근권을 잃을 것으로 예상하고 이미 주간 허용량 대부분 또는 전부를 사용했으며, 한 사용자는 71% 사용량과 리셋이 3am Monday까지 일어나지 않는 상황을 언급했다.

• 추가 크레딧과 계획 문제: 한 유료 사용자는 원래 종료 시점 때문에 남은 접근 시간이 적다고 보고 extra credits를 구매하고 프로젝트를 급히 끝내려 했다고 말했다. 연장은 계획 기간을 바꾸지만, 모델 가용일과 유료 사용 한도에 대한 커뮤니케이션/권한 문제를 드러낸다.

• WTF are you guys even working on?! (Activity: 1205): 14-year-old 모노레포, 17+ 서비스, 여러 Claude 생성 사이드 프로젝트를 다루는 한 소프트웨어 엔지니어는 왜 사용자들이 5x 주간 LLM 사용량을 소진하고 Fable 5 가격 변화가 작업을 막는 것처럼 여기는지 의문을 제기했다. 그는 Opus 4.8이 대부분의 코딩 작업을 약간의 품질 저하만으로 처리해야 한다고 주장했다. 핵심 기술 포인트는 코딩 에이전트의 비용/성능 절충이다. 특히 생성된 코드를 개발자가 여전히 이해하고 유지보수해야 하는 상황에서, 프리미엄 모델이 프로덕션 코드 생성, 디버깅, 대형 컨텍스트 워크플로에 정말 필요한지에 대한 질문이다. 댓글들은 고급 모델이 비감독 코드 감사, 버그 발견, 로그와 최신 컨텍스트를 활용한 빠른 이슈 해결 같은 개방형 작업에 가치가 크다고 반박했다. 여러 댓글은 개발자가 모든 생성 구현 세부사항을 완전히 이해하지 못하더라도, LLM으로 유료 웹 앱을 만들거나 인간보다 빠르게 코드를 고치는 것만으로도 충분한 가치가 있다고 주장했다.

• 코드 감사와 버그 발견: 여러 댓글은 LLM 코딩 가치가 코드베이스 감사와 버그 발견에서 가장 강하다고 주장하며, 좁은 초점 없이 모델에게 코드를 감사하라고 요청하는 간단한 프롬프트를 추천했다. 한 댓글은 모델을 구분해 Claude Opus는 “fine for coding”이지만 “Fable”은 코드베이스 문제를 찾는 데 뛰어나다고 말했고, 생성과 리뷰/디버깅 워크플로 사이의 지각된 전문화를 시사했다.

• 장시간 비동기 디버깅: 반복적으로 언급된 기술 워크플로는 fresh repository context, logs, bug reports를 가진 에이전트를 사용해 문제를 자율적으로 진단하고 패치하게 하는 것이다. 한 사용자는 버그 리포트를 Claude에 보내고 몇 시간 동안 백그라운드로 실행하게 해 약 500k+ tokens 이후 수정안을 받았다고 보고했다. 이는 비용이 개발자에게 추상화된 고토큰, 비동기 디버깅 패턴을 보여준다.

• 생성 코드 이해 논쟁: 개발자가 AI 생성 코드를 사용하기 전에 완전히 이해해야 하는지에 대한 논쟁도 있었다. 일부 댓글은 그 제약을 거부하며, 에이전트가 로그와 컨텍스트를 사용해 인간보다 빠르게 이슈를 찾고 고칠 수 있다면 실질적 지표는 모든 생성 라인의 수동 이해가 아니라 배포된 기능과 유지보수성이라고 주장했다.

• would you even run fable locally if you could? (Activity: 905): 이미지는 Polymarket의 어두운 모드 X/Twitter 스크린샷으로, Claude Fable이 약 2년 안에 고급 소비자 하드웨어에서 로컬 실행될 수 있다는 전망을 주장한다(image). Reddit 게시물은 호스팅 Fable 가격이 소비자 하드웨어 성능 개선보다 더 빨리 떨어진다면 로컬 추론(inference)이 여전히 가치가 있을지 질문한다. 이는 로컬 capex / 소유권 vs. 호스팅 API 비용의 절충으로 프레이밍되며, 프라이버시는 분명하지만 충분하지 않을 수 있는 차별점으로 제시된다. 댓글들은 로컬 실행이 제공자 측 usage limits를 제거하고, 소유 컴퓨트를 가능하게 하며, 모델 품질을 유지하는 미래 압축/양자화(quantization) 돌파의 혜택을 받을 수 있기 때문에 여전히 중요할 수 있다고 주장했다. 또 다른 댓글은 Polymarket의 역할이 사실상 그 전망을 베팅 시장으로 바꾸는 것이라고 농담했다.

• 컴퓨트 소유권 절충: 여러 댓글은 로컬 실행을 주로 compute-ownership tradeoff로 프레이밍했다. Fable을 로컬에서 실행할 수 있다면 사용자는 호스팅 API 사용 제한을 피할 수 있고, 추론(inference)은 자신의 하드웨어, 메모리, 전기 비용에만 제한된다.

• 폐쇄 가중치 출시 회의론: 한 기술적 회의론 스레드는 Anthropic이 Fable 또는 관련 폐쇄 가중치 모델을 로컬로 공개할 가능성이 낮다고 주장했다. 호스팅 접근 수익화가 사업 모델의 핵심이기 때문이다. 반론은 오픈 가중치 모델이 곧 유사한 역량에 도달할 수 있다는 것이며, 한 댓글은 오픈 모델이 이미 “Opus 4.5”를 넘고 있고 6–24 months 안에 Fable급 성능과 동등해질 것이라고 주장했다.

• 압축/효율 기술 기대: 한 댓글은 LLM compression/efficiency techniques의 향후 큰 발전을 예측했다. 더 똑똑한 양자화(quantization), pruning, distillation, 아키텍처 수준 개선이 결국 매우 큰 모델을 로컬에서 실용적으로 실행하면서도 효과의 상당 부분을 유지하게 만들 수 있다는 것이다.

Anthropic J-Space and Fable Cyber-Safety Edge Cases

• Anthropic just reported that LLMs have hidden thoughts they hold without saying. An internal ”J-Space” (Activity: 1194): 이 게시물은 Anthropic의 논문을 다룬다. 논문은 J-space라고 불리는 작은 모델 활성 집합을 소개하며, 정보가 보관되고, 보고되고, 다단계 추론에 사용될 수 있는 global workspace처럼 작동하는 반면, 많은 유창한 생성은 이를 우회한다고 설명한다(paper). 작성자는 생성 전 token-disposed 내부 상태를 시각화하기 위해 Subtext(GitHub)를 만들었고, 12 + 5 = 1에 대한 답변 전 incorrect가 활성화되는 사례, 그리고 Italy가 layer 20 근처에, euros가 layer 26 근처에 나타나는 two-hop trace 같은 재현을 주장했다. 그는 이것이 보고 가능하고 사용 가능한 내부 정보를 의미하지, 주관적 경험의 증거는 아니다라고 강조했다. 댓글들은 대체로 이것이 이전 mechanistic interpretability 단서와 일치한다고 봤고, “stochastic parrot” 프레이밍에 반박했다. 한 댓글은 재현 구현에 어떤 모델이 사용됐는지도 질문했다. 또 다른 상위 댓글은 게시물의 조심스러운 표현이 Claude가 쓴 텍스트처럼 들린다고 농담했다.

• 숨겨진 내부 표현: 댓글들은 모델이 출력 토큰에 드러나지 않는 내부 표현을 유지할 수 있다는 Anthropic의 발견을 강조하며, 이것이 단순한 “just next-token prediction” / “stochastic parrot” 프레이밍에 도전한다고 주장했다. 기술적으로 주목할 해석 중 하나는 모델의 잠재 J-space가 언어화되기 전에 중간 믿음이나 분류를 인코딩할 수 있다는 것이다.

• 뉴런/특징 활성 추적과의 차이: 보고된 현상이 본질적으로 뉴런/특징 활성 추적인지, 예를 들어 답변으로 가는 경로에서 *“Italy neurons”*가 활성화되는 것인지, 아니면 더 강한 것을 보여주는지에 대한 기술적 질문이 제기됐다. 산술 예시는 단순 의미 특징 활성화가 아니라 잠재 중간 계산을 암시하기 때문에 더 흥미로운 것으로 꼽혔다.

• 사전학습과 사후학습 차이: 한 댓글은 base training과 post-training 사이의 보고된 차이를 강조했다. 사후학습 전에는 모델의 내부 상태가 대체로 사용자 토큰 예측에 제한됐지만, 정체성/정렬 사후학습 후에는 입력을 읽는 동안 1인칭 같은 판단을 형성하는 것처럼 보였다는 것이다. 인용된 예시는 어떤 출력 토큰도 생성하기 전에 내부적으로 prompt injection을 인식하는 것이었다.

• Fable 5 found actual malware on my PC, and then its own safety filters flagged the warning. (Activity: 1871): 한 사용자는 Fable 5가 Windows Run 레지스트리 키를 검사해 예상치 못한 지속성 메커니즘을 포착했다고 보고했다. 이는 로그인 시 원격 스크립트를 다운로드하는 powershell.exe -NoProfile -ExecutionPolicy Bypass -WindowStyle Hidden ... 형태였고, 모델은 이를 활성 침해로 분류했다(screenshot). 사용자가 관련 레지스트리 항목 제거를 요청한 뒤 모델은 정리를 완료한 것으로 알려졌지만, 이후 상호작용이 안전 필터에 의해 “cybersecurity work”로 플래그되어 세션이 Opus 4.8로 다운그레이드됐다고 한다(screenshot). 댓글들은 엔드포인트 복구에 LLM을 의존하는 데 회의적이었다. 이 PowerShell Run 키 지속성 패턴은 오래됐고 일반 AV/EDR이 보통 잡는다고 지적했다. 한 댓글은 안티바이러스가 더 적절하며 LLM은 “1개를 찾고 10개를 남길” 수 있다고 주장했다. 또 다른 댓글은 모델이 다운그레이드 없이 코드베이스 문제를 찾아 문서화한 유익한 보안 리뷰 사례를 보고했다.

• 전용 보안 도구 필요성: 한 댓글은 악성코드 탐지는 LLM 에이전트보다 전용 안티바이러스/EDR 도구가 맡아야 한다고 주장했다. 설명된 악성코드 계열은 ~12 years old로 알려져 있고, 기존 시그니처/휴리스틱에 포함됐을 가능성이 크다는 것이다. 반면 Fable은 하나의 흔적을 찾아도 다른 흔적을 놓칠 수 있다.

• 코드 보안 리뷰 사례: 한 사용자는 Fable로 코드베이스를 스캔해 버그를 찾게 한 사례를 설명했다. 에이전트는 security.md를 찾아 업데이트했고, 프로덕션 전 패치할 만큼 중요한 보안 발견을 여러 개 추가했다. 이 사용자는 이것이 모델 티어/접근을 낮춘 것 같지는 않았다고 말했고, 안전 시스템이 다른 곳에서 관련 내용을 플래그하면서도 코드 보안 복구는 허용했음을 시사했다.

---

AI Discord Recap

운영 공지

• Discord가 오늘 접근 권한을 차단했다. 이 형식으로는 다시 가져오지 않을 예정이지만, 새로운 AINews를 곧 출시할 예정이다. 여기까지 읽어줘서 고맙다. 좋은 여정이었다.