SemiAnalysis 소개와 커리어의 출발 (00:00-09:12)
- [00:08] SemiAnalysis 약 90명 중 상당수는 공급망 전반의 기술자·엔지니어이고, 또 상당수는 과거 헤지펀드 출신이라 내부에서 기술 관점과 비용 관점이 자주 충돌한다
- [02:11] Dylan은 주유소에서 손님의 나이·인종·직업을 보고 살 담배를 예측한 경험을 “처음 훈련시킨 신경망”이라고 농담한다
- [04:08] Xbox 360의 “죽음의 붉은 링”을 온도 센서를 쇼트시켜 직접 고친 경험이 하드웨어에 빠지게 된 계기가 되었다
“[04:19] 그래서 그것이 제가 하드웨어에 빠지게 된 계기입니다.”
- [04:30] 12살 무렵부터 Android·Apple·Intel·NVIDIA·AMD 등 여러 포럼의 운영자로 활동하며 스마트폰·GPU의 발전을 가까이에서 추적했다
- [05:15] 가격 대비 성능 때문에 개인적으로는 AMD GPU를 샀지만, 기술적으로는 늘 NVIDIA가 더 작은 칩으로 더 나은 성능·전력 효율·마진을 확보한다고 봤다
- [05:44] 취미로 스타크래프트에 몰입해 북미 래더 그랜드마스터였으며, “집착은 좋은 것”이라고 말한다
- [08:43] 익명 활동 중 신상이 공개된 뒤 오히려 실명으로 블로그 형태의 SemiAnalysis를 시작했고, 24번째 생일에 올린 두 게시물이 큰 반응을 얻으며 컨설팅 의뢰로 이어졌다
노숙 리서치 로드트립과 콘퍼런스 학습 (09:16-14:02)
- [09:20] 2020년 트럭에 텐트·에어매트리스를 싣고 미국 국립공원을 돌며, 주말에는 교과서·오디오북으로 반도체·AI를 공부하는 생활을 했다
- [09:50] 국립공원을 떠돈 6개월 동안 훨씬 더 많이 배웠고, 이후 2020년 중반부터 사실상 집 없이 전 세계 콘퍼런스를 돌아다녔다
- [10:29] 1년에 40개 이상의 콘퍼런스에 참석하며, 반도체 분야에 열정을 가진 젊은 사람이 드물어 나이 든 전문가들이 기꺼이 이야기를 들려주었다
“[11:40] 제가 가진 한 가지 능력이 있다면, 배경이나 그들이 어떤 사람인지에 상관없이 누구와도 유대감을 형성할 수 있다는 겁니다.”
- [12:16] SPIE Advanced Lithography 같은 난해한 콘퍼런스는 처음엔 90%도 이해 못 했지만, 반복 참석하며 절반·75%로 이해도를 끌어올렸다
- [13:36] 특정 화학 물질을 만드는 회사가 전 세계에 세 곳뿐인 경우처럼, 공개적으로 명시되지 않은 공급망 취약성을 사람들에게 직접 물어 배운다
- [13:53] 1980년대에 특정 화학 물질 공장 하나가 불타 메모리 가격이 두세 배 뛴 일화는 오늘날의 공급망 취약성과 크게 다르지 않다
InferenceX와 살아 있는 추론 벤치마크 (14:04-23:57)
“[14:22] 추론은 오픈 모델이든 폐쇄형 모델이든 세계에서 가장 큰 시장 중 하나가 될 것이며, 석유보다 훨씬 더 커질 것입니다.”
- [15:09] 기존 추론 벤치마크는 특정 시점의 스냅샷이라, 모델·PyTorch·SGLang·드라이버가 매주 바뀌는 환경에서는 발표 시점에 이미 뒤처진다
- [15:53] 동등한 품질의 모델 비용이 연간 약 60배씩 감소하는 흐름을 관찰했고, 이를 따라가려면 최신 하드웨어에서 최신 모델을 매일 실행하는 “살아 있는” 벤치마크가 필요하다
- [16:43] CoreWeave·Oracle·Microsoft·Google·NVIDIA·AMD 등이 참여해 5천만 달러 이상(TPU·Trainium 포함 시 1억 달러 이상)의 하드웨어를 기증받아, 약 15종 칩으로 매일 자동 벤치마크를 돌린다
- [17:28] 결과로 Pareto 최적 곡선을 만들고, 사용자는 원하는 최적 지점의 오픈소스 컨테이너를 다운로드해 거의 최고치에 가까운 추론 성능을 얻을 수 있다
- [18:18] 하드웨어·인프라·모델·애플리케이션 계층 대부분은 처리량과 상호작용성 곡선의 하위 결과다. 낮은 지연이 중요하면 batch size를 낮추고 추측 디코딩·멀티 토큰 예측을 쓰고, 문서 배치 처리면 비용 효율을 택한다
- [21:27] 2030년쯤 OpenAI와 Anthropic만 합쳐도 100기가와트를 넘고, 2040년에는 추론 컴퓨팅이 테라와트 규모가 되며 증분 컴퓨팅의 절반 이상이 우주로 갈 수 있다고 전망한다
- [22:39] 같은 벤치마크 수준에서 비용은 60배, 와트당 지능은 약 40배 개선되었다. 인간 뇌와는 여러 자릿수 차이가 있지만, 컴퓨터에 전력을 공급하는 편이 훨씬 쉽다
공동 설계의 이득과 DeepSeek (24:00-28:43)
- [24:27] Hopper→Blackwell 3년간 DeepSeek 기준 약 30배 개선이 있었지만, 와트당 지능은 그보다 훨씬 더 개선됐고 그중 많은 부분이 모델 계층에서 나왔다
- [24:46] 3년 전 GPT-4 기준에서, 지금은 270억 파라미터·약 20억 활성 파라미터의 작은 Qwen 모델이 훨씬 더 좋다
“[25:02] 하지만 중요한 것은 그 공동 설계 계층입니다.”
- [25:24] DeepSeek V3의 전문가 형태는 Hopper에, V4는 Blackwell·화웨이 칩에 최적화되어 있다. 모델을 칩의 하드웨어 아키텍처에 맞게 만드는 것이 핵심이다
- [25:45] TPU는 훌륭한 칩이지만 DeepSeek를 실행하는 데는 형편없고, NVIDIA에서 잘 안 돌아가는 다른 종류의 모델에는 매우 좋다 — 이득을 특정 계층으로 분리하기 어렵다
- [26:27] 중국이 공동 최적화를 더 잘한다기보다, 서구 기업들이 자신들의 sparsity·모델 형태를 공개하지 않는 것에 가깝다
“[28:30] 여기서 2배, 저기서 2배씩이 아니라, 세 계층 전체에 걸쳐 최적화했기 때문에 실제로는 100배가 됩니다.”
메모리·전력 병목과 NVIDIA vs TPU (28:46-35:46)
- [29:44] 메모리 용량·대역폭은 매우 느리게 개선돼 왔다. NAND·DRAM 셀에는 큰 돌파구가 없었고 지난 5년간 한 일은 HBM을 더 많은 스택으로 쌓은 것뿐이다
- [30:14] 향후 몇 년 내 HBM을 칩과 따로 쌓는 대신 메모리를 칩 위에 직접 쌓는 방식이 들어와 대역폭이 폭발적으로 늘 수 있다
“[30:25] 저는 메모리 대역폭이 가장 큰 병목 중 하나라고 생각합니다.”
- [30:39] 칩 전력은 20년간 제곱밀리미터당 약 1와트에 머물렀다. NVIDIA Rubin은 2,000와트, Rubin Ultra는 약 4,000와트로 가지만 이는 실리콘 양을 늘리는 것이다
- [31:57] 전력 병목의 단순 해법으로, 미국이 수백만 대 만들 수 있는 트럭 디젤 엔진을 개조해 전기 모터를 역구동시켜 발전하는 방식을 예로 든다
- [33:13] 2년 뒤 Google은 연 1천억 달러 이상 규모의 TPU를, NVIDIA는 5천억 달러 규모의 GPU를 만들 수 있다(사고 실험). 결국 핵심은 하드웨어-소프트웨어 공동 설계 문제다
“[34:55] 저는 OpenAI와 Anthropic이 실제로 상당히 다른 모델 아키텍처라고 생각합니다. OpenAI의 모델은 훨씬 더 희소하고, Anthropic은 여전히 희소하지만 더 조밀합니다.”
- [35:18] NVLink는 72개 GPU를 스위치로 연결하지만, Google ICI는 스위치 없이 8,000개 칩을 초고대역폭으로 연결한다. 이런 네트워크 토폴로지 차이가 모델 아키텍처에 직접 영향을 준다
CUDA 해자의 변화와 생태계 공동 설계 (35:47-38:43)
- [36:00] 최근 3~6개월 사이 모델 회사들이 다른 칩을 크게 꺼리지 않게 됐다. 필요하면 맞춤형 커널을 작성하고, Claude·Codex가 그 최적화를 꽤 잘 해낸다
“[36:34] CUDA 해자와 소프트웨어 해자는 적어도 부분적으로 분리되고 있습니다. 모델이 코딩을 잘하면 모든 소프트웨어가 상품화되기 때문입니다.”
- [36:49] 흔히 말하는 “CUDA 해자”는 사실 CUDA 자체와 거의 관련이 없다. DeepSeek·Kimi·Alibaba 등 중국 모델이 GPU에 맞춰 공동 설계되어 있어 다운스트림 제품이 NVIDIA에 최적화된 것이다
- [37:10] 그래서 Google은 Gemma 같은 자체 오픈소스 모델 생태계를 만들어야 하고, Google이 정말 좋은 모델을 오픈소스로 내면 반대로 TPU 중심 쏠림도 생길 수 있다
- [38:19] OpenAI는 오래전 PyTorch를 포크했고 대형 연구소들은 오픈소스에 의존하지 않는다. 이들의 전략은 가장 비용 효율적인 하드웨어를 골라 모델·인프라를 처음부터 끝까지 공동 설계하는 것이다
Cerebras의 속도와 한계, ROI 논쟁 (38:46-44:17)
- [38:55] Cerebras는 “매우 빠른 추론”이라는 큰 시장에서 뛰어나고, SemiAnalysis 내부도 거의 전적으로 fast mode를 쓴다
- [40:03] 그러나 매우 큰 모델을 매우 긴 context(예: 백만 토큰, 10조+ 파라미터)로 실행하는 것은 Cerebras·Groq 같은 SRAM 기반 칩에서는 매우 어렵다
- [40:57] 토큰 물량보다 중요한 것은 달러다. F-150이 평균판매가가 5배라 절반만 팔려도 더 큰 시장이듯, 사용량·매출은 최고 성능 모델에 몰린다
“[42:33] 저를 정말 화나게 하는 건 사람들이 “AI에는 ROI가 없다”고 말하는 것입니다.”
- [42:50] 특정 벤치마크가 개선 안 됐다는 비판은 그 벤치마크가 이미 90% 포화됐기 때문이며, 새 벤치마크를 보면 모델 성능은 다시 급상승 중이다
- [43:54] 가장 답답한 건 사람들이 모든 사실을 눈앞에 두고도 결론을 완전히 틀리게 내리는 것이다. 그래서 화내기보다 빠르게 판단하고 움직이는 태도가 중요하다
10년 기술 베팅과 AI 컴퓨트의 최종 상태 (44:20-50:42)
- [44:33] 10년 관점에서 우주 데이터센터·우주 채굴·소행성 활용 같은 SpaceX식 비전이 매우 흥미롭다(투자 조언 아님)
- [44:56] co-packaged optics는 10년이 끝나기 전 실현될 가능성이 높고, 논쟁은 그 시점이 2027~2030년 중 언제냐다
- [45:14] Naveen Rao의 회사는 실리콘·소프트웨어 추상화·모델 계층을 동시에 혁신하려는 장기 베팅(에너지 기반 모델·아날로그 컴퓨팅)이라 흥미롭지만 성공 가능성은 낮을 수 있다
- [47:22] 앞으로 하드웨어와 모델 아키텍처는 더 갈라지고 공동 최적화될 것이다. 다만 일부는 경사하강법의 국소 최솟값에 빠질 수 있다는 것이 핵심 위험이다
“[48:16] 잠깐 동안은 훌륭할 수 있지만, 결국 (국소 최솟값이라면) 틀린 것이 됩니다.”
- [49:05] Google이 xAI에 GPU당 시간당 11달러를 지불하는 사례는 TPU가 있음에도 GPU를 쓴다는 점에서 시사적이다. Google은 Broadcom·MediaTek 등과 서로 다른 세 가지 TPU 아키텍처를 만든다
- [50:24] 과학을 위한 AI는 AGI 모델과 다른 알고리즘 패턴을 가질 수 있어, 시장이 커지며 다양한 틈새가 열리고 기업들이 자기 시장에서 돈을 벌 수 있게 된다
컴퓨트 부족, 수익성, 자본 경쟁 (50:48-56:22)
- [51:18] 지연을 감안해도 올해 약 20기가와트, 내년 30기가와트 이상의 데이터센터가 지어진다. 하드웨어 프로젝트에는 지연이 늘 따른다
- [51:57] Opus 4.6~4.8은 개선이었지만 Fable·Mythos는 계단 함수식 도약이었다. 같은 기간 세계 컴퓨팅은 두세 배로 늘지 않아 컴퓨트 부족이 심화됐다
“[52:01] Fable과 Mythos는 엄청난 계단 함수식 도약이었습니다.”
- [52:18] Anthropic은 2분기에 (SBC 제외) 순이익 흑자이며, Opus 4.8 토큰 마진은 API 가격 기준 80% 이상이다. 마진이 높은 회사는 컴퓨트 확보에 높은 가격을 지불할 수 있다
- [53:26] 75% 총마진 회사가 컴퓨트 비용을 두 배로 늘려도 50% 총마진을 유지할 수 있어, 임대한 GPU를 즉시 토큰 판매로 전환할 수 있다면 어떤 가격에서든 임대할 유인이 생긴다
- [54:46] 위험은 결국 모델 문제로 귀결된다 — 모델이 수행 가능한 작업의 TAM이 컴퓨트보다 빠르게 확대되는 한 흐름은 유지된다. 지난 6개월은 분명히 모델 쪽에 유리했다
“[55:41] 재귀적 자기 개선이라 부르진 않겠지만, 엔지니어와 모델이 함께 인프라를 작성하며 다음 모델을 더 빠르게 내는 일종의 준재귀적 자기 개선 루프가 돌아가고 있습니다.”
- [56:00] Larry Page가 100억 달러 밸류에이션에 10억 달러를 투자해 얻은 SpaceX 지분은 역사상 가장 위대한 투자 중 하나다. 그럼에도 Google조차 AI 인프라 경쟁을 위해 자본 조달(공모)이 필요하다고 판단했다