Chapter 1: 중립적 평가자라는 사명 (00:00-01:17)
- [00:00] AI가 사람들에게 실질적인 이익이 되도록 동기를 부여할 “중립적인 주체”가 필요하다
- [00:04] 이 중립적 평가자·조정자 역할이 Arena가 지켜갈 핵심 사명이다
“[00:00] 사람들에게 이익이 되도록 AI에 동기를 부여하는 일을 담당할 중립적인 주체가 필요합니다.”
Chapter 2: AI 평가가 정말 중요한 이유 (01:17-02:06)
- [01:34] 평가가 중요한 이유는 “무엇이 좋은 것인지”에 대한 정의를 제공하기 때문이다
- [01:42] 평가는 업계가 향해야 할 “북극성(North Star)“을 설정한다
- [01:48] 단순히 성과를 높이는 것보다, 오르고 있는 “언덕”이 올바른 언덕인지 확인해야 한다
- [01:59] Arena의 철학은 AI를 실제 사람들의 손에 쥐여 주고, 그로부터 가치를 얻는지 측정하는 것이다
“[01:43] 업계의 북극성을 설정하는 것입니다.”
Chapter 3: 전통적 벤치마크가 깨진 이유 (02:06-03:59)
- [02:06] 오래된 벤치마크는 객관식·고정 정답 문제에 초점을 맞춰 실제 유용성을 판단하기 어렵다
- [02:06] Arena는 정적인 시험이 아니라 동적인 사용자 경험 속에서 모델을 평가한다
- [02:06] 수학·코딩·지시 따르기부터 법률·의료·소프트웨어 엔지니어링, 에이전트형 코딩까지 비교한다
- [02:06] 전통적 벤치마크는 특정 시험을 맞히도록 최적화할 위험이 있지만, Arena는 실제 사용자 가치와 선호를 중심에 둔다
Chapter 4: 연구 프로젝트에서 스타트업으로 (03:59-04:48)
- [03:59] Arena는 서로 다른 AI 시스템의 역량을 평가하는 “하나의 진실 정보 출처(single source of truth)“를 지향한다
- [04:02] 처음에는 사업이 아니라 연구 프로젝트로 시작되었다
- [04:20] Arena는 개발자·기업·AI 연구소 사이의 인터페이스이자 정보의 원천이 될 수 있다고 보았다
- [04:35] 핵심 역할은 AI 제공자들이 인간에게 이익이 되는 방향으로 움직이도록 유도하는 것이다
- [04:48] 비영리·오픈소스도 검토했지만, 필요한 자원을 확보할 유일한 방법은 사업화라고 결론 내렸다
“[04:35] 그것은 이 제공자들이 인간에게 이익이 되도록 유도하는 일입니다.”
Chapter 5: 에이전트 모드 (04:48-08:28)
- [04:48] 기존 평가가 단일 응답 품질 비교였다면, 에이전트 평가는 여러 단계의 작업 수행을 다룬다
- [04:48] 에이전트는 목표를 하위 작업으로 나누고 도구를 사용해 결과물을 만들어, 중간 과정까지 판단해야 한다
- [04:48] 사용자가 언제 통제권을 되찾고 결과를 수정하는지가 중요한 신호가 된다
- [04:48] 에이전트 사용이 빠르게 커지면서 관련 평가 기능이 시급한 제품 우선순위로 올라왔다
Chapter 6: 8개월 만에 $100M ARR (08:28-09:37)
- [08:28] Arena가 8개월도 되지 않아 1억 달러 ARR에 도달했다
- [08:28] 빠른 매출 성장은 Arena가 단순한 리더보드가 아니라 실제 의사결정에 쓰이는 플랫폼임을 보여준다
- [08:28] 중립성과 실제 사용자 기반 평가의 결합이 신뢰를 낳았고, 이 신뢰가 상업적 성장의 기반이 되었다
- [08:28] 평가가 AI 인프라 시장에서 독립적인 핵심 범주가 되었음을 시사한다
Chapter 7: 빠르게 움직이는 AI를 따라잡는 법 (09:37-11:41)
- [09:52] 빠른 변화에 대응하는 유일한 방법은 즉각적으로 방향을 전환할 수 있는 훌륭한 팀을 만드는 것이다
- [10:01] 1월에 OpenClaw가 역사상 가장 바이럴한 오픈소스가 될 줄은 아무도 예측할 수 없었다
- [10:20] 겸손하게 실제로 일어나는 일을 관찰하고 세상이 향하는 방향을 인정해야 한다
- [11:22] 공동창업자 세 명(+ Yan, Wei Lin)의 워크숍에서 “에이전트가 미래”라는 항목을 우선순위에 올렸다
- [11:33] 예측하기 어려웠던 건 에이전트가 6개월이 아니라 6주 시간표 안에서 긴급해졌다는 점이다
“[10:20] 겸손하게 실제로 일어나는 일을 보고 이렇게 말할 수 있어야 합니다. 저기가 세상이 향하는 방향이구나.”
Chapter 8: AI가 스스로를 평가하게 될까? (11:41-13:51)
- [12:04] Arena에는 사용자가 작업을 얼마나 위임하는지 보여주는 “위임률 플롯”이 있다
- [12:20] 일부 사용자(약 10~20%)는 아무것도 위임하지 않고 빈 슬라이드부터 단계별로 직접 지시한다
- [12:42] 반대로 약 10~20%는 “전부 해 달라”며 에이전트가 몇 시간 동안 실행되도록 둔다
- [13:05] 많은 사용자가 한 번에 나온 결과에 만족하지 못하고 다시 돌아와 통제권을 되찾는다
- [13:21] 현재 에이전트 사용은 벨 커브의 초기 도입 단계에 있다
“[13:40] 사실상 사람이 참여하는 방식에서 에이전트로 넘어가는 전환을 실시간으로 볼 수 있다는 뜻이니까요.”
Chapter 9: 5년 뒤 Arena의 역할 (13:51-15:36)
- [14:02] 평가 회사의 핵심 역할은 “업계의 북극성”을 정하는 것이다
- [14:07] 평가 영역에는 사람들이 이익을 얻도록 인센티브를 설계할 중립적 플레이어가 반드시 있어야 한다
- [14:22] AI의 가치를 단순 참여도·사용량 증가로 보지 않고, 사실·객관적 진실에 뿌리내리게 하는 것이 중요하다
- [14:52] 특히 주목하는 영역은 성능·비용·지연 시간 사이의 새로운 트레이드오프다
- [15:08] 토큰을 최대한 많이 쓰던 시대를 지나, 실제 가치 없는 곳(낭비되는 MCP, 과도한 최고급 모델 사용)에 돈을 쓰는 낭비를 지적한다
- [15:19] Arena는 사람들이 성능과 비용의 균형을 맞춰 더 지능적인 선택을 하도록 정보를 제공한다
“[14:41] 저희 벤치마크가 이 업계에서 실존적으로 중요한 이유입니다.”