이전 글에 이어, 새로운 Frontier Model이 성공적으로 시장에 안착하고 Agent 기능이 본격적으로 활성화될 경우 AI Computing 수요가 어느 수준까지 증가할 수 있는지, 그리고 그 과정에서 Memory 수요가 얼마나 확대될 수 있는지를 여러 가설과 시나리오를 통해 모델링해보고자 한다.
이번 작업의 목적은 단기적인 수급 변화나 매일 변화하는 주가 흐름에 반응하지않고 시장의 소음에서 한 발 떨어져, AI 기술의 발전 방향과 Computing Infrastructure의 확장 경로를 지속적으로 Tracking하고 이를 수치화하는 것이 핵심이다.
이를 바탕으로 향후 AI Computing 수요가 어느 수준까지 증가할 수 있는지 추정하고, 그 과정에서 발생하는 AI Hardware 병목이 어디에 집중되는지 살펴볼 것이다.
이후 병목을 해소하는 과정에서 수혜를 받을 산업과 기업을 선별하고, 특정 제품(*HBM)의 TAM이 어느 수준까지 확대될 수 있는지를 비교·분석해 Portfolio에 반영하는 것이 최종 목표다.
결국 이번 리서치는 AI 발전 방향 → Computing 수요 증가 → Hardware 병목 발생 → 산업별 수혜 구조 → 기업 및 제품별 TAM 확대 → Portfolio 반영으로 이어지는 Top-down Narrowing down 과정을 정립하고, 그 판단 근거를 지속적으로 기록하기 위한 작업이다.
THE AGENT MULTIPLIER
장기 Agent의 Unhobbling은 AI Computing OOM을 얼마나 더 높일까
앞선 글인 SITUATIONAL AWARENESS: The Decade Ahead에서는 2025년을 출발점으로 AI의 성능 향상을 크게 세 가지 요소로 나누어 살펴봤다.
Physical Compute 증가
Algorithmic Efficiency 개선
Unhobbling을 통한 잠재능력 해방
이 가운데 Unhobbling은 모델이 이미 보유한 능력을 실제 작업성과로 전환하는 과정이다.
Tool Use, Reinforcement Learning, Chain-of-Thought, Long Context, Memory, Search, Agent Scaffolding이 모두 여기에 포함된다. 모델의 Parameter를 단순히 늘리지 않더라도, 모델이 생각하고 행동하는 환경을 개선하면 실제 성능이 급격히 높아질 수 있다.
최근 OpenAI의 GPT-5.6 Sol과 차기 모델 Astra, Anthropic의 Claude Fable 5와 Mythos 5는 이 Unhobbling이 새로운 단계로 진입하고 있음을 보여준다.
핵심 변화는 모델이 한 번의 질문에 더 정확히 답하는 데 그치지 않는다.
수시간에서 수일 동안 목표를 유지하고, 자신의 실패를 기억하며, 잘못된 경로에서 벗어나 다시 작업을 이어가는 능력이 개선되고 있다.
이는 AI가 Chatbot에서 장기 작업을 수행하는 Agent로 이동하기 위해 반드시 넘어야 했던 가장 중요한 병목이었다.
1. 기존 Agent는 왜 장시간 제대로 작동하지 못했는가
안드레이 카파시는 2025년 Dwarkesh Patel과의 인터뷰에서 당시의 AI Agent를 상당히 냉정하게 평가했다.
 |
| https://www.youtube.com/watch?v=lXUZvyajciY |
그는 현재의 Agent가 충분한 지능과 Multimodality, Computer Use 능력을 갖추지 못했으며, 무엇보다 Continual Learning을 하지 못한다고 지적했다.
사용자가 새로운 사실이나 작업방식을 알려줘도 이를 장기간 기억하지 못하고, 새로운 Session을 시작하면 다시 원래 상태로 돌아간다는 것이다.
카파시는 이러한 문제를 해결하는 데 상당한 시간이 필요하기 때문에, 2025년을 ‘Agent의 해’로 부르기보다 앞으로 이어질 ‘Agent의 10년’으로 보는 편이 적절하다고 말했다.
기존 Agent의 핵심 한계는 크게 네 가지로 정리할 수 있다.
장기 Context와 Memory 유지
장기 작업에서는 처음 세운 목표와 중간에 발견한 사실, 이미 시도한 방법, 실패한 원인을 계속 기억해야 한다.
그러나 기존 Agent는 Tool Call과 대화 기록이 누적되면서 중요한 정보가 Context 뒤쪽으로 밀려났다. Context Window가 가득 차면 초기 기록을 잘라내거나 요약했기 때문에, 작업 초반에 세운 목표와 제약조건을 잃어버리는 경우도 많았다.
정보가 Context 안에 남아 있다는 사실도 충분하지 않았다.
중요한 정보가 수십만 Token의 Tool Output 사이에 묻히면 모델은 이를 실제 행동에 반영하지 못했다.
긴 Context와 유효한 Working Memory는 같은 개념이 아니었다.
반복과 오류 누적 방지
기존 Agent는 실패한 행동을 조금씩 표현만 바꿔 반복하는 경우가 많았다.
검색어를 약간 바꿔 같은 검색을 다시 하거나, 이미 실패한 코드를 다시 작성하고, 잘못된 초기 가정을 유지한 채 세부사항만 수정했다.
작업이 짧으면 이러한 오류를 인간이 바로잡을 수 있다. 그러나 실행 단계가 수백 번으로 늘어나면 작은 오류가 다음 행동의 입력이 되고, 그 행동에서 발생한 오류가 다시 이후 판단을 오염시킨다.
결과적으로 장기 Agent의 성능은 개별 단계의 정확도보다 오류가 얼마나 빠르게 누적되는가에 의해 결정됐다.
실패 원인 분석과 경로 수정
작업 마지막 단계에서 문제가 발생했다고 해서 마지막 행동이 항상 원인은 아니다.
초기에 잘못된 문서를 선택했거나, 사용자 요구사항을 잘못 해석했거나, 잘못된 가정을 Memory에 기록한 것이 수십 단계 뒤의 실패로 이어질 수 있다.
그러나 기존 Agent는 마지막 오류 메시지만 보고 국소적으로 수정하는 경향이 강했다.
진정한 오류 복구를 위해서는 전체 실행 경로를 되짚어 최초의 Root Cause를 찾아야 한다. 필요하다면 그 지점까지 Rollback한 뒤 새로운 Branch에서 작업을 다시 시작해야 한다.
경험을 다음 작업에 반영하는 Continual Learning
하나의 작업 안에서 Memory를 유지하는 것과, 여러 프로젝트의 경험을 학습해 장기적으로 행동방식을 개선하는 것은 다르다.
현재 LLM은 Context가 유지되는 동안에는 새로운 정보를 활용할 수 있다. 외부 파일이나 데이터베이스에 경험을 기록하고 다음 Session에서 다시 불러올 수도 있다.
그러나 카파시가 말한 Continual Learning은 한 단계 더 깊다.
인간이 하루 동안 경험한 내용을 수면과 학습을 통해 장기기억으로 통합하듯, 모델도 과거의 성공과 실패를 분석해 자신의 Weight나 장기적인 행동정책에 반영해야 한다.
카파시는 현재 LLM에는 경험을 분석하고 Synthetic Data로 재구성해 Weight에 다시 증류하는 과정이 없다고 설명했다. 모델은 Context가 초기화될 때마다 사실상 같은 출발점으로 돌아간다.
2. Agent의 문제는 Memory 하나로 끝나지 않는다
최근 OpenAI와 Anthropic의 실험, 그리고 2024~2026년에 발표된 연구들은 장기 Agent의 문제를 다음 요소로 더욱 구체적으로 분해하고 있다.
**Memory 유지
중요 상태의 선택적 압축
실패 경로 격리
Root-cause Debugging
Checkpoint와 Rollback
독립된 Verifier
경험의 선택적 저장과 망각**
Long Context가 곧 Long-term Memory는 아니다
LongMemEval은 장기 대화에서 필요한 Memory 능력을 정보 추출, 여러 Session에 걸친 추론, 시간관계 이해, 변경된 정보 업데이트, 답변 보류의 다섯 가지로 구분했다.
실험 결과 기존 상용 Assistant와 Long-context LLM은 대화가 장기간 누적될수록 기억 정확도가 약 30% 하락했다.
연구진은 단순히 Context Window를 늘리는 대신, Memory를 저장하는 Indexing, 관련 내용을 찾는 Retrieval, 검색한 내용을 판단에 사용하는 Reading을 별도로 설계해야 한다고 설명한다.
MemoryAgentBench는 좋은 Agent Memory가 갖춰야 할 능력을 다음 네 가지로 구분한다.
현재의 Long-context, RAG, Agentic Memory 시스템 가운데 네 가지를 모두 안정적으로 수행하는 시스템은 확인되지 않았다.
무조건 많이 기억하는 것이 좋은 Memory는 아니다.
잘못된 가설과 오래된 정보, 이미 실패한 접근법까지 계속 검색되면 오히려 Agent의 현재 판단을 방해한다.
실패한 경로를 현재 상태에서 분리해야 한다
MAGE는 기존 Memory 시스템이 의미적으로 유사한 정보를 검색하는 과정에서 성공한 경로와 실패한 경로를 함께 불러오는 문제를 지적한다.
MAGE는 실행기록을 Tree 구조로 관리한다.
Grow: 새로운 실행 경로 기록
Compress: 완료된 Sub-goal 요약
Maintain: 요약과 실제 상태의 일치 여부 검증
Revise: 잘못된 경계로 되돌아가 새로운 Branch 생성
Agent는 현재 Root에서 현재 Node까지 이어지는 유효한 경로만 Working Memory로 사용한다. 실패한 경로는 참고자료로 남지만 현재 판단에는 직접 섞이지 않는다.
이 구조는 평가에서 기존 방식보다 Task 성공률을 7.8~20.4%포인트 높였고, Token 사용량은 55.1% 줄였다.
마지막 오류보다 최초 오류가 중요하다
AgentDebug는 장기 작업의 실패가 하나의 Root Cause에서 시작해 이후 단계로 전파된다고 설명한다.
예를 들어 잘못된 Memory 검색이 잘못된 상황 판단으로 이어지고, 잘못된 계획과 Tool Call을 거쳐 최종 실패를 만든다.
AgentDebug는 전체 Trajectory를 단계별로 분해한 뒤, 최종 실패를 직접 유발한 최초의 오류를 찾아 해당 지점에 수정 Feedback을 제공한다.
그 결과 강력한 기존 방식보다 전체 오류 판별 정확도가 24%, Step 단위 정확도가 17% 높아졌으며, 실제 Task 성공률은 최대 26% 상대 개선됐다.
Memory에는 Version Control도 필요하다
ChronoMem은 기존 Agent Memory가 새로운 정보를 계속 추가하거나 덮어쓰지만, 잘못된 업데이트가 발생했을 때 이전 상태로 되돌아갈 방법이 부족하다고 지적한다.
잘못된 사용자 정보, 오염된 Memory, 오래된 계획이 한 번 반영되면 이후 작업 전체가 그 상태를 기준으로 진행될 수 있다.
ChronoMem은 Memory가 변경될 때마다 Snapshot을 만들고, 자연어로 특정 시점 이전의 Memory 상태까지 Rollback할 수 있도록 설계됐다.
이는 Code에서 Git이 수행하는 역할을 Agent Memory에도 적용하는 접근이다.
Anthropic도 장기 Coding Agent 실험에서 progress 파일과 Git History를 함께 사용했다. Agent는 Session을 시작할 때 진행기록과 최근 Commit을 읽고, 작업을 마친 뒤 다시 진행상황을 기록했다.
문제가 발생하면 이전 Commit으로 되돌아가 정상적으로 작동하던 상태에서 작업을 다시 시작했다.
Memory는 필요한 순간에 개입해야 한다
Proactive Memory Agent는 정보가 Context 안에 남아 있어도 행동에 영향을 주지 못하는 현상을 Behavioral State Decay라고 부른다.
목표, 미완료 Sub-goal, 과거 실패 원인과 같은 중요한 정보가 다른 Tool Output에 묻히면 Agent는 이를 기억하고도 활용하지 못한다.
별도의 Memory Agent가 실행과정을 관찰하면서 필요한 순간에만 핵심 기억을 주입하자 Terminal-Bench 2.0의 Pass@1은 8.3%포인트, τ²-Bench는 6.8%포인트 개선됐다.
항상 Memory를 주입하는 방식보다 필요한 시점에만 선택적으로 개입하는 방식이 더 효과적이었다.
3. 현재 가장 빠르게 개선되는 것은 In-session Adaptation이다
최근 연구가 공통적으로 향하는 방향은 분명하다.
모델이 모든 경험을 Weight에 영구적으로 학습하는 완전한 Continual Learning보다, 먼저 하나의 장기 Task 안에서 자신의 상태를 유지하고 오류를 수정하는 능력이 빠르게 개선되고 있다.
이를 In-session Adaptation이라고 부를 수 있다.
Agent는 작업이 진행되는 동안 다음 상태를 유지한다.
처음 주어진 목표와 제약조건
이미 완료한 작업
현재까지 확인된 사실
시도했지만 실패한 접근법
실패의 원인
아직 해결되지 않은 Sub-goal
다음에 수행해야 할 Action
작업이 길어지면 전체 기록을 그대로 유지하지 않는다. 중요한 상태만 압축하고, 필요할 때 외부 Memory에서 다시 불러온다.
실행 결과가 예상과 다르면 이를 검증하고, 마지막 행동만 수정하지 않고 오류가 처음 발생한 지점까지 되돌아간다.
현재의 큰 변화는 완전한 Recursive Self-improvement라기보다,
장기 작업 동안 자기 상태를 유지하고,
자신의 결과를 검증하며,
실패한 경로를 수정하는 Unhobbling의 진전
으로 해석하는 편이 적절하다.
4. 카파시가 지적한 RL의 Credit Assignment 문제
카파시는 현재 Reinforcement Learning이 긴 실행경로 전체를 마지막 하나의 Reward로 평가하는 방식도 비판했다.
수백 단계의 Rollout이 끝난 뒤 최종 결과가 맞았는지 틀렸는지를 하나의 숫자로 평가하고, 그 숫자를 전체 Trajectory에 동일하게 적용한다는 것이다.
최종 결과가 맞았더라도 중간에 불필요한 행동과 잘못된 추론이 포함됐을 수 있다. 반대로 최종 결과가 틀렸더라도 일부 단계에는 좋은 아이디어와 유효한 판단이 포함될 수 있다.
카파시는 이를 “Sucking supervision through a straw”, 즉 좁은 빨대로 감독 신호를 빨아들이는 방식이라고 표현했다.
인간은 자신의 작업을 되돌아보며 어떤 판단이 좋았고, 어느 부분에서 잘못됐는지를 구체적으로 평가한다. 현재 Agent에도 이와 유사한 Process-level Review와 Credit Assignment가 필요하다는 설명이다.
이 문제는 다음 세대 Agent 학습에서 중요한 의미를 갖는다.
단순히 정답을 맞힌 Trajectory 전체를 강화하는 대신,
어느 Memory가 유효했는가
어느 가정이 오류의 출발점이었는가
어떤 Tool Call이 불필요했는가
어느 Checkpoint까지 돌아가야 하는가
어떤 실패는 다음 작업에서도 기억해야 하는가
를 단계별로 학습해야 한다.
장기 Agent의 발전은 더 긴 추론을 생성하는 문제에서, 더 긴 추론을 제대로 평가하고 수정하는 문제로 이동하고 있다.
5. GPT-5.6 Sol과 Astra가 보여준 OpenAI의 변화
OpenAI의 현재 공개 모델인 GPT-5.6 Sol과 차기 주요 모델 Astra는 이러한 방향을 구체적으로 보여준다.
Retained Reasoning과 Compaction
OpenAI는 GPT-5.6 Sol을 ARC-AGI-3에서 평가했을 때 처음에는 기대보다 낮은 성적이 나온 원인을 조사했다.
기존 평가 Harness는 매번 행동을 실행한 뒤 모델의 이전 Private Reasoning을 삭제했다. Context가 길어지면 오래된 행동도 순차적으로 잘라냈다.
따라서 모델은 매 단계마다 게임 규칙과 자신의 계획을 처음부터 다시 해석해야 했다. 과거의 시행착오를 기억하지 못했고, 일관된 전략을 유지하기 어려웠다.
OpenAI는 이를 다음 두 가지 방식으로 수정했다.
Retained Reasoning: 이전 단계에서 형성한 계획과 통찰을 다음 단계까지 유지
Compaction: 오래된 기록을 단순 삭제하지 않고 핵심 상태를 압축해 보존
그 결과 GPT-5.6 Sol의 ARC-AGI-3 점수는 13.3%에서 38.3%로 약 3배 상승했다. 출력 Token은 오히려 약 6분의 1로 감소했다.
모델 Weight를 변경하지 않고 Agent가 기억하는 방식만 바꿨는데도 성능이 세 배 높아졌다.
이를 OOM으로 환산하면 다음과 같다.
log₁₀(3) ≈ +0.48 OOM
이는 Unhobbling이 단순한 보조요인이 아니라, 독립적으로 상당한 OOM을 만들어낼 수 있음을 보여주는 사례다.
Programmatic Tool Calling과 Multi-agent
GPT-5.6은 Tool이 반환한 모든 데이터를 매번 모델 Context에 다시 넣는 대신, 가벼운 Program을 실행해 중간 데이터를 필터링하고 필요한 정보만 유지할 수 있다.
또한 ultra 설정은 기본적으로 네 개의 Agent를 병렬로 조정한다. 일부 평가에서는 16개 Agent 구성도 사용됐다.
하나의 Agent가 모든 가설을 순차적으로 탐색하는 대신, 여러 Agent가 독립된 Context에서 다른 접근을 탐색하고 Root Agent가 결과를 통합하는 방식이다.
OpenAI가 공개한 초기 사용자 평가에서도 GPT-5.6은 이전 모델보다 작업단계를 약 25%, Tool Call을 35~48% 줄이면서 Stuck Run을 15% 낮춘 사례가 보고됐다.
Astra의 수학적 발견
OpenAI는 2026년 8월 1일 차기 주요 모델 Astra의 내부 버전이 수학과 이론 컴퓨터과학의 장기 미해결 문제 10개에서 새로운 결과를 만들었다고 발표했다.
대상은 고차원 구형 Packing, 부호 이론, 비소픽 군, Connes 강직성 추측, 산술 회로 복잡도, 양자 병렬 반복, 격자 암호학과 극값 조합론 등을 포함한다.
해답을 탐색하는 데 사용된 총 Token 비용은 Sol API 기준 약 2,000달러였으며, 이후 모델이 각 논증을 Lean Certificate로 형식화했다.
중요한 점은 Astra가 단순히 기존 정리를 검색해 요약한 것이 아니라는 데 있다.
장기간 여러 접근법을 탐색하고, 실패한 가설을 폐기하며, 새로운 표현과 보조정리를 구성한 뒤 최종 결과를 외부 Verifier로 검증했다.
이는 장기 Agent의 다음 Feedback Loop가 실제 연구 수준에서도 작동하기 시작했음을 시사한다.
생성
→ 실행
→ 검증
→ 오류 발견
→ 원인 분석
→ 경로 수정
→ 재실행
6. Fable 5와 Mythos 5가 보여준 Anthropic의 변화
Anthropic 역시 2026년 6월 Fable 5와 Mythos 5를 공개하면서 장기 Agent 능력을 핵심 차별점으로 제시했다.
Fable 5와 Mythos 5는 같은 기반 모델이다.
Fable 5는 일반 사용을 위해 일부 고위험 분야에 Safeguard를 적용한 모델이며, Mythos 5는 Cybersecurity와 일부 과학연구 분야에서 제한을 완화해 신뢰받는 기관에 제공하는 모델이다.
수백만 Token 동안 유지되는 작업 상태
Anthropic은 Fable 5가 수백만 Token에 걸친 작업에서도 집중력을 유지하고, 자신이 작성한 Note를 활용해 결과를 개선한다고 설명한다.
Slay the Spire 실험에서는 Persistent File-based Memory를 제공했을 때 이전 Opus 4.8보다 성능 개선폭이 세 배 컸고, 최종 Act에 도달한 비율도 세 배 높았다.
Anthropic이 제시한 장기 Context 관리 방법은 크게 세 가지다.
Compaction
Structured Note-taking
Sub-agent Architecture
Compaction은 오래된 기록에서 Architecture 결정, 해결되지 않은 Bug, 구현 세부사항을 남기고 중복된 Tool Output을 제거한다.
Structured Note-taking은 Agent가 NOTES.md, To-do List, Progress File과 같은 외부 Memory에 현재 상태를 기록하도록 한다.
Sub-agent Architecture는 서로 다른 탐색경로를 독립된 Context에 분리해 하나의 잘못된 가설이 전체 작업을 오염시키는 문제를 줄인다.
실패 복구와 장기 과학연구
Anthropic은 Mythos 5가 Protein Design 과정의 일부를 약 10배 가속했으며, Binding Site 선택, Tool 실행, 실패 복구까지 인간의 직접 개입 없이 수행했다고 밝혔다.
또한 Mythos 5는 일주일 이상 상당 부분 자율적으로 Genomics 연구를 수행했다. 138개 동물 종의 수백만 개 단일세포 데이터를 수집하고, 서로 다른 종에서 같은 역할을 수행하는 세포를 식별하는 Machine Learning Model을 직접 설계하고 학습했다.
Astra가 수학과 이론 컴퓨터과학에서 강한 증거를 제시했다면, Fable 5와 Mythos 5는 Coding, 생명과학, Tool Use와 현실적인 장기 Workflow에서 보다 폭넓은 증거를 제시한 셈이다.
7. Astra와 Fable 5·Mythos 5 비교
두 모델의 차이는 다음 Token을 예측하는 Autoregressive Architecture 자체를 근본적으로 바꿨다는 데 있지 않다.
현재 공개된 자료만 보면 두 모델 모두 기존 자기회귀형 LLM에 가깝다.
대신 자기회귀 추론을 다음과 같은 장기 Feedback Loop에 연결하는 능력이 크게 개선됐다.
**Autoregressive Generation
Persistent Memory
Iterative Self-correction
External Verification
Agentic Search**
이를 ‘자기회귀 성능 개선’이라고만 표현하면 다음 Token 예측 정확도가 높아졌다는 의미로 오해될 수 있다.
더 정확한 표현은 다음과 같다.
자기회귀 모델의 장기 자기수정 능력 개선
또는,
Autoregressive Reasoning을 장기 Feedback Loop로 연결하는 Unhobbling 개선
이다.
8. 아직 Recursive Self-improvement는 아니다
여기서 Recursive Self-improvement와 반복적 자기수정을 구분해야 한다.
현재의 Astra와 Fable 5는 자신이 생성한 결과를 다시 읽고 수정하며, 외부 Memory를 업데이트하고, 실패하면 다른 경로를 탐색할 수 있다.
그러나 작업 도중 자신의 Weight를 직접 변경하거나, 다음 세대 모델을 스스로 학습하고 배포한다는 증거는 없다.
따라서 현재 단계는 Recursive Self-improvement보다 Iterative Self-correction에 가깝다.
다만 이 차이를 과소평가해서는 안 된다.
모델 Weight가 그대로여도, 장기 작업 중 발생하는 실패를 지속적으로 수정할 수 있다면 실제 Task Capability는 크게 높아질 수 있다.
9. Agent 기능만으로 얼마나 많은 OOM이 추가되는가
Astra와 Fable 5가 실제 제품에서도 장기 기억 유지, 오류 원인 분석, 경로 전환, 다중 Agent 탐색을 안정적으로 구현한다고 가정해보자.
본 글에서는 기존 Sol급 모델 대비 장기 Agent의 실질 Task Capability 향상을 다음과 같이 추정한다.
장기 Agent Task Capability: +0.7~1.2 OOM
중앙 추정치: 약 +0.9 OOM
배율로 환산하면 다음과 같다.
이는 모델의 순수 지능이나 개별 Token의 품질이 8배 높아졌다는 뜻이 아니다.
기존 모델이 보유하고도 장기 작업에서 잃어버리던 능력을 보존하고, 실패로 끝나던 실행을 성공적인 결과로 전환하면서 동일한 인간 감독시간당 성공적인 작업 산출량이 약 5~16배 높아지는 효과에 가깝다.
OOM 기여요인 분해
이 가운데 순수한 Unhobbling만 분리하면 약 +0.5~0.8 OOM으로 보는 편이 적절하다.
나머지는 기본 모델의 Algorithmic Efficiency 개선과 더 많은 Test-time Compute 투입에서 나온다.
즉 Astra와 Fable의 성과를 모두 Unhobbling으로 넣으면 Algorithmic Efficiency와 Inference Compute를 이중 계산할 수 있다.
10. 모든 업무에서 생산성이 8배 증가하는 것은 아니다
장기 Agent의 효과는 업무 특성에 따라 크게 달라진다.
연구, Coding, 수학, Data Analysis처럼 다음 조건을 갖춘 업무에서 효과가 가장 크게 나타난다.
명확한 목표가 존재
작업을 여러 Sub-goal로 분해 가능
외부 Tool을 사용할 수 있음
결과를 Test나 Verifier로 평가 가능
실패 후 다시 시도할 수 있음
장기간의 연속적인 Context가 중요함
반면 조직정치, 협상, 경영판단, 투자 의사결정처럼 정답을 자동으로 검증하기 어려운 업무에서는 인간의 검토가 계속 필요하다.
따라서 초기 경제적 생산성 효과는 장기 Task Capability 개선보다 낮게 나타날 가능성이 높다.
전체 경제적 생산성 초기 효과: +0.3~0.6 OOM
연구·Coding·수학 등 장기 작업: +0.7~1.2 OOM
METR 역시 Agent가 일정 성공확률로 처리할 수 있는 Task의 인간 기준 소요시간이 지수적으로 증가하고 있다고 평가한다.
다만 METR은 현재 평가가 Software Engineering, Machine Learning, Cybersecurity에 집중돼 있으며, 인간 전문가의 16시간을 넘는 Task Horizon 추정치는 현재 평가구성상 신뢰도가 낮다고 명시한다.
11. 장기 Agent 수요는 Compute 사용방식을 바꾼다
기존 Chatbot은 사용자가 질문하면 수초에서 수분 동안 답변을 생성했다.
장기 Agent는 하나의 요청을 수시간에서 수일 동안 수행한다.
그 과정에서 여러 문서를 읽고, 코드를 작성하고, Tool을 호출하고, 결과를 검증하며, 실패하면 다시 시도한다.
위 표는 개별 작업의 Token 사용량에 대한 개략적인 추정이다.
모든 사용자가 수일 단위 Agent를 사용한다는 의미는 아니다. 다만 기존에는 AI에 맡길 수 없었던 대형 작업이 새롭게 수요로 전환되면, 평균적인 Task당 Compute 사용량은 빠르게 증가할 수 있다.
모델이 더 효율적으로 Token을 사용하더라도, Agent가 수행할 수 있는 작업의 범위와 실행시간이 더 빠르게 늘어나면 전체 Compute 수요는 증가한다.
OpenAI의 사례처럼 같은 작업에서 Token 사용량을 6분의 1로 낮추더라도, 비용 하락으로 Agent 사용량이 10배 이상 증가하면 총 Token 수요는 오히려 커진다.
이는 AI Computing에서 나타나는 Jevons Effect다.
Token당 비용 하락
→ AI에 맡길 수 있는 작업 확대
→ Agent 실행횟수와 실행시간 증가
→ 전체 Inference Compute 수요 증가
12. Unhobbling OOM은 아직 Fully Realized되지 않았다
Astra의 수학적 성과와 Fable 5의 장기 작업능력은 Frontier Capability가 이미 크게 개선됐음을 보여준다.
그러나 이 Capability가 사용자와 기업, 산업 전반의 생산성으로 전환되려면 시간이 필요하다.
현재 상황은 세 단계로 구분할 수 있다.
잠재 Capability OOM
Frontier Model이 실험환경에서 장기 작업을 수행할 수 있는 능력이다.
Astra의 수학문제 해결과 Fable·Mythos의 장기 과학연구는 이 단계가 상당 부분 열렸음을 보여준다.
Usable Agent OOM
모델 능력을 실제 제품으로 전환하는 단계다.
여기에는 다음 인프라가 필요하다.
Persistent Memory
Context Compaction
Tool 권한관리
External Verifier
Checkpoint와 Rollback
Multi-agent Orchestration
비용과 Latency 관리
Trajectory Monitoring
Anthropic은 장기 Agent를 위해 Compaction, Structured Note-taking, Multi-agent Architecture를 함께 사용해야 한다고 설명한다.
경제적으로 실현된 OOM
기업이 기존 Workflow를 Agent 중심으로 재설계하는 단계다.
Agent가 기업의 내부 문서와 Codebase, ERP, CRM, Database에 접근해야 한다. 읽기뿐 아니라 수정과 실행권한도 필요하다.
오류 발생 시 책임소재와 승인절차, 보안정책도 함께 만들어야 한다.
이 과정이 완료돼야 Model Capability가 실제 매출, 비용절감, 연구성과와 노동생산성으로 전환된다.
 |
| Frontier Model Capability는 계단식으로 상승하고, Usable Agent Capability와 경제적으로 실현되는 OOM은 시차를 두고 점진적으로 따라가는 구조 |
13. Compaction에는 새로운 위험도 존재한다
Context를 압축하는 과정에서 중요한 목표뿐 아니라 안전규칙과 기업정책이 삭제될 수도 있다.
Governance Decay 연구는 Agent가 원래 Context에서는 정책을 준수하다가, Compaction 이후 해당 규칙이 요약에서 누락되면 금지된 Tool Action을 실행할 수 있음을 보여준다.
1,323개의 장기 Agent Episode에서 정책이 전체 Context에 남아 있을 때 위반률은 0%였지만, Compaction 이후 평균 30%, 일부 모델에서는 59%까지 상승했다.
 |
| LLM이 강력해질수록 이를 통제할 사이버보안은 더욱 중요해질 수 밖에없음 |
연구진은 안전규칙을 일반 Context 압축에서 분리해 항상 보존하는 Constraint Pinning을 제안했다.
이는 장기 Agent 보급이 단순히 Memory 용량을 늘리는 문제로 끝나지 않는다는 점을 보여준다.
무엇을 기억하고 무엇을 버릴지 결정하는 Memory Policy 자체가 새로운 핵심 알고리즘이 된다.
14. 2025~2030 OOM 모델에는 어떻게 반영할 것인가
Astra와 Fable의 Unhobbling 효과를 출시 시점에 한 번에 모두 반영하는 것은 적절하지 않다.
모델 Capability는 Step-change 형태로 상승하지만, Agent Infrastructure와 Workflow 적용률은 점진적으로 올라간다.
따라서 실현되는 Unhobbling OOM은 S-curve 형태로 반영하는 편이 자연스럽다.
중앙 경로는 다음 정도로 볼 수 있다.
여기서 배율은 유효한 장기 작업능력을 의미한다.
GPU 수나 Token 수가 같은 비율로 증가한다는 뜻은 아니다.
기존 OOM 모델과 중복계산을 피해야 한다
앞선 OOM 추정에 이미 Agent Tool Use, RL, Long Context, Memory와 Scaffolding 발전을 포함했다면 위 수치를 그대로 추가해서는 안 된다.
기존 모델이 어느 정도의 Unhobbling을 반영했는지에 따라 조정할 필요가 있다.
따라서 이전 글의 OOM 경로를 유지하되, 최신 장기 Agent가 기존 예상보다 빠르게 상용화된다고 판단한다면 2030년 Unhobbling을 기존 추정치보다 약 +0.3~0.7 OOM 상향하는 방식이 가장 보수적이다.
15. Agentic AI는 왜 HBM 수요를 높이는가
장기 Agent는 일반 Chatbot보다 더 많은 Token을 처리한다.
하지만 HBM 수요를 늘리는 이유는 Token 양만이 아니다.
더 긴 Context와 KV Cache
Transformer 추론에서는 과거 Token의 Key와 Value를 KV Cache에 저장한다.
Context가 길어질수록 KV Cache의 Memory 사용량도 거의 선형적으로 증가한다.
여러 Agent가 동시에 긴 Context를 유지하면 GPU가 수용해야 하는 KV Cache와 동시 Request 수가 함께 증가한다.
PagedAttention 연구는 KV Cache의 단편화와 중복이 Batch Size를 제한하는 주요 병목이라고 설명한다. Memory 관리방식을 개선한 vLLM은 동일한 Latency 조건에서 기존 Serving System보다 2~4배 높은 Throughput을 달성했다.
이는 Software 개선이 HBM 수요 일부를 흡수할 수 있다는 뜻인 동시에, Long-context와 복잡한 Decoding일수록 Memory가 중요한 병목이 된다는 의미이기도 하다.
Decode는 Memory Bandwidth의 영향을 강하게 받는다
NVIDIA는 Rubin Architecture를 설명하면서 LLM의 Decode 단계가 본질적으로 Memory Subsystem에 의해 제약된다고 밝혔다.
긴 Context, 대형 KV Cache, 대화형 Token 생성이 늘어나는 Agentic Workload에서는 Memory Bandwidth 활용률이 전체 성능을 좌우한다.
Rubin GPU는 GPU당 최대 288GB HBM4와 22TB/s의 Bandwidth를 제공한다. 이는 B200의 180GB HBM3e, 최대 8TB/s와 비교해 용량은 약 1.6배, Bandwidth는 약 2.8배 늘어난 수준이다.
NVIDIA의 Hardware Roadmap 자체가 Agentic AI와 Reasoning Workload를 위해 HBM Capacity와 Bandwidth를 빠르게 높이고 있다.
16. Unhobbling OOM을 HBM 수요로 바로 환산하면 안 된다
장기 Agent Capability가 +0.9 OOM, 약 8배 개선된다고 해서 HBM 수요도 8배 늘어나는 것은 아니다.
그 이유는 네 가지다.
첫째, +0.9 OOM의 일부는 동일 Compute를 더 효율적으로 사용하는 효과다.
둘째, 기존에 실패하던 작업이 성공으로 전환되면서 산출량이 늘어난 것이지, 모든 작업에서 Token 사용량이 8배 증가한 것은 아니다.
셋째, PagedAttention과 KV Cache Compression, Memory Tiering, Quantization이 HBM 사용량을 낮춘다.
넷째, Rubin과 차세대 Accelerator의 HBM 증가분에는 이미 어느 정도 Agentic AI 수요가 반영돼 있다.
따라서 Agent Unhobbling으로 인한 HBM 증분은 다음 두 요소로 나눠 추정해야 한다.
Incremental HBM Demand
= Accelerator 설치대수 증가
× Accelerator당 HBM 용량 증가
17. 2030년 HBM 수요의 추가 상향 가능성
앞선 Hardware Model에서 2030년 Accelerator에 직접 탑재되는 HBM 수요를 약 15.6EB로 추정했다고 가정하자.
여기에 장기 Agent Unhobbling 효과를 추가로 반영하면 다음과 같은 세 가지 Scenario를 설정할 수 있다.
계산식은 다음과 같다.
총 HBM 증가율
= 설치대수 증가율 × HBM/Accelerator 증가율
= (1+Units) × (1+HBM per Accelerator) - 1
이를 15.6EB의 기존 Base에 적용하면 다음과 같다.
본 글의 중앙 추정은 다음과 같다.
장기 Agent Unhobbling은 2030년 HBM 수요를 기존 Base Case 대비 약 30~40% 추가로 높일 수 있다.
이는 장기 Agent Task Capability가 약 8배 높아지는 효과 가운데 상당 부분이 Software Efficiency와 높은 GPU Utilization으로 흡수된다는 가정을 포함한다.
Agentic AI가 예상보다 빠르게 기업 Workflow와 과학연구에 확산되고, 하루 이상 실행되는 Multi-agent Task가 일반화되면 HBM 수요 증분은 80% 이상까지 확대될 수 있다.
반대로 KV Cache 압축, HBM-DRAM Tiering, CXL Memory와 Inference 최적화가 빠르게 발전하면 증분은 15~20% 수준에 그칠 수 있다.
18. HBM Bit 수요보다 매출효과가 더 커질 가능성
Agentic Workload는 단순히 HBM Bit 수요만 늘리는 것이 아니다.
긴 Context와 높은 동시성을 처리하려면 더 높은 Bandwidth와 고용량 Stack이 필요하다.
따라서 제품 Mix가 다음 방향으로 이동할 가능성이 높다.
HBM3e에서 HBM4·HBM4E로 전환
8-Hi에서 12-Hi·16-Hi로 전환
GPU당 HBM Stack 수와 용량 증가
Logic Die와 Advanced Packaging 복잡도 상승
더 높은 Bandwidth Premium 적용
이 경우 HBM Bit 수요가 30~40% 높아지더라도, HBM 매출과 이익의 증가폭은 그보다 커질 수 있다.
다만 차세대 HBM의 가격과 원가, 수율, 고객별 계약조건이 확정되지 않았기 때문에 이번 글에서는 Revenue Effect까지 별도로 계산하지 않았다.
19. Unhobbling이 만드는 새로운 Computing 수요
Physical Compute 증가만으로는 AI 수요를 충분히 설명하기 어렵다.
Algorithmic Efficiency가 높아지면 동일한 GPU에서 더 많은 Token을 생산할 수 있다.
일반적으로 Efficiency가 좋아지면 필요한 Hardware가 줄어들 것처럼 보인다.
그러나 AI에서는 비용이 낮아질수록 이전에 경제성이 없었던 작업이 새롭게 수요로 전환된다.
장기 Agent가 제대로 작동하기 시작하면 다음 작업들이 AI Computing 수요에 새롭게 들어온다.
며칠 동안 진행되는 Software Migration
전체 Codebase에 대한 지속적인 유지보수
기업 내부 자료를 이용한 상시 Research Agent
신약후보 탐색과 Protein Design
대규모 수학·과학 가설 탐색
투자·법률·회계 문서의 반복 검증
여러 Agent가 병렬로 수행하는 시뮬레이션
실제 환경에서 지속적으로 작동하는 Physical AI
기존 Chatbot은 인간이 질문하는 순간에만 Compute를 사용했다.
장기 Agent는 인간이 자는 동안에도 작업을 계속한다. 실패하면 다시 시도하고, 여러 대안을 동시에 탐색하며, 결과가 나올 때까지 Compute를 소비한다.
따라서 장기 Agent의 경제적 단위는 더 이상 한 번의 Prompt가 아니다.
한 명의 인간이 동시에 운영하는 Agent 수
× 각 Agent의 실행시간
× Agent당 병렬 탐색 수
× 검증과 재시도 횟수
가 전체 Inference Computing 수요를 결정한다.
20. 결론
카파시가 지적했던 기존 Agent의 문제는 명확했다.
장기 Context를 제대로 유지하지 못했다.
같은 실패를 반복했다.
어디서부터 잘못됐는지 찾지 못했다.
잘못된 경로에서 빠져나오지 못했다.
경험을 다음 작업에 영구적으로 반영하지 못했다.
Astra와 GPT-5.6 Sol, Fable 5와 Mythos 5는 이 가운데 상당 부분을 개선하기 시작했다.
아직 완전한 Continual Learning이나 Recursive Self-improvement에 도달한 것은 아니다.
그러나 하나의 장기 작업 안에서 Memory를 유지하고, 실패한 경로를 폐기하며, Checkpoint로 되돌아가고, 외부 Verifier로 결과를 검증하는 In-session Adaptation은 빠르게 현실화되고 있다.
이 변화는 장기 Agent의 Task Capability를 약 +0.7~1.2 OOM, 중앙값으로 약 +0.9 OOM 높일 가능성이 있다.
다만 경제 전체에서 실현되는 OOM은 Model Capability보다 늦게 나타난다.
Agent Infrastructure와 기업 Workflow, 권한관리, 검증체계가 구축되는 과정이 필요하기 때문이다.
따라서 2025~2030년의 Unhobbling OOM은 한 번에 반영하기보다 점진적으로 상승하는 경로로 보는 편이 적절하다.
2026년 +0.4 OOM
2028년 +1.0 OOM
2030년 +1.5 OOM
이러한 Agent 기능이 실제 수요로 연결되면 Task당 Token 사용량은 일반 Chatbot보다 수십 배에서 수백 배 증가할 수 있다.
Software Efficiency가 이 수요의 일부를 흡수하더라도, 기존에는 AI에 맡길 수 없었던 장기 작업이 새롭게 Computing 수요로 들어온다.
그 결과 2030년 HBM 수요는 기존 Hardware Base Case보다 대략 다음 수준까지 추가로 높아질 가능성이 있다.
Conservative: +15~20%
Base: +30~40%
Bull: +80% 이상
앞선 추정의 2030년 HBM 15.6EB를 기준으로 하면 중앙값은 약 21.4EB다.
결국 Astra와 Fable이 보여주는 변화는 단순히 모델이 조금 더 똑똑해졌다는 데 있지 않다.
AI가 몇 분 동안 답변하는 도구에서, 수일 동안 자신의 상태를 유지하며 작업하는 경제주체로 이동하기 시작했다는 점이 더 중요하다.
그리고 Agent가 일하는 시간이 길어질수록 필요한 것은 더 많은 Parameter만이 아니다.
더 많은 Inference Compute와 Network, 더 넓은 Memory Bandwidth, 더 큰 HBM Capacity다.
Unhobbling은 AI의 잠재능력을 해방한다.
해방된 능력은 새로운 Agent 수요를 만들고,
새로운 Agent 수요는 다시 AI Computing과 HBM 수요를 높인다.
위 전문을 투자자 관점에서 요약해보자면,
Frontier Model 개선
→ 장기 Agent 성공률 상승
→ 기업이 더 큰 작업을 Agent에 위임
→ Agent 실행시간과 병렬성이 증가
→ Inference Compute와 Memory Traffic 확대
→ HBM Capacity·Bandwidth·Network·Storage 병목 강화
→ 고성능 Memory와 Advanced Packaging의 경제적 가치 상승
이는 메모리 투자 논리를 Training 중심에서 지속적인 Agentic Inference 중심으로 확장시키는 근거가 된다.
#글을 마치며,
Agent 시대의 Memory는 단순히 데이터를 저장하는 Hardware Capacity에 그치지 않는다.
무엇을 기억하고, 무엇을 버리며, 어떤 정보에 우선순위를 부여할지를 결정하면서 성능·정확성·안전성을 동시에 통제하는 Control Layer로 진화할 가능성이 높다.
결국 Memory Policy 자체가 새로운 핵심 알고리즘이 되는 셈이다.
그런데 보안과 안보 측면에서 이처럼 중요하고 민감한 영역에, 구조적으로 신뢰 문제가 제기될 수밖에 없는 중국산 메모리를 사용할 수도 있다고?
솔직히 말해, 미친소리에 가깝다고 생각된다.
=끝
참고자료
Andrej Karpathy, AGI is still a decade away
OpenAI, GPT-5.6: Frontier intelligence that scales with your ambition
OpenAI, How enabling two settings tripled our scores on ARC-AGI-3
OpenAI, Ten advances in mathematics and theoretical computer science
Anthropic, Claude Fable 5 and Claude Mythos 5
Anthropic, Effective context engineering for AI agents
Anthropic, Effective harnesses for long-running agents
LongMemEval — https://arxiv.org/abs/2410.10813
MemoryAgentBench — https://arxiv.org/abs/2507.05257
AgentDebug — https://arxiv.org/pdf/2509.25370v1
Proactive Memory Agent — https://arxiv.org/abs/2607.08716
ChronoMem — https://arxiv.org/abs/2607.27773
Governance Decay — https://arxiv.org/abs/2606.22528
PagedAttention and vLLM — https://arxiv.org/abs/2309.06180
NVIDIA, Inside Rubin GPU Architecture
