 |
| 먼저 정상에 오른 기업이 안전 규제를 명분으로 진입장벽을 높이는 것일까..? |
지난 주말 Anthropic의 Dario Amodei가 프런티어 AI의 속도조절을 제안했고, Sam Altman과 Elon Musk, Demis Hassabis도 그 방향에 공감했다.
 |
| https://t.me/one_going |
처음 이 소식을 접하면 AI 모델 개발이 정점을 지나고 있는 것인지, 데이터센터와 GPU 투자도 함께 줄어드는 것인지 생각할 수 있다.
하지만 원문과 최근 프런티어 랩의 컴퓨팅 사용 구조를 함께 보면 다른 그림이 보인다.
AI는 이미 상당한 지능을 확보했다. 이제는 그 지능을 실제 업무에 사용할 수 있도록 다듬고, 도구와 연결하고, 안전하게 운용하는 데 더 많은 컴퓨팅을 사용하기 시작했다.
따라서 이번 속도조절론은 AI 인프라 수요 둔화보다 안전하게 사용할 수 있는 컴퓨팅을 얼마나 많이 확보할 수 있는가가 더 중요해지는 변화에 가깝다고 생각한다.
1. 속도조절의 대상은 CAPEX가 아니다
Amodei가 사용한 표현은 명확하다.
“We must slow the pace at which we improve the capabilities of AI models.”
속도를 조절해야 하는 대상은 데이터센터 건설이나 가속기 구매가 아니라 AI 모델의 능력이 향상되는 속도다.
AI가 다음 세대 AI의 개발을 돕기 시작하면서 발전 속도가 더욱 빨라지는 재귀적 자기개선, 즉 RSI가 정렬과 보안 역량을 앞서지 않도록 중간에 안전 검증 단계를 넣자는 것이다.
훈련 컴퓨팅 제한도 가능한 수단 중 하나로 언급했다.
그러나 이를 확정된 기본안으로 제시하지는 않았다.
Amodei는 Pacing이 모델 훈련이나 기술 발전의 중단을 의미하지 않는다고 분명히 설명했다.
“Pacing does not mean halting model training or technical progress.”
발전은 계속된다.
다만 모델의 능력이 일정 수준에 도달하면 정렬, 해석 가능성, 보안과 외부 검증 요건을 충족한 뒤 다음 단계로 넘어가자는 것이다. Dario Amodei, 「We Must Pace the Frontier」
따라서 일부 대규모 훈련의 시점은 늦어질 수 있다.
그러나 이를 AI 인프라 투자 축소 선언으로 해석할 근거는 없다.
Frontier Capability Slowdown과 AI Infrastructure Slowdown은 같은 개념이 아니다.
2. GPT-3부터 지능은 활용 가능한 임계점을 넘기 시작했다
여기서 AI가 지금까지 어떻게 발전해왔는지를 다시 생각해볼 필요가 있다.
ChatGPT는 이후 GPT-3.5를 기반으로 2022년 11월 출시됐다.
Sam Altman은 2026년 9월 G20 Innovation Ministerial 대담에서 GPT-3를 OpenAI가 처음으로 활용 가능성의 임계점을 넘어섰다고 판단한 모델이라고 회고했다.
“GPT-3 was the first model that I think actually was over some threshold of usability.”
당시 외부에서는 GPT-3를 자연스러운 문장을 생성하는 모델 정도로 평가했다.
하지만 OpenAI 내부에서는 컴퓨팅을 더 투입할수록 모델의 지능과 능력이 계속 향상된다는 Scaling Law를 이미 확인하고 있었다. Altman은 GPT-4에 이르러서는 내부의 회의론자들까지 이 접근법이 아주 멀리 갈 수 있다고 확신하기 시작했다고 설명했다. Sam Altman G20 대담
따라서 최근 AI의 유용성이 갑자기 높아진 원인을 Pre-training 모델의 지능 향상만으로 설명하기는 어렵다.
Pre-training을 통해 만들어진 지능은 GPT-3부터 활용 가능한 임계점을 넘기 시작했고, GPT-4에서는 상당한 경제적 가치를 만들 수 있는 수준에 도달했다.
문제는 그 지능을 실제 업무에서 어떻게 꺼내 쓰느냐였다.
3. 지능은 있었지만 노동으로 전환하기 어려웠다
GPT-3 시절에도 모델은 상당한 지식을 가지고 있었다.
하지만 그 지능을 실무에 사용하려면 사람이 적절한 Prompt를 작성하고, 필요한 자료를 직접 붙여 넣고, 결과를 다시 다른 프로그램으로 옮겨야 했다.
모델은 사용자의 파일을 직접 열지 못했다. 엑셀을 수정하거나 브라우저에서 자료를 찾고, 오류가 발생했을 때 스스로 원인을 찾아 다시 시도하기도 어려웠다.
Altman은 2026년 4월 Stratechery 인터뷰에서 GPT-3 시절에는 모델로부터 조금의 유용성이라도 끌어내기 위해 상당한 작업이 필요했다고 회고했다.
“When I think back to what we had to do to get any drop of utility squeezed out of these models back in the GPT-3 days…”
모델의 지능 자체보다 그 지능에 접근하고 실제 업무로 전환하는 방법이 부족했던 것이다.
이 간극을 메워온 것이 Post-training과 Harness다.
4. Pre-training이 지능을 만들고 Post-training이 일하는 방법을 가르쳤다
Harness는 모델이 실제 업무를 수행할 수 있도록 둘러싼 실행 환경이다.
도구 연결, 파일시스템, 메모리, 권한 관리, 샌드박스, 작업 상태 유지, 오류 복구와 재시도 등이 여기에 포함된다.
Harness 자체는 대부분 모델 바깥의 소프트웨어다.
하지만 모델이 언제 어떤 도구를 선택하고, 어떤 인자를 입력하며, 결과를 확인한 뒤 다음 행동을 결정하도록 만드는 능력은 Post-training을 통해 강화된다.
Altman은 같은 Stratechery 인터뷰에서 Harness의 중요성을 다음과 같이 설명했다.
“I no longer think of the harness and the model as these entirely separable things.”
Codex가 놀라운 결과를 만들었을 때 그것이 모델 자체의 능력 때문인지, Harness가 잘 설계됐기 때문인지 자신도 구분하기 어려울 때가 있다는 것이다.
그는 Harness와 모델의 결합이 주로 Pre-training에서 만들어지는 것은 아니라고 설명했다.
Tool-calling 역시 처음에는 모델 훈련과 깊게 통합하지 않았지만, 시간이 지나면서 점점 더 훈련 과정 안으로 들어오고 있다고 밝혔다. Sam Altman·Matt Garman Stratechery 인터뷰
최근 AI의 업무 능력은 두 가지 변화가 동시에 진행된 결과다.
Harness
파일과 브라우저, 엑셀, 데이터베이스, 기업 내부 시스템을 모델과 연결한다.
Post-training/RL
모델이 그 환경에서 계획하고, 도구를 사용하고, 결과를 검증하며, 실패했을 때 스스로 복구하도록 가르친다.
Pre-training이 지능을 만들었다면, Post-training과 Harness는 그 지능을 노동으로 전환했다.
Agent가 기존 Chatbot보다 훨씬 많은 Token과 Memory를 사용하는 구조는 생각정리 364 (* From Words to Worlds, The Next Memory Supercycle)에서 살펴봤다.
이번에는 그 Agent를 더 잘 만들고 안전하게 운용하는 과정에서 컴퓨팅 구조가 어떻게 달라지는지가 중요하다.
5. 컴퓨팅의 중심이 Pre-training에서 Post-training으로 이동하고 있다
semianalysis에서 발표한 그래프에서 가장 눈에 띄는 변화는 전체 훈련 비중보다 훈련 내부의 구성 변화다.
 |
| 원출처 : Semi Analysis |
2024년 1분기 OpenAI와 Anthropic의 컴퓨팅 사용 비중 추정치는 다음과 같다.
Pre-training: 67%
Post-training/RL: 5%
Inference: 29%
2026년 4분기 전망은 크게 달라진다.
Pre-training: 7%
Post-training/RL: 55%
Inference: 38%
반올림 오차를 감안하면 전체 훈련 비중은 여전히 60% 이상이다.
하지만 훈련의 중심은 기반 모델을 처음부터 크게 만드는 Pre-training에서 이미 학습된 모델을 실제 업무에 맞게 다듬는 Post-training과 RL로 이동한다.
다만 이 그래프는 OpenAI와 Anthropic의 공식 공시 수치가 아니며 상세한 산출 방식도 제시돼 있지 않다.
정확한 비중보다 프런티어 랩의 컴퓨팅 중심이 대규모 사전학습에서 Agentic Post-training으로 이동하는 방향성을 읽는 자료로 사용하는 것이 적절하다.
그래도 이 변화가 보여주는 의미는 분명하다.
과거에는 더 많은 데이터와 컴퓨팅으로 기반 모델의 지능 자체를 키우는 것이 중심이었다.
이제는 이미 만들어진 모델을 실제 환경에 투입하고 수많은 작업을 수행하게 한다. 모델이 계획하고, 도구를 사용하고, 실패하면 다시 시도하게 한 뒤 그 결과를 평가해 가중치를 업데이트한다.
NVIDIA도 Post-training을 모델이 코딩, 다단계 계획, 검색 도구 사용과 오류 복구를 배우는 단계로 설명한다.
수천 개의 환경에서 Rollout을 병렬로 생성하고, 보상을 검증한 뒤 모델 가중치를 다시 업데이트하는 과정이다. NVIDIA Post-training 설명
최근 AI의 유용성이 빠르게 높아진 이유는 Pre-training만으로 모델이 갑자기 똑똑해졌기 때문이 아니다. Post-training과 Harness가 이미 확보한 지능을 실제 업무 수행 능력으로 전환했기 때문이다.
6. Post-training의 상당 부분은 추론처럼 작동한다
그래프에서 Post-training/RL은 훈련으로 분류돼 있다.
하지만 Agentic RL의 실제 연산 구조를 보면 상당 부분이 Inference와 비슷하게 작동한다.
모델은 실제 업무와 유사한 환경에서 답변과 행동을 생성한다. 파일을 읽고 코드를 작성하며 도구를 실행한 뒤 결과에 따라 다음 행동을 결정한다.
이 과정을 Rollout이라고 부른다.
Rollout은 모델이 Token을 순차적으로 생성하는 Forward Pass다. Production Inference와 비슷한 연산 특성을 가진다.
이후 결과를 평가하고 보상에 따라 가중치를 업데이트하는 Backward Pass가 추가된다.
따라서 2026년 4분기 그래프를 단순하게 훈련 62%, 추론 38%로만 읽으면 변화의 핵심을 놓칠 수 있다.
Post-training/RL 55% 가운데 상당 부분이 Agent Rollout이라면, 실제 컴퓨팅 특성은 이미 Pre-training 중심에서 반복적인 Token 생성과 실환경 상호작용 중심으로 이동하고 있는 것이다.
이 관점에서는 Pre-training을 제외한 Post-training/RL과 Production Inference의 합계가 **93%**까지 높아진다는 점이 더 중요하다.
아직 고객용 추론만 폭발한 단계라기보다, Agent를 실제 업무에 투입하기 위해 수많은 가상 업무를 수행시키고 다듬는 Post-training 투자가 먼저 급증하는 단계라고 생각한다.
7. 그래서 더 많은 HBM과 더 넓은 대역폭이 필요해진다
대규모 Pre-training은 많은 GPU를 높은 Batch로 묶어 거대한 행렬연산을 처리한다.
이 단계에서는 GPU의 최대 연산 성능과 대규모 병렬처리 효율이 중요하다.
Agentic Post-training과 Inference는 작업 특성이 다르다.
모델이 긴 Context를 읽고 Token을 순차적으로 생성한다. 도구 실행 결과를 기다린 뒤 다시 모델 가중치를 불러와 다음 행동을 판단한다.
여러 Agent가 동시에 서로 다른 길이의 작업을 수행하면 Batch도 일정하지 않다.
Rollout 모델과 보상 모델, 검증 모델과 안전 모니터링 모델이 함께 작동하면서 메모리 접근 구조도 복잡해진다.
이 과정에서는 GPU의 FLOPS뿐 아니라 다음 요소가 중요해진다.
거대한 모델 가중치를 얼마나 많이 HBM에 담을 수 있는가
모델 가중치를 HBM에서 얼마나 빠르게 읽을 수 있는가
긴 Context의 KV Cache를 얼마나 많이 저장할 수 있는가
Token 생성에 필요한 데이터를 얼마나 빠르게 공급할 수 있는가
GPU 사이에서 가중치와 상태를 얼마나 빠르게 이동할 수 있는가
서로 다른 Agent Rollout을 얼마나 높은 가동률로 처리할 수 있는가
따라서 Post-training과 Inference 비중이 높아질수록 HBM 용량과 대역폭, Scale-up Network와 시스템 전체의 데이터 이동 능력이 중요해진다.
Pre-training 시대에는 더 많은 FLOPS가 모델 크기를 확대하는 핵심이었다.
Agentic Post-training 시대에는 연산기가 쉬지 않도록 모델 가중치와 KV Cache를 지속적으로 공급하는 능력이 중요해진다.
더 많은 컴퓨팅 능력은 GPU 개수만 늘린다고 확보되지 않는다.
GPU가 처리할 모델 가중치와 KV Cache를 저장할 더 많은 HBM, 그리고 그 데이터를 빠르게 이동시킬 더 넓은 대역폭이 함께 필요하다.
8. 속도조절은 연산의 소멸보다 구성의 변화에 가깝다
OpenAI는 Astra 관련 강화학습을 2주 동안 중단했고, 발표 당시 계획된 최대 규모의 프런티어 RL 실행도 보류하고 있었다.
하지만 모든 연구를 멈춘 것은 아니다.
그 기간에도 소규모 훈련과 평가를 진행하고, 모델 행동을 분석하고, 레드팀 테스트와 모니터링 시스템을 검증했다. 안전 및 정렬 관련 워크로드는 새로운 보안 환경으로 우선 이전했다.
따라서 일부 대규모 훈련의 지연만 보면 단기적인 연산 감소로 보일 수 있다.
하지만 전체 개발 과정을 보면 훈련 전후에 필요한 평가, 모니터링, 샌드박스, 정렬과 재검증 워크로드가 늘어난다.
기존의 과정이 다음과 같았다면,
Model Training → Evaluation → Deployment
앞으로는 더 많은 중간 과정이 들어간다.
Model Training → Evaluation → Security Test → Alignment Test → Monitoring → Sandbox → Additional RL → Re-evaluation → Deployment
한 번의 거대한 훈련을 조금 늦추는 대신, 그 훈련을 안전하게 진행하기 위한 중간 연산은 더 많이 필요해지는 구조다.
9. 가장 중요한 숫자는 20%다
OpenAI는 2026년 8월 18일 공식 발표에서 새로운 모니터링 시스템이 감시 대상 추론 연산량의 약 **20%**에 해당하는 추가 컴퓨팅을 필요로 한다고 밝혔다.
이 시스템은 단순히 로그를 저장하는 수준이 아니다.
모델이 Token을 생성하는 동안 활성화 분류기가 내부 활동을 검사한다. 이상 신호가 발견되면 더 정교하고 많은 연산을 사용하는 자동 조사 시스템이 모델의 추론과 도구 사용 기록을 다시 확인한다.
무단 접근과 데이터 절도, 파괴적 행동이나 안전장치 무력화 시도가 있었는지를 다른 AI 시스템이 조사하는 구조다.
일하는 AI와 그 AI를 감시하는 AI가 동시에 움직이기 시작한 것이다.
OpenAI는 이 모니터링을 도구를 사용하는 Sol급 이상 모델의 강화학습과 평가에 적용하고 있다.
Astra가 핵심 사이버 역량에 도달했을 가능성을 확인한 뒤에는 도구를 사용하는 모든 Astra 추론에도 추가 모니터링 요건을 적용했다.
현재 추정되는 추가 연산량은 감시 대상 추론 연산량의 약 **20%**다. 실제 비용은 워크로드별로 크게 달라질 수 있다. OpenAI 공식 발표
기본 추론에 100의 연산이 필요한 업무라면, 안전 모니터링을 포함해 약 120의 연산이 필요할 수 있다는 뜻이다.
이 숫자를 전체 AI 컴퓨팅이나 CAPEX에 그대로 적용할 수는 없다. 전체 추론 가운데 실제 모니터링 대상이 되는 비중이 공개되지 않았기 때문이다.
그럼에도 한 가지는 확인됐다.
더 강력한 AI를 안전하게 운용하기 위해서는 기존 추론 외에 추가 컴퓨팅이 필요하다.
10. 안전장치가 AI의 업무 범위를 넓힌다
안전 모니터링은 우선 모델 기업의 비용을 높인다.
그러나 기업 고객이 AI에 더 많은 권한을 주기 위해서는 통제와 검증 체계가 필요하다.
AI가 문서를 작성하는 데 그친다면 사람이 결과를 확인하면 된다.
AI가 코드를 실행하고 내부 데이터에 접근하며 기업 시스템의 상태를 직접 바꾸기 시작하면 지속적인 모니터링과 권한 관리가 필요하다.
안전장치가 충분하지 않으면 기업은 Agent가 사용할 수 있는 데이터와 도구, 업무 범위를 제한할 가능성이 높다.
반대로 신뢰할 수 있는 모니터링과 통제 체계가 갖춰지면 AI에 더 중요하고 복잡한 업무를 맡길 수 있다.
같은 Stratechery 인터뷰에서 AWS의 Matt Garman은 금융기관과 같은 위험회피적인 고객도 Agent가 안전한 Sandbox 안에서 작동한다는 확신을 얻으면 훨씬 더 넓은 업무에 AI를 사용할 수 있다고 설명했다.
이것이 Pacing과 안전 검증의 경제적 의미라고 생각한다.
안전성은 AI 확산을 늦추는 비용이면서,
동시에 AI가 더 넓은 업무에 진입하기 위한 조건이자,
미래의 신규 경쟁자들에겐 새로운 규제 진입장벽이 될 수 있다.
문서 작성만 하던 AI가 기업 데이터베이스와 금융 시스템, 보안 시스템과 생산설비를 다루기 시작하면 업무당 Tool Call과 추론 횟수도 함께 증가한다.
안전 검증으로 업무당 연산량이 늘어나고, 안전성 확보로 AI에 맡길 수 있는 업무량도 늘어나는 구조다.
11. 중국에는 안전 컴퓨팅의 부담이 더 크다
AI 속도조절론에서는 중국과의 경쟁이 항상 가장 큰 반론으로 등장한다.
미국 프런티어 랩이 개발 속도를 늦추는 동안 중국이 계속 발전하면 미국의 기술적 우위가 사라질 수 있다는 주장이다.
하지만 최근의 무단 증류 사건과 중국의 컴퓨팅 공급 상황을 함께 보면 이 경쟁 구도를 다르게 볼 여지도 있다.
Anthropic은 Moonshot AI와 DeepSeek, Alibaba 등이 Claude의 출력을 대규모로 확보해 모델 학습에 활용하려 했다고 주장했다.
Anthropic에 따르면 Moonshot은 2026년 5월부터 7월 사이 Claude와 2,300만 회 이상의 교환을 발생시켰고, 일부 사용자의 요청을 Claude로 우회했다.
이 과정에서 중국 국유기업의 내부 코드와 인증정보, 감시 시스템 관련 자료 등 민감한 정보가 사용자가 인지하지 못한 채 Anthropic으로 전달됐다고 한다. 이는 현재 Anthropic의 조사 결과이며 관련 중국 기업들의 법적 책임이 확정됐다는 의미는 아니다. Anthropic 2026년 9월 보고서
위 조사가 맞다면 독자적인 모델 능력만으로 미국과의 격차를 좁히기 어려웠으며, 미국 프런티어 모델의 출력을 확보해 Agentic Reasoning과 Tool Use 능력을 보완하려 했다는 의미가 된다.
더 큰 문제는 안전성과 검증 능력이다.
원 모델의 학습 과정과 정렬 방식, 취약점과 안전장치를 알지 못한 채 출력만 증류한다면 성능 일부는 모방할 수 있어도 모델의 위험을 이해하고 통제하기는 어렵다.
안전성 검증에 추가 컴퓨팅이 필요하다는 점도 중국에는 부담이다.
중국 AI 기업들은 첨단 가속기와 HBM을 미국 기업과 같은 조건으로 확보하기 어렵다. Reuters는 중국 AI 가속기 업체들이 HBM 부족과 높은 조달 비용 때문에 제품 가격을 인상하고 있다고 보도했다. Reuters 보도
이미 컴퓨팅과 HBM이 부족한 상황에서 미국과 같은 안전성 평가와 모니터링을 적용하면 실제 모델 개발에 투입할 수 있는 자원은 더욱 줄어들 수 있다.
따라서 안전성 검증이 미국에만 적용되는 비용이라고 볼 수 없다.
동일한 기준이 중국 업체에도 적용된다면 컴퓨팅과 HBM을 더 많이 확보한 미국 프런티어 랩의 우위가 오히려 강화될 가능성이 있다.
먼저 정상에 오른 미국 기업들이 안전을 명분으로 사다리를 걷어차는 것처럼 보일 수 있다.
하지만 그 안전 기준을 실제로 충족하려면 미국 기업도 막대한 추가 비용과 컴퓨팅을 부담해야 한다.
문제는 그 비용을 감당할 수 있는 기업이 많지 않다는 것이다.
12. 컴퓨팅 확보 능력이 새로운 경쟁력이 된다
프런티어 AI 기업의 경쟁력을 이제 모델 벤치마크만으로 판단하기 어려워졌다.
모델을 얼마나 안전하게 훈련할 수 있는지, 대규모 Agent Rollout과 평가를 감당할 수 있는지, 사용량이 늘어날 때 충분한 추론과 모니터링 용량을 공급할 수 있는지가 중요해진다.
필요한 것은 GPU나 ASIC만이 아니다.
가속기에 연결되는 HBM과 네트워크, 스토리지, 전력과 냉각을 포함한 전체 시스템이 필요하다.
토큰당 비용이 낮아져도 전체 컴퓨팅의 경제적 가치가 높아질 수 있는 이유는 생각정리 358 (* The Price of Compute)에서 정리했다.
이번 속도조절론은 그 논리에 Agentic Post-training과 안전 컴퓨팅이라는 새로운 수요를 추가한다.
Pre-training
→ Intelligence 확보
Post-training/RL
→ 계획·Tool Use·오류 복구 능력 강화
Harness
→ 파일·프로그램·기업 시스템과 연결
Safety·Monitoring
→ 더 높은 권한과 더 넓은 업무 허용
Agent 확산
→ 더 많은 Rollout과 Production Inference
Compute·HBM·Bandwidth 수요 증가
프런티어 모델은 조금 더 신중하게 개발한다.
이미 확보한 Intelligence는 더 많은 업무로 확산시킨다.
그리고 그 모든 과정을 다른 AI가 감시한다.
이 구조가 자리 잡으면 더 많은 컴퓨팅과 HBM을 안정적으로 확보한 기업이 모델 개발과 서비스 확산, 안전성 검증을 동시에 수행할 수 있다.
글을 마치며
지금까지 시장은 AI의 발전을 주로 모델 크기와 Pre-training 규모로 판단해왔다.
하지만 최근 컴퓨팅 구성의 변화는 AI 경쟁의 중심이 이동하고 있음을 보여준다.
GPT-3부터 모델의 지능은 활용 가능한 임계점을 넘기 시작했다.
GPT-4에서는 그 지능이 상당한 경제적 가치를 만들 수 있다는 확신이 형성됐다.
이후 Post-training과 Harness가 모델의 지능을 실제 업무 수행 능력으로 전환하기 시작했다.
이제 안전성 논증과 모니터링이 더해지면서 AI가 접근할 수 있는 기업 업무의 범위가 넓어질 가능성이 높다.
Pre-training이 지능을 만들었다면, Post-training과 Harness는 지능을 유용하게 만들었고, 안전 검증은 그 유용성이 더 넓은 업무로 확산될 수 있는 기반을 만든다.
따라서 프런티어 AI의 Pacing을 단순한 컴퓨팅 수요 둔화로 해석하기 어렵다.
일부 대규모 훈련의 진행 속도는 조절될 수 있다.
그러나 Agentic Post-training과 평가, 모니터링에 필요한 연산은 증가하고, 안전성이 확보될수록 AI에 맡길 수 있는 업무도 많아질 수 있다.
AI가 더 똑똑해지는 속도를 관리하기 시작한 것은 AI를 덜 사용하기 위해서가 아니다.
더 강력한 AI를 더 많은 업무에 안전하게 사용하기 위한 과정이다.
그리고 그 과정에는 더 많은 컴퓨팅과 더 많은 HBM, 더 넓은 대역폭이 필요할 가능성이 높다.
=끝
댓글 없음:
댓글 쓰기