그간 펼쳐놓았던 아이디어를 한 번 정리하고,
앞으로의 리서치 방향을 다시 세워보고자 한다.
AI는 어디까지 왔고, 이제 무엇을 봐야 하는가
지식노동 대체의 시대, 병목과 해자의 관점에서
지금 AI를 바라볼 때 중요한 것은 단순히 모델이 얼마나 똑똑해졌는가가 아니다. 오히려 그 발전이 어디에서 막히고 있고, 그 병목을 누가 어떻게 해결하는지가 더 중요해지고 있다.
AI는 이제 인간의 언어를 이해하는 수준을 넘어, 인간만의 고유 영역으로 여겨졌던 추론의 영역까지 들어오고 있다. 과거의 AI가 반복 업무와 정형화된 작업에 강한 도구였다면, 지금의 AI는 정보를 연결하고, 맥락을 파악하고, 불완전한 정보 속에서 결론을 만들어내는 방향으로 발전하고 있다. 그래서 AI는 더 이상 단순한 자동화 도구가 아니라, 점점 더 지식노동 자체를 위협하는 기술로 받아들여지고 있다.
이 변화의 배경에는 스케일업(scale-up)이 있다. 더 많은 데이터, 더 큰 모델, 더 많은 GPU와 서버, 더 많은 전력과 자본이 투입되면서 AI의 성능은 단순한 양적 확대를 넘어 질적으로도 달라졌다. 어느 순간부터는 요약에 머물던 모델이 추론을 하기 시작했고, 짧은 응답에 그치던 모델이 긴 문맥을 이해하기 시작했다. 이것이 흔히 말하는 창발효과이다.
중요한 것은 이 창발효과가 단순히 성능 개선에 그치지 않는다는 점이다. AI는 이제 기존 업무를 일부 대체하는 수준을 넘어, 인간의 생산성과 판단 능력을 확장하는 새로운 추가 효용을 만들어내기 시작했다. 다시 말해 기존 수요를 대체하는 1차 변화에서, 새로운 사용 방식과 새로운 워크로드를 만들어내는 2차 수요의 변곡점으로 넘어가고 있는 것이다. 최근 시장에서 Agent AI라는 표현이 부각되는 것도 이 흐름과 맞닿아 있다.
과거의 AI가 질문에 답하고 결과를 생성하는 시스템에 가까웠다면, 이제의 AI는 목표를 부여받고, 여러 단계를 나누어 사고하고, 필요한 도구를 호출하고, 작업을 이어서 수행하는 방향으로 진화하고 있다. 즉, AI는 단순한 응답형 시스템에서 행동하고 수행하는 시스템으로 이동하고 있다. 이 변화는 AI의 활용 범위를 넓히는 동시에, 필요한 인프라 자원을 훨씬 더 무겁게 만든다. 그래서 지금의 AI는 단순히 더 좋은 모델의 문제가 아니라, 더 복잡한 수요를 떠받칠 수 있는 인프라의 문제로도 읽어야 한다.
그 결과 AI는 이제 단순한 보조 도구가 아니라, 부가가치가 높고 시장 규모도 큰 지식노동 시장에 본격적으로 진입하기 시작했다. 문서를 읽고 정리하는 일, 자료를 비교하고 판단하는 일, 보고서를 작성하는 일, 코드를 짜는 일처럼 원래는 사람의 경험과 학습이 필요하다고 여겨졌던 영역들에서 AI의 역할은 빠르게 커지고 있다. 그렇다면 이제 중요한 질문은 “AI가 얼마나 더 똑똑해질까”가 아니라, 이 발전을 현실에서 무엇이 가로막고 있는가이다.
이제 중요한 것은 성능이 아니라 병목이다
기술 산업은 늘 비슷한 방식으로 움직인다. 수요는 빠르게 늘어나지만, 공급은 그 속도를 따라가지 못한다. 아무리 좋은 기술이 나와도 그것을 실제로 뒷받침할 공장, 장비, 자본, 전력, 부품이 부족하면 산업의 확산 속도는 반드시 제약을 받는다. 결국 산업의 발전 속도는 언제나 가장 부족한 자원에 의해 결정된다.
지금의 AI 산업이 정확히 그런 상태에 있다. AI에 대한 수요는 폭발하고 있지만, 이를 실제로 떠받치는 공급은 생각보다 훨씬 제한적이다. 좋은 모델만 있다고 산업이 굴러가는 것이 아니다. 그 모델을 돌릴 연산 자원, 큰 모델과 긴 문맥을 담을 메모리, 이를 지탱할 전력, 발열을 감당할 냉각, 칩과 메모리를 묶는 패키징, 그리고 서버와 서버를 잇는 네트워킹이 모두 필요하다.
즉, 지금 AI 산업의 핵심은 단순한 알고리즘 경쟁이 아니다. 폭증하는 수요와 제한된 공급이 정면으로 부딪히는 구조 자체가 핵심이다. 그리고 바로 이런 상황에서 기술의 다음 발전 방향이 결정된다. 이 지점에서 “필요는 발명의 어머니이고, 결핍은 발전의 출발점이다”라는 문장이 다시 의미를 갖는다. 수요가 충분한데도 공급이 따라가지 못하면 기존 방식은 더 이상 통하지 않는다. 그 순간부터 산업은 새로운 구조를 요구받고, 기술은 더 빠르게 진화한다.
인간의 뇌와 AI 데이터센터의 전력 격차가 보여주는 것
이 구조를 직관적으로 보여주는 비교 중 하나가 인간의 뇌와 AI 시스템의 에너지 효율이다. 인간의 뇌는 매우 적은 전력으로 언어를 이해하고, 기억하고, 추론하고, 창의적으로 사고한다. 흔히 인간의 뇌는 약 20W 안팎의 에너지로 작동한다고 설명된다. 물론 인간의 뇌와 AI 데이터센터를 1대1로 비교하는 것은 엄밀하지 않다. 구조도 다르고, 연산 방식도 다르고, 수행 과제도 다르기 때문이다.
그럼에도 이 비교가 의미를 가지는 이유는 분명하다. 인간의 지능은 놀라울 만큼 에너지 효율적인 반면, 오늘날의 AI는 여전히 매우 거대한 전력 집약형 시스템 위에서 작동하고 있기 때문이다. 다시 말해, 현재의 AI는 성능을 끌어올리는 데는 성공했지만, 효율 면에서는 아직 물리적 자원의 대규모 투입에 의존하고 있다.
이 사실이 중요한 이유는 AI 산업이 더 커질수록 더 많은 서버, 더 많은 전력, 더 많은 냉각, 더 많은 메모리, 더 많은 데이터 이동이 필요해지기 때문이다. 특히 Agent AI처럼 단순 응답이 아니라 더 긴 문맥을 유지하고, 여러 단계를 거치며, 도구를 호출하고, 중간 상태를 저장하는 방식이 확산될수록 필요한 인프라 자원은 훨씬 더 무거워진다. 그래서 AI를 볼 때는 모델만 볼 것이 아니라, 어떤 인프라가 필요하고, 그 인프라에서 무엇이 부족해지는가를 함께 봐야 한다.
첫 번째 병목: 추론 지연과 메모리 제약
AI가 더 넓은 지식노동 시장으로 들어가려면 단순히 답변을 잘하는 것만으로는 부족하다. 복잡한 추론을 더 빠르게, 더 안정적으로 해야 한다. 긴 문서를 읽고 핵심을 정리하거나, 여러 조건을 비교하고 판단하는 작업은 더 긴 문맥을 기억해야 하고, 더 많은 중간 결과를 저장해야 하며, 더 오랜 시간 상태를 유지해야 한다.
바로 여기서 메모리 문제가 핵심이 된다. 많은 사람들은 AI 성능을 말할 때 GPU의 연산 능력만 떠올리지만, 실제 현장에서는 필요한 데이터를 얼마나 빨리 읽고, 얼마나 많이 담고, 얼마나 효율적으로 유지할 수 있는지가 매우 중요하다. 그래서 AI의 실제 추론 성능은 단순한 연산 속도만으로 결정되지 않는다. HBM 용량, 메모리 대역폭, KV 캐시, GPU 사이의 데이터 이동 효율이 모두 핵심 요소가 된다.
Agent AI는 이 메모리 병목을 더 날카롭게 만든다. 질문 하나에 답하고 끝나는 것이 아니라, 작업 상태를 유지하고, 과거 결과를 기억하고, 중간 단계를 이어가야 하기 때문이다. 즉, 에이전트형 워크로드가 늘어날수록 메모리는 단순 저장 공간이 아니라 지속적인 작업 능력을 떠받치는 핵심 자원이 된다.
두 번째 병목: GPU, ASIC, 첨단 패키징 공급
다음 병목은 반도체 공급이다. 특히 GPU와 ASIC, 그리고 이들을 실제 제품으로 구현하는 첨단 패키징 공급이 중요하다. 많은 사람들은 반도체 병목이라고 하면 먼저 미세공정을 떠올리지만, 지금 AI 시대의 병목은 그것 하나로 설명되지 않는다.
실제 문제는 훨씬 더 복합적이다. 좋은 연산 칩만 있다고 끝나는 것이 아니다. 그 칩에 대용량 HBM을 붙여야 하고, 이를 하나의 패키지 안에서 안정적으로 연결해야 하며, 발열과 전력 문제도 감당해야 한다. 여기에 기판, 인터포저, 테스트, 수율까지 모두 따라붙는다. 즉, 지금의 병목은 칩 하나의 문제가 아니라, 전체 시스템을 얼마나 정교하게 조립하고 대량 공급할 수 있는가의 문제이다.
더구나 Agent AI가 확산될수록 필요한 추론 인프라는 더 무거워질 가능성이 크다. 짧은 질의응답용 서비스보다, 장시간 상태를 유지하고 여러 단계를 수행하는 서비스가 훨씬 더 많은 연산 자원과 메모리 자원을 쓰기 때문이다. 이 말은 결국 GPU와 HBM, 첨단 패키징에 대한 수요가 구조적으로 더 무거워질 수 있다는 뜻이다.
여기서 한 가지 더 중요한 흐름이 생긴다. ASIC, GPU, Logic 칩의 물리적 제약이 커질수록 칩 자체의 희소성과 가치는 높아질 수밖에 없다. 공급이 제한된 고가 자산일수록 시장은 그 자산을 최대한 쉬지 않고 돌리려는 유인을 갖게 된다. 즉, GPU의 유휴시간을 줄여야 할 필요성이 더 강해진다.
그리고 이 지점에서 논리는 자연스럽게 메모리로 이어진다. GPU 유휴시간을 줄인다는 것은 결국 더 많은 작업을 더 오래, 더 끊김 없이 처리해야 한다는 뜻이다. 그러려면 연산 칩 자체만으로는 부족하다. 칩이 기다리지 않도록 데이터를 제때 공급하고, 더 많은 상태를 붙잡아 두고, 더 깊은 추론을 지속할 수 있게 만드는 메모리 구조가 함께 따라와야 한다. 결국 칩의 희소성이 커질수록, 그 칩을 최대 효율로 돌리기 위한 메모리 수요는 다시 자극될 수밖에 없는 구조로 흘러간다.
즉, 반도체 병목은 메모리 병목과 분리된 이야기가 아니다. 오히려 희소한 GPU를 더 효율적으로 돌리려는 유인 자체가 메모리의 중요성을 더 끌어올리는 방향으로 작동한다.
세 번째 병목: 캐파 증설의 긴 시간 지연
여기에 더해 중요한 것은 시간이다. AI 수요는 매우 빠른 속도로 늘어나지만, 공급 능력은 그렇게 빨리 늘지 않는다. 공장을 짓는 데 시간이 걸리고, 장비를 들여오는 데 시간이 걸리며, 생산을 안정화하고 고객 인증을 받는 데도 시간이 걸린다. 즉, 시장이 원한다고 해서 다음 분기에 공급을 갑자기 두 배로 늘릴 수 있는 산업이 아니다.
이 구조 때문에 AI 산업에서는 한동안 수요 폭증과 공급 부족이 동시에 나타나는 상황이 이어질 가능성이 크다. 그리고 이 상황은 단순한 경기 변동과는 다르다. 일시적인 재고 조정의 문제가 아니라, 물리적 생산능력의 확대 속도가 수요 증가 속도를 따라가지 못하는 구조적 현상이다.
이 점이 중요한 이유는 명확하다. 이 구조에서는 병목을 푸는 기업이 훨씬 큰 힘을 갖게 된다. 단순히 좋은 기술을 가진 기업이 아니라, 희소한 공급능력을 실제로 제공할 수 있는 기업이 더 높은 협상력을 가질 가능성이 커진다.
네 번째 병목: 메모리 계층의 재편
이제 자연스럽게 시선은 메모리 구조로 이동한다. AI 인프라에서는 더 이상 연산 칩만 좋아서는 충분하지 않다. 중요한 것은 그 칩에 얼마나 많은 메모리를 붙일 수 있는지, 그 메모리를 얼마나 빠르게 쓸 수 있는지, 그리고 전체 시스템 안에서 메모리를 어떤 계층으로 나눠 쓸 것인지이다.
AI가 더 긴 문맥을 처리하고, 더 복잡한 추론을 하고, 더 많은 중간 상태를 저장할수록 메모리 부담은 커진다. Agent AI는 이 흐름을 더 밀어붙인다. 에이전트는 과거 작업을 기억해야 하고, 도구 호출 결과를 저장해야 하며, 문맥을 이어가야 하기 때문이다. 즉, 메모리는 단순 부품이 아니라 추론 성능과 자산 활용률을 동시에 좌우하는 핵심 계층으로 재평가되고 있다.
그래서 HBM과 DRAM의 중요성이 크게 올라왔다. HBM은 빠르고 대역폭도 높아 AI에 매우 적합하지만, 비싸고 희소하며 공급도 제한적이다. 이 지점에서 NAND와 SSD의 의미도 다시 보게 된다. 물론 NAND가 HBM을 대체하는 것은 아니다. 하지만 모든 데이터를 가장 비싼 메모리에만 올릴 수는 없기 때문에, 앞으로는 메모리를 하나로 보지 않고 HBM-DRAM-SSD/NAND로 이어지는 계층 구조 전체로 이해해야 한다. 결국 앞으로의 경쟁은 단순히 누가 더 좋은 칩을 만드느냐가 아니라, 누가 메모리 계층 전체를 더 효율적으로 설계하느냐에도 달려 있다.
결국 다시 중요해지는 것은 네트워킹이다
여기까지 오면 자연스럽게 다음 질문으로 이어진다. 연산도 중요하고, 메모리도 중요하고, 전력도 중요하다면, 이 모든 것을 연결하는 것은 무엇인가. 바로 네트워킹이다. AI 시스템은 점점 더 거대해지고 있고, 하나의 칩만으로 끝나지 않는다. 여러 GPU가 함께 일하고, 여러 서버와 여러 랙이 함께 움직여야 한다. 결국 전체 성능은 데이터를 얼마나 빠르고 효율적으로 주고받을 수 있는가에 달려 있다.
중요한 점은 많은 전력이 실제 계산 그 자체보다도, 데이터를 이동시키는 과정에서 소모된다는 것이다. AI가 커질수록 데이터 이동 비용도 함께 커진다. 따라서 앞으로는 단순히 계산 성능만 높이는 것으로는 부족하고, 데이터를 얼마나 효율적으로 움직일 수 있는가가 핵심이 된다. 특히 Agent AI처럼 더 많은 상태를 주고받고, 더 많은 도구 호출과 중간 결과가 오가는 구조에서는 연결과 이동 자체가 성능의 일부가 된다.
그래서 네트워크는 더 이상 주변부 인프라가 아니다. 오히려 컴퓨팅 효율을 결정하는 핵심 계층이다.
구리에서 광으로, 연결 방식도 바뀌기 시작한다
이 흐름은 더 멀리 가면 연결 방식의 변화로 이어진다. 즉, 구리 기반 연결에서 광 기반 연결로의 전환이다. 이유는 단순하다. AI 데이터센터가 점점 더 커지고 있기 때문이다. 시스템이 커질수록 전기 신호만으로 데이터를 전달하는 방식은 전력 소모, 발열, 거리, 신호 손실 측면에서 여러 한계를 드러낸다.
그래서 광 네트워킹은 단순한 통신 기술의 변화가 아니다. 그것은 한정된 전력 안에서 더 큰 AI 시스템을 더 효율적으로 운영하기 위한 기술적 해법이다. 그리고 Agent AI처럼 더 길고 복잡한 워크로드가 늘어날수록, 시스템 안에서 오가는 데이터도 더 많아질 수밖에 없다. 이 말은 결국 네트워크 효율 문제가 앞으로 더 중심으로 올라올 가능성이 크다는 뜻이다.
그래서 지금 진짜 중요한 리서치 주제는 무엇인가
여기까지의 흐름을 종합하면, 지금 AI 산업을 볼 때 중요한 것은 AI 기술이 현실에서 어디에서 막히고 있는가를 보는 것이다. 그리고 그다음 질문이 이어진다. 그 병목을 누가 풀고 있는가. 어떤 기업이 해결책을 갖고 있는가. 어떤 기술이 실제로 산업의 제약을 해소하고 있는가.
이것이 앞으로의 핵심 리서치 주제이다. 먼저 해야 할 일은 병목을 정확히 식별하는 것이다. 그다음에는 각 병목마다 어떤 기업이 어떤 솔루션을 제시하고 있는지 봐야 한다. 그리고 거기서 끝나면 안 된다. 그 솔루션이 얼마나 강한 기술적 해자를 갖고 있는지, 얼마나 쉽게 따라잡힐 수 있는지, 얼마나 오랫동안 높은 협상력을 유지할 수 있는지, 산업 전체 가치사슬에서 얼마나 중요한 위치를 차지하는지까지 봐야 한다. 마지막으로 그 해자가 실제로 기업가치와 밸류에이션에 어떻게 연결되는지까지 분석해야 한다.
결국 지금 필요한 것은 막연한 낙관이 아니다. 병목을 찾고, 솔루션을 찾고, 해자를 측정하고, 그 가치를 평가하는 일이다.
기술의 가치는 희소한 현실 위에서 빛난다
마지막으로 이 모든 흐름을 볼 때 놓치기 쉬운 것이 하나 있다. 현실의 자원은 언제나 한정되어 있고, 언제나 희소하다는 점이다. 기술은 진공 상태에서 발전하지 않는다. 언제나 현실의 제약 위에서 발전한다.
전력이 무한하지 않기 때문에 전력 효율 기술이 중요해진다. 메모리가 무한하지 않기 때문에 메모리 계층 설계가 중요해진다. 패키징 캐파가 무한하지 않기 때문에 공급망의 힘이 커진다. 네트워크 대역폭이 무한하지 않기 때문에 연결 기술의 가치가 높아진다. 즉, 기술의 가치가 빛나는 이유는 현실의 자원이 희소하고 유한하기 때문이다.
그리고 바로 그 희소성과 유한성이 더 선명해질 때, 기술 발전은 오히려 더 크게 꽃핀다. 그런 의미에서 지금의 AI 산업은 매우 흥미로운 국면에 있다. 겉으로는 소프트웨어 혁신처럼 보이지만, 그 안을 들여다보면 전력과 메모리와 패키징과 네트워크라는 물리적인 제약이 산업 전체를 다시 설계하고 있다. 기술의 다음 방향은 결국 이 한정된 자원을 누가 더 효율적으로 쓰게 만들어주느냐에 의해 결정될 가능성이 크다.
결국 지금 우리가 봐야 하는 것은 하나다. 어디가 가장 부족한가. 그리고 누가 그 부족함을 해결하는가. 앞으로의 AI 산업 리서치는 바로 그 질문에서 시작되어야 한다.
=끝
