※ 메타 Muse를 통해 더 빠르게 성장할 추론 시장. (반도체 뿐 아니라 전력망 및 전력 아키텍처의 변화 등도 함께 이뤄 질 것)
AI 시장의 흐름이 학습 중심에서 추론 중심으로 빠르게 이동하고 있습니다.
2026년 기준 추론과 학습의 비중(연산량 기준)은 각각 약 60 – 65%와 35 – 40% 수준으로 추산되고 있어 이미 추론이 학습을 뛰어넘은 상태이며, 중국에서는 이미 추론이 70%(OpenRouter 통계 기준)를 상회하고 있습니다.
특히
이번 메타의 Muse의 출시로 인해 추론 시장의 확대는 더욱 가속화 될 것으로 전망됩니다.
AI가 학습에서 추론으로 무게 중심이 빠르게 이동하면서, AI 연관 산업의 흐름도 빠르게 바뀌어가고 있습니다.
반도체의 경우 GPU 중심에서 CPU, NPU, ASIC(TPU, Inferentia, Maia, MTIA 등)로 다변화 되고 있으며, 메모리 반도체도 HBM에서 CXL 기반의 메모리 익스팬더(CXL DRAM, CMM-D 등), DDR, eSSD 등의 중요성이 높아집니다.
언더스탠딩에 출연한 엑시나 김진영 대표 또한 이 부분을 중점적으로 말하고 있습니다.
그리고
Muse의 출시와 함께 반도체 단의 변화에 대해서는 이미 시장이 CPU, 기판 관련주 등을 주목하기 시작하였지만, 전력망, 전력아키텍처와 같은 다른 부분의 변화에 대해서는 아직 반영되지 못한 것으로 보입니다.
추론의 비중 증가는 반도체 외에도 전력망의 물리적 구조, AI 데이터센터의 전력 아키텍처 등도 빠르게 변화해야 합니다.
추론의 증가는 데이터센터의 전력 소비 형태를 ‘예측 가능한 정적 부하(학습 중심)’에서 수초, 밀리초(ms) 단위로 요동치는 ‘극단적 동적 부하(추론 중심)’로 바꿔 놓습니다.
소비자들의 예측이 어려운 실시간 AI 사용이 극단적 부하 변동성을 만들기 때문입니다.
그리고 이러한 부하변동성을 대처하기 위해서 전력 구조가 바뀌어야 합니다.
먼저
발전 측면에서는 대규모 발전보다는 유연성 발전원들이 많아져야 합니다.
때문에 경직성이 높은 대형 원전, 대형 화석연료 발전 보다 가스 발전, 중소규모 분산발전원(연료전지, 태양광, ESS 등), SMR 같은 유연성 발전원들이 중요해 집니다.
그리드 측면에서는 대규모 송전 중심에서 ADMS(지능형 배전망) 등과 같은 배전망 중심의 그리드를 통해 국소 혼잡 및 계통 유연성을 대처할 수 있어야 합니다.
그리고 이때 ESS, VPP, DR, xEMS, V2G 등이 매우 중요해 지게 됩니다.
즉,
공급관리(발전)에서 수요관리(부하)로 변화해야 합니다.
최근 엔비디아, 구글, 에메랄드 AI가 ‘AI 에너지 관리 연합(AEMA)’를 출범 시킨 것도 이러한 이유 때문입니다.
AI데이터센터의 전력 아키텍처의 변화도 중요한데, +-400V/800V DC 아키텍처의 중요성이 높아지게 됩니다.
특히 추론 특유의 극심한 ‘부하 변동성’이 기존 415V AC나 48V DC방식의 물리적 한계를 정면으로 도전하고 있기 때문입니다.
이처럼 추론의 증가는 단순히 반도체 영역에만 머물지 않으며, 수많은 AI 관련 분야의 변화를 현재 이끌고 있습니다.
● 천재 개발자의 경고 메모리 1만배 필요합니다. (엑시나 김진영 대표 / 언더스탠딩, 2026. 09. 19)
○ AI 시대 메모리 수요 폭증과 CXL 기술의 중요성
1. 메모리 수요 급증의 배경
1) AI 모델의 복합적인 요인으로 인한 메모리 수요 증가
모델의 크기 증가, 사용자 증가, 대화 맥락 길이 증가(컨텍스트의 길이), 에이전트 AI의 등장
위의 요인은 모두 데이터를 곱하기로 증가 시키고 있음.
2. CXL (Compute Express Link) 기술
CXL은 AI 데이터센터에서 다양한 기술과 컴포넌트들을 한 번에 연결해 주는 연결 표준임.
CXL은 기존 네트워크 기반 솔루션의 한계점을 극복하기 위해서 등장하였음.
1) CXL의 가치
CXL은 메모리를 더 유연하고 확장 가능하게 사용할 수 있도록 해줌.
메모리 확장 : CXL 표준을 통해 훨씬 더 많은 메모리를 연결할 수 있게 해줌.
데이터 복사 불필요 : 데이터를 굳이 복사하지 않고도 매우 큰 메모리 서버를 만들어 여러 서버가 공유할 수 있게 해줌.
메모리 풀링 : 여러 서버가 하나의 큰 메모리 풀에서 데이터를 읽어 가는 방식으로, 마치 각 시스템이 자신의 메모리처럼 사용할 수 있게 함.
효율성 극대화 : 항상 점유하고 있으면 사용하지 않을 때도 비용을 내야 하지만, 공유 메모리는 그렇지 않아 효율성을 극대화할 수 있음.
2) CXL의 기술적 기반과 작동 방식
과거에는 메모리 공유가 기술적으로 어려웠지만, CXL은 코런스(Coherency)라는 기반 기술을 통해 이를 보장하고, 이를 통해 여러 서버가 공유된 메모리를 통해 데이터를 공유하고 쉐어할 수 있음.
데이터를 복사해서 옮기는 방식이 아니라, 공유된 메모리 공간에 접근하여 데이터를 읽어 가는 방식임.
A 서버, B 서버 등 여러 서버가 하나의 공유된 메모리 공간에 접근하여 데이터를 참조할 수 있으며, 이를 통해 데이터 복사가 불필요해지고, 데이터 이동 자체를 줄일 수 있음.
○ 메모리 병목 현상 심화와 HBM의 한계
1) HBM의 한계
AI 시대의 폭발적인 데이터 증가와 연산 요구량 증가는 메모리 병목을 불러 일으켰음.
HBM은 용량 확장의 어려움이 있음.
HBM은 GPU 칩 안에 함께 패키징 되는 구조로 인해 물리적인 공간 제약으로 용량을 크게 늘리기 어려움.
좁은 공간에 많은 메모리를 집적하는 것은 열 발산, 공간, 수율 등 여러 문제를 발생 시킴.
HBM은 GPU에 종속된 자원으로, GPU 근처에 메모리를 많이 붙이는 데 한계가 있음.
2) KB 캐시와 메모리 수요 증가
KB 캐시의 개념 : GPU가 한 번 계산했던 것을 다시 계산하지 않도록 이전에 계산된 결과를 메모리에 저장해 두었다가 다음 계산 시 참조하는 기술임.
(KB 캐시의 중요성)
GPU 연산은 비싸고 시간이 오래 걸리기 때문에, 이전에 계산된 결과를 재활용 하는 것이 효율성을 크게 높임.
KB 캐시가 많이 쌓일 수록 GPU 연산을 다시 할 필요가 없어지므로 효율성이 높아짐.
AI 서비스가 발전하고 사용자와의 대화가 길어질수록 KB 캐시의 중요성이 더욱 커짐.
AI가 사용자의 이전 대화 내용을 기억하고 답변하는 것은 KB 캐시 때문임.
KB 캐시가 커질수록 인프라를 훨씬 더 효율적으로 구성할 수 있으며, 이는 메모리 중요성 증가로 이어짐.
KB캐시가 많이 쌓이면 그 만큼 많은 메모리가 필요하게 됨.
○ CXL 기반 메모리 솔루션
1) 메모리 풀링의 개념
CXL은 여러 서버가 메모리를 하나의 공용 공간처럼 나눠 쓰는 메모리 풀링 기술을 가능하게 함.
데이터를 복사하여 옮길 필요 없이, 공유된 메모리 풀에서 직접 데이터를 읽어 갈 수 있어, 이는 데이터 이동 자체를 줄여 효율성을 높임.
2) 메모리 활용률 극대화
기존 클라우드 환경에서는 고객이 필요한 메모리 용량을 정확히 알기 어려워 서버에 최대한의 메모리를 장착하는 오버프로비저닝이 이뤄짐.
결과적으로 클라우드 메모리 활용률은 평균 35% 수준에 그침.
CXL을 통해 메모리를 공유하면, 필요에 따라 메모리 사용량을 조절할 수 있어 활용률을 70 – 80%이상으로 끌어 올릴 수 있음.
3) 기존 메모리 재활용
메모리 수명은 CPU 등 다른 부품보다 길기 때문에, 오래된 서버에서 사용하던 DRAM을 꺼내 CXL에 꽂아 재활용 할 수 있음.
이는 수백만 대 규모의 서버에서 이미 활용하고 있거나 앞으로 활용될 것으로 예상
○ CXL 기술의 미래
1) CXL의 기술적 난관 극복
과거에는 메모리가 CPU 옆에 있어야 한다는 관념이 있었지만, CXL은 이를 극복하고 메모리 공유를 가능하게 함.
2) CXL과 광통신 기술
광통신 기술은 더 먼 거리를 높은 대역폭으로 접근하기 위한 기술이지만, 아직 시간이 더 필요함.
CXL 기술은 광통신 기술 뒤에 적용 될 수 있으며, 광통신 기술이 발전하면 기술의 효율성도 더욱 높아질 것임.
3) 현실적인 기술로서의 CXL
CXL은 미래 기술이라기 보다는 이미 현재 기술이며, 기존 인프라를 활용하여 적용 가능함.
서버에 꽂아 사용하는 방식이 자연스러워 마치 ‘공유 외장하드’와 같은 개념으로 이해할 수 있음.
○ 메모리 절감 효과와 미래 전망
공유 메모리 풀을 활용하면 개별 서버에 필요한 메모리 용량을 줄일 수 있음.
고객이 필요한 만큼만 메모리를 빌려 쓰고, 사용하지 않는 메모리는 줄이는 방식으로 효율적인 사용이 가능.
AI 시대의 메모리 수요는 계속해서 증가할 것이며, 메모리는 인프라의 핵심 요소로 자리 잡을 것임.
CXL은 이러한 변화에 맞춰, 메모리 병목 현상을 해결하는 데 중요한 역할을 할 것으로 기대됨.
https://www.youtube.com/watch?v=5cOS2mK4l_M&t=3s