※ 화웨이, 중국 건설은행 공동 발간 2026년 AI 데이터센터 백서

백서에 따르면 데이터센터의 가치는 ‘서버 몇 대를 보유했는가’에서 ‘단위 시간 및 전력당 얼마나 양질의 유효 토큰을 지속 생산할 수 있는가’로 재정의 되고 있다고 결론짓고 있습니다.

향후 AI 데이터센터는 GW 급의 초대형 클러스터, 랙당 200 – 300kW 이상의 초고밀도, 액체냉각, 완전 광전 융합 네트워킹(CPO를 포함한 칩 packaging부터 데이터센터 스위치 패브릭 전반에 걸친), 그리고 자율 운영유지보수(Agentic AIOps)를 기반으로 AGI 시대를 여는 핵심 생산거점이 될 것이라고 전망하고 있습니다.


● AI 데이터센터 백서 2026 (Huawei & China Construction Bank 공동 발간)

제 1장. AI 데이터센터 혁신과 발전 (새로운 패러다임)

○ AI 데이터센터 발전의 5대 메가트렌드

1. Agent가 최대 워크로드 변수로 부상

AI가 ‘인지 지능’에서 자율 계획, 도구 호출, 완결 실행이 가능한 ‘행동 지능’으로 진화하고 있음.

복합 에이전트 태스크는 1회당 수십 – 수백 회의 LLM 호출을 유발하며, 컨텍스트 윈도우가 백만(1M) 토큰 수준으로 확대되었음.

추론 비용의 하락이 오히려 토큰 수요가 폭발하는 Jevons Paradox를 발생시키고 있음.


2. AGI로의 모델 진화 가속

초거대 모델은 ‘빠른 생각’에서 ‘느린 생각(심층 추론)’으로 전환 중에 있음.
중소형 모델은 MoE(Mixture of Experts)와 경량화 아키텍처를 통해 단위 토큰/컴퓨팅 파워당 지능 효율을 극대화하고 있음.
정적 훈련에서 환경 피드백 기반의 자가 최적화 및 지속 학습으로 전환되었음.


3. 추론 단계의 스케일링 법칙 출현

모델 크기 뿐 아니라 추론 시 투입하는 연산량(더 긴 생각 사슬, 복잡한 검색, 자기 검증 메커니즘)이 모델 성능을 결정하는 핵심 변수가 되었음.
이는 단일 요청당 연산 소모량과 추론 지연 시간(Latency)을 동시에 증가시키고 있음.


4. 수퍼노드(Supernode) 시대 도래

단일 칩의 물리적 한계로 인해 ‘소자-회로-칩-시스템’ 4개 층이 협업하는 시스템 엔지니어링이 필수화 되었음.

초고속 버스로 컴퓨팅, 네트워크, 스토리지 풀링을 구현하는 슈퍼노드, PD(Frefill-Decode)분리, 다계층 KV Cache 등이 AI 데이터센터 설계의 표준으로 자리잡았음.


5. 에너지 공급이 AI DC의 전략적 제약 조건으로 심화

랙당 전력 밀도가 수십 kW에서 100kW급으로 진입했으며, 중장기적으로 300kW 초과가 예상됨.
기존 공랭 한계(20kW/랙)를 초과하여 액체냉각이 필수가 되었음.

데이터센터 전력 규모가 MW급에서 GW(인구 100만 대도시 소비 전력 수준)으로 폭증하며 에너지 공급 자체가 핵심 전략 자원이 되었음.


○ 전통적 기회 방법론의 실패와 ‘3T + 3P’ 신 패러다임

1. 전통 방식의 3대 실패

1) 비즈니스 예측 불가
선형 예측 붕괴, 구글 AI Capex가 2022년 310억 달러에서 2026년 약 1,900억 달러로 급증

2) 계층 분리 최적화 실패
반도체 주기 12 - 18개월 단축 vs 데이터센터 구축 12 - 24개월 소요로 인한 주기 불일치

3) 장비 중심 관제 실패
긴 에이전트 호출 링크, 토큰 생산량 미반영


2. 3T (인프라 가치 사슬)

1) T1 (AgentT) : 애플리케이션 주도, 업무 의도를 과업/행동으로 변환
2) T2 (Token) : 컴퓨팅 파워 운영의 핵심 단위, 고품질 토큰 생산 효율 극대화
3) T3 (WatT) : 물리적 지탱, 전력 밀도 및 에너지 공급 제약 해결


3. 3P (운영, 보장, 보안 체계)

1) P1 (Production)
자원 공급 중심에서 지능형 토큰 생산 체계로 전환

2) P2 (Provisioning)
장비 관제에서 자율/자치(Agentic) 운영유지보수로 전환

3) P3 (Protection)
제로 트러스트 에이전트, 내생적 보완, ‘AI로 AI를 방어’


제 2장. AI 데이터센터 기획 및 건설

○ Agent-Centric 애플리케이션 및 생태계

1. AKDM 프레임워크

1) Agent : 실행 중추 (조직의 의도를 태스크로 분해하고 실행)

2) Knowledge : 기업 인지 (업무 규칙, 프로세스 경험, 산업 온톨로지 축적)

3) Data : 검증 가능한 사실 (다모달 데이터레이크 기반의 신뢰 가능한 데이터 제공)

4) Model : 추론 엔진 (이해, 생성, 판단, 계획 수립)


2. 멀티 에이전트 하네스 3중 루프 구조

1) 외순환 (Lead Agent) : 전체 다중 태스크 스케줄링, 우선순위, 컨텍스트 분배 관리

2) 내순환 (Sub Agent) : 아키텍트, 코더, 리뷰어 등 도메인별 한정된 권한 내 전문 태스크 실행

3) 자가순환 (Agent 플랫폼 Auto Harness)
제안 → 평가 → 로그(Log)의 피드백을 통해 협업 메커니즘 지속 최적화


3. Knowledge Lake 구축 4단계

수집 → 추출(대형 모델 기반 사실) → 모델링 (RDF/OWL 온톨로지 구축) → 서비스 (API/규칙 엔진 제공)


○ Token-Centric AI Infra

1. 토큰 생산 효율 평가 4대 지표 (Performance, Concurrency, Cost, Quality)

1) Time to First Token : 첫 토큰 응답 지연 시간 (Prefill 속도 반영)

2) Time Per Output Token : 후속 토큰당 생성 시간 (Decode 단계 스트리밍 체감 지연)

3) TPS/QPS : 초당 유효 토큰 처리량 및 초당 요청 수

4) 백만 토큰당 비용 및 정확성/일관성


2. 핵심 병목 : 연산 능력에서 ‘데이터 이동 효율(Memory-Bound)’로 전이

1) Prefill : 대규모 행렬 계산 중심 (Compute-Bound), Time to First Token에 직결

2) Decode : 자기회귀(Auto-regressive) 방식으로 매 토큰마다 수백 GB의 가중치와 KV 상태를 읽어야 하므로 메모리 대역폭이 극단적 병목이 됨.
연산기는 0.01ms내에 끝나지만 99.9% 이상의 시간을 데이터 대기에 소모

3) Memory Wall : 2018 - 2026년간 AI 칩 연산력(TFLOPS)은 25배 증가했으나, 메모리 대역폭은 7배 증가에 그쳐 격차가 4배로 확대됨.


3. 핵심 아키텍처 혁신 : 4대 역량 서클

1) L1 – 슈퍼노드(Supernode)
최소 32개 이상의 AI 가속기를 초고속 총선(대역폭 > 400GB/s, 지연 < 500ns)으로 연결하여 논리적으로 ‘단일 컴퓨터’로 통합

글로벌 통합 메모리 어드레싱 : DeepSeek V3 기준 288개 전문가 분할(대규모 EP) 시 ‘1카드 1전문가’를 할당하여 카드당 가중치를 42GB에서 2.33GB로 줄이고, 배치 사이즈를 8에서 30으로 확대

Prefill – Decode – Cache) 전대등 아키텍처 : KV Cache를 전역 공유 메모리 풀로 분리하여 다회차 대화 및 공통 프롬프트에 대한 중복 Prefill 계산 제거


2) L2 – 슈퍼노드 클러스터 & Scale-Out 네트워크

수천 – 수만 카드로 확장 시 Clos 다계층 구조 대신 Multi-plane 평탄화 네트워크 구축

광회선 스위칭(OCS)과 전기 스위칭의 광전 융합, 무손실 전송(RDMA/RoCE, NSLB) 구현


3) L3 – 계층화 KV Cache 및 AI 스토리지

L1 : 온칩 메모리 (수십 – 100GB급, ns) : 활성(Active) KV

L2 : DDR 메모리 풀 (TB급, 백ns) : Hot KV

L3 : 공유 KV 풀 (수십 TB급, ㎲) : Warm KV

L4 : 클러스터 AI 스토리지 (PB급, ms) : Cold KV

NDS(NPU Direct Storage) : 호스트 CPU를 거치지 않고 NPU와 SSD를 직접 연결하여 I/O 지연 최소화

SSU(Super Storage Unit) : KV Cache 시맨틱을 인식하여 다중 스트림 기입 및 마모 균등화를 수행, 쓰기 증폭을 70% 줄이고 DWPD(일일 전면 쓰기)를 10회 이상에서 3회 이내로 억제해 수명 2 – 3배 연장


4) L4 – 통산/지산 융합(General + Intelligent Computing) 및 AI 서비스 플랫폼

지산(NPU)은 ‘사고(추론/학습)’를, 통산(CPU)은 밀리초급 샌드박스 구동 기반의 ‘행동(도구 호출/코드 실행)’을 전담하여 상호 연동


○ Watt-Centric AI Facility

1. 물리 설비의 극단적 변화

단일 랙 전력 밀도가 2024년 40kW → 2026년 100kW → 2028년 300kW+로 급상승

클러스터 규모가 100MW에서 GW급으로 10배 확대

랙 하중이 기존 8 – 12kN/m²에서 20kN/m² 이상으로 증가


2. 핵심 구축 지침

1) 전력 우선 입지 및 그리드 형성형 ESS (Grid-Forming BESS)
재생에너지 변동성을 밀리초 단위로 완충하고, AI 부하의 급격한 피크 충격을 흡수하여 무단절 오프그리드 가동 보장

2) 800V HVDC 도입
300kW 초과 초고밀도 랙 대응을 위해 AC 변환 손실 및 케이블 굵기를 줄이는 집중식/분산식(SideCar) 800V DC 아키텍처 적용

3) 냉각 및 3D 수직 적층 레이아웃
1층 냉각(CDU, 배관) / 2층 고밀도 IT랙 / 3층 전력 배전 모듈 / 옥상 냉각탑, BESS 배치

4) 공장 사전 제작(모듈화/제품화)
12MW 표준 POD 단위 제품화 공급을 통해 구축 공기를 기존 12 - 18개월에서 6 - 8개월로 단축

※ 화웨이, 중국 건설은행 공동 발간 2026년 AI 데이터센터 백서 (Watt-Centric AI Facility, Part. 1)

데이터센터의 핵심 목표는 ‘자원 제공 능력’에서 ‘전력 1W 당 더 많은 유효 토큰을 산출 하는 것’으로 바뀌고 있음.

AI Facility의 핵심 과제는 확정적인 물리 인프라로 에너지 공급, 하드웨어 진화, AI 부하 변화가 가져오는 불확실성을 어떻게 감당하느냐임.

앞으로 AI Facility 계획은 세 가지 핵심 질문을 살펴봐야 함.
1) 에너지를 어떻게 효율적으로 공급할 것인가?
2) 공간을 어떻게 유연하게 진화시킬 것인가?
3) 어떻게 건설을 빠르게 할 것인가?

해법은 탄력적 아키텍처로 전환하는 것임.
AI 부하(전력)의 장기 진화 추세를 보면,
1) 공간을 미리 남겨 두어 세대 간 호환성을 확보하고,
2) 모듈화 설계로 민첩한 확장을 뒷받침하고,
3) 시스템 협동으로 에너지, 공간, 컴퓨팅의 최적 매칭을 실현해야 함.



● Watt-Centric AI Facility : 왜 와트 중심의 AI 데이터센터 시설인가?

1. 기존 전제의 붕괴

기존 데이터센터 시설은 3가지 전제 위에 계획되고 건설되었음.

1) 전력을 예측할 수 있다.
2) 냉각을 표준화할 수 있다.
3) 부하가 비교적 안정적이다.

하지만 AI 시대에는 이런 ‘확정성 기반 설계 패러다임’이 더 이상 통하지 않음.


2. 원인 : 칩에서 랙, 데이터센터 단지에 이르기까지 소비전력이 계속 빠르게 늘고 있음.

1) 칩 1개의 소비전력이 kW급으로 증가하고 있음.
2) 랙 1개의 전력은 수백 kW에 이르고 있음.
3) 컴퓨팅 클러스터는 수십 MW에서 GW급으로 커지고 있음.
4) GW급 AI데이터센터 단지 하나의 전력 부하는 인구 100만 명 도시와 맞먹음.

이 정도의 전력은 기존 데이터센터의 한계를 넘어서고 있으며, 따라서 전력 공급은 이제 사업 승인과 건설 계획을 결정하는 필수 선행 요건이 되었음.


3. AI 데이터센터의 3 가지 변화 특징

1) AI 데이터센터 규모가 10배 증가 : 100MW → GW급
2) 전력 밀도 10배 증가 : 40kW → 100kW → 300kW+
3) 칩 세대교체 가속 : 1년에 1세대 이상

데이터센터 시설 설계는 에너지, 공간, 시간의 3 차원에서 다시 생각해야 함.

1) 에너지 : 입지는 전력 공급을 최우선으로 정함.
발전, 전력망, 부하, 저장을 일체화해 신뢰성과 비용의 균형을 맞춤.

2) 공간 : 전산실 배치와 건축 구조가 처음부터 고전력 클러스터에 맞도록 설계

3) 시간 : 모듈화와 사전제작으로 건설 기간을 단축.
대형 및 소형 기계/전기 설비를 분리해 탄력적으로 배치하고, 여러 세대 컴퓨팅 장비가 진화해도 수용할 수 있게 함.


○ AI Facility의 시스템적 과제

1. 전력 공급과 품질 : 부대시설에서 입지 결정의 기준점으로

1) 입지 논리의 근본적 재편

AI 데이터센터 단지 규모가 기하급수적으로 커지고 있음.
입지 논리는 과거의 ‘사용자 커버리지와 네트워크 지연 중심’에서 ‘전력 용량, 전원 구성, 계통 연계기간, 장기 공급 안정성 중심’으로 완전히 바뀌었음.


2) 발전, 전력망, 부하, 저장의 양방향 결합 과제

재생에너지의 비중이 높아지면서 전원의 변동성과 불확실성이 AI 클러스터의 안정적 운영을 저해할 수 있음.

반대로 GW급 AI 클러스터는 고밀도, 고전력, 강한 동기화라는 특성을 지니고 있어서, 동적 부하 변화가 역으로 전력망 안정성을 흔들기도 함.


2. 전력 배전 : 대전류 송전의 공간 비용과 신뢰성 비용

AI 슈퍼노드 하나의 전력이 100kW를 넘고, 슈퍼노드 클러스터 규모는 MW급까지 올라갔음.

기존 데이터센터에서 흔히 사용되는 63A 3상 배전회로(3상 교류, 정격 전류 63암페어)로는 감당하기 어려움.

기존 방식에서 대전류를 보내기 위해 케이블 수와 배전 회로 수를 늘리는 수 밖에 없고, 이것이 연쇄적인 문제로 이어짐.
1) 랙과 케이블 트레이 공간이 크게 잠식됨
2) 선로의 구리 손실과 전압 강하가 함께 커짐
3) 배전 노드가 많아질수록 고장 확률도 누적되어 커짐


3. 냉각 시스템 : 액체냉각 배관망 구성 계획의 딜레마

AI 컴퓨팅 시대에는 공랭으로 랙당 전력을 감당할 수 없어 액체냉각이 필수가 되었음.

액체냉각 배관망 계획은 두 가지 딜레마에 부딪히고 있음.
1) 초기에 배관망, CDU(냉각수 분배 장치), 말단 인터페이스를 한 번에 고정해 버리면, 나중에 증설할 때 대규모 공사가 필요함.

2) 반대로 먼 미래의 최대 유량을 기준으로 처음부터 설계하면, 평소에는 ‘큰 관경, 작은 유량’ 상태가 되어 제어가 어렵고 에너지가 추가로 소모됨.

때문에 업계에는 분할할 수 있고 동적으로 조절할 수 있는 배관 구조가 필요함.
컴퓨팅 수요에 맞춰 배관 용량을 단계적으로 늘릴 수 있어야 하며, 이는 액체냉각에 완전히 새로운 모듈화/탄력성 설계 요구를 제기함.

(액체냉각의 운영 리스크)
수력(수압) 균형, 냉각수 유지보수, 누수 등의 위험이 있음.
액체냉각 배관 길이는 수십 km에 이를 수 있어, 국부적인 막힘, 부식, 제어 불균형이 생기면 어디서든 문제가 될 수 있음.
따라서 유량, 압력차, 온도, 냉각수의 전기전도도와 ph를 계속 감시해야 함.
누수 감지와 냉각수 안정성 예측 체계도 구축해야 함.


4. 건축 구조 : 층고와 하중이 핵심 과제

액체냉각 시스템에는 더 굵은 공급/회수 배관이 들어가고, 전력 케이블 단면적도 계속 커지며, 클러스터 상호연결 광섬유 규모도 빠르게 늘고 있음.
그 결과 기존 데이터센터의 층고, 바닥 하부 공간, 서버실 배치로는 미래 수요를 감당하기 어려움.

초고전력 AI랙은 무게도 늘어나 건물의 하중 지지 능력에 대한 요구가 높아짐.


5. 건설 기간 : 공사 납기가 컴퓨팅 세대교체를 따라가지 못함.

AI 하드웨어 세대교체 주기는 1년에 1세대로 짧아졌음.
칩 전력, 랙 규격, 클러스터 상호연결 방식이 계속 바뀌고 있음.
때문에 한번에 고정된 서버실 구조로는 빠른 하드웨어 교체에 대응하기 어려움.

기존 토목 위주 건설 기간 : 12 - 18개월
업계가 요구하는 AI 컴퓨팅 시설 납기 : 6 - 8개월


Agent 추론 부하는 돌발성이 강해, 짧은 시간 안에 전력 피크가 몇 배씩 출렁일 수 있음.
이 때문에 인프라는 빠르게 탄력적으로 확장할 수 있어야 함.

※ 화웨이, 중국 건설은행 공동 발간 2026년 AI 데이터센터 백서 (Watt-Centric AI Facility, Part. 2)
 
● Watt-Centric AI Facility : 왜 와트 중심의 AI 데이터센터 시설인가?

○ AI Facility 계획 및 건설 방향
 
1. 전력 우선의 단지 입지 논리와 발전, 전력망, 부하, 저장 협동 아키텍처
 
전력 공급 능력과 장기 안정성이 AI DC 입지의 첫 번째 결정 요인임.
때문에 재생에너지가 풍부한 지역이 대형 AI 데이터센터 단지의 1순위 후보가 됨.
전력이 넉넉할 뿐 아니라 보통 토지 여유라는 장점이 겹치기 때문.
 
(AI 업무 유형별 차별화된 입지 전략)
 
1) 대형 모델 훈련 : 부하가 안정적이고 대규모 → 저렴하고 풍부한 전력 우선
2) 오프라인 추론 : 비용에 민감 → 전기 요금과 처리량(throughput)의 균형 중시
3) 에이전트 대화형 추론 : 전기요금과 접속 지연 간 절충
4) 엣지 시나리오 : 사용자와의 거리 및 데이터 규정 준수 우선
 
 
(재생에너지 밀집 지역의 핵심 문제는 재생에너지의 출력 변동성)
 
공급 용량과 전력 품질을 모두 챙기려면, 대형 AI 컴퓨팅 단지는 발전, 전력망, 부하, 저장 일체화 아키텍처를 갖춰야 함.
1) 계통 형성형(Grid-Forming) ESS를 설치해야 함.
2) 인근 발전원과 연계해 재생에너지를 현지에서 생산하고 소비함. (지산지소)
 
 
(계통형성형 ESS의 4가지 핵심 기능)
 
1) 밀리초(ms)급 응답으로 재생에너지 출력 변동을 평탄화
2) 마이크로그리드의 전압 및 주파수 안정 지원
3) AI 부하의 순간 전력 피크를 흡수해 전력망에 가하는 역충격을 줄임
4) 짧은 정전 시 끊김 없이 독립(오프그리드) 운전해 컴퓨팅 중단을 막음
 
 
(발전, 전력망, 부하, 저장이 만능은 아님)
 
ESS 투자비가 높고, 재생에너지의 출력을 예측하기는 쉽지 않음.
 
돌파구는 에너지 관리(EMS)와 컴퓨팅 스케줄링의 깊은 연동임.
탄력적 작업은 전원 상황에 맞춰 피크와 비피크 시간대를 나눠 운영함.
경직적(Rigid) 부하에는 안정적인 전력 공급을 우선 보장함.
 
결국 AI 데이터센터 단지의 입지와 건설은 ‘전력 우선’ 논리 아래 공급 신뢰성과 장기 전력 비용 사이의 최적 균형을 찾는 일임.
 
 
2. 전원 아키텍처 : AC 중심에서 ‘AC와 HVDC 병존’으로
 
전력 공급 규모와 안정성을 보장하는 전제에서, 전원 아키텍처도 고밀도 컴퓨팅의 고도화에 맞춰 함께 진화해야 함.
 
중저밀도 및 기존 시설에서는 AC 공급의 장점이 여전히 존재함.
산업 생태계가 성숙하고 표준이 갖춰져 있으며 운영 경험도 풍부해, 앞으로도 오랫동안 주류로 남아 있을 것임.
 
300kW 이상 초고밀도 랙에서는 기존 교류 방식의 전류, 케이블 수량, 배전 공간 부담이 급격히 커짐.
800V HVDC는 변환 단계를 줄이고 선로 전류를 낮출 수 있어 중요한 진화 방향이 되었음.
 
300kW는 계획상 참고 임계 값이며, 최종 노선은 서버 인터페이스, 신뢰성, 투자비, 표준, 산업 성숙도 등을 종합해 결정될 것임.
 
 
(800V DC의 3가지 아키텍처 방향성)
 
1) 집중식 DC
 
기본 구조 : 변압기와 집중식 직류 UPS를 한 곳에 일괄 배치하고, 800V 직류 버스로 여러 POD나 랙에 전력을 공급
 
주요 장점 : 설비가 집중되어 시스템 비용이 상대적으로 낮음.
전원 시스템과 IT 전력 밀도가 분리되어 용량 풀링과 탄력적 진화가 쉬움.
 
적용 시 고려사항 : 직류 버스 보호, 고장 격리, 운영 체계를 갖춰야 함.
규모가 크고 계획이 비교적 통일된 신규 단지에 적합
 
 
2) 분산식 DC
 
기본 구조 : AC를 먼저 서버룸이나 POD까지 보낸 뒤, 부하 가까이 있는 직류 UPS가 800V로 변환해 공급
 
주요 장점 : 고장 영향 범위가 작고, 확장이 유연함.
서로 다른 세대와 전력의 랙에 쉽게 대응할 수 있음.
 
적용 시 고려 사항 : 설비 수와 제어 노드가 늘어남.
통일된 인터페이스, 협동 제어, 전 생애주기 운영이 필요.
 
 
3) SideCar 방식
 
기본 구조 : 슈퍼노드나 고밀도 랙 옆에 독립 전원 유닛을 두고, 짧은 직류 링크로 IT 장비에 연결
 
주요 장점 : 슈퍼노드와 밀착 결합되고 배치가 유연함.
말단 공급 거리를 줄일 수 있음.
 
적용 시 고려 사항 : 랙 측면 공간, 냉각, 유지보수, 여러 제조사 인터페이스를 함께 조율해야 함.
기계/전력기기-IT 협업 요구가 더 높음.
 
 
어떤 기술 경로를 택하든 800V는 전체 체인을 아우리는 시스템 엔지니어링임.
하드웨어 측면에서, 직류 UPS, 고압 리튬배터리, 고압 버스, 커넥터, 차단기, 서버 전원이 함께 맞물려야 함.
 
산업 측면에서, 표준 제정, 인증, 운영/유지보수 체계가 함께 성숙해야 함.
 
 
3. 공랭, 액랭 동일 냉원, 탄력적 배관망, 전 구간 신뢰성을 갖춘 냉각 시스템
 
(공랭, 액랭 동일 냉원 아키텍처)
 
1) 전단부 : 냉원과 1차 측 배관망을 통합. 액랭과 공랭이 냉원 인프라에 공존함.
 
2) 말단부 : 랙 전력과 장비 유형에 따라 공랭, 액랭, 혼합 방식을 유연하게 고름.
 
3) 랙 위치마다 액랭 퀴커넥터와 공랭 송풍 조건을 미리 함께 확보함. 그러면 전산실에 서로 다른 세대의 장비를 탄력적으로 배치할 수 있음.
 
 
(액랭 측 설계)
 
주 배관은 장기 용량 기준으로 계획.
CDU와 2차 분기 배관은 모듈화, 구역 분할, 가변 유량 설계를 써서 POD 단위로 단계적 증설을 지원
 
시스템은 유량, 압력차, 냉각수 전기전도도, ph 같은 핵심 지표를 계속 모니터링함.
누수, 유량 단절, 기포 막힘 같은 이상을 빠르게 식별하고 자동으로 격리.
냉각수 안정성 추이를 바탕으로 예측 정비를 해 AI 장비의 안정적 운영을 보장.
 
 
(공랭 측 설계)
 
랙당 20kW 안팎의 고밀도 방열 수요에 대한 두 가지 방안
 
방안 1) 양측 실(Room) 단위 공조
서버룸 양쪽에 대형 fan wall을 설치하고, 냉각 말단 수를 늘려 방열 능력을 높임.
한쪽만 쓰는 Roon 단위 공조보다 양측 송풍이 냉, 열 통로 폭과 천장 회수풍 높이를 줄여 서버룸 공간 활용률을 높임.
 
방안 2) 근접 열간(列間) 공조
마이크로모듈 바로 옆에 소형 fan wall을 AI 장비와 같은 열에 붙여 배치.
열 통로를 밀폐하고 냉량을 풀링하며, 천장 회수풍이 필요 없음.
서버룸 층고 요구가 더 낮음.
다만 방열 장비와 컴퓨팅 장비가 섞여 배치되어 운영 공간이 많이 겹치므로, 운영 관리 요구가 더 높음.
 
 
4. 건축 구조 설계는 업그레이드를 위한 여유 공간을 남겨야 함.
 
(전산실 하중 설계)
신축 액랭 컴퓨팅 서버룸은 바닥 하중을 20 kN/m² 이상 기준으로 시공하도록 권고.
 
 
일체형 랙 반입, 장비 교체, 점검/수리를 위한 공간을 확보해야 함.
주 간선 전력 경로와 액랭 경로는 최대한 서로 독립적이고 확장 가능하게 설계해, 랙 상부와 바닥 아래에서 공종끼리 공간을 다투지 않게 함.
 
 
5. 프리패브화, 모듈화, 제품화로 납기 단축
 
프리패브화와 제품화가 건설 기간을 줄이는 핵심 수단임.
 
AI 데이터센터는 POD를 기본 건설 단위로 삼아 전원, ESS, 냉각, IT 시스템을 표준화해야 함.
기전 모듈은 공장에서 사전 제작, 통합, 시험을 마침. 현장에서는 주로 인양/설치, 연결, 시운전만 함.
서버는 가능한 한 일체형 랙 단위로 납품해 현장 설치와 디버깅을 줄임.
 
건설 방식으로 보면 AI 데이터센터는 본질적으로 ‘규모화 된 컴퓨팅 생산 시스템’임.
핵심 제품, 설계 시뮬레이션, 표준 인터페이스, 시스템 검증, 디지털 제조를 하나로 연결해야 함.
토목과 기전을 병행하고, 프레임 구매와 롤링 재고를 활용하며, 공장 사전 제작과 현장 모듈 조립에 기반해 표준화된 복제형 건설을 실현해야 함.
 
이렇게 하면 기존 토목 공사의 12 - 18개월 공기를 6 - 8개월로 단축해 컴퓨팅 자원의 가동 시점을 앞당길 수 있음.
 
 
○ AI Facility의 신축 및 기존 시설 시나리오
 
1. 신축 시나리오 배치 원칙
 
컴퓨팅 수요의 변동이 크고 하드웨어 세대교체가 빠른 업계 특성을 고려해, 인프라 건설은 장기, 중기, 단기로 원칙을 만들어야, 인프라 공급과 업그레이드를 동적으로 맞출 수 있음.
 
 
2. 기존 시설 개조 시나리오
 
현재 기존 데이터센터는 대부분 저밀도 공랭 방식임.
공랭에서 액랭으로 업그레이드할 조건이 제한적이고, 배전 용량이 부족하며, 바닥 하중과 실내 순높이가 기준에 못 미치는 등 여러 제약이 겹쳐 있음.
 
기존 시설 개조의 핵심은 ‘높은 것으로 낮은 것을 대체’하는 것임.
랙당 컴퓨팅 밀도를 높여 소수의 고밀도 랙으로 다수의 저밀도 랙을 대체하고, 한정된 서버룸 공간을 다시 활용함.
 
 
(세부 개조)
 
1) 액랭 개조 : 프로젝트 규모에 맞춰 유연하게 적용
소규모 개조 : 분산식 ECU, 공랭식 CDU 같은 분산형 방안
중규모 개조 : 표준화 액랭 POD 모듈로 배치
냉원 시스템 : 기존 시설 상황을 충분히 감안해 기존 설비 개조와 완전 신규 증설 중 현장에 맞게 고름.
 
2) 전력 배전 개조 : 기존 시스템을 바탕으로 단계적으로 진행.
랙 말단 배전 회로는 별도로 업그레이드 함.
새로 넣는 전원 시스템에는 프리패브 모듈화 제품을 사용
말단 배전에는 스마트 버스덕트나 스마트 캐비닛을 우선 사용하여, 전력이 서로 다른 컴퓨팅 랙에 대응

※ 화웨이, 중국 건설은행 공동 발간 2026년 AI 데이터센터 백서 (Token-Centric AI Infra, Part. 1)

Token 생산 효율 향상은 본질적으로 ‘데이터 이동 효율’을 둘러싼 시스템 최적화임.

Prefill(사전 채움)과 Decode 분리부터 무효 이동 감소, 노드 공급력 향상, 노드 간 통신 병목 극복까지, AI 인프라는 전통적 연산 인프라에서 지능 생산형 컴퓨팅 체계로 전환 중에 있음.

미래 경쟁의 관건은 ‘누가 더 많은 연산력을 가졌나’가 아니라 ‘누가 연산, 스토리지, 통신을 더 효율적인 데이터 이동 시스템으로 만들어 Token을 지속적, 안정적, 효율적으로 생산하냐’임.


● Token-Centric AI Infra : Token은 연산력, 모델, 사용자 경험을 잇는 가치의 매개체이며, AI Infra의 핵심은 고품질 Token을 지속적/효율적/안정적으로 생산하는 것임.

○ Cloud Infra에서 AI Infra로 변화

부하(Workload) : ‘클라우드, 빅데이터, DB” → “AKDM(Agent 애플리케이션, 기업 Knowledge base, Data lake, Model 추론/학습)

클라우드 인프라 : 클라우드 컴퓨팅, 빅데이터, 데이터베이스 부하 중심.
CPU 중심이며, 다양한 소스의 모든 데이터 유형과 범용 업무를 수용.

AI 인프라 : Agent 애플리케이션, 기업 Knowledge base, Data lake, Model 추론/학습(AKDM) 등 신규 부하 중심.
NPU 중심이며, 연산 집약, 대역폭 집약, 장시간 구동, 고전력이 특징.


1. Token 생산 효율의 핵심 포인트

기업의 실제 목표는 ‘Token을 더 많이 생성’하는 게 아니라, “사용자 경험 제약을 지키면서 유효 Token을 지속적으로 더 많이 생산”하는 것임.

동시 처리량은 단일 TPS(초당 Token 처리량)가 아니라 업무 부하와 결합해 평가해야 함.
AI 고객센터 등 짧은 Q&A는 요청 빈도가 높고 출력이 짧음. → 초당 처리 요청수(QPS), 동시 수용력 향상이 핵심.
장문 및 코드 생성은 요청 수는 적지만 요청당 대량 Token 출력 → 요청당 생성 효율 향상이 핵심.

속도와 규모는 생산 능력을 나타낼 뿐, 신뢰할 수 있고 쓸 수 있는 Token이 비즈니스 가치의 진짜 매개체임.


○ Token 생성 효율의 핵심 제약과 핵심 기술

1. ‘데이터 이동 효율’이 추론의 핵심 병목

모델 규모 확대, 컨텍스트 길이 증가, 실시간 상호작용 요구로 인해 추론 병목이 ‘연산능력에서 데이터 이동 효율’로 이동 중.

칩 마이크로아키텍처부터 시스템 수준의 연산, 스토리지, 고속 인터커넥트 공동 설계까지, 기술 스택 전체가 데이터 접근 및 이동 효율 향상(연산 유닛 활용률, 스토리지 대역폭, 통신 효율, KV Cache 관리)을 중심으로 진화하고 있음.


1) Prefill과 Decode 비교

(Prefill : 사전 채움)
처리 과정 : 프롬프트 입력 후 전체 Token을 한 번에 병렬 처리, Attention 연산 후 KV Cache 생성
연산 특징 : Token 간 고도 병렬, 행렬 연산 집약
성능 병목 : 대규모 행렬 연산 (Compute-Bound)
최적화 방향 : 연산력 최적화로 AI 칩 연산 성능 향상, Tensor Parallel 등 병렬 전략 최적화, MFU(모델 FLOPs 활용률) 향상, PD 분리 후 고연산 자원 매칭

(Decode : 디코딩)
처리 과정 : 자기회귀 방식으로 다음 Token을 하나씩 예측
연산 특징 : Token을 하나씩 직렬 생성
성능 병목 : 데이터 공급, 메모리 대역폭 제한 (Memory-Bound)
최적화 방향 : 데이터 이동 최적화로 KV Cache 압축, 공유, 계층 관리, 메모리 용량, 대역폭 향상, 칩 간 고속 인터커넥트 최적화, PD 분리 후 고대역폭 자원 매칭


2) 긴 컨텍스트가 데이터 이동 압력을 가중

예) DeepSeek V4 Flash(총 284B 파라미터)로 128K 장문 처리 시, 요청 1건당 약 288GB의 모델 가중치 + KV Cache가 상주해야 함.

Decode 단계에서 Token 1개를 생성할 때마다 수백 GB 규모의 상주데이터에 접근해야 하며, 칩의 연산 유닛은 0.01ms 미만이면 계산을 끝내고 나머지 99.9% 이상의 시간은 ‘데이터 공급 대기’임.

Decode의 핵심 모순은 ‘빨리 계산하기’에서 ‘빨리 옮기기’로 완전히 이동.


3) 연산-메모리 격차가 병목을 확대 (메모리 장벽)

AI 칩 연산력 증가 속도가 메모리 대역폭 증가 속도를 크게 앞지름.
예) NVIDIA H100 → B200에서 저정밀 추론 연산력은 4.5배 성장했지만, 메모리 대역폭은 약 2배만 성장

연산력 향상은 Prefill을 크게 단축하지만, Decode는 대역폭 제약으로 같은 효과를 얻기 어려움.

2018년 1을 기준으로, 2026년 연산력(TFLOPS) 약 25배 증가하였지만, 메모리 대역폭(TB/s)는 약 7배 증가에 그침.
격차가 1배에서 약 4배로 확대되었으며, 이는 메모리 대역폭이 새로운 병목이라는 의미임.


2. AI 추론 칩의 핵심 지표 = Token 생산 효율의 강한 제약

1) Token 생산 효율을 결정하는 4대 지표

(1) AI 연산력(FLOPS) : 초당 부동소수점 연산, Prefill 속도와 TTFT(Time to First Token, 첫 토큰 응답 지연시간, Prefill 속도 반영) 결정.


(2) 메모리 용량(GB) : 칩이 동시에 담을 수 있는 데이터량.
모델 크기, 동시 사용자 수 결정.
부족하면 카드 간 분산 배치가 강제되고 긴 컨텍스트 처리가 어려움.


(3) 메모리 대역폭(GB/s) : 온칩 메모리에서 데이터를 읽는 속도.
Decode 단계 Token 생성 속도 결정. (Decode는 메모리 집약형이라 대역폭이 실제 병목)


(4) 인터커넥트 대역폭(GB/s) : 칩 간 데이터 교환 속도.
다중 카드 협업 효율 결정 (중간 결과동기화, MoE의 카드 간 Token 교환)


추론 성능은 취약 부분에 좌우되므로 지표 간 비율이 칩의 추론 균형성을 더 잘 보여줌.

연산력/대역폭 비 = AI 연산력(TFLOPS) ÷ 메모리 대역폭(TB/s)
→ 높으면 학습, Prefill에 적합. 낮으면 Decode, 온라인 추론에 적합

메모리/연산력 비 = 메모리 용량(GB) ÷ AI 연산력(TFLOPS)
→ 단일 카드가 담을 수 있는 모델 크기와 KV Cache 길이를 결정.
높을수록 긴 컨텍스트, 고동시성 추론에 유리.
Agent 확산으로 초장문 컨텍스트가 일상화되면서 메모리/연산력 비를 체계적으로 높이는 것이 칩 설계 추세

연산력이 아무리 강해도 메모리 대역폭이 부족하면 Decode가 제한되고, 메모리가 커도 인터커넥트 대역폭이 부족하면 대규모 MoE 협업을 지원할 수 없음.


3. Token 생산 병목을 돌파하는 핵심 기술

AI 칩 혁신 외에, AI 인프라의 핵심 진화 방향도 데이터 이동 효율로, 단계별로 다른 자원을 매칭하고, 데이터는 덜 옮기고, 연산 유닛엔 더 빨리 도달시키는 것임.

1) 아키텍처 재구성 : Prefill – Decode(PD) 분리

기존 방식은 Prefill과 Decode를 같은 클러스터에 혼합 배치하여, 자원 미스매치와 성능간섭(Head-of-Line Blocking)이 발생.

자원 요구 충돌 : Prefill은 고연산 소모형, Decode는 고대역폭 소모형

혼합 배치의 상호 저해 : 긴 프롬프트의 Prefill이 연산 자원을 대량 점유해 Decode 실시간 응답을 저해.
반대로 Decode의 저지연/SLA 보장을 위해 메모리, 연산을 예약해야 해 Prefill 연산 활용률 저하.

PD 분리는 두 단계를 서로 다른 자원 풀로 나눠 서로 다른 부하(workload)를 최적 매칭
Prefill 클러스터 : 고처리량/연산 활용률 중시, 고연산 밀도 칩 사용으로 TTFT 단축
Decode 클러스터 : 메모리 대역폭/통신 인터커넥트 중시, 단위 시간당 Token 산출(TPOT) 향상


2) 데이터 흐름 효율 중심의 3대 최적화

(1) 데이터 이동 줄이기 : 무효 접근 감소

컨텍스트 길이와 대화 턴이 급증하면서 KV Cache의 저장, 전송 비용이 배로 확대 → 연산 결과를 최대한 재사용

KV Cache 최적화 : 압축/양자화/가지치기(Eviction), 효율적 관리 전력으로 규모와 접근 압력 축소 (예 : vLLM의 PagedAttention – 페이지 방식 관리로 활용 효율 향상

Prefix Cache : 공통 접두 컨텍스트의 계산결과를 재사용해 중복 Prefill 계산 회피.
다중 턴 대화, 고정 System Prompt, Agent 툴체인 호출 등에 활용

다층 KV Cache 아키텍처 : 온칩 메모리, DRAM, SSD 등 계층을 활용해 접근 빈도에 따라 핫/웜 KV Cache를 계층 관리, 동적 스케줄링

(온칩 메모리) 용량 : 수십 – 백 GB급, 지연 : 나노초급, 담당 : 활성 KV
(DRAM) 용량 : TB급, 지연 : 백 나노초급, 담당 : 핫 KV
(SSD) 용량 : PB급, 지연 : 마이크로초급, 담당 : 웜 KV

Agent 작업 복잡도 증가에 따라 다층 분산 KV Cache는 추론 비용 절감, 자원 활용 향상의 핵심 역량이 됨.


(2) 데이터 공급 능력 향상 : 단일 노드 Token 생산 효율 강화

무효 이동을 줄여도 모델, 컨텍스트가 커지면 단일 노드 공급 압력은 여전함.
특히 Decode에서 파라미터, KV Cache를 끊임없이 공급해야 함.
노드 전체의 공급 능력을 높여 “데이터 대기” 공회전을 줄여야 함.

고유효 대역폭 스토리지 체계 : 고사양 저장 매체 + 첨단 패키징 + 데이터 압축/양자화로 연산 유닛에 들어가는 단위 시간당 유효 데이터량 극대화

연산/스토리지/네트워크 공동 설계 : CPU, NPU, SSD 간 데이터 경로 최적화. (예 : 화웨이 NDS, NPU Direct Storage)
데이터 직통으로 접근 경로 단축

슈퍼노드 아키텍처 : 고속 peer-to-peer 인터커넥트 버스로 다수 AI 칩을 하나의 연산 단위로 구성.
단일 칩, 단일 서버 자원 한계 돌파 (예, 화웨이 Ascend Atlas 슈퍼노드)


(3) 칩 간 데이터 흐름 최적화 : 대규모 모델 확장 병목 돌파

MoE 아키텍처 확산으로 파라미터, 연산이 여러 칩, 노드에 분산 → 병목은 칩 내부 접근이 아니라 자원 간 데이터 교환 효율

고속 칩 인터커넥트 (예 : 화웨이 링취 UBLink)

효율적 병렬 연산 아키텍처 : 모델 분할, 작업 스케줄링 최적화 (예 : 텐서, 파이프라인, 전문가 병렬을 지원하는 Megatron-LM DeepSpeed)

통신-연산 융합 최적화 : 통신 대기 감소 (예 : HCCL 집합 통신 최적화, MoE의 All-to-All 통신 최적화)

※ 화웨이, 중국 건설은행 공동 발간 2026년 AI 데이터센터 백서 (Token-Centric AI Infra, Part. 2)
 
● Token-Centric AI Infra
 
○ Token-Centric AI Infra 목표 아키텍처
 
클라우드 인프라는 IaaS 중심(연산, 스토리지, 네트워크의 풀링과 스케줄링)이었으나, Token이 AI 생산 효율의 핵심 단위가 되면 자원 계층 최적화만으로는 최종 Token 산출 효율이 결정되지 않음.
 
따라서 AI 인프라의 경계는 위로 확장되어 모델 실행, 데이터/지식 관리, Agent 실행 환경 등 AI 서비스 역량을 포함해야 함.
 
1. 3계층 아키텍처 : ‘자원 공급’에서 ‘지능형 생산 체계’로
 
1) 연산 기반층
 
(해결 과제) 단위 연산력당 Token 생산효율

(주요 내용) AI Computing 자원(NPU/GPU) : 슈퍼노드, 슈퍼노드 클러스터 중심. 고속 인터커넥트, 메모리 풀링, 대규모 병렬 작업당 Token 생산 효율 향상.
General-purpose Computing 자원(CPU) : 데이터 처리, 지식 서비스, Agent 작업 오케스트레이션, 툴 실행 지원
AI 스토리지/고속 네트워크 : 모델 이미지, KV Cache, 컨텍스트 상태, 학습 데이터 저장, 고대역폭, 저지연 데이터 경로 제공
→ 목표는 고립된 연산력이 아니라 단위 자원당 더 많은 유효 Token
 
 
2) 연산 스케줄링층
 
(해결과제) 효율적 자원 활용
 
(주요 내용) 자원 통합관리 : 칩 종류, 세대 차이를 감추고 통합 AI 자원 풀 형성
동적 자원 매칭 : 모델 규모, 추론 단계, 업무 우선순위에 맞춰 최적 자원 할당
자원 탄력 재사용 : 학습/추론 혼합 배치, 조석(tidal) 스케줄링, 우선순위 관리
고신뢰 운영 : 장애 탐지 및 작업이전, 자원 복구
→ 연산 기반이 ‘얼마나 생산 할 수 있나’를 정한다면, 스케줄링은 ‘그 능력이 충분히 발휘되나’를 결정
 
 
3) AI 서비스 플랫폼
 
(해결 과제) 지속적 AI 역량 공급
 
(주요 내용) 모델 실행 서비스 : 추론/학습 엔진, 모델 서비스 관리로 연산력을 안정적 Token 생산력으로 전환
데이터/지식 서비스 : 벡터 DB/지식 그래프/장기 기억으로 Token에 기업 업무 지식을 부여(범용 지능 → 산업 지능)
Agent 실행 환경 : 작업 오케스트레이션, 툴 호출, 안전 실행, 멀티 에이전트 협업으로 Token이 업무 프로세스와 자동화를 구동
 
 
2. 4개 역량권으로 재구성
 
위 3계층은 기능적 논리 구조이고, 실제 구축은 엔지니어링 배치 관점에서 4개 역량권으로 분해.
이 중 슈퍼노드와 슈퍼노드 클러스터는 연산 기반층의 핵심 매개체로 단위 연산력당 Token 생산 효율에 집중.
 
1) L1 슈퍼노드
피어 버스, 포로토콜 통일 (CPU, NPU, DPU, DRAM, SSD를 고속 버스로 연결)
 
2) L2 슈퍼노드 클러스터
2.1 다층 KV 캐시 (온칩 메모리 → DDR → SSD/SSU)
2.2 Scale-Out 네트워크 (노드 간 인터커넥트, 광/전 융합)
 
3) L3 연산 스케줄링 플랫폼
3.1 데이터센터 내 연산 스케줄링 (멀티 모델, 멀티 작업, 멀티 테넌트)
3.2 교차 도메인, 교차 데이터센터 스케줄링 (재해복구 전환, 부하 분산)
 
4) L4 AI 서비스 플랫폼
4.1 모델 실행/서비스 (추론/학습 런타임, 모델 서비스)
4.2 데이터 기반 서비스 (지식 벡터 DB, 그래프 DB, 데이터 레이크 등)
4.3 Agent 실행 환경 (보안 컨테이너, 샌드박스 등)
 
 
○ L1 슈퍼노드 : Token 고효율 생산의 핵심엔진, 구축의 표준
 
1. 슈퍼노드의 정의 : 논리적으로 ‘한 대의 컴퓨터’
 
모델이 수백억 → 수천억 → 조 단위 파라미터로 진화하면서 단일 서버 아키텍처가 물리적 한계에 근접.
예) 1T 파라미터 모델은 FP16 기준 파라미터만 약 2TB로 주류 8카드 AI 서버의 온칩 메모리를 초과.
INT4, FP4 등 저정밀 양자화로 압축해도 가중치가 메모리 대부분을 점유해 KV Cache 공간이 부족. 때문에 동시성, 긴 컨텍스트 능력이 심각하게 제한 됨.
 
따라서 대형 모델 배치, 긴 컨텍스트, 고동시성을 동시에 만족하려면 단일 서버 경계를 넘어 노드 간 융합이 필요함.
 
단일 머신에서 클러스터로 확장하면 새 병목 통신 효율이 등장.
특히 MoE의 전문가 병렬은 칩 간 All-to-All 통신이 대량 발생.
이더넷으로 표준 서버를 잇는 기존 Scale-Out은 범융 확장성은 좋지만 초대규모 AI 부하에서 대역폭, 지연이 제약되기 때문에 클러스터가 클수록 Token 생산 효율이 오히려 떨어짐.
 
전통 서버 구조 : 노드 간 네트워크 장비(spine/leaf)로 연결. 통신 비중 20 – 30%
슈퍼노드 구조 : 고속 인터커넥트 버스는 Peer-to-peer 연결, 메모리 통합 주소 지정, TB급 풀메시 대역폭
 
수퍼노드 : 고속 버스급 인터커넥트로 수십 – 수천 개 AI 칩을 물리적으로 랙 전체 또는 랙 간에 통합하고, 논리적으로 ‘한 대의 컴퓨터’로 융합
동일 슈퍼노드 도메인 내 AI 칩 32개 이상, 고대역폭(>400GB/s), 저지연(<500ns), 통합 메모리 주소 지정
 
(기존 서버 클러스터 대비 핵심 변화)
통합 메모리 주소 지정 : 분산 자원을 공유 메모리 풀로 함.
기존엔 카드마다 독립 메모리라 모델/데이터를 장치 간 계속 이동해야 했음.
메모리 풀링으로 분산 메모리를 통합 주소 공간으로 추상화해 원격 메모리 직접 접근 가능 → 모델 파라미터 칩 간 통합 관리, KV Cache 인스턴스 간 공유, 대형 모델이 단일 카드 메모리에 제약 받지 않음. ‘고립된 여러 장치’ → ‘메모리를 공유하는 대형 컴퓨터’
 
고대역폭/저지연 인터커넥트 : 통신이 연산 효율에 미치는 영향 축소
MoE는 본질적으로 통신 집약형.
고속 인터커넥트와 메모리 시맨틱 접근으로 네트워크 통신을 로컬 접근에 가까운 방식으로 바꿔 오버헤드 대폭 감소.
가치는 피크 연산력보다 더 많은 자원이 데이터 대기 대신 실제 Token 생산에 참여하는 것.
DeepSeek, Qwen 등 MoE 추론에서 엔드투엔드 성능 3배 이상 향상.
 
 
2. 슈퍼노드 기반 추론 아키텍처 혁신
 
1) 대규모 전문가 병렬 : MoE 처리량 잠재력 해방
 
기존 클러스터는 통신 효율 제약으로 전문가 규모 확장이 어려웠으나, 슈퍼노드의 대규모 메모리 풀, 고속 인터커넥트가 대규모 전문가 병렬을 가능케 함.
 
EP 카드가 많을수록 Decode 연산 시간은 줄고, 카드 간 All-to-All 통신 부담은 커지지만, 슈퍼노드의 대역폭 덕에 시스템 전체는 최적 상태 유지
 
 
2) P-D-C 완전 피어 아키텍처 : KV Chache 전역화로 중복 계산 제거, TTFT 대폭 감소
 
다중 턴 대화, Agent 작업에선 기존 컨텍스트 재사용이 많지만, 기존 아키텍처는 KV Cache가 단일 인스턴스에 묶여 공유 불가 → 같은 이력을 반복 Prefill
 
슈퍼노드 통합 메모리 주소 지정을 기반으로 P-D-C 완전 피어 방향으로 진화.
Prefill은 컨텍스트 계산, Decode는 Token 생성, Cache는 상태 공유.
 
KV Cache는 더 이상 단일 이스턴스 소유가가 아니라 연산도메인 전체의 공유 자원.
KV Cache 인지 라우팅과 결합해 이미 컨텍스트 캐시를 가진 인스턴스를 우선 스케줄링 → 중복 Prefill 감소, TTFT 하락, Token 생산 효율 향상.
 
추론 시스템이 ‘연산 모델’에서 ‘연산+상태 관리 모델’로 전환됨을 의미.
 
 
3. 다양한 슈퍼노드 형태 : 대/중/소 시나리오의 고성능 추론 수요 충족
 
1) 중소 규모 : 64카드/96카드 슈퍼노드로 다양한 사양의 PD 분리 대규모 전문가 병렬 인스턴스 배치
 
2) 대규모 고동시성 추론, 모델 학습, 핵심 생산
수백 – 수천 카드로 확장해 슈퍼컴퓨팅 시스템 형성.
더 중요한 점은 논리 분할 능력.
 
 
4. 슈퍼노드 발전 추세
 
기술 탐색에서 산업 규모 적용으로 이동하며 AI 인프라 진화의 주요 방향이 됨.
 
세방향으로 진화.
1) 규모 지속 확대 : 기존 서버 클러스터 경계를 넘어 천 카드 → 만 카드 급으로
 
2) 인터케넥트 지속 업그레이드 : 마이크로초 급 → 나노초급 지연, Tbps급 대역폭과 더 효율적 토폴로지.
기존 전기 인터커넥트는 고주파 손실, 전력 병목에 직면 → 광 인터커넥트가 차세대 핵심. NPO(근접 패키지 광학)이 핵심 기술 경로.
 
3) 자원 지속 분리 : 추론/멀티모달/Agent 복잡화로 연산/메모리/통신 수요가 차별화.
향후 AF 분리(Attention-FFN/MoE 분리 배치), 멀티모달 VAT(시각-음성-텍스트 아키텍처), LLM 분리(LLM 구성 요소별 분리 배치) 등 신규 배치 모델 지원 필요.
 
최종 목표 : 각 AI 부하가 가장 적합한 연산 자원을 동적으로 얻는 것.

※ 화웨이, 중국 건설은행 공동 발간 2026년 AI 데이터센터 백서 (Token-Centric AI Infra, Part. 3)

● Token-Centric AI Infra

○ L2 슈퍼노드 클러스터 : 조 단위 MoE 모델 고동시성 배치 아키텍처

슈퍼노드가 단일 연간 도메인 협업 효율을 높인다면, 슈퍼노드 클러스터는 AI 규모화 생산 문제를 해결.
여러 슈퍼노드를 네트워크, 스토리지와 융합해 통합 AI 생산 시스템으로 함.


1. 슈퍼노드 클러스터의 핵심 구성 : 4대 기반 협업

1) AI Computing (GPU, NPU) 기반 : 대형 학습모델, 추론 능력
2) 네트워크 기반 : 슈퍼노드 간 고속 인터커넥트, 클러스터 확장
3) AI 스토리지 기반 : 모델 데이터, KV Cache, Agent 장기 기억
4) 범용 Computing (CPU) 기반 : 작업 오케스트레이션, 툴 호출, Agent 실행 환경

AI Computing은 생각, 범용 Computing은 행동, AI 스토리지는 기업, 네트워크는 연결을 담당.


2. Scale-Out 네트워크 : 여러 슈퍼노드를 하나의 연산 도메인으로

Scale-Out 네트워크는 클러스터의 연산/데이터 자원을 연결해 클러스터급 AI 협업을 실현.
한편으로는 여러 슈퍼노드를 연결해 대형 모델 학습/추론을 협업하고, 다른 한편으론 AI 스토리지와 연결해 모델 상태, KV Cache 등에 효율적 접근 경로를 제공. → 컨텍스트 상태를 클러스터 범위에서 공유/재사용

(주요 트래픽 유형)
1) KV Cache 통신 : PD 분리와 컨텍스트 상태 공유 지원
2) 활성화(Activation)/MoE 통신 : Decode 인스턴스 모델 구조 분리 후 모듈 간 협업
3) Prefix Cache 통신 : 인스턴스 간 컨텍스트 재사용

Scale-Out 네트워크가 운반하는 대상은 전통적 데이터 교환에서 모델 상태/연산 활성화/컨텍스트 기억으로 확장, AI 추론 클러스터 규모화의 핵심 인프라가 됨.


(Scale-Out 네트워크의 핵심 기술 추세 : 천 가속기(카드) → 만 가속기 → 10만 가속기)

1) 아키텍처 : 다단 Clos → 멀티 플레인/평탄화 네트워크
다단 Clos는 규모가 커질수록 계층, 비용, 지연 증가.
멀티 플레인은 대규모 Clos를 서로 독립적인 저계층 서브넷 여러 개로 나누고, 카드 인터페이스를 분할해 각 플레인에 접속 → 포트 자원을 연산에 최대한 할당. 같은 포트 비용으로 네트워크 규모 한 자릿수(10배) 향상.
가치 : 클러스터 규모 경계 돌파

2) 통신 최적화 : 정적 포워딩 → 지능형 스케줄링
AI 통신은 대역폭이 크고 동시성이 높으며 패턴이 복잡해 기존 해시 부하분산은 링크 불균형/병목을 낳음.
네트워크급 부하분산(전역 트래픽 인지, 경로 동적 최적화) + 단말-네트워크 협조 혼잡 제어(NIC와 스위치 협업으로 대기열/꼬리 지연 감소)
가치 : 대역폭 활용률 향상, 안정적 Token 생산 보장.

3) 인터커넥트 : 단일 데이터센터 → 교차 연산 도메인
전기 스위칭은 만 – 10만 가속기(카드) 규모에서 전력/확장 압박 → 광회로 스위칭(OCS) 이 초대규모 AI 네트워크에 진입.
광 도메인 고속 직결로 스위칭 계층과 전력/지연 감소.
다만 안정적 대규모 트래픽에 적합해 동적 버스트 트래픽은 전기 스위칭이 담당 → 장기 공존.

전력/토지/냉각 제약으로 연산력이 단일 DC 경계를 넘으며 Scale-Across(캠퍼스 간/DC 간 연산 인터커넥트)가 새 방향.
선도 기업은 지역 간 협업을, 더 많은 기업은 캠퍼스 간 추론 멀티 액티브/재해복구로 신뢰성 향상.


4. AI 스토리지 : 연산 클러스터의 장기 기억

Agent 시대에 KV Cache는 추론 비용/성능을 좌우하는 핵심 수단.
Agent 작업은 다중 툴 호출, 컨텍스트 상호작용을 포함하며, 후속 요청이 기존 컨텍스트를 대량 재사용하고 소량만 추가하는 ‘추가만 하고 수정하지 않는’ 패턴 → KV Cache 재사용 가치가 매우 높음.

예) AI 코딩은 수 시간 – 수일 지속, 컨텍스트 64/128K – 백만 Token, 작업당 KV Cache 수백 GB/TB급.

(KV Cache가 AI 인프라에 주는 핵심 과제)

1) 온칩 메모리에 다 못 담음
초장문 컨텍스트(64K – 1M Token)로 작업당 KV Cache가 수백 GB – TB로 온칩 메모리 용량 초과

2) 기존 계층형 스토리지 I/O 지연이 큼
NPU → SSD 데이터가 DDR/PCle 스위칭 등 다단계 중계를 거쳐 지연이 크게 늘어 실시간성 충족 어려움.

3) SSD 잦은 쓰기로 수명 단축
빈번한 읽기/쓰기로 일일 전체 쓰기 횟수(DWPD)가 10회 이상, SSD 수명 크게 감소


(진화 방향)

로컬 캐시 → 전역 계층형 KV 공유 풀 : 캐시 관리가 AI 인프라의 공공 역량이 됨.
여러 슈퍼노드가 KV Cache를 공유해 어느 추론 인스턴스든 기존 KV Cache 재사용 → Prefix Cache 적중률 향상.
접근 빈도/지연 요구에 따라 계층 간 자동 이동(핫 데이터는 온칩/DDR, 웜 데이터는 공유 캐시 풀, 장기 데이터는 대용량 스토리지).

최종 목표 : 상위 추론 서비스가 물리 위치를 신경 쓰지 않고 통합 기억 공간처럼 기업급 KV Cache를 호출

1) Level 1 : 온칩 메모리 / 용량 : 수십 – 백 GB급 / 지연 : 나노초급 / 활성 KV : 현재 추론 인스턴스가 사용 중인 핫 데이터, 최저 지연

2) Level 2 : DDR 메모리 풀 / 용량 : TB급 / 지연 : 백 나노초급 / 핫 KV : 단기 세션 컨텍스트, 온칩 메모리 압력 완화

3) Level 3 : 공유 KV Cache 풀 / 용량 : 수십 TB급 / 지연 : 마이크로초급 / 웜 KV : 슈퍼노드 범위 컨텍스트 재사용, 인스턴스 간 캐시 공유

4) Level 4 : 클러스터급 AI 스토리지 / 용량 : PB급 / 지연 : 밀리초급 / 콜드 KV : 슈퍼노드 간 영속적 KV Cache 관리


호스트 경유 이동 → NPU-SSD 직결(NDS) : 기존엔 스토리지 프로토콜 스택-호스트 CPU-메모리 다단계 이동.
AI 칩 직통 접근, KV 시맨틱 오프로드, 메모리 시맨틱 프로토콜 경로를 줄여 KV Cache 접근을 메모리 접근 수준에 근접.

SSD → SSU : 저장 매체 수명 향상.
SSD가 시맨틱 스토리지 유닛(SSU, Semantic Storage Unit)으로 진화.
KV Cache 데이터 시맨틱을 인지해 생명주기 인지 집계, 지능형 마모 균등화로 쓰기 증폭 70% 이상 감소, DWPD 10회 이상 → 3회 이내, 수명 2 – 3배 연장.

긴 컥텍스트 Agent 애플리케이션에서 추론 비용을 결정하는 것은 연산 규모만이 아니라, 컨텍스트 상태를 지속적으로 저장, 공유, 재사용할 수 있는가임.
통합 컨텍스트 관리 능력을 갖춘 AI Infra가 더 낮은 비용, 더 높은 효율로 지속적 지능 생산을 지원


5. 범용 연산 자원 : Agent의 행동 엔진

(Agentic 시대의 새 분업) : AI 연산은 ‘생각’, 범용 연산은 ‘행동’.
작업 오케스트레이션, 툴 호출, 코드 실행, 환경 상호작용은 범용 연산에서 실행 됨.
범용 연산은 전통 업무 서버에서 Agent 네이티브 실행 환경으로 업그레이드되어야 하며 4대 핵심 역량 필요.

(4대 핵심 역량)

1) 빠름 : 고동시성, 밀리초 기동

Agent는 고동시성, 짧은 생명주기, 향후 백만 단위 작업 인스턴스가 동시 실행될 수 있음.
‘세션당 샌드박스 1개’ 방식으로 빠르게 생성/폐기해야 함.

스냅샷 복구 기반 밀리초급 콜드 스타트
단일 머신에 수백 – 천 개 Agent 인스턴스 고밀도 배치
대용량, 고대역폭 메모리로 고동시성 상태 운영 → 이 요구가 범용 연산을 전통 서버에서 슈퍼노드 형태로 이끔. (대용량 메모리, 고대역폭, 칩 간 고속 인터커넥트를 갖춘 시스템급 아키텍처만 Agent 규모화 운영 가능)


2) 안정 : 서비스 신뢰성 → 작업 신뢰성

Agent 작업이 분 단위 상호작용에서 시간, 일 단위 자율 실행으로.
최전선 코딩 Agent는 1회 연속 실행이 25시간에 도달 → 기존 ‘서비스 99.9% 가용’으로는 부족.
영속 실행, 작업 상태 체크포인트, 중단 지점 재개/노드 간 이전, AI 스토리지와 결합한 컨텍스트 장기 보존 필요.
신뢰성 기준이 ‘서비스 무중단’에서 ‘작업 반드시 완료’로 격상


3) 안전 : 강력한 격리가 Agent 실행의 기반

최대 보안 위험은 모델 자체의 불확실한 행동. (잘못된 코드 실행, 비정상 툴 호출, 데이터 경계 초과 접근)
microVM급 강격리 샌드박스, 네트워크/권한 기본 격리, 세션급 보안 통제, 전 과정 행위 감사 필요.
금융/정부/에너지 등에선 결기/감사 능력이 Agent 생산 배치의 기본 문턱


4) 융합 : 범용 연산, AI 연산, 스토리지 협조 스케줄링

Agent 실행은 본질적으로 여러 자원 도메인에 걸침 – 범용 연산(오케스트레이션, 툴, 실행 환경), AI 연산(추론, 의사결정), AI 스토리지(컨텍스트 상태, 지식, 장기 기억)
범용 연산, AI 연산 협조 스케줄링(작업 수요에 따라 동적 매칭),
연산-스토리지 고효율 협업(컨텍스트, 상태 접근 지연 감소)
최종 목표 : Agent의 ‘생각, 행동, 기억’을 통합 실행 체계로


(미래 전망) : 범용 연산, AI 연산 융합 슈퍼노드로
현재 NPU 중심 AI 연산 슈퍼노드와 CPU 중심 범용 연산 슈퍼노드 두 유형이 형성 중이나, Agent는 본래 ‘생각’과 ‘행동’을 융합하므로 두 자원을 통합 아키텍처/협조 스케줄링으로 융합한 Agent 지향 일체형 슈퍼노드 체계가 중요한 진화 방향


차세대 AI 연산 클러스터의 전체 그림 : AI 연산 = 생각, 범용 연산 = 행동, AI 스토리지 = 기억, 고성능 네트워크 = 이 3가지의 연결
향후 네 요소는 Agent 시대의 새로운 AI 인프라로 더욱 융합됨.

※ 화웨이, 중국 건설은행 공동 발간 2026년 AI 데이터센터 백서 (Token-Centric AI Infra, Part. 4)

● Token-Centric AI Infra

○ L3. 연산 스케줄링 : ‘잘 짓기’에서 ‘잘 쓰기’로, 슈퍼노드 잠재력의 효율적 해방

슈퍼노드는 단일 노드 연산 경계를 돌파했지만, 수백 – 수천 칩의 복잡한 클러스터를 지속적이고 효율적으로 스케줄링 하는 것이 AI 인프라 가치 실현의 관건.
연산 스케줄링 = 슈퍼노드 클러스터의 ‘운영체제’

(해결해야 할 3대 문제)

1) 자원 고효율 활용 : 규모, 유형이 다른 AI 작업이 슈퍼노드 자원을 공유
2) 부하 동적 적응 : 요청 변화, 모델 상태에 따라 자원 동적 매칭
3) 클러스터 지속 운영 : 장애 탐지, 작업 이전, 자원 복구로 장기 안정 운영


1. 탄력 스케줄링 : 슈퍼노드 자원을 ‘필요할 때 호출’

대형 모델 학습, 고동시성 추론은 수백- 수천 가속기가 필요한 반면, OCR, 임베딩, 음성, 소형 모델 추론 등 다수 작업은 소량 자원만 필요. → 서버 시대의 ‘한 번 할당, 장기 점유’ 방식을 바꿔야 함.

1) 자원 신축성 : 고정 사양 → 작업별 할당

대규모 작업 → 자원 집약 : 여러 슈퍼노드를 고속 인터커넥트로 통합 자원 풀화, 천 가속기급 학습, 대규모 추론, 노드 간 PD 분리 지원

소규모 작업 → 자원 분할 :
(슈퍼노드급) 수백 가속기 슈퍼노드를 여러 논리 자원 도메인으로 나눠 업무 격리 운영
(단일 가속기급) vNPU 등 가상화로 한 가속기를 여러 연산 인스턴스로 분할


2) 자원 유동성 : 정적 점유 → 동적 재사용

AI 부하는 뚜렷한 조석(tidal) 특성을 지님.
낮엔 온라인 추론 피크, 밤엔 학습, 파인튜닝, 데이터 처리.

업무 우선순위 기반 동적 재사용.
핵심 생산 추론에 확정적 자원 보장.
저점 시간대 자원을 학습, 파인튜닝 등 오프라인 작업에 자동 투입.
고우선 작업 도착 시 저우선 작업은 일시정지, 이전, 강등하여 학습/추론 혼합 배치, 낮과 저녁 재조정, 우선 순위 스케줄링으로 시간 축의 유휴 연산력을 유호 Token 생산력으로 전환


2. 고가용 스케줄링 : AI 서비스를 ‘실행 가능’에서 ‘지속 실행’으로

규모가 클수록 단일 장애 확률이 높아짐.
단일 지점 보호에서 업무 연속성 지향 시스템 보장으로 격상.


3. 지능형 스케줄링 : 자원 관리에서 AI 생산 최적화로

전통 스케줄링은 ‘어디에 유휴 자원이 있나’를 묻지만, AI 시대에는 ‘어떤 자원이, 언제, 어떤 방식으로, 어떤 작업을 처리해야 최대 비즈니스 가치를 내는가’에 답해야 함.


○ L4. AI 서비스 플랫폼 층 : Token 생산 폐루프의 마지막 고리

슈퍼노드는 고효율 연산 공급, 연산 스케줄링 자원 활용 효율 향상,
AI 서비스 플랫폼은 모델, 데이터, 업무 애플리케이션을 연결해 연산 자원을 지능형 생산 가치로 전환.
세 가지 핵심 역량층이 연산 → Token → 지식 → 행동의 지능 생산 폐루프를 구성.

1) 모델 실행 서비스
연산력을 Token 생산능력으로 전환 (모델 배치, 추론 최적화, 운영 관리)

2) 데이터 기반 서비스
Token에 기업 지식 부여 (지식베이스, 데이터관리, 컨텍스트 서비스로 기업 데이터를 모델이 이해, 호출 가능한 지능 자산으로)

3) Agent 실행 환경
Token이 업무 행동을 구동 (Agent 프레임워크, 툴 호출, 작업 오케스트레이션)


1. 모델 실행 및 서비스 : 연산력을 Token으로 바꾸는 핵심 엔진

1) 모델 실행(Model Runtime) → Token 생산 효율 결정
추론 엔진 (MindIE, vLLM, SGLang)
제한된 HW에서 모델, 스케줄링 최적화와 SW-HW 협업으로 Token 생산 효율 극대화.
모델 실행 도구 → AI 런타임 플랫폼으로 진화

미래 추론 엔진 경쟁의 핵심 : 단위 연산력당 얼마나 많은 유효 Token을 내는가.

2) 모델 서비스(Model Serving) → AI 역량 전달 효율 결정
학습 엔진 (Megatron-LM, DeepSpeed, PyTorch FSDP, Ascend 생태계의 MindSpeed.
대규모 학습을 AI 클러스터에 효율적으로 매핑 (분산 학습 효율, 다중 가속기/다중 노드 협업, 메모리/통신 비용 최적화)


2. 데이터 기반 서비스 : Token이 기업 지식을 담도록

기초 모델은 누구나 얻을 수 있는 범용 지능이 되고 있으며, 기업의 장기 경쟁우위는 사유 데이터, 업무 지식, 지속 피드백의 데이터 폐루프에서 나옴.

1) 지식 벡터 DB
모델이 기업 지식을 이해 : 규정/제품 문서/전문가 경험 등 비정형 지식을 벡터화해 RAG 지원

2) 그래프 DB
모델이 업무 관계를 이해 : 지식 그래프, 온톨로지로 기업 객체, 관계, 업무 시맨틱을 구조화, 그래프 DB로 저장/연산해 추론 가능한 업무 지식 제공

3) 장기 기억(Agent Memory)
지속적 인지 능력 : 작업/세션을 넘어 축적된 업무 경험과 컨텍스트를 관리.
일회성 상호작용 도구에서 업무 프로세스에 지속 참여하는 지능 주체로

4) 학습 데이터셋
AI 역량 최적화 폐루프 : 업무 상호작용 데이터, 추론 로그, 인간 피드백을 축적해 ‘사용 → 피드백 → 최적화’ 데이터 플라이휠 형성

앞의 세 가지는 Token 생성의 지식 공급을, 학습 데이터셋은 피드백을 통한 지속 진화를 담당.


3. Agent 실행 환경 : Token이 업무 행동을 구동

전통 앱은 ‘사용자 요청 → 시스템 응답’, Agent는 자율 계획, 툴 호출, 지속 실행으로 복잡한 작업 완료.
AI 연산은 추론/결정, AI 데이터 서비스는 컨텍스트/장기기억, 범용 연산 환경은 툴 실행, 업무 조작 담당.


○ 기업 AI 인프라 기획/구축의 중점 방향

현재 연산 수요만 보지 말고, 모델의 지속 진화와 지능형 애플리케이션 규모화를 겨냥해 자원 탄력성, Token 고효율 생산, 생산급 회복탄력성 세 방향에서 전체 설계해야 함.

1. 자원 탄력성 :연산 투자가 미래 변화에 지속 적응하도록

AI 인프라의 최대 투자 리스크는 완공 후 미래 모델, 업무 변화에 적응하지 못하는 것.

대규모 학습, MoE 추론, Agent 클러스터도, 부서 앱, 소형 모델 추론도 지원해야 함.
위로 확장(Scale-up) : 슈퍼노드, 클러스터로 더 큰 추론 및 학습 지원
아래로 분할 : 자원 분할, 격리로 다양한 업무 수요 충족

(목표) 한 번의 인프라 투자가 모델 규모, 업무 형태, 앱 수요의 지속 변화에 적응.
기업 조달 주기는 ‘년’ 단위, AI 기술 진화는 ‘월’ 단위로 탄력적 아키텍처만 그 간극을 줄일 수 있음.


2. Token 고효율 생산 :연산력을 유효 지능으로

많은 기업의 공통 문제 : 연산 투자는 많은데 활용률은 낮고 현업은 여전히 연산 부족을 느낌.
AI 연산 활용률만으로는 측정 불가 (작업 스케줄링 효율, 모델 추론 효율, 상태 재사용 능력, 업무 산출 능력을 반영하지 못함.)

자원 사용률 → 단위 연산력당 지속적으로 생산되는 유효 Token으로 관점 전환

1) 연산 효율 : 모델 최적화, 병렬 연산, 추론 스케줄링으로 더 많은 연산을 유효 계산에

2) 상태 효율 : KV Cache, 캐시, 상태 관리로 기존 결과 재사용, 긴텍스트, Agent 작업 비용 절감.

3) 시스템 효율 : 통합 스케줄링, 혼합 배치, 자원 오케스트레이션으로 업무 간 자원 협업 향상.

질문을 ‘연산 활용률이 얼마인가’에서 ‘단위 투자당 얼마나 많은 유효 Token을 생산하는가?’로 바꿔야 함.


3. 생산급 회복탄력성 : AI를 신뢰할 수 있는 생산 시스템으로

AI가 핵심 업무 프로세스에 들어오면 ‘지능 생산이 중단되면 어떻게 되나?’에 답해야 함.

금융, 에너지 등 핵심 산업에서 생산급 회복탄력성은 ‘최적화 항목’이 아니라 AI 규모화 적용의 기본 역량임.


○ 결론

1. AI 인프라 구축의 핵심 목표는 지능형 생산을 위한 새로운 인프라 역량 구축

2. 미래 기업 간 격차는 연산, 네트워크, 스토리지, 스케줄링 체계의 전체 협업 능력과, 그로부터 나오는 고성능, 대규모, 고품질, 지속 가능한 Token 생산 능력에서 드러날 것.

3. AI가 모델 능력 경쟁에서 규모화 적용으로 넘어가면서, AI 인프라는 연산 운영을 지원하는 인프라에서 지능형 생산을 구동하는 신형 생산 체계로 진화 중이며, 기업이 지능 시대에 진입하는 중요한 기반이자 미래 지능화 경쟁의 핵심 역량이 될 것.

※ AI 산업의 핵심 병목은 ‘칩’에서 ‘전력연계 및 에너지 효율’로 이동 중 (기존 전력망 효율화, 온사이트 발전, 전력 아키텍처, MFU, PUE 등)

AI 산업의 핵심 병목이 전력이 되고 있습니다.
데이터센터에 대한 수요는 넘치고, 지어지고 있는데 데이터센터에서 필요한 전기의 공급이 어려운 상황입니다.

좀 더 정확히 말하면, 전력망(그리드)에 연결시키지 못하는 것으로 현재 미국 AI산업에 있어 가장 시급한 문제는 반도체도 데이터센터도 대규모 발전소도 아닌 바로 ‘어떻게 전기를 데이터센터로 연결’ 할 수 있을까 입니다.

미국에서 지어지고자 하는 데이터센터의 규모는 500GW이상이며, 중복 신청을 제외하더라도 약 180GW 규모의 엄청난 데이터센터 수요가 현실적으로 존재하고 있습니다.
이러한 데이터센터 수요를 위해 전기가 부족하다고 얘기하고 있는데, 발전소가 부족한 것도 아닙니다.
미국 전력망 연계 대기(Interconnection Queue) 용량은 2,600GW를 초과하고 있는 상황입니다. (IEA 자료)
즉, 전력망의 부족으로 2,600GW의 전력이 그리드에 접속이 안되고 있다는 의미입니다.

현재 미국 AI 산업이 가장 절실하게 해결해야 하는 지점은, GPU도 HBM, DRAM 또는 기판, 전력기기도 아닌 바로 ‘어떻게 지금 당장 필요한 전기를 구할 수 있을까’입니다.

이 문제가 해결이 안되면 미국 AI 산업이 지금과 같은 속도로 성장하기 어려운 상황에 봉착한 것입니다.

시장의 많은 참여자들이 왜 삼성전자, SK하이닉스의 실적이 이렇게 좋은데 왜 주가가 오르지 않을까를 고민하고 있지만, 더 큰 안목으로 구조를 보는 투자자라면 AI 산업이 더 성장하기 위해서는 어느 부분이 해결되어야 하는 가를 봐야 하고, 거기에서 투자의 아이디어를 찾아 볼 수 있습니다.
(주식투자에 있어 많은 경우 병목이 초과 수익률 가져다 주곤 합니다.)

이러한 관점에서 전기를 어떻게 연결하고, 부족한 전기를 어떻게 더 효율적으로 사용할지에 대한 부분에 대한 관심이 필요한 시점입니다.

먼저 그리드의 관점에서 보면,
현재 최대의 병목인 그리드(송전망)의 경우 물리적인 한계로 인하여 빠르게 전력망을 증설하기가 어렵습니다.
데이터센터는 2년이면 지어지는데, 송전망은 10년의 시간이 필요하기 때문입니다.

그러면 결국 기존의 전력망을 효율적으로 사용하는 방법이 더욱 중요해 질 것입니다.

1) 계통안정화용(송변전 대체) ESS와 전력 제어 기술을 통한 가상 송전선로(VTL, Virtual Transmission Line) : ESS를 통해 실제 송전망을 추가 건설하지 않고도 기존 송전망의 이용률을 향상시킬 수 있습니다.

2) ESS를 통한 변전소의 잠재 용량 확대 : 피크시간대의 변압기 과부하를 ESS를 통해 완화하여 추가 변전소 증설 없이도 신규 데이터센터의 계통 접속 용량을 늘릴 수 있습니다.

3) VPP(Virtual Power Plant, 가상발전소) : 분산자원을 하나로 묶어 대형 발전소처럼 운영하여 전체 전력망 안정화에 크게 기여할 수 있습니다.

4) EMS(Energy Management System, 에너지관리시스템) 및 DERMS(분산에너지자원 관리시스템)

5) DR(Demand Response, 수요반응)


그리고 데이터센터 내부로 들어오면,
그리드의 의존을 최소화 하며(온사이트발전/BTM 자체발전 강화), 전력효율을 극대화(고전압 DC 전력아키텍처 적용, 칩 가동률 극대화(MFU 등), 데이터센터 PUE 개선 등의 방법들을 통해 자체적으로 전력을 최대한 만들고, 효율적으로 전력을 사용하는 방법들이 더욱 더 중요해질 것입니다.

1) 온사이트발전(마이크로그리드) : BTM PV(태양광발전), ESS, 연료전지, 디젤발전, 가스피커 등 분산자원과 이를 운영하는 솔루션들(AMI, EMS, PMS, DERMS 등)

2) 전력 아키텍처의 변화 : 기존 415V AC 및 OCP의 Open Rack 전력아키텍처에서 ±400V 및 800V DC 전력아키텍처로 (전력 아키텍처가 변화하면서 어떤 소재들이 중요해지는 지? SiC/GaN 전력반도체, 고전압 MLCC, 엔지니어링 플라스틱, 질화규소 AMB 기판 등)

3) 칩 가동률 증가(MFU) : 현재 GPU의 가동률은 30% 수준에 불과합니다. 이 가동률을 50 – 60%로 끌어올리면, 동일한 전력으로 2배의 AI 연산을 할 수 있는 강력한 전력 절감 방법입니다.
(메모리 월 돌파와 칩간 통신 대기 시간을 줄이기 위한 방법들인 HBM4 커스텀 베이스 다이, CXL 메모리 풀링, CPO/실리콘 포토닉스, InP 기판 등)

4) PUE를 개선하는 방법 : 냉각과 배전에서 나가는 전력소모(열 관리)를 줄여 주는 방법으로, 공조 및 열관리 시스템 개선, 액체냉각/액침냉각 적용, 배전망 개선 등이 있습니다.


데이터센터의 전력이 핵심 병목으로 부상할 때 이러한 설비 및 소재, 기술들이 시장의 주목을 받을 수 있습니다.

그리고 개인적으로 현재 AI 산업이 마주한 핵심 병목은 전력 인한 병목과 추론 비중이 늘어나면서 생기는 병목 이 두 가지를 주목하고 있으며, 시간이 나는 대로 이 부분에 대해서 추가적인 글을 게시할 예정입니다.


● 수요는 넘치는데 전기가 막혔다? AI/반도체 주주가 지금 확인할 4가지 지표. (김열매TV, 2026. 10. 28) Part. 1

○ 마이크로소프트가 산 칩을 전기에 꽂지 못하고 있다.

마이크로소프트나 아마존이 주문한 데이터센터용 반도체가 도착했는데, 전기가 들어오지 않아 AI 클라우드에 투입되지 못한 채 재고로 쌓이고 있다는 주장이 있음.

이러한 주장에 대해 지금까지 시장은 대수롭지 않게 생각했지만, 최근 전력 인허가 차질이 이어지면서 우려가 커지고 있음.
우려가 실체가 없는 게 아닌 게, 산타클라라에 6년째 빈데이터센터 건물이 있다는 사례도 나오고 있음.

데이터센터를 지으면서 납기가 긴 전력 설비(지금 주문하면 2031 - 2032년 인도 가능)를 가장 먼저 발주하고, 그 다음 어떤 반도체를 쓸지 설계해야 함.


○ 데이터센터 개발 단계와 병목 지점

긍정적인 점은 2025년보다 올해 투자가 더 공격적이고 짓는 데이터센터의 수도 늘었다는 것.
하지만 늘어난 데이터센터가 예정대로 준공되어 바로 전기가 들어와 가동되느냐는 별개의 문제이며, 완공일과 전력 연결이 모두 조금씩 밀리고 있는 게 현재 상황임.
업계에서는 이를 ‘Warm shell 없다’라고 표현하고 있음.

(데이터센터의 진행과 병목)

Step 1) 부지확보 : 데이터센터를 지을 땅을

Step 2) 파워드 랜드 : 전력 공급을 약정 받았거나 근처 전력 용량에 바로 연결 가능한 땅.
가격이 10 – 20배 뛰었음.

Step 3) 콜드 쉘 : 건물은 완공됐지만 아직 전기가 들어오지 않은 상태.

Step 4) 웰 쉘/파워드 쉘 (현재 최대 병목 구간) : 실제 전력이 연결된 건물.
인허가/건물/칩까지 다 준비됐는데 여기에 전기가 꽂히지 않는 것이 현재 문제임.
하이퍼스케일러는 주로 이 단계 건물을 임대.

Step 5) GPU 탑재/턴키 : 반도체까지 들어간 상태로 통째로 임대.
코어위브 같은 네오클라우드 방식


○ 가디언 탐사보도 : 가동 중인 MS의 AI 칩은 예상의 절반?

영국 가디언이 8월에 낸 탐사기사에 따르면, 데이터센터 건설 규모로 추론하면 MS에서 돌아가야 할 AI칩이 많아야 하는데, 실제 가동 중인 칩은 그 절반 수준으로 보인다는 내용임.

건설 규모로 추정한 가동돼야 할 AI 칩의 수치는 440만 - 640만개인데, 가디언이 추정한 실제 가동 칩은 약 220만 개로 예상치의 절반 수준임.
내부 관계자 전언에 따르면, 지난 1년 동안 가동 칩의 수가 거의 늘지 않았음.

MS는 분명 칩을 샀고(엔비디아 실적에 반영), MS의 설비투자도 계속 늘고 있음.
구매는 정상인데 전기가 안 들어와 가동을 못하는 것이라는 해석임.
이에 MS는 계산 근거가 잘 못됐다고 반박했지만, 어떤 수치가 틀렸는지는 밝히지 않음.

MS 최대 데이터센터이자 오픈 AI가 임대한 위스콘신 Fairwater처럼 가동 시점이 계속 늦어지는 문제가 있는 것으로 보임.
즉, 가동이 안되는 것은 아니라 단지 시간이 늦어진다는 것으로, 이렇게 늦어지는 곳이 많아질수록 ‘산 칩이 어딘가에서 놀고 있을 수 있다’라는 생각을 하게 될 수 있음.


○ 실제로 칩이 놀고 있는 곳 : 산타클라라 디지털 리얼티

디지털 리얼티는 웨퀴닉스와 함께 미국 상장 리츠 중 대표적인 데이터센터 운영사임.

2019년에 전력 공급을 신청하고 건물도 다 지었지만, 여전히 전력이 들어오지 않고 있음.
현재 계획은 2028년 이전에 전력을 연결하는 것임.

전력 부족, 인허가 지연 논란이 커지면서 이런 지역이 늘어날까 시장은 걱정하고 있음.


○ ‘시차’의 문제와 온사이트 발전

속도의 불일치가 원인이며, 앞으로 이 시차가 더 벌어질지 좁혀 질지가 관건임.
데이터센터 건설에는 약 2년이 걸리며, 짓기 전에 먼저 전력 인허가를 신청하고 경쟁적으로 속도전을 통해 빠르게 짓고 있음.

이에 비해 그리드 연결은 5 - 10년이 걸림. 전력이 들어오는 속도가 건물이 완성되는 속도를 따라가지 못하고 있음.

외부 송전망은 5 – 10년 걸리기 때문에 빅테크들은 데이터센터 전용 발전소를 직접 짓는 방향으로 전환하고 있음.
그 결과 ESS 수요가 증가하고, 블룸에너지에 연료전지 주문을 늘리고 있음.

송전망 건설 차질에 더해, 온사이트 발전에 대한 반대 여론도 커지고 있는 중임.
지금 시장의 최대 화두는 전력 확보로 “전력이 병목”임.

https://www.youtube.com/watch?v=bZC26UPkONs&t=124s

● 수요는 넘치는데 전기가 막혔다? AI/반도체 주주가 지금 확인할 4가지 지표. (김열매TV, 2026. 10. 28) Part. 2

○ 숫자로 보는 전력 병목

미국 전역 데이터센터를 위한 전력 신청은 500GW 이상.
텍사스(ERCOT) 한 곳의 전력 신청 규모가 400GW 이상.
실제 지어질 것으로 추정되는 데이터센터의 전력 규모는 약 180GW. (컬럼비아대 논문)
2025년 말 미국 상업용 데이터센터 전체의 전력 규모는 50GW.
텍사스에서 건설 중인 전력 규모는 12.8GW.
2026년 송전 승인 용량은 9.5GW. (텍사스)
상반기 신규로 실제 가동되는 용량은 4GW. (텍사스)


텍사스는 에너지가 풍부한 지역이지만, 모든 노력을 다해도 신청 용량을 맞출 수 없음.
신청은 400GW가 넘는데 올해 승인은 10GW도 되지 못함.
상반기에 실제 전기가 꽂혀 새로 돌아간 것은 4GW 미만으로, 하반기에 더 많은 데이터센터가 준공 예정이라 전력 차질은 자명함.

착공 중, 완공 예정 숫자와 실제 가동 사이의 시차가 점점 벌어지는 것이 문제임.

빅테크뿐 아니라, 사모펀드, 코어위브 같은 네오클라우드까지 너도나도 뛰어들어 시장 규모 파악이 어려움.
이들은 송전망을 끌어와야 하므로 연결이 안 되면 완공분이 가동되지 못할 가능성이 커짐.


○ 500GW의 정체 : 중복 신청과 ‘스펙 개발’

1) 왜 허수가 생기나?

컬럼비아대 교수의 논문을 보면 500GW 넘는 데이터센터 신청 중 실제 지어질 용량을 약 180GW인 30% 수준으로 추정하고 있음.
이유는 전력 병목이 너무 분명하기 때문에, 개발사들은 여러 곳에 중복 신청하고 있기 때문임.
예를 들면, 5조원의 예산을 정해두고 어디가 먼저 전기가 들어올지 모르니 여러 군데 신청부터 하는 것임.


2) 그럼에도 성장은 계속될 것.

180GW만 지어져도 2025년 말 미국 상업용 데이터센터 50GW의 3 – 4배 규모로 2032년까지 계속 지어야 하는 규모임.

텍사스에서 건설 중인 12.8GW만으로도 연평균 30%이상 성장이 가능하고, 반도체는 여전히 공급이 수요보다 크게 부족한 상황임.


3) 시장이 진짜 걱정하는 것.

500GW 허수가 180GW로 맞춰지는 동안, 땅을 산 사람, 전력 장비를 발주한 사람이 있을 텐데 이것들이 취소 되는 과정에서 노이즈가 발생할 수 있음.

전력 회사들이 지금 확약해 줄 수 있는 건 일부 뿐.
텍사스 400GW는 확정 수요가 아니므로, 이를 전제로 공격적으로 설비 투자를 계획한 곳은 눈높이를 낮춰야 함.

2028 – 2029년 공백 구간에 대한 우려가 있음.
전기가 늦게 들어오면 중간에 칩이 놀아야 하고, 그 동안 가격을 올려가며 속도전으로 칩을 사던 수요처가 천천히 살 수 있음.


(스펙 개발 / 고스트 프로젝트)
스펙 개발은 Speculative, 즉 투기적 개발의 줄임 말임.
부동산 업계의 오래된 전략으로, 임차인이나 매수자가 정하지 않고 먼저 짓는 방식임.
2021 - 2022년에 데이터센터에 투자한 이들이 몇 배를 벌었고 임대료도 오르는 중이라 다수가 이 방식에 뛰어들었음.

미국 언론은 이를 ‘고스트 프로젝트’라고 부름.
전력 용량이 근처에 있다는 이유만으로 땅을 10 - 20배에 산 쪽이 타격을 받을 수 있고, 이런 프로젝트들이 중복 신청 후 전력 지연을 겪으면 취소, 지연이 늘어 반도체 전력기기 주가 전망을 흔들게 됨.


○ 진짜 위험은 ‘생전 처음 하는’ 개발사

문제는 AI를 낙관하는 사람이 너무 많고, AI 데이터센터가 돈을 너무 잘 벌 때, 원래 하던 사람이 아니라 처음 해보는 사람들이 개발에 뛰어든다는 게 문제임.

현재 미국 데이터센터 개발에서 에퀴닉스, 디지털 리얼티 같은 베테랑이 아닌 첫 개발 기업이 절반 이상임.
건설사를 예로 들면, 아파트 사이클을 여러 번 겪은 대형 건설사는 쉽게 망하지 않지만, 처음 들어온 소형 시행사는 그렇지 않은 것과 비슷한 구조임.
이들은 규모를 지나치게 크게 잡고, 빅테크와 임대차 계약도 없이 착공하고 있음.

빅테크가 문제가 아니라, 전력 인허가도 늦고 사모(남의 돈)으로 들어온 신생 개발사가 금리 상승 구간에서 어려움을 겪을 수 있음.
이들도 전력 장비를 발주했을 수 있으므로, 실적이 매우 좋은 GE 버노바 주가가 조정 받는 이유로 연결될 수 있음.


○ 역설 : 전력이 막힐수록 기존 데이터센터는 더 잘 번다.

신규 인허가가 막히면 이미 지어진 곳은 임대료를 올려도 서로 쓰겠다고 줄을 섬.
미국 데이터센터 공실률은 1.4%로 사실상 공실이 없음.
지금부터 빨리 짓고, 전기만 들어오면 “확실히 돈이 되는” 사업임.

상업용 부동산 컨설팅 1위인 CBRE는 공급을 세 배로 늘렸는데도 공실이 내려가는 산업은 처음 본다고 평가하였음.

올해 상반기 북미 데이터센터는 모든 규모에서 임대료가 가파르게 올랐고, 부동산 인프라 중 상승폭이 최고였음. 두 배가 오른 사례도 있음.

(병목이 풀리면)
공급이 쏟아지면 임대료가 내려가야 함.
빅테크가 자체 발전소까지 지으면서 지금 임대료가 유지될지 의문.

(병목이 계속되면)
짓고 있는 프로젝트에 문제가 생김. 양쪽 모두 걸려 있는 장비, 반도체 업체는 혼란이 지속.

(낙관만 보면)
데이터센터 임대료가 저렇게 오르니 반도체 가격도 계속 오르겠네

(비관만 보면)
줄줄이 대기 중인데 재고만 쌓인다. MS조차 산 칩을 못 돌리는데 계속 빠르게 주문할까?

이러한 이유들로 AI 데이터센터 관련 시장은 낙관과 비관 속에서, 당분간 오르락내리락을 반복될 것.


○ 네오클라우드, 중간선거, 빅테크의 프로젝트 취소

1) 네오클라우드 (코어위브 등)

가동 중인 설비는 이익률이 좋지만, 매출이 계단식으로 성장하려면 신규 데이터센터에 전기가 들어와 빠르게 임대되어야 함.
신규 지연은 상당한 리스크임.
전력 병목이 해소되어야 추가적인 성장이 가능한 구조임.


2) MS의 영국 엔스케일(Nscale) 프로젝트 취소

GPU 23,000개가 들어갈 예정이던 프로젝트를 MS가 최소 했는데, 이유는 그때까지 전기가 들어오지 않을 것으로 판단했기 때문.
MS가 투자를 의도적으로 줄인다는 것이 아니라, 전기가 없기 때문에 불가피하게 프로젝트가 취소된 것임.

아마존도 마찬가지로, 충분한 전기 전엔 실제 가동이 늦어질 수 있지만, MS/아마존 모두 투자는 늘린다는 방침임.


3) GE 버노바 : 회사는 좋은데 주가는 왜 빠지나

GE 버노바는 2031년까지 주문이 꽉 차 있으며, 주문하려면 25%의 선수금을 먼저 내야 할 정도임.

문제는 이미 풀캐파로 주문이 나가 있어 시장 기대를 넘는 신규 수주가 나오기 어렵다는 점임.


○ 반도체의 전망은?

전력이 앞으로 늘어날 것이라는 기대가 생기면, 즉 ‘전기만 들어오면 데이터센터를 충분히 지을 수 있고 수요도 있다’는 확신이 생기면 그때부터 반도체가 안정을 찾을 것.

빅테크의 재무제표에서 건설 중인 자산이 늘어나는 중임.
Capex로 짓는 데이터센터는 완공 전까지 매출을 만드는 자산이 아니라 건설 중 자산으로 잡힘.

건설 중 자산이 얼마까지 늘어나는지, 그리고 예정 스케줄대로 가동되어 클라우드/AI 매출로 전환되는지를 주목해 봐야 함.


○ AI는 한 시즌으로 끝나는 산업이 아님.

시즌 1. 엔비디아 GPU 사이클.

시즌 2. (현재) 데이터센터, 오픈AI, claude 등이 만든 2차 사이클로 전력 부족이 이 시즌의 한계를 보여주고 있음.

시즌 3. 전력 문제와 정치적 문제가 해결되고 에너지 가격이 내려가야 열릴 수 있음.


시즌 2와 시즌 3을 구분해야 하는 이유는 전력 부족 때문임.
계획이 아무리 많아도 전기가 없으면 다음 단계로 갈 수가 없음.

시즌 2의 종료에 문제가 되는 곳은 빅테크가 아니라 신생 개발사들임.
이들이 남의 돈을 끌어 쓰는 곳이 사모 시장이므로 사모대출, 사모펀드를 주목해야 함.


○ 결론

현재 가장 비싼 자원은 “전기가 들어오는 건물”임.
이미 가동 중인 데이터센터는 문제가 없지만, 신규 가동 차질이 길어지고 지연 프로젝트가 늘어난다면 전력 산업과 그 다음에 투입될 반도체에 대한 걱정도 일리가 있는 단계임.