※ 화웨이, 중국 건설은행 공동 발간 2026년 AI 데이터센터 백서 (Token-Centric AI Infra, Part. 2)
● Token-Centric AI Infra
○ Token-Centric AI Infra 목표 아키텍처
클라우드 인프라는 IaaS 중심(연산, 스토리지, 네트워크의 풀링과 스케줄링)이었으나, Token이 AI 생산 효율의 핵심 단위가 되면 자원 계층 최적화만으로는 최종 Token 산출 효율이 결정되지 않음.
따라서 AI 인프라의 경계는 위로 확장되어 모델 실행, 데이터/지식 관리, Agent 실행 환경 등 AI 서비스 역량을 포함해야 함.
1. 3계층 아키텍처 : ‘자원 공급’에서 ‘지능형 생산 체계’로
1) 연산 기반층
(해결 과제) 단위 연산력당 Token 생산효율
(주요 내용) AI Computing 자원(NPU/GPU) : 슈퍼노드, 슈퍼노드 클러스터 중심. 고속 인터커넥트, 메모리 풀링, 대규모 병렬 작업당 Token 생산 효율 향상.
General-purpose Computing 자원(CPU) : 데이터 처리, 지식 서비스, Agent 작업 오케스트레이션, 툴 실행 지원
AI 스토리지/고속 네트워크 : 모델 이미지, KV Cache, 컨텍스트 상태, 학습 데이터 저장, 고대역폭, 저지연 데이터 경로 제공
→ 목표는 고립된 연산력이 아니라 단위 자원당 더 많은 유효 Token
2) 연산 스케줄링층
(해결과제) 효율적 자원 활용
(주요 내용) 자원 통합관리 : 칩 종류, 세대 차이를 감추고 통합 AI 자원 풀 형성
동적 자원 매칭 : 모델 규모, 추론 단계, 업무 우선순위에 맞춰 최적 자원 할당
자원 탄력 재사용 : 학습/추론 혼합 배치, 조석(tidal) 스케줄링, 우선순위 관리
고신뢰 운영 : 장애 탐지 및 작업이전, 자원 복구
→ 연산 기반이 ‘얼마나 생산 할 수 있나’를 정한다면, 스케줄링은 ‘그 능력이 충분히 발휘되나’를 결정
3) AI 서비스 플랫폼
(해결 과제) 지속적 AI 역량 공급
(주요 내용) 모델 실행 서비스 : 추론/학습 엔진, 모델 서비스 관리로 연산력을 안정적 Token 생산력으로 전환
데이터/지식 서비스 : 벡터 DB/지식 그래프/장기 기억으로 Token에 기업 업무 지식을 부여(범용 지능 → 산업 지능)
Agent 실행 환경 : 작업 오케스트레이션, 툴 호출, 안전 실행, 멀티 에이전트 협업으로 Token이 업무 프로세스와 자동화를 구동
2. 4개 역량권으로 재구성
위 3계층은 기능적 논리 구조이고, 실제 구축은 엔지니어링 배치 관점에서 4개 역량권으로 분해.
이 중 슈퍼노드와 슈퍼노드 클러스터는 연산 기반층의 핵심 매개체로 단위 연산력당 Token 생산 효율에 집중.
1) L1 슈퍼노드
피어 버스, 포로토콜 통일 (CPU, NPU, DPU, DRAM, SSD를 고속 버스로 연결)
2) L2 슈퍼노드 클러스터
2.1 다층 KV 캐시 (온칩 메모리 → DDR → SSD/SSU)
2.2 Scale-Out 네트워크 (노드 간 인터커넥트, 광/전 융합)
3) L3 연산 스케줄링 플랫폼
3.1 데이터센터 내 연산 스케줄링 (멀티 모델, 멀티 작업, 멀티 테넌트)
3.2 교차 도메인, 교차 데이터센터 스케줄링 (재해복구 전환, 부하 분산)
4) L4 AI 서비스 플랫폼
4.1 모델 실행/서비스 (추론/학습 런타임, 모델 서비스)
4.2 데이터 기반 서비스 (지식 벡터 DB, 그래프 DB, 데이터 레이크 등)
4.3 Agent 실행 환경 (보안 컨테이너, 샌드박스 등)
○ L1 슈퍼노드 : Token 고효율 생산의 핵심엔진, 구축의 표준
1. 슈퍼노드의 정의 : 논리적으로 ‘한 대의 컴퓨터’
모델이 수백억 → 수천억 → 조 단위 파라미터로 진화하면서 단일 서버 아키텍처가 물리적 한계에 근접.
예) 1T 파라미터 모델은 FP16 기준 파라미터만 약 2TB로 주류 8카드 AI 서버의 온칩 메모리를 초과.
INT4, FP4 등 저정밀 양자화로 압축해도 가중치가 메모리 대부분을 점유해 KV Cache 공간이 부족. 때문에 동시성, 긴 컨텍스트 능력이 심각하게 제한 됨.
따라서 대형 모델 배치, 긴 컨텍스트, 고동시성을 동시에 만족하려면 단일 서버 경계를 넘어 노드 간 융합이 필요함.
단일 머신에서 클러스터로 확장하면 새 병목 통신 효율이 등장.
특히 MoE의 전문가 병렬은 칩 간 All-to-All 통신이 대량 발생.
이더넷으로 표준 서버를 잇는 기존 Scale-Out은 범융 확장성은 좋지만 초대규모 AI 부하에서 대역폭, 지연이 제약되기 때문에 클러스터가 클수록 Token 생산 효율이 오히려 떨어짐.
전통 서버 구조 : 노드 간 네트워크 장비(spine/leaf)로 연결. 통신 비중 20 – 30%
슈퍼노드 구조 : 고속 인터커넥트 버스는 Peer-to-peer 연결, 메모리 통합 주소 지정, TB급 풀메시 대역폭
수퍼노드 : 고속 버스급 인터커넥트로 수십 – 수천 개 AI 칩을 물리적으로 랙 전체 또는 랙 간에 통합하고, 논리적으로 ‘한 대의 컴퓨터’로 융합
동일 슈퍼노드 도메인 내 AI 칩 32개 이상, 고대역폭(>400GB/s), 저지연(<500ns), 통합 메모리 주소 지정
(기존 서버 클러스터 대비 핵심 변화)
통합 메모리 주소 지정 : 분산 자원을 공유 메모리 풀로 함.
기존엔 카드마다 독립 메모리라 모델/데이터를 장치 간 계속 이동해야 했음.
메모리 풀링으로 분산 메모리를 통합 주소 공간으로 추상화해 원격 메모리 직접 접근 가능 → 모델 파라미터 칩 간 통합 관리, KV Cache 인스턴스 간 공유, 대형 모델이 단일 카드 메모리에 제약 받지 않음. ‘고립된 여러 장치’ → ‘메모리를 공유하는 대형 컴퓨터’
고대역폭/저지연 인터커넥트 : 통신이 연산 효율에 미치는 영향 축소
MoE는 본질적으로 통신 집약형.
고속 인터커넥트와 메모리 시맨틱 접근으로 네트워크 통신을 로컬 접근에 가까운 방식으로 바꿔 오버헤드 대폭 감소.
가치는 피크 연산력보다 더 많은 자원이 데이터 대기 대신 실제 Token 생산에 참여하는 것.
DeepSeek, Qwen 등 MoE 추론에서 엔드투엔드 성능 3배 이상 향상.
2. 슈퍼노드 기반 추론 아키텍처 혁신
1) 대규모 전문가 병렬 : MoE 처리량 잠재력 해방
기존 클러스터는 통신 효율 제약으로 전문가 규모 확장이 어려웠으나, 슈퍼노드의 대규모 메모리 풀, 고속 인터커넥트가 대규모 전문가 병렬을 가능케 함.
EP 카드가 많을수록 Decode 연산 시간은 줄고, 카드 간 All-to-All 통신 부담은 커지지만, 슈퍼노드의 대역폭 덕에 시스템 전체는 최적 상태 유지
2) P-D-C 완전 피어 아키텍처 : KV Chache 전역화로 중복 계산 제거, TTFT 대폭 감소
다중 턴 대화, Agent 작업에선 기존 컨텍스트 재사용이 많지만, 기존 아키텍처는 KV Cache가 단일 인스턴스에 묶여 공유 불가 → 같은 이력을 반복 Prefill
슈퍼노드 통합 메모리 주소 지정을 기반으로 P-D-C 완전 피어 방향으로 진화.
Prefill은 컨텍스트 계산, Decode는 Token 생성, Cache는 상태 공유.
KV Cache는 더 이상 단일 이스턴스 소유가가 아니라 연산도메인 전체의 공유 자원.
KV Cache 인지 라우팅과 결합해 이미 컨텍스트 캐시를 가진 인스턴스를 우선 스케줄링 → 중복 Prefill 감소, TTFT 하락, Token 생산 효율 향상.
추론 시스템이 ‘연산 모델’에서 ‘연산+상태 관리 모델’로 전환됨을 의미.
3. 다양한 슈퍼노드 형태 : 대/중/소 시나리오의 고성능 추론 수요 충족
1) 중소 규모 : 64카드/96카드 슈퍼노드로 다양한 사양의 PD 분리 대규모 전문가 병렬 인스턴스 배치
2) 대규모 고동시성 추론, 모델 학습, 핵심 생산
수백 – 수천 카드로 확장해 슈퍼컴퓨팅 시스템 형성.
더 중요한 점은 논리 분할 능력.
4. 슈퍼노드 발전 추세
기술 탐색에서 산업 규모 적용으로 이동하며 AI 인프라 진화의 주요 방향이 됨.
세방향으로 진화.
1) 규모 지속 확대 : 기존 서버 클러스터 경계를 넘어 천 카드 → 만 카드 급으로
2) 인터케넥트 지속 업그레이드 : 마이크로초 급 → 나노초급 지연, Tbps급 대역폭과 더 효율적 토폴로지.
기존 전기 인터커넥트는 고주파 손실, 전력 병목에 직면 → 광 인터커넥트가 차세대 핵심. NPO(근접 패키지 광학)이 핵심 기술 경로.
3) 자원 지속 분리 : 추론/멀티모달/Agent 복잡화로 연산/메모리/통신 수요가 차별화.
향후 AF 분리(Attention-FFN/MoE 분리 배치), 멀티모달 VAT(시각-음성-텍스트 아키텍처), LLM 분리(LLM 구성 요소별 분리 배치) 등 신규 배치 모델 지원 필요.
최종 목표 : 각 AI 부하가 가장 적합한 연산 자원을 동적으로 얻는 것.
● Token-Centric AI Infra
○ Token-Centric AI Infra 목표 아키텍처
클라우드 인프라는 IaaS 중심(연산, 스토리지, 네트워크의 풀링과 스케줄링)이었으나, Token이 AI 생산 효율의 핵심 단위가 되면 자원 계층 최적화만으로는 최종 Token 산출 효율이 결정되지 않음.
따라서 AI 인프라의 경계는 위로 확장되어 모델 실행, 데이터/지식 관리, Agent 실행 환경 등 AI 서비스 역량을 포함해야 함.
1. 3계층 아키텍처 : ‘자원 공급’에서 ‘지능형 생산 체계’로
1) 연산 기반층
(해결 과제) 단위 연산력당 Token 생산효율
(주요 내용) AI Computing 자원(NPU/GPU) : 슈퍼노드, 슈퍼노드 클러스터 중심. 고속 인터커넥트, 메모리 풀링, 대규모 병렬 작업당 Token 생산 효율 향상.
General-purpose Computing 자원(CPU) : 데이터 처리, 지식 서비스, Agent 작업 오케스트레이션, 툴 실행 지원
AI 스토리지/고속 네트워크 : 모델 이미지, KV Cache, 컨텍스트 상태, 학습 데이터 저장, 고대역폭, 저지연 데이터 경로 제공
→ 목표는 고립된 연산력이 아니라 단위 자원당 더 많은 유효 Token
2) 연산 스케줄링층
(해결과제) 효율적 자원 활용
(주요 내용) 자원 통합관리 : 칩 종류, 세대 차이를 감추고 통합 AI 자원 풀 형성
동적 자원 매칭 : 모델 규모, 추론 단계, 업무 우선순위에 맞춰 최적 자원 할당
자원 탄력 재사용 : 학습/추론 혼합 배치, 조석(tidal) 스케줄링, 우선순위 관리
고신뢰 운영 : 장애 탐지 및 작업이전, 자원 복구
→ 연산 기반이 ‘얼마나 생산 할 수 있나’를 정한다면, 스케줄링은 ‘그 능력이 충분히 발휘되나’를 결정
3) AI 서비스 플랫폼
(해결 과제) 지속적 AI 역량 공급
(주요 내용) 모델 실행 서비스 : 추론/학습 엔진, 모델 서비스 관리로 연산력을 안정적 Token 생산력으로 전환
데이터/지식 서비스 : 벡터 DB/지식 그래프/장기 기억으로 Token에 기업 업무 지식을 부여(범용 지능 → 산업 지능)
Agent 실행 환경 : 작업 오케스트레이션, 툴 호출, 안전 실행, 멀티 에이전트 협업으로 Token이 업무 프로세스와 자동화를 구동
2. 4개 역량권으로 재구성
위 3계층은 기능적 논리 구조이고, 실제 구축은 엔지니어링 배치 관점에서 4개 역량권으로 분해.
이 중 슈퍼노드와 슈퍼노드 클러스터는 연산 기반층의 핵심 매개체로 단위 연산력당 Token 생산 효율에 집중.
1) L1 슈퍼노드
피어 버스, 포로토콜 통일 (CPU, NPU, DPU, DRAM, SSD를 고속 버스로 연결)
2) L2 슈퍼노드 클러스터
2.1 다층 KV 캐시 (온칩 메모리 → DDR → SSD/SSU)
2.2 Scale-Out 네트워크 (노드 간 인터커넥트, 광/전 융합)
3) L3 연산 스케줄링 플랫폼
3.1 데이터센터 내 연산 스케줄링 (멀티 모델, 멀티 작업, 멀티 테넌트)
3.2 교차 도메인, 교차 데이터센터 스케줄링 (재해복구 전환, 부하 분산)
4) L4 AI 서비스 플랫폼
4.1 모델 실행/서비스 (추론/학습 런타임, 모델 서비스)
4.2 데이터 기반 서비스 (지식 벡터 DB, 그래프 DB, 데이터 레이크 등)
4.3 Agent 실행 환경 (보안 컨테이너, 샌드박스 등)
○ L1 슈퍼노드 : Token 고효율 생산의 핵심엔진, 구축의 표준
1. 슈퍼노드의 정의 : 논리적으로 ‘한 대의 컴퓨터’
모델이 수백억 → 수천억 → 조 단위 파라미터로 진화하면서 단일 서버 아키텍처가 물리적 한계에 근접.
예) 1T 파라미터 모델은 FP16 기준 파라미터만 약 2TB로 주류 8카드 AI 서버의 온칩 메모리를 초과.
INT4, FP4 등 저정밀 양자화로 압축해도 가중치가 메모리 대부분을 점유해 KV Cache 공간이 부족. 때문에 동시성, 긴 컨텍스트 능력이 심각하게 제한 됨.
따라서 대형 모델 배치, 긴 컨텍스트, 고동시성을 동시에 만족하려면 단일 서버 경계를 넘어 노드 간 융합이 필요함.
단일 머신에서 클러스터로 확장하면 새 병목 통신 효율이 등장.
특히 MoE의 전문가 병렬은 칩 간 All-to-All 통신이 대량 발생.
이더넷으로 표준 서버를 잇는 기존 Scale-Out은 범융 확장성은 좋지만 초대규모 AI 부하에서 대역폭, 지연이 제약되기 때문에 클러스터가 클수록 Token 생산 효율이 오히려 떨어짐.
전통 서버 구조 : 노드 간 네트워크 장비(spine/leaf)로 연결. 통신 비중 20 – 30%
슈퍼노드 구조 : 고속 인터커넥트 버스는 Peer-to-peer 연결, 메모리 통합 주소 지정, TB급 풀메시 대역폭
수퍼노드 : 고속 버스급 인터커넥트로 수십 – 수천 개 AI 칩을 물리적으로 랙 전체 또는 랙 간에 통합하고, 논리적으로 ‘한 대의 컴퓨터’로 융합
동일 슈퍼노드 도메인 내 AI 칩 32개 이상, 고대역폭(>400GB/s), 저지연(<500ns), 통합 메모리 주소 지정
(기존 서버 클러스터 대비 핵심 변화)
통합 메모리 주소 지정 : 분산 자원을 공유 메모리 풀로 함.
기존엔 카드마다 독립 메모리라 모델/데이터를 장치 간 계속 이동해야 했음.
메모리 풀링으로 분산 메모리를 통합 주소 공간으로 추상화해 원격 메모리 직접 접근 가능 → 모델 파라미터 칩 간 통합 관리, KV Cache 인스턴스 간 공유, 대형 모델이 단일 카드 메모리에 제약 받지 않음. ‘고립된 여러 장치’ → ‘메모리를 공유하는 대형 컴퓨터’
고대역폭/저지연 인터커넥트 : 통신이 연산 효율에 미치는 영향 축소
MoE는 본질적으로 통신 집약형.
고속 인터커넥트와 메모리 시맨틱 접근으로 네트워크 통신을 로컬 접근에 가까운 방식으로 바꿔 오버헤드 대폭 감소.
가치는 피크 연산력보다 더 많은 자원이 데이터 대기 대신 실제 Token 생산에 참여하는 것.
DeepSeek, Qwen 등 MoE 추론에서 엔드투엔드 성능 3배 이상 향상.
2. 슈퍼노드 기반 추론 아키텍처 혁신
1) 대규모 전문가 병렬 : MoE 처리량 잠재력 해방
기존 클러스터는 통신 효율 제약으로 전문가 규모 확장이 어려웠으나, 슈퍼노드의 대규모 메모리 풀, 고속 인터커넥트가 대규모 전문가 병렬을 가능케 함.
EP 카드가 많을수록 Decode 연산 시간은 줄고, 카드 간 All-to-All 통신 부담은 커지지만, 슈퍼노드의 대역폭 덕에 시스템 전체는 최적 상태 유지
2) P-D-C 완전 피어 아키텍처 : KV Chache 전역화로 중복 계산 제거, TTFT 대폭 감소
다중 턴 대화, Agent 작업에선 기존 컨텍스트 재사용이 많지만, 기존 아키텍처는 KV Cache가 단일 인스턴스에 묶여 공유 불가 → 같은 이력을 반복 Prefill
슈퍼노드 통합 메모리 주소 지정을 기반으로 P-D-C 완전 피어 방향으로 진화.
Prefill은 컨텍스트 계산, Decode는 Token 생성, Cache는 상태 공유.
KV Cache는 더 이상 단일 이스턴스 소유가가 아니라 연산도메인 전체의 공유 자원.
KV Cache 인지 라우팅과 결합해 이미 컨텍스트 캐시를 가진 인스턴스를 우선 스케줄링 → 중복 Prefill 감소, TTFT 하락, Token 생산 효율 향상.
추론 시스템이 ‘연산 모델’에서 ‘연산+상태 관리 모델’로 전환됨을 의미.
3. 다양한 슈퍼노드 형태 : 대/중/소 시나리오의 고성능 추론 수요 충족
1) 중소 규모 : 64카드/96카드 슈퍼노드로 다양한 사양의 PD 분리 대규모 전문가 병렬 인스턴스 배치
2) 대규모 고동시성 추론, 모델 학습, 핵심 생산
수백 – 수천 카드로 확장해 슈퍼컴퓨팅 시스템 형성.
더 중요한 점은 논리 분할 능력.
4. 슈퍼노드 발전 추세
기술 탐색에서 산업 규모 적용으로 이동하며 AI 인프라 진화의 주요 방향이 됨.
세방향으로 진화.
1) 규모 지속 확대 : 기존 서버 클러스터 경계를 넘어 천 카드 → 만 카드 급으로
2) 인터케넥트 지속 업그레이드 : 마이크로초 급 → 나노초급 지연, Tbps급 대역폭과 더 효율적 토폴로지.
기존 전기 인터커넥트는 고주파 손실, 전력 병목에 직면 → 광 인터커넥트가 차세대 핵심. NPO(근접 패키지 광학)이 핵심 기술 경로.
3) 자원 지속 분리 : 추론/멀티모달/Agent 복잡화로 연산/메모리/통신 수요가 차별화.
향후 AF 분리(Attention-FFN/MoE 분리 배치), 멀티모달 VAT(시각-음성-텍스트 아키텍처), LLM 분리(LLM 구성 요소별 분리 배치) 등 신규 배치 모델 지원 필요.
최종 목표 : 각 AI 부하가 가장 적합한 연산 자원을 동적으로 얻는 것.
※ 화웨이, 중국 건설은행 공동 발간 2026년 AI 데이터센터 백서 (Token-Centric AI Infra, Part. 3)
● Token-Centric AI Infra
○ L2 슈퍼노드 클러스터 : 조 단위 MoE 모델 고동시성 배치 아키텍처
슈퍼노드가 단일 연간 도메인 협업 효율을 높인다면, 슈퍼노드 클러스터는 AI 규모화 생산 문제를 해결.
여러 슈퍼노드를 네트워크, 스토리지와 융합해 통합 AI 생산 시스템으로 함.
1. 슈퍼노드 클러스터의 핵심 구성 : 4대 기반 협업
1) AI Computing (GPU, NPU) 기반 : 대형 학습모델, 추론 능력
2) 네트워크 기반 : 슈퍼노드 간 고속 인터커넥트, 클러스터 확장
3) AI 스토리지 기반 : 모델 데이터, KV Cache, Agent 장기 기억
4) 범용 Computing (CPU) 기반 : 작업 오케스트레이션, 툴 호출, Agent 실행 환경
AI Computing은 생각, 범용 Computing은 행동, AI 스토리지는 기업, 네트워크는 연결을 담당.
2. Scale-Out 네트워크 : 여러 슈퍼노드를 하나의 연산 도메인으로
Scale-Out 네트워크는 클러스터의 연산/데이터 자원을 연결해 클러스터급 AI 협업을 실현.
한편으로는 여러 슈퍼노드를 연결해 대형 모델 학습/추론을 협업하고, 다른 한편으론 AI 스토리지와 연결해 모델 상태, KV Cache 등에 효율적 접근 경로를 제공. → 컨텍스트 상태를 클러스터 범위에서 공유/재사용
(주요 트래픽 유형)
1) KV Cache 통신 : PD 분리와 컨텍스트 상태 공유 지원
2) 활성화(Activation)/MoE 통신 : Decode 인스턴스 모델 구조 분리 후 모듈 간 협업
3) Prefix Cache 통신 : 인스턴스 간 컨텍스트 재사용
Scale-Out 네트워크가 운반하는 대상은 전통적 데이터 교환에서 모델 상태/연산 활성화/컨텍스트 기억으로 확장, AI 추론 클러스터 규모화의 핵심 인프라가 됨.
(Scale-Out 네트워크의 핵심 기술 추세 : 천 가속기(카드) → 만 가속기 → 10만 가속기)
1) 아키텍처 : 다단 Clos → 멀티 플레인/평탄화 네트워크
다단 Clos는 규모가 커질수록 계층, 비용, 지연 증가.
멀티 플레인은 대규모 Clos를 서로 독립적인 저계층 서브넷 여러 개로 나누고, 카드 인터페이스를 분할해 각 플레인에 접속 → 포트 자원을 연산에 최대한 할당. 같은 포트 비용으로 네트워크 규모 한 자릿수(10배) 향상.
가치 : 클러스터 규모 경계 돌파
2) 통신 최적화 : 정적 포워딩 → 지능형 스케줄링
AI 통신은 대역폭이 크고 동시성이 높으며 패턴이 복잡해 기존 해시 부하분산은 링크 불균형/병목을 낳음.
네트워크급 부하분산(전역 트래픽 인지, 경로 동적 최적화) + 단말-네트워크 협조 혼잡 제어(NIC와 스위치 협업으로 대기열/꼬리 지연 감소)
가치 : 대역폭 활용률 향상, 안정적 Token 생산 보장.
3) 인터커넥트 : 단일 데이터센터 → 교차 연산 도메인
전기 스위칭은 만 – 10만 가속기(카드) 규모에서 전력/확장 압박 → 광회로 스위칭(OCS) 이 초대규모 AI 네트워크에 진입.
광 도메인 고속 직결로 스위칭 계층과 전력/지연 감소.
다만 안정적 대규모 트래픽에 적합해 동적 버스트 트래픽은 전기 스위칭이 담당 → 장기 공존.
전력/토지/냉각 제약으로 연산력이 단일 DC 경계를 넘으며 Scale-Across(캠퍼스 간/DC 간 연산 인터커넥트)가 새 방향.
선도 기업은 지역 간 협업을, 더 많은 기업은 캠퍼스 간 추론 멀티 액티브/재해복구로 신뢰성 향상.
4. AI 스토리지 : 연산 클러스터의 장기 기억
Agent 시대에 KV Cache는 추론 비용/성능을 좌우하는 핵심 수단.
Agent 작업은 다중 툴 호출, 컨텍스트 상호작용을 포함하며, 후속 요청이 기존 컨텍스트를 대량 재사용하고 소량만 추가하는 ‘추가만 하고 수정하지 않는’ 패턴 → KV Cache 재사용 가치가 매우 높음.
예) AI 코딩은 수 시간 – 수일 지속, 컨텍스트 64/128K – 백만 Token, 작업당 KV Cache 수백 GB/TB급.
(KV Cache가 AI 인프라에 주는 핵심 과제)
1) 온칩 메모리에 다 못 담음
초장문 컨텍스트(64K – 1M Token)로 작업당 KV Cache가 수백 GB – TB로 온칩 메모리 용량 초과
2) 기존 계층형 스토리지 I/O 지연이 큼
NPU → SSD 데이터가 DDR/PCle 스위칭 등 다단계 중계를 거쳐 지연이 크게 늘어 실시간성 충족 어려움.
3) SSD 잦은 쓰기로 수명 단축
빈번한 읽기/쓰기로 일일 전체 쓰기 횟수(DWPD)가 10회 이상, SSD 수명 크게 감소
(진화 방향)
로컬 캐시 → 전역 계층형 KV 공유 풀 : 캐시 관리가 AI 인프라의 공공 역량이 됨.
여러 슈퍼노드가 KV Cache를 공유해 어느 추론 인스턴스든 기존 KV Cache 재사용 → Prefix Cache 적중률 향상.
접근 빈도/지연 요구에 따라 계층 간 자동 이동(핫 데이터는 온칩/DDR, 웜 데이터는 공유 캐시 풀, 장기 데이터는 대용량 스토리지).
최종 목표 : 상위 추론 서비스가 물리 위치를 신경 쓰지 않고 통합 기억 공간처럼 기업급 KV Cache를 호출
1) Level 1 : 온칩 메모리 / 용량 : 수십 – 백 GB급 / 지연 : 나노초급 / 활성 KV : 현재 추론 인스턴스가 사용 중인 핫 데이터, 최저 지연
2) Level 2 : DDR 메모리 풀 / 용량 : TB급 / 지연 : 백 나노초급 / 핫 KV : 단기 세션 컨텍스트, 온칩 메모리 압력 완화
3) Level 3 : 공유 KV Cache 풀 / 용량 : 수십 TB급 / 지연 : 마이크로초급 / 웜 KV : 슈퍼노드 범위 컨텍스트 재사용, 인스턴스 간 캐시 공유
4) Level 4 : 클러스터급 AI 스토리지 / 용량 : PB급 / 지연 : 밀리초급 / 콜드 KV : 슈퍼노드 간 영속적 KV Cache 관리
호스트 경유 이동 → NPU-SSD 직결(NDS) : 기존엔 스토리지 프로토콜 스택-호스트 CPU-메모리 다단계 이동.
AI 칩 직통 접근, KV 시맨틱 오프로드, 메모리 시맨틱 프로토콜 경로를 줄여 KV Cache 접근을 메모리 접근 수준에 근접.
SSD → SSU : 저장 매체 수명 향상.
SSD가 시맨틱 스토리지 유닛(SSU, Semantic Storage Unit)으로 진화.
KV Cache 데이터 시맨틱을 인지해 생명주기 인지 집계, 지능형 마모 균등화로 쓰기 증폭 70% 이상 감소, DWPD 10회 이상 → 3회 이내, 수명 2 – 3배 연장.
긴 컥텍스트 Agent 애플리케이션에서 추론 비용을 결정하는 것은 연산 규모만이 아니라, 컨텍스트 상태를 지속적으로 저장, 공유, 재사용할 수 있는가임.
통합 컨텍스트 관리 능력을 갖춘 AI Infra가 더 낮은 비용, 더 높은 효율로 지속적 지능 생산을 지원
5. 범용 연산 자원 : Agent의 행동 엔진
(Agentic 시대의 새 분업) : AI 연산은 ‘생각’, 범용 연산은 ‘행동’.
작업 오케스트레이션, 툴 호출, 코드 실행, 환경 상호작용은 범용 연산에서 실행 됨.
범용 연산은 전통 업무 서버에서 Agent 네이티브 실행 환경으로 업그레이드되어야 하며 4대 핵심 역량 필요.
(4대 핵심 역량)
1) 빠름 : 고동시성, 밀리초 기동
Agent는 고동시성, 짧은 생명주기, 향후 백만 단위 작업 인스턴스가 동시 실행될 수 있음.
‘세션당 샌드박스 1개’ 방식으로 빠르게 생성/폐기해야 함.
스냅샷 복구 기반 밀리초급 콜드 스타트
단일 머신에 수백 – 천 개 Agent 인스턴스 고밀도 배치
대용량, 고대역폭 메모리로 고동시성 상태 운영 → 이 요구가 범용 연산을 전통 서버에서 슈퍼노드 형태로 이끔. (대용량 메모리, 고대역폭, 칩 간 고속 인터커넥트를 갖춘 시스템급 아키텍처만 Agent 규모화 운영 가능)
2) 안정 : 서비스 신뢰성 → 작업 신뢰성
Agent 작업이 분 단위 상호작용에서 시간, 일 단위 자율 실행으로.
최전선 코딩 Agent는 1회 연속 실행이 25시간에 도달 → 기존 ‘서비스 99.9% 가용’으로는 부족.
영속 실행, 작업 상태 체크포인트, 중단 지점 재개/노드 간 이전, AI 스토리지와 결합한 컨텍스트 장기 보존 필요.
신뢰성 기준이 ‘서비스 무중단’에서 ‘작업 반드시 완료’로 격상
3) 안전 : 강력한 격리가 Agent 실행의 기반
최대 보안 위험은 모델 자체의 불확실한 행동. (잘못된 코드 실행, 비정상 툴 호출, 데이터 경계 초과 접근)
microVM급 강격리 샌드박스, 네트워크/권한 기본 격리, 세션급 보안 통제, 전 과정 행위 감사 필요.
금융/정부/에너지 등에선 결기/감사 능력이 Agent 생산 배치의 기본 문턱
4) 융합 : 범용 연산, AI 연산, 스토리지 협조 스케줄링
Agent 실행은 본질적으로 여러 자원 도메인에 걸침 – 범용 연산(오케스트레이션, 툴, 실행 환경), AI 연산(추론, 의사결정), AI 스토리지(컨텍스트 상태, 지식, 장기 기억)
범용 연산, AI 연산 협조 스케줄링(작업 수요에 따라 동적 매칭),
연산-스토리지 고효율 협업(컨텍스트, 상태 접근 지연 감소)
최종 목표 : Agent의 ‘생각, 행동, 기억’을 통합 실행 체계로
(미래 전망) : 범용 연산, AI 연산 융합 슈퍼노드로
현재 NPU 중심 AI 연산 슈퍼노드와 CPU 중심 범용 연산 슈퍼노드 두 유형이 형성 중이나, Agent는 본래 ‘생각’과 ‘행동’을 융합하므로 두 자원을 통합 아키텍처/협조 스케줄링으로 융합한 Agent 지향 일체형 슈퍼노드 체계가 중요한 진화 방향
차세대 AI 연산 클러스터의 전체 그림 : AI 연산 = 생각, 범용 연산 = 행동, AI 스토리지 = 기억, 고성능 네트워크 = 이 3가지의 연결
향후 네 요소는 Agent 시대의 새로운 AI 인프라로 더욱 융합됨.
● Token-Centric AI Infra
○ L2 슈퍼노드 클러스터 : 조 단위 MoE 모델 고동시성 배치 아키텍처
슈퍼노드가 단일 연간 도메인 협업 효율을 높인다면, 슈퍼노드 클러스터는 AI 규모화 생산 문제를 해결.
여러 슈퍼노드를 네트워크, 스토리지와 융합해 통합 AI 생산 시스템으로 함.
1. 슈퍼노드 클러스터의 핵심 구성 : 4대 기반 협업
1) AI Computing (GPU, NPU) 기반 : 대형 학습모델, 추론 능력
2) 네트워크 기반 : 슈퍼노드 간 고속 인터커넥트, 클러스터 확장
3) AI 스토리지 기반 : 모델 데이터, KV Cache, Agent 장기 기억
4) 범용 Computing (CPU) 기반 : 작업 오케스트레이션, 툴 호출, Agent 실행 환경
AI Computing은 생각, 범용 Computing은 행동, AI 스토리지는 기업, 네트워크는 연결을 담당.
2. Scale-Out 네트워크 : 여러 슈퍼노드를 하나의 연산 도메인으로
Scale-Out 네트워크는 클러스터의 연산/데이터 자원을 연결해 클러스터급 AI 협업을 실현.
한편으로는 여러 슈퍼노드를 연결해 대형 모델 학습/추론을 협업하고, 다른 한편으론 AI 스토리지와 연결해 모델 상태, KV Cache 등에 효율적 접근 경로를 제공. → 컨텍스트 상태를 클러스터 범위에서 공유/재사용
(주요 트래픽 유형)
1) KV Cache 통신 : PD 분리와 컨텍스트 상태 공유 지원
2) 활성화(Activation)/MoE 통신 : Decode 인스턴스 모델 구조 분리 후 모듈 간 협업
3) Prefix Cache 통신 : 인스턴스 간 컨텍스트 재사용
Scale-Out 네트워크가 운반하는 대상은 전통적 데이터 교환에서 모델 상태/연산 활성화/컨텍스트 기억으로 확장, AI 추론 클러스터 규모화의 핵심 인프라가 됨.
(Scale-Out 네트워크의 핵심 기술 추세 : 천 가속기(카드) → 만 가속기 → 10만 가속기)
1) 아키텍처 : 다단 Clos → 멀티 플레인/평탄화 네트워크
다단 Clos는 규모가 커질수록 계층, 비용, 지연 증가.
멀티 플레인은 대규모 Clos를 서로 독립적인 저계층 서브넷 여러 개로 나누고, 카드 인터페이스를 분할해 각 플레인에 접속 → 포트 자원을 연산에 최대한 할당. 같은 포트 비용으로 네트워크 규모 한 자릿수(10배) 향상.
가치 : 클러스터 규모 경계 돌파
2) 통신 최적화 : 정적 포워딩 → 지능형 스케줄링
AI 통신은 대역폭이 크고 동시성이 높으며 패턴이 복잡해 기존 해시 부하분산은 링크 불균형/병목을 낳음.
네트워크급 부하분산(전역 트래픽 인지, 경로 동적 최적화) + 단말-네트워크 협조 혼잡 제어(NIC와 스위치 협업으로 대기열/꼬리 지연 감소)
가치 : 대역폭 활용률 향상, 안정적 Token 생산 보장.
3) 인터커넥트 : 단일 데이터센터 → 교차 연산 도메인
전기 스위칭은 만 – 10만 가속기(카드) 규모에서 전력/확장 압박 → 광회로 스위칭(OCS) 이 초대규모 AI 네트워크에 진입.
광 도메인 고속 직결로 스위칭 계층과 전력/지연 감소.
다만 안정적 대규모 트래픽에 적합해 동적 버스트 트래픽은 전기 스위칭이 담당 → 장기 공존.
전력/토지/냉각 제약으로 연산력이 단일 DC 경계를 넘으며 Scale-Across(캠퍼스 간/DC 간 연산 인터커넥트)가 새 방향.
선도 기업은 지역 간 협업을, 더 많은 기업은 캠퍼스 간 추론 멀티 액티브/재해복구로 신뢰성 향상.
4. AI 스토리지 : 연산 클러스터의 장기 기억
Agent 시대에 KV Cache는 추론 비용/성능을 좌우하는 핵심 수단.
Agent 작업은 다중 툴 호출, 컨텍스트 상호작용을 포함하며, 후속 요청이 기존 컨텍스트를 대량 재사용하고 소량만 추가하는 ‘추가만 하고 수정하지 않는’ 패턴 → KV Cache 재사용 가치가 매우 높음.
예) AI 코딩은 수 시간 – 수일 지속, 컨텍스트 64/128K – 백만 Token, 작업당 KV Cache 수백 GB/TB급.
(KV Cache가 AI 인프라에 주는 핵심 과제)
1) 온칩 메모리에 다 못 담음
초장문 컨텍스트(64K – 1M Token)로 작업당 KV Cache가 수백 GB – TB로 온칩 메모리 용량 초과
2) 기존 계층형 스토리지 I/O 지연이 큼
NPU → SSD 데이터가 DDR/PCle 스위칭 등 다단계 중계를 거쳐 지연이 크게 늘어 실시간성 충족 어려움.
3) SSD 잦은 쓰기로 수명 단축
빈번한 읽기/쓰기로 일일 전체 쓰기 횟수(DWPD)가 10회 이상, SSD 수명 크게 감소
(진화 방향)
로컬 캐시 → 전역 계층형 KV 공유 풀 : 캐시 관리가 AI 인프라의 공공 역량이 됨.
여러 슈퍼노드가 KV Cache를 공유해 어느 추론 인스턴스든 기존 KV Cache 재사용 → Prefix Cache 적중률 향상.
접근 빈도/지연 요구에 따라 계층 간 자동 이동(핫 데이터는 온칩/DDR, 웜 데이터는 공유 캐시 풀, 장기 데이터는 대용량 스토리지).
최종 목표 : 상위 추론 서비스가 물리 위치를 신경 쓰지 않고 통합 기억 공간처럼 기업급 KV Cache를 호출
1) Level 1 : 온칩 메모리 / 용량 : 수십 – 백 GB급 / 지연 : 나노초급 / 활성 KV : 현재 추론 인스턴스가 사용 중인 핫 데이터, 최저 지연
2) Level 2 : DDR 메모리 풀 / 용량 : TB급 / 지연 : 백 나노초급 / 핫 KV : 단기 세션 컨텍스트, 온칩 메모리 압력 완화
3) Level 3 : 공유 KV Cache 풀 / 용량 : 수십 TB급 / 지연 : 마이크로초급 / 웜 KV : 슈퍼노드 범위 컨텍스트 재사용, 인스턴스 간 캐시 공유
4) Level 4 : 클러스터급 AI 스토리지 / 용량 : PB급 / 지연 : 밀리초급 / 콜드 KV : 슈퍼노드 간 영속적 KV Cache 관리
호스트 경유 이동 → NPU-SSD 직결(NDS) : 기존엔 스토리지 프로토콜 스택-호스트 CPU-메모리 다단계 이동.
AI 칩 직통 접근, KV 시맨틱 오프로드, 메모리 시맨틱 프로토콜 경로를 줄여 KV Cache 접근을 메모리 접근 수준에 근접.
SSD → SSU : 저장 매체 수명 향상.
SSD가 시맨틱 스토리지 유닛(SSU, Semantic Storage Unit)으로 진화.
KV Cache 데이터 시맨틱을 인지해 생명주기 인지 집계, 지능형 마모 균등화로 쓰기 증폭 70% 이상 감소, DWPD 10회 이상 → 3회 이내, 수명 2 – 3배 연장.
긴 컥텍스트 Agent 애플리케이션에서 추론 비용을 결정하는 것은 연산 규모만이 아니라, 컨텍스트 상태를 지속적으로 저장, 공유, 재사용할 수 있는가임.
통합 컨텍스트 관리 능력을 갖춘 AI Infra가 더 낮은 비용, 더 높은 효율로 지속적 지능 생산을 지원
5. 범용 연산 자원 : Agent의 행동 엔진
(Agentic 시대의 새 분업) : AI 연산은 ‘생각’, 범용 연산은 ‘행동’.
작업 오케스트레이션, 툴 호출, 코드 실행, 환경 상호작용은 범용 연산에서 실행 됨.
범용 연산은 전통 업무 서버에서 Agent 네이티브 실행 환경으로 업그레이드되어야 하며 4대 핵심 역량 필요.
(4대 핵심 역량)
1) 빠름 : 고동시성, 밀리초 기동
Agent는 고동시성, 짧은 생명주기, 향후 백만 단위 작업 인스턴스가 동시 실행될 수 있음.
‘세션당 샌드박스 1개’ 방식으로 빠르게 생성/폐기해야 함.
스냅샷 복구 기반 밀리초급 콜드 스타트
단일 머신에 수백 – 천 개 Agent 인스턴스 고밀도 배치
대용량, 고대역폭 메모리로 고동시성 상태 운영 → 이 요구가 범용 연산을 전통 서버에서 슈퍼노드 형태로 이끔. (대용량 메모리, 고대역폭, 칩 간 고속 인터커넥트를 갖춘 시스템급 아키텍처만 Agent 규모화 운영 가능)
2) 안정 : 서비스 신뢰성 → 작업 신뢰성
Agent 작업이 분 단위 상호작용에서 시간, 일 단위 자율 실행으로.
최전선 코딩 Agent는 1회 연속 실행이 25시간에 도달 → 기존 ‘서비스 99.9% 가용’으로는 부족.
영속 실행, 작업 상태 체크포인트, 중단 지점 재개/노드 간 이전, AI 스토리지와 결합한 컨텍스트 장기 보존 필요.
신뢰성 기준이 ‘서비스 무중단’에서 ‘작업 반드시 완료’로 격상
3) 안전 : 강력한 격리가 Agent 실행의 기반
최대 보안 위험은 모델 자체의 불확실한 행동. (잘못된 코드 실행, 비정상 툴 호출, 데이터 경계 초과 접근)
microVM급 강격리 샌드박스, 네트워크/권한 기본 격리, 세션급 보안 통제, 전 과정 행위 감사 필요.
금융/정부/에너지 등에선 결기/감사 능력이 Agent 생산 배치의 기본 문턱
4) 융합 : 범용 연산, AI 연산, 스토리지 협조 스케줄링
Agent 실행은 본질적으로 여러 자원 도메인에 걸침 – 범용 연산(오케스트레이션, 툴, 실행 환경), AI 연산(추론, 의사결정), AI 스토리지(컨텍스트 상태, 지식, 장기 기억)
범용 연산, AI 연산 협조 스케줄링(작업 수요에 따라 동적 매칭),
연산-스토리지 고효율 협업(컨텍스트, 상태 접근 지연 감소)
최종 목표 : Agent의 ‘생각, 행동, 기억’을 통합 실행 체계로
(미래 전망) : 범용 연산, AI 연산 융합 슈퍼노드로
현재 NPU 중심 AI 연산 슈퍼노드와 CPU 중심 범용 연산 슈퍼노드 두 유형이 형성 중이나, Agent는 본래 ‘생각’과 ‘행동’을 융합하므로 두 자원을 통합 아키텍처/협조 스케줄링으로 융합한 Agent 지향 일체형 슈퍼노드 체계가 중요한 진화 방향
차세대 AI 연산 클러스터의 전체 그림 : AI 연산 = 생각, 범용 연산 = 행동, AI 스토리지 = 기억, 고성능 네트워크 = 이 3가지의 연결
향후 네 요소는 Agent 시대의 새로운 AI 인프라로 더욱 융합됨.
※ 화웨이, 중국 건설은행 공동 발간 2026년 AI 데이터센터 백서 (Token-Centric AI Infra, Part. 4)
● Token-Centric AI Infra
○ L3. 연산 스케줄링 : ‘잘 짓기’에서 ‘잘 쓰기’로, 슈퍼노드 잠재력의 효율적 해방
슈퍼노드는 단일 노드 연산 경계를 돌파했지만, 수백 – 수천 칩의 복잡한 클러스터를 지속적이고 효율적으로 스케줄링 하는 것이 AI 인프라 가치 실현의 관건.
연산 스케줄링 = 슈퍼노드 클러스터의 ‘운영체제’
(해결해야 할 3대 문제)
1) 자원 고효율 활용 : 규모, 유형이 다른 AI 작업이 슈퍼노드 자원을 공유
2) 부하 동적 적응 : 요청 변화, 모델 상태에 따라 자원 동적 매칭
3) 클러스터 지속 운영 : 장애 탐지, 작업 이전, 자원 복구로 장기 안정 운영
1. 탄력 스케줄링 : 슈퍼노드 자원을 ‘필요할 때 호출’
대형 모델 학습, 고동시성 추론은 수백- 수천 가속기가 필요한 반면, OCR, 임베딩, 음성, 소형 모델 추론 등 다수 작업은 소량 자원만 필요. → 서버 시대의 ‘한 번 할당, 장기 점유’ 방식을 바꿔야 함.
1) 자원 신축성 : 고정 사양 → 작업별 할당
대규모 작업 → 자원 집약 : 여러 슈퍼노드를 고속 인터커넥트로 통합 자원 풀화, 천 가속기급 학습, 대규모 추론, 노드 간 PD 분리 지원
소규모 작업 → 자원 분할 :
(슈퍼노드급) 수백 가속기 슈퍼노드를 여러 논리 자원 도메인으로 나눠 업무 격리 운영
(단일 가속기급) vNPU 등 가상화로 한 가속기를 여러 연산 인스턴스로 분할
2) 자원 유동성 : 정적 점유 → 동적 재사용
AI 부하는 뚜렷한 조석(tidal) 특성을 지님.
낮엔 온라인 추론 피크, 밤엔 학습, 파인튜닝, 데이터 처리.
업무 우선순위 기반 동적 재사용.
핵심 생산 추론에 확정적 자원 보장.
저점 시간대 자원을 학습, 파인튜닝 등 오프라인 작업에 자동 투입.
고우선 작업 도착 시 저우선 작업은 일시정지, 이전, 강등하여 학습/추론 혼합 배치, 낮과 저녁 재조정, 우선 순위 스케줄링으로 시간 축의 유휴 연산력을 유호 Token 생산력으로 전환
2. 고가용 스케줄링 : AI 서비스를 ‘실행 가능’에서 ‘지속 실행’으로
규모가 클수록 단일 장애 확률이 높아짐.
단일 지점 보호에서 업무 연속성 지향 시스템 보장으로 격상.
3. 지능형 스케줄링 : 자원 관리에서 AI 생산 최적화로
전통 스케줄링은 ‘어디에 유휴 자원이 있나’를 묻지만, AI 시대에는 ‘어떤 자원이, 언제, 어떤 방식으로, 어떤 작업을 처리해야 최대 비즈니스 가치를 내는가’에 답해야 함.
○ L4. AI 서비스 플랫폼 층 : Token 생산 폐루프의 마지막 고리
슈퍼노드는 고효율 연산 공급, 연산 스케줄링 자원 활용 효율 향상,
AI 서비스 플랫폼은 모델, 데이터, 업무 애플리케이션을 연결해 연산 자원을 지능형 생산 가치로 전환.
세 가지 핵심 역량층이 연산 → Token → 지식 → 행동의 지능 생산 폐루프를 구성.
1) 모델 실행 서비스
연산력을 Token 생산능력으로 전환 (모델 배치, 추론 최적화, 운영 관리)
2) 데이터 기반 서비스
Token에 기업 지식 부여 (지식베이스, 데이터관리, 컨텍스트 서비스로 기업 데이터를 모델이 이해, 호출 가능한 지능 자산으로)
3) Agent 실행 환경
Token이 업무 행동을 구동 (Agent 프레임워크, 툴 호출, 작업 오케스트레이션)
1. 모델 실행 및 서비스 : 연산력을 Token으로 바꾸는 핵심 엔진
1) 모델 실행(Model Runtime) → Token 생산 효율 결정
추론 엔진 (MindIE, vLLM, SGLang)
제한된 HW에서 모델, 스케줄링 최적화와 SW-HW 협업으로 Token 생산 효율 극대화.
모델 실행 도구 → AI 런타임 플랫폼으로 진화
미래 추론 엔진 경쟁의 핵심 : 단위 연산력당 얼마나 많은 유효 Token을 내는가.
2) 모델 서비스(Model Serving) → AI 역량 전달 효율 결정
학습 엔진 (Megatron-LM, DeepSpeed, PyTorch FSDP, Ascend 생태계의 MindSpeed.
대규모 학습을 AI 클러스터에 효율적으로 매핑 (분산 학습 효율, 다중 가속기/다중 노드 협업, 메모리/통신 비용 최적화)
2. 데이터 기반 서비스 : Token이 기업 지식을 담도록
기초 모델은 누구나 얻을 수 있는 범용 지능이 되고 있으며, 기업의 장기 경쟁우위는 사유 데이터, 업무 지식, 지속 피드백의 데이터 폐루프에서 나옴.
1) 지식 벡터 DB
모델이 기업 지식을 이해 : 규정/제품 문서/전문가 경험 등 비정형 지식을 벡터화해 RAG 지원
2) 그래프 DB
모델이 업무 관계를 이해 : 지식 그래프, 온톨로지로 기업 객체, 관계, 업무 시맨틱을 구조화, 그래프 DB로 저장/연산해 추론 가능한 업무 지식 제공
3) 장기 기억(Agent Memory)
지속적 인지 능력 : 작업/세션을 넘어 축적된 업무 경험과 컨텍스트를 관리.
일회성 상호작용 도구에서 업무 프로세스에 지속 참여하는 지능 주체로
4) 학습 데이터셋
AI 역량 최적화 폐루프 : 업무 상호작용 데이터, 추론 로그, 인간 피드백을 축적해 ‘사용 → 피드백 → 최적화’ 데이터 플라이휠 형성
앞의 세 가지는 Token 생성의 지식 공급을, 학습 데이터셋은 피드백을 통한 지속 진화를 담당.
3. Agent 실행 환경 : Token이 업무 행동을 구동
전통 앱은 ‘사용자 요청 → 시스템 응답’, Agent는 자율 계획, 툴 호출, 지속 실행으로 복잡한 작업 완료.
AI 연산은 추론/결정, AI 데이터 서비스는 컨텍스트/장기기억, 범용 연산 환경은 툴 실행, 업무 조작 담당.
○ 기업 AI 인프라 기획/구축의 중점 방향
현재 연산 수요만 보지 말고, 모델의 지속 진화와 지능형 애플리케이션 규모화를 겨냥해 자원 탄력성, Token 고효율 생산, 생산급 회복탄력성 세 방향에서 전체 설계해야 함.
1. 자원 탄력성 :연산 투자가 미래 변화에 지속 적응하도록
AI 인프라의 최대 투자 리스크는 완공 후 미래 모델, 업무 변화에 적응하지 못하는 것.
대규모 학습, MoE 추론, Agent 클러스터도, 부서 앱, 소형 모델 추론도 지원해야 함.
위로 확장(Scale-up) : 슈퍼노드, 클러스터로 더 큰 추론 및 학습 지원
아래로 분할 : 자원 분할, 격리로 다양한 업무 수요 충족
(목표) 한 번의 인프라 투자가 모델 규모, 업무 형태, 앱 수요의 지속 변화에 적응.
기업 조달 주기는 ‘년’ 단위, AI 기술 진화는 ‘월’ 단위로 탄력적 아키텍처만 그 간극을 줄일 수 있음.
2. Token 고효율 생산 :연산력을 유효 지능으로
많은 기업의 공통 문제 : 연산 투자는 많은데 활용률은 낮고 현업은 여전히 연산 부족을 느낌.
AI 연산 활용률만으로는 측정 불가 (작업 스케줄링 효율, 모델 추론 효율, 상태 재사용 능력, 업무 산출 능력을 반영하지 못함.)
자원 사용률 → 단위 연산력당 지속적으로 생산되는 유효 Token으로 관점 전환
1) 연산 효율 : 모델 최적화, 병렬 연산, 추론 스케줄링으로 더 많은 연산을 유효 계산에
2) 상태 효율 : KV Cache, 캐시, 상태 관리로 기존 결과 재사용, 긴텍스트, Agent 작업 비용 절감.
3) 시스템 효율 : 통합 스케줄링, 혼합 배치, 자원 오케스트레이션으로 업무 간 자원 협업 향상.
질문을 ‘연산 활용률이 얼마인가’에서 ‘단위 투자당 얼마나 많은 유효 Token을 생산하는가?’로 바꿔야 함.
3. 생산급 회복탄력성 : AI를 신뢰할 수 있는 생산 시스템으로
AI가 핵심 업무 프로세스에 들어오면 ‘지능 생산이 중단되면 어떻게 되나?’에 답해야 함.
금융, 에너지 등 핵심 산업에서 생산급 회복탄력성은 ‘최적화 항목’이 아니라 AI 규모화 적용의 기본 역량임.
○ 결론
1. AI 인프라 구축의 핵심 목표는 지능형 생산을 위한 새로운 인프라 역량 구축
2. 미래 기업 간 격차는 연산, 네트워크, 스토리지, 스케줄링 체계의 전체 협업 능력과, 그로부터 나오는 고성능, 대규모, 고품질, 지속 가능한 Token 생산 능력에서 드러날 것.
3. AI가 모델 능력 경쟁에서 규모화 적용으로 넘어가면서, AI 인프라는 연산 운영을 지원하는 인프라에서 지능형 생산을 구동하는 신형 생산 체계로 진화 중이며, 기업이 지능 시대에 진입하는 중요한 기반이자 미래 지능화 경쟁의 핵심 역량이 될 것.
● Token-Centric AI Infra
○ L3. 연산 스케줄링 : ‘잘 짓기’에서 ‘잘 쓰기’로, 슈퍼노드 잠재력의 효율적 해방
슈퍼노드는 단일 노드 연산 경계를 돌파했지만, 수백 – 수천 칩의 복잡한 클러스터를 지속적이고 효율적으로 스케줄링 하는 것이 AI 인프라 가치 실현의 관건.
연산 스케줄링 = 슈퍼노드 클러스터의 ‘운영체제’
(해결해야 할 3대 문제)
1) 자원 고효율 활용 : 규모, 유형이 다른 AI 작업이 슈퍼노드 자원을 공유
2) 부하 동적 적응 : 요청 변화, 모델 상태에 따라 자원 동적 매칭
3) 클러스터 지속 운영 : 장애 탐지, 작업 이전, 자원 복구로 장기 안정 운영
1. 탄력 스케줄링 : 슈퍼노드 자원을 ‘필요할 때 호출’
대형 모델 학습, 고동시성 추론은 수백- 수천 가속기가 필요한 반면, OCR, 임베딩, 음성, 소형 모델 추론 등 다수 작업은 소량 자원만 필요. → 서버 시대의 ‘한 번 할당, 장기 점유’ 방식을 바꿔야 함.
1) 자원 신축성 : 고정 사양 → 작업별 할당
대규모 작업 → 자원 집약 : 여러 슈퍼노드를 고속 인터커넥트로 통합 자원 풀화, 천 가속기급 학습, 대규모 추론, 노드 간 PD 분리 지원
소규모 작업 → 자원 분할 :
(슈퍼노드급) 수백 가속기 슈퍼노드를 여러 논리 자원 도메인으로 나눠 업무 격리 운영
(단일 가속기급) vNPU 등 가상화로 한 가속기를 여러 연산 인스턴스로 분할
2) 자원 유동성 : 정적 점유 → 동적 재사용
AI 부하는 뚜렷한 조석(tidal) 특성을 지님.
낮엔 온라인 추론 피크, 밤엔 학습, 파인튜닝, 데이터 처리.
업무 우선순위 기반 동적 재사용.
핵심 생산 추론에 확정적 자원 보장.
저점 시간대 자원을 학습, 파인튜닝 등 오프라인 작업에 자동 투입.
고우선 작업 도착 시 저우선 작업은 일시정지, 이전, 강등하여 학습/추론 혼합 배치, 낮과 저녁 재조정, 우선 순위 스케줄링으로 시간 축의 유휴 연산력을 유호 Token 생산력으로 전환
2. 고가용 스케줄링 : AI 서비스를 ‘실행 가능’에서 ‘지속 실행’으로
규모가 클수록 단일 장애 확률이 높아짐.
단일 지점 보호에서 업무 연속성 지향 시스템 보장으로 격상.
3. 지능형 스케줄링 : 자원 관리에서 AI 생산 최적화로
전통 스케줄링은 ‘어디에 유휴 자원이 있나’를 묻지만, AI 시대에는 ‘어떤 자원이, 언제, 어떤 방식으로, 어떤 작업을 처리해야 최대 비즈니스 가치를 내는가’에 답해야 함.
○ L4. AI 서비스 플랫폼 층 : Token 생산 폐루프의 마지막 고리
슈퍼노드는 고효율 연산 공급, 연산 스케줄링 자원 활용 효율 향상,
AI 서비스 플랫폼은 모델, 데이터, 업무 애플리케이션을 연결해 연산 자원을 지능형 생산 가치로 전환.
세 가지 핵심 역량층이 연산 → Token → 지식 → 행동의 지능 생산 폐루프를 구성.
1) 모델 실행 서비스
연산력을 Token 생산능력으로 전환 (모델 배치, 추론 최적화, 운영 관리)
2) 데이터 기반 서비스
Token에 기업 지식 부여 (지식베이스, 데이터관리, 컨텍스트 서비스로 기업 데이터를 모델이 이해, 호출 가능한 지능 자산으로)
3) Agent 실행 환경
Token이 업무 행동을 구동 (Agent 프레임워크, 툴 호출, 작업 오케스트레이션)
1. 모델 실행 및 서비스 : 연산력을 Token으로 바꾸는 핵심 엔진
1) 모델 실행(Model Runtime) → Token 생산 효율 결정
추론 엔진 (MindIE, vLLM, SGLang)
제한된 HW에서 모델, 스케줄링 최적화와 SW-HW 협업으로 Token 생산 효율 극대화.
모델 실행 도구 → AI 런타임 플랫폼으로 진화
미래 추론 엔진 경쟁의 핵심 : 단위 연산력당 얼마나 많은 유효 Token을 내는가.
2) 모델 서비스(Model Serving) → AI 역량 전달 효율 결정
학습 엔진 (Megatron-LM, DeepSpeed, PyTorch FSDP, Ascend 생태계의 MindSpeed.
대규모 학습을 AI 클러스터에 효율적으로 매핑 (분산 학습 효율, 다중 가속기/다중 노드 협업, 메모리/통신 비용 최적화)
2. 데이터 기반 서비스 : Token이 기업 지식을 담도록
기초 모델은 누구나 얻을 수 있는 범용 지능이 되고 있으며, 기업의 장기 경쟁우위는 사유 데이터, 업무 지식, 지속 피드백의 데이터 폐루프에서 나옴.
1) 지식 벡터 DB
모델이 기업 지식을 이해 : 규정/제품 문서/전문가 경험 등 비정형 지식을 벡터화해 RAG 지원
2) 그래프 DB
모델이 업무 관계를 이해 : 지식 그래프, 온톨로지로 기업 객체, 관계, 업무 시맨틱을 구조화, 그래프 DB로 저장/연산해 추론 가능한 업무 지식 제공
3) 장기 기억(Agent Memory)
지속적 인지 능력 : 작업/세션을 넘어 축적된 업무 경험과 컨텍스트를 관리.
일회성 상호작용 도구에서 업무 프로세스에 지속 참여하는 지능 주체로
4) 학습 데이터셋
AI 역량 최적화 폐루프 : 업무 상호작용 데이터, 추론 로그, 인간 피드백을 축적해 ‘사용 → 피드백 → 최적화’ 데이터 플라이휠 형성
앞의 세 가지는 Token 생성의 지식 공급을, 학습 데이터셋은 피드백을 통한 지속 진화를 담당.
3. Agent 실행 환경 : Token이 업무 행동을 구동
전통 앱은 ‘사용자 요청 → 시스템 응답’, Agent는 자율 계획, 툴 호출, 지속 실행으로 복잡한 작업 완료.
AI 연산은 추론/결정, AI 데이터 서비스는 컨텍스트/장기기억, 범용 연산 환경은 툴 실행, 업무 조작 담당.
○ 기업 AI 인프라 기획/구축의 중점 방향
현재 연산 수요만 보지 말고, 모델의 지속 진화와 지능형 애플리케이션 규모화를 겨냥해 자원 탄력성, Token 고효율 생산, 생산급 회복탄력성 세 방향에서 전체 설계해야 함.
1. 자원 탄력성 :연산 투자가 미래 변화에 지속 적응하도록
AI 인프라의 최대 투자 리스크는 완공 후 미래 모델, 업무 변화에 적응하지 못하는 것.
대규모 학습, MoE 추론, Agent 클러스터도, 부서 앱, 소형 모델 추론도 지원해야 함.
위로 확장(Scale-up) : 슈퍼노드, 클러스터로 더 큰 추론 및 학습 지원
아래로 분할 : 자원 분할, 격리로 다양한 업무 수요 충족
(목표) 한 번의 인프라 투자가 모델 규모, 업무 형태, 앱 수요의 지속 변화에 적응.
기업 조달 주기는 ‘년’ 단위, AI 기술 진화는 ‘월’ 단위로 탄력적 아키텍처만 그 간극을 줄일 수 있음.
2. Token 고효율 생산 :연산력을 유효 지능으로
많은 기업의 공통 문제 : 연산 투자는 많은데 활용률은 낮고 현업은 여전히 연산 부족을 느낌.
AI 연산 활용률만으로는 측정 불가 (작업 스케줄링 효율, 모델 추론 효율, 상태 재사용 능력, 업무 산출 능력을 반영하지 못함.)
자원 사용률 → 단위 연산력당 지속적으로 생산되는 유효 Token으로 관점 전환
1) 연산 효율 : 모델 최적화, 병렬 연산, 추론 스케줄링으로 더 많은 연산을 유효 계산에
2) 상태 효율 : KV Cache, 캐시, 상태 관리로 기존 결과 재사용, 긴텍스트, Agent 작업 비용 절감.
3) 시스템 효율 : 통합 스케줄링, 혼합 배치, 자원 오케스트레이션으로 업무 간 자원 협업 향상.
질문을 ‘연산 활용률이 얼마인가’에서 ‘단위 투자당 얼마나 많은 유효 Token을 생산하는가?’로 바꿔야 함.
3. 생산급 회복탄력성 : AI를 신뢰할 수 있는 생산 시스템으로
AI가 핵심 업무 프로세스에 들어오면 ‘지능 생산이 중단되면 어떻게 되나?’에 답해야 함.
금융, 에너지 등 핵심 산업에서 생산급 회복탄력성은 ‘최적화 항목’이 아니라 AI 규모화 적용의 기본 역량임.
○ 결론
1. AI 인프라 구축의 핵심 목표는 지능형 생산을 위한 새로운 인프라 역량 구축
2. 미래 기업 간 격차는 연산, 네트워크, 스토리지, 스케줄링 체계의 전체 협업 능력과, 그로부터 나오는 고성능, 대규모, 고품질, 지속 가능한 Token 생산 능력에서 드러날 것.
3. AI가 모델 능력 경쟁에서 규모화 적용으로 넘어가면서, AI 인프라는 연산 운영을 지원하는 인프라에서 지능형 생산을 구동하는 신형 생산 체계로 진화 중이며, 기업이 지능 시대에 진입하는 중요한 기반이자 미래 지능화 경쟁의 핵심 역량이 될 것.