분석일: 2026-07-03 | 섹터: AI Infrastructure / Cloud Computing
생성형 AI 학습 비용 고원: 10조 토큰 이후 스케일 법칙의 붕괴
기초 모델의 개선 속도가 급격히 둔화하고 있다. 데이터 고갈로 인해 합성 데이터 재활용이 불가피해지면서, 능력 당 단위 비용이 급상승하는 구조적 위기다. AI 인프라 업계의 황금기가 끝나고 있다는 신호다.
AI 스케일링 법칙의 한계가 현실화되다
지난 5년간 AI 업계는 단순한 공식으로 움직였다: 데이터와 연산량을 2배 증가시키면 모델 성능이 예측 가능한 선형 궤도 위에서 향상된다는 것. 이를 “스케일링 법칙(Scaling Laws)“이라 부른다. NVIDIA, Meta, Google 같은 플레이어들은 이 패러다임 위에서 수백억 달러를 투자했다.
그러나 2026년 중반, 현실이 명확해지고 있다. 고품질 학습 데이터가 10조 토큰 선에서 고갈되기 시작했다. 인터넷 텍스트, 학술 논문, 코드 저장소—이미 수집 가능한 모든 것이 이미 수집되었다. OpenAI, Anthropic, Mistral은 이제 더 이상 새로운 데이터가 없는 현실과 마주쳤다.
왜 지금 AI 학습 비용이 급상승하는가: 4가지 압박 요인
1. 합성 데이터 품질 악순환: 데이터 부족을 메우기 위해 기업들은 자체 생성 모델의 출력물(합성 데이터)로 학습하기 시작했다. 하지만 합성 데이터는 원본보다 통계적 편향이 심하다. 생성 모델이 반복되는 약점을 증폭시키고, 학습할수록 “모델-상산물 붕괴”가 악화된다. 동일한 성능을 유지하려면 더 많은 토큰, 더 긴 학습 시간이 필요하다.
2. 컴퓨트 비용 고정, 수익률 하락: 데이터센터 전력 비용은 인상되는데 추론(inference) 수익은 정체해 있다. 2024년 GPT-4 API 가격 인하와 경쟁사들의 무분별한 가격 경쟁은 이미 마진을 압박했다. 모델 개선이 더뎌지자 고객들이 “충분히 좋은” 저가 모델(Llama 3, Mistral 8x7B)로 이탈 중이다.
3. 트레이닝 인프라 과잉 투자: 전 세계 GPU 수요는 2023~2024년 히스테리 수준의 상승을 기록했다. NVIDIA의 H100/H200 납기는 수개월 대기였고, 하이퍼스케일러들은 “어쨌든 필요하겠지”라며 추정치를 훨씬 뛰어넘어 구매했다. 2026년 현재 유휴 GPU 용량이 산업 전반에서 가시화되고 있다. 초기 투자를 회수할 수 없는 상황이 도래했다.
4. 미국-중국 기술 제제의 불확실성: 고급 칩셋(H100급)에 대한 수출 제한은 중국의 자체 칩 개발을 촉진했다. 동시에 서방 기업들의 중국 진출 위축은 장기 성장 시나리오를 약화시킨다. 지정학적 분열이 표준화된 인프라 투자 회수율을 훼손하고 있다.
그래도 구조적 기회는 남아 있다: 하지만 플레이어는 재편된다
효율성 경쟁으로의 전환: 스케일 경쟁에서 이기지 못한 기업들은 이제 “같은 성능을 더 적은 연산으로” 달성하는 아키텍처 혁신에 집중한다. 양자화(Quantization), 지식 증류(Distillation), 혼합 전문가(MoE) 같은 기법이 상용화 수준으로 성숙했다. 이 영역에서는 AI 스타트업과 대학 연구가 대형 기업만큼 경쟁력을 갖는다.
특화 모델의 부상: 범용 대규모 모델(LLM)의 개선 속도가 둔화하면서, 금융·의료·과학 영역의 특화 모델 개발이 차별화 축이 된다. 전문 도메인에서는 작은 모델도 대형 모델과 경쟁할 수 있다. 이는 클라우드 인프라 공급자보다 도메인 전문성을 가진 기업에 유리하다.
정리
AI의 황금기는 데이터와 연산의 무한 공급이라는 착각에서 비롯되었다. 이제 그 환상이 깨졌다. 생성형 AI 학습 비용은 10조 토큰 이후 물리적·경제적 한계에 봉착했고, 스케일만으로는 성능 향상이 불가능한 시대가 도래했다. 승자는 대규모 투자가 아니라 효율적 아키텍처와 도메인 특화에 베팅하는 기업이 될 것이다.
본 글은 정보 제공 목적이며 투자 권유가 아닙니다.