언폴드

3줄 요약

AI 시장의 무게중심이 비용이 막대하게 드는 학습에서 실생활 서비스 중심의 추론으로 넘어가며 전력과 비용 효율이 최대 과제로 떠올랐습니다.
비싸고 전기를 많이 먹는 GPU에 의존하던 과거와 달리 이제는 복잡한 제어에 능한 CPU와 맞춤형 가속기를 섞어 쓰는 하이브리드 방식이 대세가 되었죠.
빅테크 기업(AWS, 구글, MS)들은 고효율 ARM 아키텍처를 기반으로 자사 서비스에 딱 맞는 커스텀 칩을 직접 설계하며 반도체 시장의 판도를 흔드는 중이에요.

2023년 챗GPT의 충격적인 등장 이후 시장은 그야말로 AI 블랙홀에 빠져들었습니다. 글로벌 빅테크 기업부터 스타트업까지 더 똑똑하고 거대한 AI 모델을 만들기 위해 천문학적인 자본을 쏟아부었죠. 이 과정에서 핵심 인프라였던 엔비디아의 그래픽처리장치(GPU)는 부르는 게 값이 됐습니다. 일단 칩부터 확보하고 보자는 절박함 속에서 시장은 비용을 크게 따지지 않고 더 강력한 성능을 얻는데 사활을 걸었어요.

하지만 2026년 뜨거웠던 열기가 차분히 가라앉으면서 시장은 아주 냉정한 질문을 던지기 시작했습니다. ‘그래서 이 막대한 투자금을 언제, 어떻게 회수할 것인가?’ 하는 물음이죠.

AI 인프라 시장의 무게중심이 뚜렷하게 이동하고 있는 이유가 바로 여기에 있습니다. GPU 클러스터로 모델을 훈련시키던 학습(Training)의 시대를 지나 이제는 만들어진 모델을 소비자에게 일상적으로 서비스하는 추론(Inference)의 단계로 시장의 국면이 완전히 넘어온 것이에요.

이제 데이터센터의 과제는 비용 절감과 전력 효율이 됐습니다. 일상적이고 가벼운 AI 서비스를 돌리는 데 굳이 전기를 많이 사용하는 최고급 GPU를 동원할 이유가 없어진 거죠. 그 빈틈을 영리하게 파고든 것이 바로 AI 가속 기능을 장착한 차세대 고성능 중앙처리장치(CPU)와 빅테크 기업들이 설계한 커스텀칩입니다.

맹목적인 투자 열기를 지나 비용을 통제하며 진짜 수익을 내야 하는 효율의 시대로 접어든 지금. 새롭게 재편되는 AI 생태계의 흐름을 살펴보겠습니다.

학습에서 추론으로의 대전환

지금 벌어지고 있는 칩 시장의 지각변동을 이해하려면 인공지능(AI)이 작동하는 두 단계, 학습과 추론의 차이를 먼저 살펴봐야 합니다.

JP모건(J.P. Morgan)의 ‘2026 이머징 테크놀로지 트렌드’ 리포트에서는 이 차이를 명쾌하게 짚어내고 있어요. AI 모델의 학습이 주로 외부와 단절된 연구실(오프라인)에서 조용히 공부하는 과정이라면 추론은 수많은 소비자가 실제로 서비스를 이용하는 현장(프로덕션)에서 실시간으로 대답을 내놓는 과정입니다.

똑똑해진 AI를 실제 서비스 현장에 투입한다는 것은 생각보다 훨씬 까다로운 일입니다. 수많은 고객이 동시에 접속해도 버벅대지 않아야 하고(다중 테넌시 및 확장성), 24시간 내내 단 1초도 서버가 멈춰서는 안 되기(고가용성) 때문이죠. 기업들 입장에서는 이 거대한 서비스를 유지하기 위해 엄청난 인프라 비용을 감당해야 하는 새로운 과제를 떠안게 된 겁니다.

자연스럽게 시장의 최대 관심사도 ‘어떻게 하면 전기를 덜 쓰고 인프라 비용을 확 낮출 수 있을까?’로 쏠리게 됐어요. 해당 리포트에 따르면 이렇게 AI 인프라의 거품을 빼고 효율을 높이는 데 집중하는 기술이 각광받으면서 향후 5년 내에 AI 추론 최적화 관련 시장 규모만 무려 1,000억 달러(150조 원)를 넘어설 것으로 전망됩니다.

이러한 흐름은 데이터센터의 두뇌 구조마저 완전히 바꿔놓고 있습니다. 원조 두뇌 역할을 하던 CPU가 다시 부상하고 있죠. CPU는 컴퓨터 전반의 시스템을 제어하고 운영체제(OS)나 프로그램의 복잡한 명령을 순서대로 빠르게 처리하는 장치입니다. 반면 GPU는 화면의 수많은 픽셀을 동시에 계산하기 위해 태어난 칩으로 대량의 단순 연산을 동시에 처리하는 구조를 가졌어요. 쉽게 말해 CPU는 순차 제어, GPU는 병렬 연산이라는 근본적인 차이가 있습니다.이 차이 때문에 과거 AI 모델을 학습시킬 때는 비싸고 전기를 많이 사용하더라도 GPU에 전적으로 의존할 수밖에 없었어요.

하지만 실시간으로 고객 요청에 응답해야 하는 추론의 시대가 열리면서 이제는 용도에 맞춰 여러 칩을 섞어 쓰는 하이브리드 방식(이종 컴퓨팅)이 대세가 됐습니다. 복잡한 작업 흐름의 제어는 CPU에 맡기고 특정 연산에만 맞춤형 가속기를 결합해 비용 효율을 극대화하는 것이죠. 특히 오직 추론 서비스만을 위해 맞춤 제작한 커스텀 AI 칩이 데이터센터에 무서운 속도로 도입되고 있습니다.

CPU 반격에 올라탄 인텔과 AMD

인텔과 AMD는 데이터센터 업계의 변화에 가장 기민하게 반응하는 곳으로 꼽혀요. 비용 효율화가 시급해진 상황에서 기존 CPU의 범용성을 유지하면서도 AI 처리 능력을 극대화한 차세대 칩으로 부상하고 있습니다.

인텔은 차세대 서버용 CPU ‘제온 6(Xeon 6)’를 통해 아키텍처의 이원화를 단행했습니다. 전력 효율에 집중한 E-코어 모델과 고성능 AI 연산에 특화된 P-코어 모델을 나누어 출시한 것이죠. 가벼운 작업에는 E-코어를 빽빽하게 배치해 전기료를 줄이면서도 기본적인 AI 가속을 지원하며 복잡한 AI 추론에는 AMX(Advanced Matrix Extensions) 및 AVX-512 같은 강력한 기능이 내장된 P-코어를 사용해 별도의 외장 GPU 없이도 상당한 성능을 뽑아내게 했습니다.

AMD는 ‘5세대 에픽(EPYC)’ CPU를 통해 압도적인 가성비와 기술력을 앞세우고 있어요. 일반 고성능 모델에는 TSMC 4nm, 192코어 같은 초고밀도 모델(Zen 5c)에는 3nm 공정을 투입하는 정교한 투트랙 전략을 택했죠. 이를 통해 서버 한 대가 과거 여러 대의 역할을 수행하게 함으로써 공간과 전력 비용을 획기적으로 낮췄습니다. 특히 인텔과 달리 고밀도 코어에서도 고급 AI 명령어를 기능 축소 없이 동일하게 지원해 어떤 코어를 쓰든 일정 수준 이상의 AI 처리 능력을 제공한다는 점이 큰 강점이에요.

실제 월스트리트의 분석도 이를 뒷받침합니다. 모건스탠리(Morgan Stanley)는 투자 리포트를 통해 AI 시장의 중심이 추론으로 넘어가며 수많은 작업을 조율하는 CPU의 역할이 급부상했다고 분석했습니다. 이에 따라 2030년까지 서버용 CPU 시장에 최대 600억 달러(약 90조 원) 규모의 엄청난 추가 성장이 일어날 것으로 전망했죠. 실제로 최근 글로벌 테크 콘퍼런스에서 AMD와 인텔 경영진은 AI 추론 덕분에 CPU 수요가 예상을 훨씬 뛰어넘고 있다고 전하기도 했어요.

빅테크가 직접 칩을 만드는 이유

인텔과 AMD의 변화만큼이나 무서운 변화는 고객사인 빅테크 기업들이 직접 칩을 설계하는 커스텀 칩 열풍입니다. 아마존(AWS), 구글, 마이크로소프트(MS)는 더 이상 반도체 회사가 주는 비싼 기성품에만 의존하지 않아요. 커스텀 칩은 자사 AI와 클라우드 환경에 완벽하게 들어맞도록 주문 제작한 맞춤형 반도체를 뜻합니다.

<글로벌 AI 인프라(컴퓨팅·데이터센터·전력) 자본 지출(CapEx) 전망 (2026~2031)> 출처: 골드만삭스

이 기업들이 직접 설계에 뛰어든 이유는 명확합니다. 첫째는 막대한 인프라 비용의 통제와 마진 개선입니다. 최상위 범용 GPU를 살 때 지불해야 하는 프리미엄을 없애 도입 단가를 낮추는 것이죠.

둘째는 극한의 최적화입니다. 범용 칩의 불필요한 기능을 빼고 오직 자사 서비스(유튜브 추천, 오피스 코파일럿 등)가 빠르고 저렴하게 돌아가는 칩을 만드는 것입니다.

이러한 행보는 단순한 기술적 욕심이 아니라 생존을 위한 필수 선택에 가깝습니다. 골드만삭스(Goldman Sachs)의 마크 윌슨 파트너가 2026년 5월에 발표한 분석에 따르면 빅테크 클라우드 4사(MS, 아마존, 구글, 메타)가 2026년 한 해에만 쏟아붓는 자본적 지출(CapEx)은 6,000억 달러를 돌파해 기업들 영업현금흐름의 100%를 초과하는 엄청난 규모에 이릅니다. 폭증하는 투자 비용을 감당하고 살아남기 위해서라도 결국 자신들만의 커스텀 칩으로 효율을 쥐어짜야만 하는 상황에 몰린 것이에요.

하드웨어 독립에 나선 클라우드 3사

클라우드 시장의 선두 주자인 AWS는 자체 서버용 CPU ‘그라비톤(Graviton)’을 내세워 기존 x86 칩 대비 최대 40% 뛰어난 가성비를 제공하며 시장을 선점했습니다. 구글 역시 자사의 첫 ARM 기반 CPU인 ‘악시온(Axion)’을 데이터센터의 주력으로 배치했어요. 악시온은 기존 대비 에너지 효율을 무려 60% 이상 끌어올렸죠.

마이크로소프트도 자체 설계한 서버용 CPU ‘코발트(Cobalt)’와 AI 전용 가속기 ‘마이아(Maia)’를 연이어 투입하며 외부 칩 제조사에 더 이상 휘둘리지 않겠다는 강력한 의지를 보여주고 있습니다.

월스트리트의 주요 기관들 역시 이러한 흐름을 예의주시하고 있습니다. 앞서 반도체 기업이 칩을 만들고 소프트웨어 기업이 이를 사서 쓰던 범용 반도체의 시대였다면 이제는 빅테크가 하드웨어 설계부터 소프트웨어 서비스까지 모두 직접 통제하는 수직 계열화의 시대가 도래하고 있어요.

커스텀 칩 전환의 키 ARM

빅테크들이 공격적으로 하드웨어 독립을 선언하는 배경은 뭘까요. 그 이면에는 ‘ARM 아키텍처’의 눈부신 성장이 자리 잡고 있습니다.

<글로벌 AI 맞춤형 칩(ASIC) 서버 내 ARM 아키텍처 점유율 전망> 출처: 카운터포인트리서치

수십 년 동안 서버 시장의 강자였던 인텔과 AMD의 ‘x86 아키텍처’는 성능은 뛰어나지만 전기를 너무 많이 먹는다는 치명적인 단점이 있었습니다. 반면 스마트폰 같은 모바일 기기에서 뼈대를 키워온 ‘ARM 아키텍처’는 제한된 배터리로 오래 버텨야 했기에 전력 효율이 압도적으로 좋았죠.

과거 ‘ARM은 전기는 덜 먹지만 서버용으로는 성능이 떨어진다’는 편견이 강했습니다. 하지만 클라우드 시장의 최강자인 AWS가 2018년 자체 칩 ‘그라비톤(Graviton)’을 선도적으로 출시하며 이 판을 흔들기 시작했습니다. 이후 애플이 PC용 ‘애플 실리콘’을 통해 ARM의 압도적인 고성능을 대중적으로 증명해 내면서 시장의 인식은 완전히 뒤집혔죠.

탄력을 받은 구글과 마이크로소프트도 앞다투어 ARM 진영에 합류했습니다. 이 기업들은 밑바닥부터 칩을 완전히 새로 설계하는 대신 ARM의 반도체 설계도(Neoverse IP 코어)를 그대로 가져오는 방식을 택했어요. 미리 설계해 둔 고성능 설계도를 자사 인프라에 맞게 커스터마이징하는 영리한 방식이죠. 빅테크들의 최신 서버 칩이 전부 ARM 기반인 이유가 바로 여기에 있습니다.

전력이 가르는 AI 인프라의 승부

이러한 ARM 연합군의 약진은 월스트리트의 거시적 분석과도 정확히 맞물려 돌아갑니다. 글로벌 자산운용사 블랙록(BlackRock)의 래리 핑크(Larry Fink) CEO는 2026년 공식 발표를 통해 “AI 시대의 승자와 패자를 결정짓는 진짜 병목 현상은 반도체 공급이나 소프트웨어 기술이 아니다”라며 “그것은 바로 전력이다”라고 단언했습니다.

아무리 훌륭한 AI 인프라를 구축하려 해도 전력망의 물리적 한계와 극심한 전력 소모를 통제하지 못하면 살아남을 수 없다는 위기감을 정확히 짚어낸 것이에요.

결국 데이터센터의 성패는 ‘누가 더 연산을 잘하느냐’를 넘어 ‘누가 더 전기를 아끼느냐’의 싸움으로 바뀌었습니다. 전기를 덜 먹는 칩이 곧 마진을 남겨주는 칩이니까요. 압도적인 전력 효율을 무기로 내세운 ARM 기반 칩들의 생태계 장악은 필연적인 대세로 굳어지고 있어요.

고성능을 넘어 지속 가능한 효율의 시대로

AI 인프라의 핵심 화두는 단순히 연산 속도를 높이는 것이 아니라 실제 서비스 현장에서 발생하는 막대한 자본 지출(CapEx)과 전력 소모를 어떻게 효율적으로 제어하느냐로 옮겨갔습니다. 과거에는 무조건 최고 사양의 GPU를 확보하는 것이 기업 경쟁력의 핵심이었다면 이제는 작업의 성격에 맞춰 CPU, GPU 그리고 맞춤형 가속기를 적재적소에 배치하는 하이브리드 전략이 기업의 수익성을 결정짓는 핵심 경쟁력이 됐어요.

특히 2026년은 빅테크 기업들이 오랜 기간 공들여 온 맞춤형 칩들이 시장에서 실질적인 성숙도를 증명하며 기존 반도체 질서를 뒤흔드는 전환점이 될 것으로 전망됩니다. 이러한 흐름은 학습 중심의 거대 모델뿐만 아니라 우리 실생활에 스며드는 수많은 추론 기반 서비스와 에이전틱 AI의 확산을 더욱 가속화할 것입니다.

결국 앞으로의 반도체 전쟁은 누가 더 거대한 칩을 만드냐보다 누가 더 하드웨어와 소프트웨어를 완벽하게 통합해 전력 한 방울당 최고의 효율을 뽑아내느냐의 싸움이 되겠죠. 이 흐름 속에서 변화를 기회로 포착하는 기업이 다가올 실용주의 AI 시대의 패권을 쥐게 될 것입니다.

• 해당 콘텐츠는 외부 필진이 작성한 글로 당사의 의견과는 다를 수 있습니다.
• 해당 콘텐츠는 콘텐츠 이용자의 투자 의사결정에 대한 근거 자료로 이용될 목적으로 작성되었거나, 금융투자상품 판매 및 투자 권유, 종목 추천, 투자의사결정의 조언을 위하여 작성된 것이 아닙니다. 해당 콘텐츠에 제공되는 어떠한 자료나 정보에 대하여도 당사는 자료나 정보의 정확성 및 완전성에 대하여 명시적으로든 또는 묵시적으로든 어떠한 의견 표명이나 보증을 하지 않으며, 해당 콘텐츠에 근거하여 잠재적 투자자가 내린 의사결정의 결과로 발생하는 어떠한 종류의 손해나 피해에 대하여 당사는 어떠한 책임과 의무도 부담하지 않습니다. 또한, 이에 대하여 잠재적 투자자는 아무런 이의도 제기할 수 없습니다.
• 상기 내용은 2026년 5월 기준으로 작성된 것이며 관련 법령 및 내부통제기준에 따른 관련 절차를 준수하였습니다. 해당 콘텐츠의 자료 및 정보는 시장 환경이 변화하거나, 주식 시장, 금리, 인플레이션, 세제 정책 등 사회적, 경제적, 정책적 환경이 변화할 경우, 기타 자산가격 변동, 환율 변동, 신용등급 하락, 부동산 가격하락, 운용결과 등 또는 화재, 홍수, 전염병 창궐과 같은 천재지변이 발생하는 등의 경우에 따라 변경될 수 있으며, 이에 따라 금융(투자)상품은 투자원금의 일부 또는 전액 손실이 발생할 수 있으며, 그 손실은 투자자에게 귀속되고 예금자보호법에 따른 보호대상이 아닙니다. 과거의 운용실적이 미래의 수익률을 보장하는 것은 아니며, 해당 컨텐츠 작성시점 및 미래에는 이와 다를 수 있습니다. 거래비용, 기타비용이 추가로 발생할 수 있습니다.
• 해당 콘텐츠는 법적으로 제출되거나 등록되지 아니하였으며, 어떠한 법률에 의하여도 승인된 것이 아닙니다. 본 콘텐츠에는 일부 주관적 견해가 포함되어 있을 수 있으며, 당사의 공식적인 의견 표명이나 견해에 해당하지 않습니다. 해당 컨텐츠는 주식의 모집 또는 매매 및 청약을 위한 권유를 목적으로 하지 않으며, 투자자는 (금융상품판매업자)로부터 관련 법령에 따라 충분히 설명을 받을 권리가 있으며, 투자자의 모든 투자결정은 금융위원회에 제출한 증권신고서 또는 (예비)투자설명서 및 약관 등을 반드시 읽어 보시고 이를 통해 제공되는 정보만을 바탕으로 내려져야 합니다. 본인의 투자 판단 하에 신중하게 투자결정하시기 바랍니다.