[인터뷰] 삼바노바 CEO “엔비디아는 에이전트 시대를 감당할 수 없다”

[인터뷰] 삼바노바 CEO “엔비디아는 에이전트 시대를 감당할 수 없다” 완벽가이드 소개 핵심 특징 상세 정보 자주 묻는 질문 [인터뷰] 삼바노바 CEO “엔비디아...

Table of Contents

[인터뷰] 삼바노바 CEO “엔비디아는 에이전트 시대를 감당할 수 없다” 완벽가이드

소개
핵심 특징
상세 정보
자주 묻는 질문

[인터뷰] 삼바노바 CEO “엔비디아는 에이전트 시대를 감당할 수 없다”

IT/기술 전문 정보

핵심 특징

고품질

검증된 정보만 제공

빠른 업데이트

실시간 최신 정보

상세 분석

전문가 수준 리뷰

상세 정보

핵심 내용

“GPU 기반 기업들의 전력 비용은 이미 한계에 도달했다.” 삼바노바(SambaNova) 로드리고 리앙(Rodrigo Liang) CEO는 11월 7일 서울에서 진행한 인터뷰에서 AI 인프라가 맞닥뜨린 ‘전력’의 한계에 대해 위와 같이 설명했다. AI 에이전트 시대가 시작되면서 그 속도는 더 빨라지고 있다. 삼바노바의 세 공동창업자인 멀티코어 프로세서의 창시자인 스탠퍼드대 쿤레 올루코툰(Kunle Olukotun) 교수, AI 시스템 연구를 선도해온 크리스 레(Chris Ré) 교수, 20년 넘게 최고 성능의 마이크로프로세서를 개발해온 로드리고 리앙은 오래전부터 이 문제를 예견했다. 그들은 AI가 느려지고 비용이 폭증하는 근본 원인이 데이터가 이동하는 방식, 즉 ‘데이터 흐름(Data Flow)’에 있다는 점에 주목했다. GPU는 계산보다 메모리 왕복 과정에서 막대한 전력을 소모하며, 모델이 커질수록 그 양은 기하급수적으로 늘어난다. 삼바노바가 개발한 RDU(Reconfigurable Dataflow Unit)는 이러한 구조적 한계를 정면으로 바꾼 아키텍처다. 데이터 흐름에 맞춰 회로를 실시간으로 재구성하는 방식으로, 추론이 실제로 동작하는 원리(연산이 아니라 데이터 이동)에 최적화돼 있다. AI가 요구하는 것은 더 큰 모델이 아니라 지능이 흘러가는 경로가 효율적으로 설계된 구조다. 이는 성능에서 극명하게 드러난다. RDU는 GPU 대비 전력 1/10, 성능 8~10배 수준이다. 10월 19일 삼바노바는 자사의 AI 칩 ‘SN40L’이 실제 서비스 환경에서 GPU보다 9배 빠르고 5.6배 더 전력 효율적이라는 실험 결과를 발표했다. 영국 AI 인프라 기업 아가일(Argyll Data Development)의 창업자이자 AI 전략가인 피터 그리피스(Peter Griffiths)는 “엔비디아 랙이 120kW를 요구하는 반면, 삼바노바는 17kW에 불과하다”며 추론 중심 시장에서 전력 차이는 곧 비용·속도·확장성의 차이라고 설명했다. AI의 주도권은 더 이상 단순한 연산 성능에서 오지 않는다. 전력 효율 중심으로 인프라가 재편되고 있다. MIT 테크놀로지 리뷰 한국팀은 한국 시장 진출을 본격화하기 위해 방한한 리앙 CEO를 만나 에이전트 시대 AI 인프라의 구조적 전환과 기계가 기계를 조율하는 다음 단계에 대해 들었다. 삼바노바 AI 칩 ‘SN40L’ 전력이 새로운 화폐가 된 세상 Q. 삼바노바는 어떤 회사인가요? 썬과 오라클에서 얻은 경험이 도움됐는지도 궁금합니다. 타이베이에서 태어나 한 살 무렵 브라질로 건너갔습니다. 스탠퍼드에서 전기공학을 전공하고 HP에서 경력을 쌓았습니다. 썬 마이크로시스템즈에서 세계 최초 멀티코어 프로세서 개발을 주도했고, 오라클 수석 부사장으로 엔터프라이즈 서버용 SPARC 프로세서 개발을 총괄했습니다. 20년 넘게 세계 최고 성능의 마이크로프로세서를 만든 셈입니다. 그리고 2017년 안정적인 대기업을 떠나 쿤레, 크리스와 함께 스타트업을 창업했습니다. 썬과 오라클에서 배운 가장 큰 교훈은 하드웨어만으로는 시장을 움직일 수 없다는 것입니다. 고객은 부품이 아니라 완전한 솔루션을 원합니다. 삼바노바는 칩부터 모델, 소프트웨어, 배포 시스템까지 하나의 유기체처럼 통합했습니다. 엔비디아가 GPU라는 부품을 판다면, 우리는 AI 인프라라는 완성차를 파는 거죠. Q. 엔비디아가 이미 AI 시장을 장악하고 있는데, 삼바노바가 경쟁할 수 있는 이유는 뭐라고 보십니까. 오히려 지금이 적기입니다. 엔비디아가 장악한 시장은 AI 모델 훈련 시장이에요. AI 도입이 확대되면서 총 비용의 90%가 추론으로 이동하고 있고요. 추론의 경제학은 완전히 다릅니다. GPU는 모델이 데이터를 학습하는 과정에서 필요한 대규모 병렬 처리에 최적화돼 있습니다. 반면 훈련된 모델을 활용해 질문에 답하거나 작업을 수행하는 추론은 데이터를 얼마나 효율적으로 흐르게 하느냐의 문제죠. 삼바노바는 이 지점을 포착했습니다. 데이터가 흐르는 방식에 맞춰 칩 구조 자체를 실시간으로 재구성하는 RDU를 설계한거죠. 레고처럼 필요에 따라 칩의 회로를 재조립할 수 있습니다. Q. RDU의 전력 효율성이 AI 인프라 시장에서 갖는 의미는 무엇일까요? 엔비디아 H100 랙 하나가 120140킬로와트를 소비할 때 우리는 1015킬로와트로 같은 일을 합니다. 성능은 8~10배 빠르죠. 단일 엔비디아 랙이 140가구의 전력 소비량에 달합니다. 과거에는 AI 칩의 성능을 속도로 측정했습니다. 초당 얼마나 많은 연산을 하느냐가 중요했던거죠

상세 분석

. 이제는 전력으로 측정합니다. 같은 전력으로 얼마나 많은 일을 해내느냐가 기준입니다. 지속가능성, 경쟁력, 확장 가능성이 중요해졌기 때문입니다. 우리의 새로운 핵심 지표는 ‘와트당 토큰’입니다. 1와트의 전력으로 얼마나 많은 AI 응답을 생성할 수 있는가. 효율적 지능이 새 기준이 됐습니다. 전력이 새로운 화폐가 됐습니다. AI 인프라를 확장하려는 모든 기업과 국가에게 전력은 단순한 운영 비용이 아니라 성장 가능성 자체를 결정하는 요소입니다. Q. 자체 AI 모델인 삼바-1은 어떤 전략으로 개발된 건가요? 자체 파운데이션 모델인 삼바-1은 RDU 아키텍처에서 가장 잘 작동하도록 설계했습니다. 엔진과 차체가 완벽하게 통합된 순정 솔루션으로 볼 수 있습니다. 삼바-1은 거대한 하나의 모델이 아닙니다. 전문가 조합 방식으로 레고 블록처럼 법률, 의료, 금융, 코딩 등에 특화된 수십 개의 전문가 모델을 미리 훈련시켜 놨습니다. 은행이 ‘사기 탐지 + 고객 응대 챗봇’을 원한다면 금융 전문가 블록과 챗봇 전문가 블록을 가져오고, 여기에 은행의 비공개 데이터로 훈련시킨 블록을 추가합니다. RDU는 이런 다중 전문가 모델을 하나의 시스템에서 순식간에 전환하며 실행합니다. 이것이 풀스택의 힘입니다. 에이전트 AI 시스템으로의 여정 단일 구조의 한계, 세일즈포스가 삼바노바를 찾는 이유 Q. AI 에이전트 시대가 GPU 중심 인프라에 어떤 도전 과제를 제공한다고 보십니까. 훈련은 한 번만 하면 되지만, 추론은 매 순간 일어납니다. 더 중요한 건 에이전트의 등장이죠. 예전에는 하나의 질문에 하나의 응답이었습니다. 챗GPT에 “지금 몇 시야?”라고 물으면 ‘몇 시’라는 생성으로 끝났습니다. 이제는 “삼성 비즈니스 어때?”라고 물으면 삼성 제품부터 수익성까지 고려해 같은 모델을 10번 반복 호출합니다. AI 에이전트 시대는 이 과정이 더 늘어납니다. “한국 여행 계획을 세워줘”라고 하면 항공권 담당 AI, 호텔 담당 AI, 투어 가이드 담당 AI가 각자 작동합니다. 그 안에서 또 선호 항공사를 확인하는 AI가 움직입니다. 이 모든 걸 합쳐 하나의 플랜으로 만드는 과정에서 생성되는 응답량은 이전 대비 100배가 넘습니다. 엔비디아 GPU는 하나의 AI를 돌리려면 서버 한 대를 통째로 써야 합니다. 1인 가구가 아파트 한 채를 독차지하는 셈입니다. 50개를 운영하려면 50개 서버가 필요한데, 전력이 한계입니다. 삼바노바의 RDU는 하나의 시스템에서 수백 개의 모델을 순식간에 전환하며 실행합니다. 100개 AI를 하나의 랙에서 돌아가고 각 AI가 8~10배 빠르게 실행됩니다. RDU가 다양한 모델에서 H200보다 우수한 성능을 보였다 Q. 기업에 실제로 수백, 수천 개의 AI가 필요할까요? 우리는 AI 솔루션을 5개가 아닌 5,000개로 봅니다. 회사를 운영한다면 재무 담당 AI, 인사 담당 AI, 각 지역별 인사 담당 AI, 법무 담당 AI가 필요합니다. 쉽게 말해 100개 AI가 필요합니다. 의학 전문 AI는 매우 특정한 데이터로 훈련된 훨씬 더 많은 AI가 필요합니다. 언어마다 하나씩이라고 생각해보십시오.

정리

세상은 5,000개, 어쩌면 5만 개의 AI로 이루어질 것입니다. 거의 모든 주요 SaaS 기업이 그렇습니다. 세일즈포스, 오라클을 보십시오. 그들의 모든 소프트웨어 기능이 AI로 전환되고 있습니다. 모든 기능은 AI를 실행함으로써 더 똑똑해질 수 있고, 이 AI들은 서로 통신해야 합니다. 지금 그들이 겪는 문제는 2026년에 AI 기반 제품을 출시하려 하는데 비용이 너무 많이 든다는 것입니다. 빠른 응답, 낮은 지연을 원하면 모든 것을 별도 서버에 설치해야 하는데 엄청나게 비쌉니다. 그래서 우리에게 옵니다. 초거대 모델 이후, 연결된 작은 지능들 Q. 한국처럼 전력이 제한적인 시장에서 삼바노바가 갖는 전략적 가치는 무엇입니까. 한국은 새로운 초대형 데이터센터를 만들수도 없고, 냉각 시스템을 새로 구축할 여유도 없습니다. 우리는 공기로 냉각하는 기술을 사용해 기존 데이터센터에 바로 들어갈 수 있습니다. 10킬로와트만 있으면 됩니다. 같은 전력으로 10배 많은 일을 할 수 있다면 그건 단순한 비용 절감이 아니라 전략적 우위인거죠. 보안을 넘어 진정한 AI 주권의 문제입니다. 한국 기업들은 많은 데이터를 보유하고 있지만, 그 데이터를 외부에 노출하고 싶어하지 않습니다. 특히 제조, 금융, 바이오 같은 산업에서 그렇습니다. Q. AI 에이전트 이후의 다음 단계는 무엇입니까. 지금은 인간이 시작합니다. “여행 계획을 세워줘”라고 말하면 모든 AI가 가동됩니다. 다음 단계는 인간이 아닌 기계가 기계를 깨우는 것입니다. 실리콘밸리의 자율주행 택시를 보십시오. 어느 차량을 보낼지 결정하는 시스템은 단순히 가장 가까운 차를 보내지 않습니다. 경제성을 계산합니다. 더 많은 요금을 낸 사람이 항상 빠른 길을 가는 건 아닙니다. 산업용 로봇도 마찬가지입니다. 로봇 한 대는 현장에서 자율적으로 작동하지만, 1만 대의 로봇을 어떻게 배치하고 움직일지는 중앙 시스템에서 계산합니다. AI의 다음 단계는 더 큰 하나의 모델이 아니라 수많은 작은 지능이 서로 연결되어 협력하는 사회적 지능입니다. Q. 한국 기업가들에게 조언해주실 말이 있나요? AI는 10년, 20년에 걸친 여정입니다. 여러 기술을 조합하는 전략을 세우세요. 어떤 건 당장, 어떤 건 내년에, 또 어떤 건 그다음 해에 도입할 수 있습니다. 모두가 “나는 하나만 쓸 거야”라고 생각한다면 엔비디아로만 눈을 가리는 것과 같습니다. 너무 좁은 시각입니다. 역사적으로 20년 동안 지속되는 기술은 거의 없습니다. 여러 기술을 섞어 쓰는 전략을 세우십시오. 다양한 공급업체와 협력하는 전략을 수립하는 게 현명합니다. 우리가 생각하는 것보다 세상은 더 빠르게 변화하고 있습니다

자주 묻는 질문

Q. 어떤 정보를 제공하나요?

A. IT/기술 관련 최신 정보를 제공합니다.

Q. 신뢰할 수 있나요?

A. 검증된 출처만 선별합니다.

Q. 더 궁금한 점은?

A. 댓글로 문의하세요.

원문 출처

이 글은 원본 기사를 참고하여 작성되었습니다.

이 글과 함께 읽으면 좋은 글

Tags: AI가 nbsp 담당 많은 모든 아니라 어떤 에이전트 전력 하나의

[인터뷰] 삼바노바 CEO “엔비디아는 에이전트 시대를 감당할 수 없다” 완벽가이드

[인터뷰] 삼바노바 CEO “엔비디아는 에이전트 시대를 감당할 수 없다”

핵심 특징

고품질

빠른 업데이트

상세 분석

상세 정보

핵심 내용

상세 분석

정리

자주 묻는 질문

Q. 어떤 정보를 제공하나요?

Q. 신뢰할 수 있나요?

Q. 더 궁금한 점은?

원문 출처

이 글과 함께 읽으면 좋은 글

답글 남기기 응답 취소

Related News

You may have missed