유휴 GPU 연결해 AI 인프라 비용 절감, 분산 클라우드 전문 스타트업 에이아이브의 도전
스타트업/벤처 전문 정보
AI 서비스 구현의 핵심은 학습(Training)과 추론(Inference)이다. 학습이 AI 모델이 대규모 데이터에서 패턴을 인식하고 연관성을 파악하도록 모델을 훈련하는 과정이라면, 추론은 학습된 모델이 사용자의 질문에 답변을 생성하며 실제로 서비스가 운영되는 과정이다. AI 서비스를 하려면 대규모 데이터 세트와 고성능 컴퓨팅이 필수적이다. 수천 개에서 수만 개의 GPU를 배치하고, GPU 간 통신을 최적화하기 위한 고대역폭 네트워크를 갖춘 데이터센터를 운영해야 한다. GPU는 대당 1,500만 원 이상하며, 2,000만 원을 초
핵심 특징
고품질
검증된 정보만 제공
빠른 업데이트
실시간 최신 정보
상세 분석
전문가 수준 리뷰
상세 정보
핵심 내용
AI 서비스 구현의 핵심은 학습(Training)과 추론(Inference)이다. 학습이 AI 모델이 대규모 데이터에서 패턴을 인식하고 연관성을 파악하도록 모델을 훈련하는 과정이라면, 추론은 학습된 모델이 사용자의 질문에 답변을 생성하며 실제로 서비스가 운영되는 과정이다. AI 서비스를 하려면 대규모 데이터 세트와 고성능 컴퓨팅이 필수적이다. 수천 개에서 수만 개의 GPU를 배치하고, GPU 간 통신을 최적화하기 위한 고대역폭 네트워크를 갖춘 데이터센터를 운영해야 한다. GPU는 대당 1,500만 원 이상하며, 2,000만 원을 초과하기도 한다. 이처럼 막대한 인프라 비용, 특히 고가의 GPU 구매와 운영 비용이 AI를 서비스하는 대부분의 기업이 수익성을 확보하지 못하는 핵심 요인이 되고 있다. AI를 서비스하는 기업에게 인프라 비용을 낮춰주는 기업이 있다. 모델 개발에는 고사양 GPU가 필요하지만, 추론은 완성된 모델에서 정해진 작업만 반복하기 때문에 저사양 GPU로도 충분하다. 이 점에 주목한 에이아이브(aieev)는 추론에 필요한 GPU 자원을 가정이나 PC방 등 유휴 PC들을 연결한 분산형 가상 클라우드 인프라로 구축해 GPU 비용을 획기적으로 낮췄다. 에이아이브의 박세진 대표는 “대형언어모델을 개발하는 데는 GPU 수천, 수만 장이 필요하지만, 추론 서비스는 몇 장으로도 충분합니다. AI 인프라 구축 비용을 낮추면 많은 사람들이 더 많은 AI 서비스를 이용할 수 있습니다”라고 설명했다. 박 대표는 코인 마이닝으로 많은 GPU가 사용되면서 AI 서비스 기업들이 GPU 부족으로 고통받고 있다는 사실을 발견하고 2024년 초 에이아이브를 설립했다. 박 대표는 포스텍에서 시스템 소프트웨어로 박사학위를 취득했으며, 현재 계명대학교 컴퓨터공학과 겸임 교수로 재직 중이다. 에이아이브 팀은 포스텍, 카이스트, 고려대 출신의 시스템 소프트웨어 전공자들로 구성돼 있으며, 대부분 15년 이상의 업계 경력을 갖고 있다. 에이아이브는 설립 후 10개의 특허를 출원했으며, 현재 2개의 상용 고객을 확보했고 10개 기업과 PoC를 진행 중이다. 지난 8월에는 SK텔레콤의 ‘AI Startup Accelerator 3기’ 프로그램에 선정되기도 했다. 기술 상용화를 위해 2026년 상반기 시리즈 A 투자를 추진할 계획이다. 에이아이브 강남 소재 사무실에서 만난 박세진 대표로부터 유휴 GPU를 연결하는 방식, 분산된 GPU의 안정적 운영 방법, 그리고 AI 인프라 비용 절감을 추구하는 에이아이브의 비전에 대해 이야기를 들었다. 전 세계 개인용 PC를 연결하다 그렇다면 유휴 GPU를 어떻게 연결할까? 일반적으로 개인 PC나 PC방의 컴퓨터는 공개 IP 주소를 가지지 않아 외부 접속이 불가능하다. 외부 접속이 불가능한 PC를 어떻게 연결할 수 있을까? 에이아이브는 NAT Traversal 기술을 통해 개인 PC와 연결한다. 연결하고자 하는 개인 PC가 에이아이브 서버에 연결을 요청하게 되면, 공유기가 자동으로 통로를 열어주고, 에이아이브는 이 통로를 통해 PC의 GPU를 제어할 수 있다. 만약 이 방법이 작동하지 않으면, 중간 서버(Relay Server)를 거쳐 연결한다. 에이아이브는 기술 테스트 결과 십만 대 이상의 노드를 연결하는 테스트를 마쳤다. 데이터센터가 필요없다는 점은 가격 경쟁력으로 직결된다. 전통적인 데이터센터에서는 전력비의 50%가 냉각에 들어간다. 많은 장비가 좁은 공간에 집적되어 있기 때문에 엄청난 발열이 발생한다. “데이터센터 건물을 짓고, 운영하고, 관리하는 인력만 해도 상당히 많습니다. 에이아이브는 보안, 운영, 유지보수 등에 필요한 담당자를 둘 필요가 없습니다.” 연결되었다고 해서 끝나는 게 아니다. 대규모 네트워크를 관리하기 위해서는 각 노드 간의 효율적인 통신과 장애 격리가 필요하다. “많은 노드를 관리하려면 단순한 네트워크 연결만으로는 부족합니다.
상세 분석
각 노드의 상태를 효율적으로 모니터링하고, 만약 어떤 노드에 장애가 나면 그 작업을 다른 노드로 빠르게 이전해야 합니다.” 안정적인 운영과 자동 할당 기술로 비용 절감 분산 시스템에 있어 중요한 것은 서비스 안정성이다. AI 서비스를 운영하려면 수많은 오픈소스 라이브러리가 필요한데, 이 중 하나라도 빠지거나 버전이 맞지 않으면 서비스가 제대로 작동하지 않는다. 에이아이브는 이 문제를 해결하기 위해 컨테이너 기술을 개발했다. 컨테이너 기술을 통해 AI 모델 구동에 필요한 모든 오픈소스 라이브러리, 시스템 설정, 의존성 등을 하나의 패키지로 묶어 제공함으로써, 어디서든 동일한 환경에서 안정적으로 모델을 실행할 수 있다. 대형 클라우드 서비스나 데이터센터는 모든 서비스가 한 곳에 집중되어 있다. 그래서 만약 데이터센터의 네트워크에 문제가 생기거나 전력 공급에 이상이 생기면 전체 서비스가 중단되는 사태가 발생한다. 그렇기 때문에 하나의 서버에 장애가 발생해도 서비스가 중단되지 않도록 이중화를 구성해야 하며, 자동 복구 시스템을 갖춰야 한다. 에이아이브는 이 과정 전체를 완전 자동화했다. 에이아이브 플랫폼에 모델만 올리면 그 이후의 모든 AI 서비스화 과정 즉 성능 모니터링, 이중화 구성, 자동 복구 등이 모두 자동으로 처리된다. 한 노드에 문제가 발생해도 내부 스케줄러가 다른 노드로 그 작업을 즉시 전환하기 때문에 사용자 입장에서는 논리적으로 장애를 느끼지 못한다. “한 노드에서 장애가 발생해도, 내부 스케줄러에 의해 그 작업이 바로 다른 노드에서 자동으로 스위칭되서 수행됩니다. 사용자 입장에서는 물리적으로는 장애가 났지만, 논리적으로는 그 장애를 느끼지 못합니다.” 이와 함께 중요한 기능이 오토스케일링(Auto Scaling)이다. 일반적인 클라우드에서는 예상되는 트래픽에 맞춰 미리 서버를 준비해야 한다. 문제는 고객이 얼마나 몰릴지 예측이 불가능하다는 데에 있다. 그래서 보수적으로 자원을 미리 확보해둔다. 비용이 많이 들더라도 서비스 중단이 더 나쁘기 때문이다. 사용량에 따라 자원을 효율적으로 분배한다면 그만큼 비용이 절감될 수 있다. 에이아이브는 이 문제를 오토스케일링으로 해결한다. 트래픽이 증가하면 필요한 노드와 컨테이너가 자동으로 확장되고, 트래픽이 줄어들면 자동으로 축소된다. 손님이 몰리면 직원을 더 배치하고, 한가할 때는 줄이는 것처럼 트래픽에 맞춰 자원을 자동으로 늘렸다 줄었다 할 수 있다. 그만큼 비용을 절약할 수 있게 되는 것이다. 사용자는 민감도를 조정해서 확장 속도를 제어할 수 있다. “기업이 원하는 정도에 따라 자동 확장 속도를 조절할 수 있습니다. 한 고객사의 경우, 이 오토스케일링 기술을 통해 기존 클라우드 대비 약 80%의 비용을 절감할 수 있었습니다.” 에이아이브는 AI 모델의 안정적인 운영, 성능 최적화, 비용 효율화를 모두 담보하는 자동화된 운영 인프라를 제공하고 있다. 스타트업이라도 대기업 수준의 인프라 안정성을 즉시 확보할 수 있다는 의미다. 스타트업부터 대기업까지 에이아이브는 현재 전국 PC방을 관리하는 업체와 협력해 파일럿 테스트를 진행하고 있다. 테스트가 완료되면 전국 약 4,000개의 PC방에 분산된 유휴 GPU를 활용해 AI 서비스 기업에 컴퓨팅 자원을 공급할 수 있게 된다. 기업과도 협력 논의가 활발하다. 특히 소규모 AI 자원이 필요한 기업들의 수요가 점차 증가하고 있어, 이들이 에이아이브의 주요 타깃 고객이 될 예정이다. 저비용 추론 클라우드 ‘Air Cloud’ & ‘Air Container’ 에이아이브의 ‘Air Cloud’는 AWS를 대체할 수 있는 저비용 AI 추론 플랫폼이다. 고객의 필요에 따라 두 가지 옵션으로 제공된다. Air Cloud Standard는 개인용 PC와 PC방의 유휴 GPU를 크라우드소싱하는 방식으로 운영된다.
정리
경제성을 최우선으로 하기 때문에 스타트업과 개발자들이 최소한의 비용으로 AI 모델을 테스트하고 배포할 수 있다. Air Cloud Plus는 엔터프라이즈급 안정성과 성능을 필요로 하는 기업을 위해 설계됐다. 검증된 커스텀 빌드 노드로 구성된 분산 클러스터이며, 99.99% 가용성을 보장해 미션 크리티컬한 AI 서비스도 안정적으로 운영할 수 있다. 고객은 트래픽에 맞춰 필요한 만큼의 GPU를 유동적으로 할당받으며, 사용한 시간만큼 과금된다. 이는 예측 불가능한 트래픽 변화에 유연하게 대응할 수 있다는 의미다. 또한 에이아이브의 대시보드를 통해 API 엔드포인트의 성능과 상태를 실시간으로 모니터링하고, 상세한 로그를 분석할 수 있다. 이를 통해 고객은 자신의 AI 서비스가 제대로 작동하는지 언제든지 확인하고, 필요시 빠르게 문제에 대응할 수 있다. OpenAI 호환 AI API 서비스 ‘Air API’ ‘Air API’는 개발사들이 자신의 서비스에 즉시 통합할 수 있는 생성형 AI 인터페이스다. 복잡한 AI 모델 구축 없이 API 호출만으로 ChatGPT 같은 AI 기능을 구현할 수 있다. Air API는 콜(호출)당 과금하는 방식으로, 기업이 실제 사용한 만큼만 비용을 지불하면 된다. Air API는 완전한 서버리스 AI 솔루션이다. 고객은 인프라 관리나 서버 운영 걱정 없이 오직 비즈니스 로직에만 집중할 수 있다. 트래픽이 증가하면 자동으로 스케일되고, 감소하면 자동으로 축소돤다. Air API는 2026년 정식 서비스 론칭을 목표로 하고 있다. 론칭 이후 한국어 LLM 기반의 다양한 모델을 지원할 예정이다. 기업의 유휴 GPU 최적화 ‘Private Air Cloud’ Private Air Cloud는 대기업 내 산재된 GPU 자원을 하나의 통합 플랫폼으로 운영하는 솔루션이다. 각 부서나 팀이 필요에 따라 GPU를 확보하다 보니 전사 차원의 효율적인 운영이 어렵다. Private Air Cloud는 이 문제를 근본적으로 해결한다. 마치 Air Cloud가 전 세계의 분산된 GPU를 모으는 것처럼, Private Air Cloud는 기업 내부의 분산된 GPU를 실시간으로 통합 관리하고, 필요한 부서에 동적으로 할당할 수 있다. # “모든 사람의 AI“ 에이아이브는 AI Equality, Everyone’s Value의 영문 약자에서 이름을 따왔다. AI 평등, 모두의 가치라는 의미를 담고 있다. “정보 격차는 앞으로 계속 벌어질 거라고 생각합니다. 정보 접근성의 격차는 눈에 보이지 않지만 심화될 것입니다. 지금도 무료로 ChatGPT를 쓰는 사람이 있는 반면 월 30만 원씩 내고 ChatGPT Plus를 쓰는 사람도 있습니다. 이 두 사람의 정보 접근성은 큰 차이가 납니다.” 박 대표의 우려는 현실이 되고 있다. AI 서비스가 모든 산업으로 확대되면서, AI에 접근 가능한 기업과 그렇지 못한 기업의 격차는 점점 벌어지고 있다. “이런 격차는 없어야 한다고 생각해요. AI의 혜택은 누구라도 누릴 수 있어야 합니다. 에이아이브는 모든 사람들이 부담 없이 AI를 쓸 수 있는 세상을 만들려고 합니다. 그러려면 인프라 비용이 낮아져야 합니다.” 에이아이브는 단순한 저비용 서비스를 만드는 것을 넘어, 기술을 통해 사회의 격차를 줄이려는 노력을 시도하고 있다. 그것이 가능하려면 인프라의 혁신이 필수다. 에이아이브의 도전이 성공한다면, 몇 년 뒤 AI의 이용 구도는 지금과 완전히 달라져 있을 것이다.
자주 묻는 질문
Q. 어떤 정보를 제공하나요?
A. 스타트업/벤처 관련 최신 정보를 제공합니다.
Q. 신뢰할 수 있나요?
A. 검증된 출처만 선별합니다.
Q. 더 궁금한 점은?
A. 댓글로 문의하세요.
원문 출처
이 글은 원본 기사를 참고하여 작성되었습니다.