AI의 실제 작동 원리를 드러내는 오픈AI의 새로운 LLM
IT/기술 전문 정보
챗GPT를 개발한 오픈AI가 일반 모델보다 훨씬 이해하기 쉬운 실험적 대형언어모델(LLM)을 구축했다. 이는 매우 중요한 성과다. 현재 LLM은 내부 작동 원리를 정확히 알 수 없는 ‘블랙박스’ 상태이기 때문이다. LLM의 메커니즘을 완전히 이해하고 있는 사람은 아무도 없다. 투명성이 높은 모델을 구축하면 LLM의 일반적인 작동 방식을 밝힘으로써 환각(hallucination) 현상이 발생하는 이유, LLM이 정해진 궤도에서 벗어나는 이유, 중요한 작업에서 LLM을 신뢰할 수 있는 정도 등을 연구자들이 파악하는 데 도움이 될 수 있
핵심 특징
고품질
검증된 정보만 제공
빠른 업데이트
실시간 최신 정보
상세 분석
전문가 수준 리뷰
상세 정보
핵심 내용
챗GPT를 개발한 오픈AI가 일반 모델보다 훨씬 이해하기 쉬운 실험적 대형언어모델(LLM)을 구축했다. 이는 매우 중요한 성과다. 현재 LLM은 내부 작동 원리를 정확히 알 수 없는 ‘블랙박스’ 상태이기 때문이다. LLM의 메커니즘을 완전히 이해하고 있는 사람은 아무도 없다. 투명성이 높은 모델을 구축하면 LLM의 일반적인 작동 방식을 밝힘으로써 환각(hallucination) 현상이 발생하는 이유, LLM이 정해진 궤도에서 벗어나는 이유, 중요한 작업에서 LLM을 신뢰할 수 있는 정도 등을 연구자들이 파악하는 데 도움이 될 수 있다. 오픈AI의 레오 가오(Leo Gao) 연구과학자는 MIT 테크놀로지 리뷰에 독점적으로 공개한 이번 연구의 미리보기에서 “AI 시스템은 더 강력해질수록 매우 중요한 분야에 더 많이 통합될 것”이라면서 “모델의 안전성을 보장하는 것이 매우 중요”하다고 밝혔다. 이번 모델은 아직 초기 연구 단계에 해당한다. ‘가중치-희소 트랜스포머(weight-sparse transformer)’로 알려진 새 모델은 오픈AI의 GPT-5, 앤트로픽의 클로드, 구글 딥마인드의 제미나이와 같은 최상위 모델들에 비해 훨씬 작고 성능도 훨씬 떨어진다. 가오 연구과학자에 따르면 이 모델의 성능은 기껏해야 2018년에 개발됐던 GPT-1 수준에 불과한 것으로 추정된다. 그러나 이번 모델의 목표는 최고 수준의 모델들과 경쟁하는 것이 아니다(적어도 아직은 그렇다). 오픈AI는 이 실험적 모델의 작동 원리를 분석해 더 크고 우수한 LLM 내부에 숨겨진 메커니즘을 이해하고자 한다. 보스턴 칼리지의 엘리센다 그릭스비(Elisenda Grigsby) 수학과 교수는 이 모델에 대해 “흥미로운 연구”라고 평가하며 “이번 연구에서 제시한 방법이 앞으로 상당한 영향을 미칠 것이라 확신한다”고 말했다. 그릭스비 교수는 LLM의 작동 방식에 관해 연구하고 있으며 이번 프로젝트에는 참여하지 않았다. AI 스타트업 굿파이어(Goodfire)의 리 샤키(Lee Sharkey) 연구과학자도 그릭스비 교수의 의견에 동의했다
상세 분석
. 그는 “이 연구의 목표는 적절하며 제대로 수행된 것으로 보인다”고 말했다. AI 모델을 이해하기 어려운 이유 오픈AI의 연구는 ‘메커니즘적 해석가능성(mechanistic interpretability)’이라는 새로운 연구 분야의 일부이며, 모델이 다양한 작업을 수행할 때 사용하는 내부 메커니즘을 분석하려는 시도이다. 이는 말처럼 쉽지 않다. LLM은 뉴런(신경세포)이라고 불리는 노드들이 층층이 배열된 신경망으로 구성되어 있다. 대부분의 신경망에서 각 뉴런은 인접한 층의 다른 모든 뉴런들과 연결된다. 이러한 신경망을 ‘밀집(dense)’ 신경망이라 부른다. 밀집 신경망은 AI를 학습하고 실행할 때 상대적으로 효율적이지만, 학습한 내용이 방대한 연결망에 분산되기 때문에 단순한 개념이나 기능도 모델의 다른 부분에 있는 뉴런들 사이에 분할될 수 있다. 동시에 특정 뉴런들이 서로 다른 다양한 특성을 동시에 표현하는 현상도 발생하는데, 이는 양자물리학에서 차용한 용어를 사용해 ‘중첩(superposition)’이라고 부른다. 결국 이러한 이유로 모델의 특정 부분을 특정 개념과 연관 짓기 어렵다는 결론에 이른다. 오픈AI에서 메커니즘적 해석가능성 팀을 이끌고 있는 댄 모싱(Dan Mossing) 연구원은 “신경망은 거대하고 복잡하며 서로 얽혀 있어서 이해하기가 매우 어렵다”면서 “그래서 그렇지 않은 신경망을 만들어 보려고 했다”고 밝혔다. 오픈AI는 밀집 신경망을 사용하는 모델을 구축하는 대신 ‘가중치-희소 트랜스포머’라는 신경망을 연구하기 시작했다. 이 유형의 신경망에서는 각 뉴런이 소수의 다른 뉴런과 연결되기 때문에 모델이 다양한 특성을 뉴런들 사이에 분산시키는 대신 국소화된 클러스터로 표현하게 된다. 이번 모델은 시중의 어떤 LLM보다도 속도가 훨씬 느리다.
정리
그러나 뉴런이나 뉴런 그룹을 특정 개념 및 기능과 연관 짓기가 더 쉽다. 가오 연구과학자는 “모델의 해석가능성 측면에서 다른 LLM들과는 매우 극명한 차이가 있다”고 설명했다. 가오 연구과학자와 동료들은 매우 간단한 작업으로 새 모델을 테스트했다. 예를 들어 모델에게 따옴표로 시작하는 텍스트 블록의 끝부분에 적절한 문장부호를 추가해 완성하라고 요청했다. 이는 LLM 기준에서는 사소한 요청이다. 가오 연구과학자에 따르면 여기서 핵심은 모델이 이렇게 단순한 작업을 수행하는 방식을 파악하려고 해도 복잡하게 얽힌 뉴런들의 연결망을 풀어야 한다는 것이다. 그러나 새 모델을 통해 연구진은 모델이 취한 정확한 단계들을 추적할 수 있었다. 가오 연구과학자는 “우리는 이 작업을 수동으로 구현할 때 생각할 법한 알고리즘과 정확히 일치하는 회로를 발견했는데, 그 회로는 모델에 의해 완전히 학습된 상태였다”며 “매우 멋지고 흥미로운 일”이라고 말했다. 그렇다면 앞으로 연구는 어떤 방향으로 진행될까? 그릭스비 교수는 더 다양하고 어려운 작업을 처리해야 하는 대형 모델로 이번 기술이 확장될 수 있을지 확신하지 못한다. 가오 연구과학자와 모싱 연구원은 그 부분이 지금까지 구축한 이번 모델의 큰 한계점임을 인정하며, 이번 접근법이 GPT-5와 같은 최첨단 제품의 성능을 따라잡을 수 있는 모델 개발까지 발전하지는 않을 것이라는 데 동의한다. 그래도 오픈AI는 이 기술을 개선해 2021년 출시한 획기적 LLM인 GPT-3에 필적하며 투명성을 갖춘 모델을 구축할 수 있을 것이라고 생각한다. 가오 연구과학자는 “몇 년 안에 완전히 해석 가능한 GPT-3를 구현할 수 있을지도 모른다”며 “그러면 모델의 모든 부분을 들여다보고 각 작업의 수행 방식을 이해할 수 있을 것”이라고 말했다. 이어서 그는 “우리가 그런 시스템을 갖게 된다면 매우 많은 것을 배울 수 있을 것”이라고 덧붙였다
자주 묻는 질문
Q. 어떤 정보를 제공하나요?
A. IT/기술 관련 최신 정보를 제공합니다.
Q. 신뢰할 수 있나요?
A. 검증된 출처만 선별합니다.
Q. 더 궁금한 점은?
A. 댓글로 문의하세요.
원문 출처
이 글은 원본 기사를 참고하여 작성되었습니다.