딥시크, AI ‘기억력’ 개선할 새로운 방법 제안
IT/기술 전문 정보
요약 다음은 AI로 작성해 에디터가 검토한 본 기사의 요약이다. 이미지를 통한 기억: 딥시크에서 새로 공개한 OCR 모델은 정보를 텍스트 토큰이 아닌 시각적 형태로 저장한다. 이 기술을 활용하면 더 많은 데이터를 보존할 수 있으며, 컴퓨팅 비용과 탄소 배출을 크게 줄이는 동시에 AI의 ‘기억력’을 향상시킬 수 있을 것이다.‘컨텍스트 부패(context rot)’ 현상 해결: OCR 모델은 마치 인간의 기억력처럼 오래되었거나 덜 중요한 정보를 약간 흐릿한 형태로 저장하여 공간을 절약한다. 이 방법을 통해 대화가 길어질 경우 AI가 정
핵심 특징
고품질
검증된 정보만 제공
빠른 업데이트
실시간 최신 정보
상세 분석
전문가 수준 리뷰
상세 정보
핵심 내용
요약 다음은 AI로 작성해 에디터가 검토한 본 기사의 요약이다. 이미지를 통한 기억: 딥시크에서 새로 공개한 OCR 모델은 정보를 텍스트 토큰이 아닌 시각적 형태로 저장한다. 이 기술을 활용하면 더 많은 데이터를 보존할 수 있으며, 컴퓨팅 비용과 탄소 배출을 크게 줄이는 동시에 AI의 ‘기억력’을 향상시킬 수 있을 것이다.‘컨텍스트 부패(context rot)’ 현상 해결: OCR 모델은 마치 인간의 기억력처럼 오래되었거나 덜 중요한 정보를 약간 흐릿한 형태로 저장하여 공간을 절약한다. 이 방법을 통해 대화가 길어질 경우 AI가 정보를 잊거나 혼동하게 되는 일명 ‘컨텍스트 부패(context rot)’ 현상을 완화할 수 있다.딥시크의 파괴적 혁신: 딥시크는 올해 1월 효율적인 추론 모델 딥시크-R1을 공개하며 AI 업계에 충격을 준 데 이어, 이번 모델을 통해 다시 한번 놀라운 혁신에 도전한다. OCR 시스템은 단일 GPU만으로 하루 20만 페이지 이상의 학습 데이터를 생성할 수 있어, 양질의 학습용 텍스트 부족 문제를 해결할 잠재력이 있다. 중국의 AI 기업 딥시크(DeepSeek)가 10월 말 광학 문자 인식(optical character recognition, OCR) 기술을 활용하는 새로운 AI 모델을 공개했다. 딥시크는 OCR 기술을 통해 AI의 ‘기억력’을 크게 향상시킬 수 있을 것으로 보고 있다. OCR 모델은 이미지에서 텍스트를 추출해 기계가 읽을 수 있는 단어로 변환한다. OCR 기술은 스캐너 앱, 사진 속 텍스트 번역, 다양한 접근성 도구에 사용되는 바로 그 기술이다. OCR 기술은 이미 많은 발전을 거듭하여 다양한 고성능 시스템에 사용되고 있다. 논문과 일부 초기 평가에 따르면 딥시크의 이번 OCR 모델은 주요 벤치마크에서 최고 수준의 모델들과 대등한 성능을 보였다. 그러나 연구자들은 이번 OCR 모델의 진정한 혁신이 정보 처리 방식, 특히 정보를 저장하고 불러오는 방식에 있다고 보고 있다. AI 모델이 정보를 ‘기억’하는 방식을 개선하면 모델을 구동하는 데 필요한 컴퓨팅 성능을 줄일 수 있고, AI로 인한 탄소 발자국을 줄이는 데도 도움을 줄 수 있다. 현재 대부분의 대형언어모델(LLM)은 텍스트를 ‘토큰(token)’이라는 수천 개의 작은 단위로 나눈다
상세 분석
. 이 방법으로 텍스트를 모델이 이해할 수 있는 형태로 변환하는 것이다. 그러나 사용자가 AI와 나누는 대화가 길어질수록 이러한 토큰을 저장하고 연산하는 데 드는 비용이 급격히 증가한다. 이로 인해 대화가 길어지면 AI가 이전에 들은 정보를 잊거나 혼동하는 일명 ‘컨텍스트 부패(context rot)’ 현상이 발생한다. 딥시크는 최신 논문에서 OCR 기술을 활용해 이 문제를 해결할 새로운 방법을 제시했다. OCR 시스템은 정보를 텍스트 토큰으로 저장하는 대신 이미지 형태로 압축해 저장한다. 이는 마치 책의 페이지를 사진으로 찍는 것과 같다. 연구자들은 이 방법을 사용하면 AI 모델이 훨씬 적은 토큰으로 거의 같은 양의 정보를 저장할 수 있음을 발견했다. 본질적으로 이번 OCR 모델은 AI 모델에 더 효율적으로 더 많은 정보를 저장할 수 있는 이 새로운 방법을 실험하기 위한 시스템이다. 텍스트 토큰뿐 아니라 시각적 토큰까지 사용하는 것 외에도 OCR 모델은 인간의 기억이 희미해지는 방식과 유사한 일종의 ‘계층적 압축’ 방식도 활용한다. 다시 말해서 오래되었거나 덜 중요한 내용은 약간 더 흐릿한 형태로 저장해 공간을 절약하는 것이다. 논문 저자들은 정보를 흐릿하게 저장하더라도 압축된 내용은 여전히 백그라운드에서 접근 가능하며 이를 통해 높은 수준의 시스템 효율성을 유지할 수 있다고 주장한다. 텍스트 토큰은 오랫동안 AI 시스템의 기본 구성 요소였다. 따라서 시각적 토큰을 사용하는 딥시크의 이번 모델은 연구자들의 관심을 빠른 속도로 사로잡고 있다.
정리
이전에 테슬라에서 AI 책임자로 일했던 안드레 카파시(Andrej Karpathy) 오픈AI 공동 설립자는 X에서 이번 논문에 관해 언급하며 “LLM에 정보를 입력하는 수단으로 결국 텍스트보다는 이미지가 더 나을지도 모른다”라고 평가했다. 그는 “텍스트 토큰은 비효율적이고 형편없는 입력 방식일 수 있다”고 덧붙였다. 노스웨스턴 대학교의 만링 리(Manling Li) 컴퓨터과학과 조교수는 “딥시크의 이번 논문은 AI의 ‘기억력’과 관련된 기존의 문제를 해결할 새로운 틀을 제시한다”면서 “정보 저장에 이미지 기반 토큰을 사용하는 아이디어가 완전히 새로운 건 아니지만, 그 아이디어를 실제로 작동 가능한 수준까지 발전시킨 연구는 처음”이라고 밝혔다. 노스웨스턴 대학교의 박사과정생 지한 왕(Zihan Wang)은 “이 방법은 AI 연구와 응용 분야에 새로운 가능성을 제공한다”며 “특히 더 유용한 AI 에이전트를 만드는 데 도움이 될 수 있다”고 설명했다. 그는 AI와의 대화는 연속적이기 때문에 이번 방식을 활용하면 모델이 더 많은 내용을 기억해서 사용자에게 더 효과적으로 도움을 줄 수 있을 것이라고 생각한다. 이 기술은 AI 모델을 위한 학습 데이터를 더 많이 생산하는 데도 활용될 수 있다. 현재 모델 개발자들은 양질의 학습용 텍스트 부족 문제로 어려움을 겪고 있다. 그러나 딥시크는 논문에서 이번 OCR 시스템이 단일 GPU만으로 하루에 20만 페이지 이상의 학습 데이터를 생성할 수 있다고 밝혔다. 다만 이 모델과 논문은 AI ‘기억력’ 향상을 위해 텍스트 토큰 대신 이미지 토큰을 활용하는 방법을 탐구하는 초기 시도에 불과하다. 리 교수는 “시각적 토큰이 정보 저장뿐 아니라 추론에도 적용되기를 바란다”고 밝혔다. 이어서 “향후 연구에서는 인간이 몇 년 전에 있었던 놀라운 순간은 또렷이 기억하면서도 바로 지난주에 먹은 점심이 무엇인지는 잊어버리는 것처럼, AI의 기억이 더 역동적으로 희미해질 수 있게 하는 방식을 탐구해야 한다”고 밝혔다. 리 교수는 “현재는 딥시크에서 제안한 방법을 사용해도 AI가 정보를 순서대로 기억하고 잊는 경향이 있어 최신 정보는 잘 기억하지만 중요한 정보는 오래 보존하지 못한다”고 지적했다. 딥시크는 눈에 띄지 않으려 노력하고 있지만, AI 연구 분야에서 혁신을 이어가며 명성을 쌓고 있다. 딥시크는 올해 초 오픈소스 추론 모델 딥시크-R1을 공개했고, 훨씬 적은 컴퓨팅 자원으로도 서구의 선도적 시스템들과 맞먹는 성능을 보일 수 있음을 입증하면서 AI 업계를 놀라게 했다
자주 묻는 질문
Q. 어떤 정보를 제공하나요?
A. IT/기술 관련 최신 정보를 제공합니다.
Q. 신뢰할 수 있나요?
A. 검증된 출처만 선별합니다.
Q. 더 궁금한 점은?
A. 댓글로 문의하세요.
원문 출처
이 글은 원본 기사를 참고하여 작성되었습니다.