Databricks의 OfficeQA는 단절을 발견합니다. AI 에이전트는 추상 테스트를 통과했지만 기업 문서에서는 45%에서 정체됩니다.

오늘날 시장에는 HLE(Humanity’s Last Exam), ARC-AGI-2 및 GDPval과 같은 인기 있는 옵션을 포함하여 AI 벤치마크가 부족하지 않습니다. AI 에이전트는 추상적인 수학 문제를 해결하고 대부분의 벤치마크의 기반이 되는 박사 수준 시험을 통과하는 데 탁월하지만 Databricks는 기업에 대해 다음과 같은 질문을 던집니다. 대부분의 기업에서 수행해야 하는 문서가 많은 작업을 실제로 처리할 수 있습니까? 데이터 및 AI 플랫폼 회사의 새로운 연구에 따르면 대답은 진지합니다. 최고의 성능을 발휘하는 AI 에이전트라도 실제 기업 워크로드를 반영하는 작업에서는 45% 미만의 정확도를 달성하여 학문적 벤치마크와 비즈니스 현실 사이의 심각한 격차를 노출시킵니다. “[기존 벤치마크]를 더 잘하는 데 연구 노력을 집중한다면 아마도 Databricks를 더 나은 플랫폼으로 만들기 위한 올바른 문제를 해결하지 못할 것입니다.”라고 Databricks의 수석 연구 과학자인 Erich Elsen은 VentureBeat에 설명했습니다. “그래서 우리가 여기저기 둘러보던 중이었어. H