학계는 AI 스타트업이 홍보를 위해 동료 평가를 도용한다고 비판하다

AI에 초점을 맞춘 오랜 역사의 학술 대회 인 ICLR에 올해 제출된 'AI 생성' 연구에 대한 논란이 일고 있습니다.

Sakana, Intology 및 Autoscience과 같은 적어도 세 개의 AI 연구소는 AI를 사용하여 ICLR 워크샵에 제출된 연구를 생성했다고 주장합니다. ICLR과 같은 학회에서 워크샵 조직자들은 일반적으로 학회의 워크샵 트랙에서 발표를 위해 연구를 리뷰합니다.

Sakana는 AI가 생성한 논문을 제출하기 전에 ICLR 리더에게 통보하고 동료 평가자들의 동의를 얻었습니다. 다른 두 연구소(Intology와 Autoscience)는 그렇지 않았습니다. 이를 TechCrunch가 확인했습니다.

여러 AI 학자들이 소셜 미디어에 돌아와 Intology와 Autoscience의 질타를 표했습니다. 이들은 이와 같은 과정이 과학적 동료 평가 과정을 독용하는 것으로 비판했습니다.

아미탕재르 아만나브롤루(UC 샌디에고의 조교수)는 "모든 AI 과학자 논문들은 동료 평가 학회를 자신들의 인간 평가로 사용하지만, 이 일을 무료로 제공하겠다는 사람은 없습니다."라고 X 게시물에서 썼습니다. "이것은 시스템이 얼마나 인상적이건간에 모든 관련자에 대한 존중을 잃게 만듭니다. 편집자에게 이를 공개하십시오."

비판자들이 지적했듯이, 동료 평가는 시간이 많이 소요되며, 노동 집약적이며 대부분 자원 봉사로 이루어진 일입니다. 최근 Nature 조사에 따르면 학계의 40%가 하나의 연구를 리뷰하는 데 2~4시간을 사용합니다. 그 일은 증가하고 있습니다. 최대 AI 학회 NeurIPS에 제출된 논문 수는 작년에 12,345에서 41% 증가하여 17,491개로 증가했습니다.

학계는 이미 AI 생성 복사 문제에 직면하고 있습니다. 한 분석에 따르면 2023년 AI 학회에 제출된 논문 중 6.5%에서 16.9%가 합성 텍스트를 포함했을 가능성이 높다는 것을 발견했습니다. 그러나 AI 기업이 동료 평가를 이용하여 기술을 평가하고 광고하는 것은 비교적 새로운 일입니다.

Intology는 "그 논문들은 일치판의 긍정적인 평가를 받았다"고 X 게시물에서 자사의 ICLR 결과를 극찬했습니다. 같은 게시물에서 회사는 워크샵 리뷰어들이 자사의 AI 생성 연구 중 하나의 "멋진 아이디어"를 칭찬했다고 주장했습니다.

학계는 이를 귀천으로 보지 않았습니다.

메릴랜드 대학의 박사 후 연구원인 아쉬윈 파는 "워크샵 조직자에게 거부권을 주지 않고 AI 생성된 논문을 제출하는 것은 인간 리뷰어들의 시간에 대한 존중 부족을 보여준다"라고 X 게시물에서 말했습니다.

판다는 "ICLR에서 내가 조직하는 워크샵을 위해 그들의 실험에 참여할 의사가 있는지 여쭤보는 Sakana가 연락했고, 나(우리)가 거절했습니다. AI 논문을 리뷰어에게 연락하지 않고 학회에 제출하는 것은 안 좋은 것 같아요."라고 덧붙였습니다.

많은 연구자들은 AI 생성된 논문이 동료 평가 노력에 가치가 있는지 의심합니다.

Sakana 자체가 자신들의 AI가 "난처한" 인용 오류를 범했고, 회사가 제출할 AI 생성 논문 중 하나만이 학회 수준의 기준을 충족했을 것이라고 합니다. Sakana는 투명성과 ICLR 규약에 대한 존중을 위해 자사의 ICLR 논문을 게시되기 전에 철수했다고 밝혔습니다.

AI 스타트업 Pleias 공동 창업자인 알렉산더 도리아는 은밀한 합성 ICLR 제출물의 팽창이 "고품질" AI 생성 연구 평가를 위해 "규제된 공공 기관/정부"가 필요함을 시사했습니다.

도리아는 "연구자들이 그들의 시간에 대해 완전히 보상받는 AI 평가가 되어야 합니다"라고 X 게시물의 일련의 글에서 말했습니다. "학계는 무료 AI 평가를 외부에 아웃소싱하려는 것이 아닙니다."