今年のAIに焦点を当てた長期的な学術会議であるICLRに提出された「AI生成」の研究について論争が巻き起こっています。
少なくともSakana、Intology、およびAutoscienceなどの3つのAIラボは、ICLRのワークショップに受け入れられた研究を生成するためにAIを使用したと主張しています。ICLRのような会議では、通常、ワークショップの主催者が会議のワークショップトラックでの出版をレビューします。
Sakanaは、AI生成の論文を提出する前にICLRのリーダーに通知し、査読者の同意を得ました。他の2つのラボであるIntologyとAutoscienceはそうではなく、ICLRのスポークスマンがTechCrunchに確認しました。
いくつかのAIの学者は、IntologyとAutoscienceの妨害行為を科学的な査読プロセスの横取りとして非難するためにソーシャルメディアを利用しました。
「すべてのこれらのAI科学者の論文が、査読を受けた会場を彼らの人間評価として使用していますが、誰もが、この無料の労働力を提供することに同意していませんでした。」と、UCサンディエゴの助教であるPrithviraj AmmanabroluはXの投稿で述べた。「そのシステムがどれほど印象的であろうと、関わるすべての人に対する尊敬を失います。編集者にこれを開示してください」と。」
批評家が指摘したように、査読は時間がかかり、労力がかかり、主にボランティアの骨折りです。最近のネイチャーの調査によると、40％の学者が1つの研究を査読するために2〜4時間を費やしています。その作業は増加してきています。昨年、最大のAI会議であるNeurIPSに提出された論文の数は、2023年の12345件から41％増の17491件に達しました。
学問界は既にAI生成コピーの問題に直面しています。1つの分析では、2023年にAI会議に提出された論文のうち、6.5％から16.9%が合成テキストを含んでいる可能性が高いことが示されています。しかし、AI企業が評価基準として科学的査読を使用してテクノロジーを宣伝することは比較的新しい出来事です。
「[Intology]の論文は一致団結した肯定的なレビューを受けました」と、IntologyはXの投稿でICLRの結果を宣伝して書き込みました。同じ投稿で、同社は、ワークショップの査読者が同社のAI生成研究の中の1つの「巧妙なアイデア」を賞賛したと主張しました。
学者たちはこれを好ましく思いませんでした。
メリーランド大学の博士研究員であるAshwinee Pandaは、Xの投稿で、ワークショップの主催者に拒否権を与えずにAI生成の論文を提出することは「人間の査読者の時間に対する尊重の欠如」を示していると述べました。
「Sakanaは、ICLRで行うワークショップのための実験に参加していただけるかどうかを尋ねてきた」とPandaは付け加え、「私（たち）はいいえと言いました[…] AI論文を[査読者]に連絡せずに会場に提出するのは良くありません」と述べました。
無視されず、多くの研究者はAI生成の論文が査読の労力に値するとは懐疑的です。
Sakana自体が、自社のAIが「恥ずかしい」引用エラーを起こし、提出する選択をした3つのAI生成のうちの1つだけが会議の受け入れ基準を満たしたと述べました。同社は、ICLRの慣習と透明性への尊重のためにICLRの論文を撤回しました。
AIスタートアップPleiasの共同設立者であるAlexander Doriaは、こっそりと合成のICLR提出が、「価値のある価格で高品質なAI生成研究の評価」を行うために「規制された企業/公共機関」が必要であることを指摘しました。
「評価は、研究者に労働時間の完全な補償をして行われるべきです」と、DoriaはXの投稿で述べました。「学問は無料[AI]の評価を委託するために存在しない。」
