测试作弊,百度人工智能被禁赛一年

5月份的时候,雷锋网曾报道,百度超级计算机Minwa在计算机视觉挑战赛(ILSVRC)上取得了“世界最好的成绩”,他们的系统在测试ImageNet分类数据集中的错误率仅为4.58%,击败了谷歌微软等竞争对手。

而在6月2日,ILSVRC的组织者指出,百度在测试过程中作弊,测试的频率远超规定次数。ImageNet允许参赛方每周提交两组测试结果。然而,百度在3月份的5天内提交了逾40次测试结果。据了解,负责这个项目的并不是来自百度深度学习研究院IDL的科学家,而是百度美国研发中心的异构计算研究团队。对此,百度承认违规行为,并且已经就此事道歉。

曾在ImageNet测试中获胜的人工智能公司Clarifai CEO Matthew Zeiler表示:

“这种做法十分糟糕,这正是为什么要将测试数据独立服务器上,并限制访问次数的原因。如果你知道了测试数据,你就会修改你的模型参数,怎么优化都可以。”

目前,ImageNet组织方已经要求百度停止在明年提交ImageNet测试成绩。

发表评论

电子邮件地址不会被公开。