维基主动向AI开发者提供数据以抵御爬虫

维基主动向AI开发者提供数据以抵御爬虫

维基百科正在通过发布一个专为训练人工智能模型优化的数据集，来劝阻开发者从该平台抓取内容。维基媒体基金会周三宣布已与Kaggle合作发布了一个包含 “英文和法文结构化维基百科内容”的测试版数据集。维基媒体表示，托管的数据集“在设计时考虑了机器学习工作流程”，使AI开发者更容易访问机器可读的文章数据，用于建模、微调、基准测试、对齐和分析。数据集内容采用开放许可协议，截至 4月15日，包含研究摘要、简短描述、图片链接、信息框数据及文章章节。

—— Theverge

via 风向旗参考快讯 - Telegram Channel