Reddit 阻止所有搜索引擎訪問,僅允許 Google 爬取內容。

在 2024 年 2 月,廣泛報導指出 Reddit 與 Google 簽訂了一項協議。該合同允許 Google 在 Reddit 的內容上進行 AI 模型的訓練,據報導,這項交易的費用為每年 6000 萬美元。雖然最初該交易看似是一項 AI 訓練的許可協議,但現在似乎超出了合同的範疇。

根據 404 Media 的報導,由於 Google 與 Reddit 之間的 AI 許可協議,Google 成為唯一可以爬取 Reddit 新帖子和內容的搜索引擎。這一發展顯示出 Google 在搜索引擎領域的反競爭行為。Google 還向 Reddit 轉送了大量流量。像 Bing、DuckDuckGo、Mojeek 和 Qwant 等 Google Search 的替代品無法爬取新的和最近的 Reddit 帖子。

目前,Search Engine Land 已經向 Microsoft 確認,Reddit 確實在阻止其他搜索引擎的訪問,除了 Google。報導指出,Reddit 在 2024 年 7 月 1 日修改了其 “robots.txt” 文件,阻止許多搜索引擎和 AI 機器人爬取其內容。令人驚訝的是,Google 是唯一可以爬取 Reddit 內容的主要搜索引擎。

在 Bing 和 DuckDuckGo 上查找新的 Reddit 帖子時,發現它們只顯示一個月前的舊帖子。搜索引擎正在遵守 “robots.txt” 標準,並已停止爬取新的 Reddit 帖子。

這引發了對 Google 壟斷行為的幾個問題。Google 已經因其反壟斷行為受到美國司法部的調查。這一發展可能會使 Google 的情況變得更加嚴峻。

Henderson
Henderson
Henderson 主要擔任「炒稿記者」的職責,以翻譯最新科技,手機 電動車等消息為每天的工作。