【pg電子官方網站】業界：ChatGPT們毀了網絡共享根基，內容所有者不肯再共享

8月31日音訊，業界跟著人工智能技能的毀網迅猛發展，從前用于查找引擎索引的絡共pg電子官方網站網絡爬蟲現在被用于搜集練習數據來開發人工智能模型。內容創造者認識到，享根享他們的基內勞動成果被大科技公司免費運用來開發新的人工智能東西，爬蟲協議現已無法處理這個問題。不肯這或許會影響內容一切者在線同享內容的再共動力，然后從底子上改動互聯網。業界

以下為翻譯內容：

20世紀90年代末，毀網呈現了一種名為爬蟲協議（robots.txt）的絡共簡略代碼，答應網站一切者奉告查找引擎的享根享機器人爬蟲哪些頁面能夠抓取，哪些頁面不能抓取?；鶅痊F在，不肯爬蟲協議已成為業界遍及承受的再共非官方網絡規矩之一。

機器人爬蟲的業界首要意圖是索引信息，改進查找引擎的查找成果。谷歌、必應和其他查找引擎都有爬蟲程序，它們生成網絡內容的索引信息，并供給應潛在的數十億用戶。這也是互聯網蓬勃發展的根底，創造者們在網絡上同享豐厚信息，由于他們知道用戶會拜訪他們的網站并閱讀廣告、訂閱服務或購買產品。

但是，生成式人工智能和大言語模型正在從底子上敏捷改動網絡爬蟲的pg電子官方網站使命。這些東西并沒有為內容創造者供給支撐，反而成為他們的敵人。

機器人喂飽了大科技公司。

現在，網絡爬蟲搜集在線信息，并生成大規模的數據集，這些數據集被賦有的科技公司免費用于開發人工智能模型。比方，CCBot為最大的人工智能數據集之一CommonCrawl供給數據；GPTbot則是向人工智能明星創企OpenAI供給數據。谷歌將自家的大言語模型的練習數據稱為“無限調集”，但沒有提及大部分數據來自CommonCrawl的精簡版C4。

這些公司開發的人工智能模型運用這些免費信息來學習怎么答復用戶的問題，這與為網站樹立索引信息、讓用戶拜訪原始內容的既定形式相去甚遠。

假如沒有潛在的顧客，內容創造者就沒有動力讓網絡爬蟲繼續搜集免費數據。GPTbot已被亞馬遜、愛彼迎、Quora和其他上千家網站屏蔽。對CommonCrawl數據集的CCBot的屏蔽也越來越多。

“粗糙的東西”。

阻撓這些網絡爬蟲的方法并沒有太大改動。網站一切者只能布置爬蟲協議并屏蔽特定爬蟲，但作用并不抱負。

“這是件有點粗糙的東西，”Wordpress前高管、科技投資者、數字營銷公司Yoast創始人約斯特·德·瓦爾克(Joost de Valk)說?！八鼪]有法令依據，基本上是由谷歌維護的，雖然他們宣稱是與其他查找引擎一起維護的?！?。

考慮到各大企業對高質量人工智能數據的巨大需求，爬蟲協議也簡略被操作。例如，像OpenAI這樣的公司只需更改其網絡爬蟲的稱號，就能夠繞過人們運用爬蟲協議設置的制止規矩。

此外，由于爬蟲協議是自愿恪守的，網絡爬蟲也能夠簡略地疏忽指令并繼續搜集信息。像Brave等較新的查找引擎的網絡爬蟲就不會遭到規矩的影響。

“網上的全部信息都被模型吸進了真空，”研討人類生成數據與人工智能之間聯系的計算機科學教授尼克·文森特(Nick Vincent)說?！斑@背面產生了許多工作。在接下來的時間里，咱們期望能以不同的方法評價這些模型。

創造者的回應。

德·瓦爾克正告稱，內容一切者和創造者或許現已太愚鈍，無法了解答應這些網絡爬蟲免費獲取他們的數據、不加區分地運用這些數據來開發人工智能模型的危險。

“現在，什么都不做意味著，‘我認可我的內容呈現在國際上一切的人工智能和大言語模型中，’”德·瓦爾克說?！斑@是徹底過錯的。需求創建更好的爬蟲協議，但查找引擎和大型人工智能團隊自己很難會去做這件事?！?。

一些大公司和網站最近做出了回應，其間一些是第一次布置爬蟲協議。

檢測人工智能生成內容的公司Originality.ai標明，到8月22日，在1000個最受用戶歡迎的網站中有70個運用爬蟲協議屏蔽GPTBot。

Originality.ai還發現，在1000個最受歡迎的網站中，有62個屏蔽了CommonCrawl的網絡爬蟲CCBot。跟著人們對人工智能數據搜集的認識日益增強，本年有越來越多的網站開端屏蔽CommonCrawl。

但是，網站不能強制執行爬蟲協議。任何爬蟲都能夠疏忽該文件，繼續搜集網頁上的數據，而網頁一切者或許底子不知情。即使布置爬蟲協議具有法令依據，其初衷與運用網絡信息開發人工智能模型聯系不大。

紐約大學技能法令與方針診所主任杰森·舒爾茨(JasonSchultz)標明，"Robots.txt不太或許被視為制止運用網站數據的法令。"這首要是為了標明人們不期望自己的網站被查找引擎編入索引，而不是標明人們不期望自己的內容被用于練習機器學習和人工智能。

“這是一個雷區”。

事實上，這種狀況現已繼續了多年。早在2018年，OpenAI就發布了首個GPT模型，并經過BookCorpus數據集進行練習。CommonCrawl始于2008年，并于2011年經過亞馬遜云服務揭露了數據集。

雖然現在屏蔽GPTBot的網站越來越多，但關于那些憂慮自己的數據被用于練習人工智能模型的企業來說，CommonCrawl的要挾更大。能夠說，CommonCrawl之于人工智能，就像谷歌之于互聯網查找。

非營利安排常識同享（Creative Commons）首席執行官凱瑟琳·斯蒂勒(Catherine Stihler)標明，

“這是一個雷區。咱們幾年前才更新了戰略，現在咱們處于一個不同的國際?！?。

常識同享始于2001年，是創造者和內容一切者用常識同享答應協議來代替嚴厲版權，在網上運用并同享著作答應的一種方法。在同享答應協議的根底上，創造者和一切者保存他們的權力，并答應其別人拜訪內容并創造衍生著作。維基百科、Flickr、StackOverflow等許多聞名網站都是經過常識同享答應協議運作的。

常識同享安排在最新的五年戰略中標明，在練習人工智能技能方面，敞開內容的運用存在問題。常識同享安排期望使在線著作同享愈加公正。

1600億網頁。

經過CCBot爬取揭露信息的CommonCrawl具有最大的數據存儲庫。自2011年以來，它已從1600億個網頁中抓取和保存信息，并繼續添加。一般來說，CommonCrawl每月抓取并保存大約30億個網頁的信息。

Common Crawl稱，這項工作是一個“敞開數據”項目，旨在讓任何人“翻開自己的好奇心，剖析國際，尋求杰出的主意”。

但是，現在的狀況徹底不同。許多Common Crawl搜集的數據被大科技公司用于開發專有模型。即使一家大型科技公司現在沒有從人工智能產品中獲利，未來也有或許這樣做。

一些大型科技公司已中止發表練習數據來歷。但是，許多強壯的人工智能模型都是運用CommonCrawl開發的。它協助谷歌開發了Bard，協助Meta練習Llama，協助OpenAI創建ChatGPT。

Common Crawl還向ThePile供給數據，后者還具有更多從其他爬蟲抓取的數據集。ThePile已廣泛用于人工智能項目，包括Llama和微軟與英偉達一起開發的MT-NLG。

從本年6月份開端，ThePile下載量最大的數據之一是受版權維護的漫畫書，包括阿奇漫畫、蝙蝠俠、X戰警、星球大戰和超人系列的著作。這些著作都是DC漫畫和漫威創造的，現在仍受版權維護。最近有報導稱，ThePile中還存儲了許多受版權維護的書本。

紐約大學的舒爾茨標明，爬蟲的意圖和運用方法徹底不同。很難監管或要求它們以特定方法運用數據。

關于The Pile來說，雖然它供認數據中包括受版權維護的資料，但在創建數據集的技能文章中宣稱，“處理和分發別人具有的數據也或許違背版權法”的說法簡直沒有人會認同。

此外，The Pile還辯稱，雖然數據會集存儲了相對未經改動的著作，但依據合理運用準則，對這些資料的運用應該是革新性的。ThePile還供認，在練習大言語模型時，需求運用完好的版權內容以產生最佳作用。

網絡爬蟲和人工智能項目中所謂的合理運用觀念現已遭到了質疑。作家、視覺藝術家乃至源代碼開發人員申述OpenAI、微柔和Meta等公司，由于他們的原創著作在未經答應的狀況下被用于練習模型，而他們并沒有從中獲益。

微軟前高管、風投公司安德森·霍洛維茨(Andreessen Horowitz)合伙人史蒂文·辛諾夫斯基(Steven Sinofsky)最近在交際媒體上寫道，即使將東西放到互聯網上，也不能不經贊同就免費、無限制地將或人的勞動成果用于商業用途。

沒有處理辦法。

“咱們現在正在盡力處理一切這些問題，”常識同享安排首席執行官斯蒂勒標明，有許多問題需求處理：補償、授權、信賴。在人工智能年代，咱們還沒有答案。

德·瓦爾克標明，由于常識同享答應協議能夠促進版權的流通性、答應自己具有的著作在互聯網上運用，能夠作為開發人工智能模型的一種潛在答應形式。

斯蒂勒對此并不確認。她說，涉及到人工智能時，或許并沒有單一的處理方案。即使是更靈敏的通用協議，也或許行不通。你怎么向整個互聯網授權？

斯蒂勒說：“與我交談過的每一位律師都說，答應并不能處理問題?！?。

她常常與作者、人工智能職業高管等利益相關者評論這個問題。斯蒂勒本年早些時候會見了OpenAI的代表，并標明公司正在評論怎么獎賞創造者。

但她彌補說，現在還不清楚人工智能年代的公共空間將會是什么姿態。

鑒于網絡爬蟲現已為大型科技公司搜集了許多數據，加上內容創造者底子無法掌控，互聯網或許會產生巨大改動。

假如發布信息意味著將數據免費供給應與自己競賽的人工智能模型，那么這種活動或許會中止。

現已有痕跡標明，拜拜訪答網站Stack Overflow來答復問題的程序員越來越少，由于他們之前的支付被用來練習人工智能模型，現在這些模型能夠主動答復許多問題。

斯蒂勒標明，一切在線創造內容的未來或許很快就會像現在的流媒體相同，內容被鎖在訂閱服務中，本錢越來越高。

“假如咱們不小心，終究就會導致公共空間封閉，”斯蒂勒說?！皩懈嘤袊鷫Φ幕▓@、更多人們無法拜訪的東西。這不是未來常識和創造力的成功形式?！保ǔ匠剑?。