Компанії, що займаються розвитком штучного інтелекту, скуповують мільйони вживаних книг і знищують їх після сканування для навчання своїх моделей, повідомляє розслідування 404 Media.
За даними розслідування, для створення якісних моделей ШІ потрібні великі обсяги високоякісних даних. Однак у мережі поширюється багато контенту, створеного ШІ, який вважають «сміттям» і який погіршує якість навчання. Через це провідні компанії звернулися до друкованих видань, опублікованих до 2022 року, де міститься більш достовірна інформація.
Прикладом є Anthropic, яка інвестувала мільйони доларів у вилучення даних із великої кількості друкованих книг для створення власних моделей Claude, а потім знищила ці книги. Компанія закуповувала книги у Better World Books. Хоча суд визнав використання книг для навчання ШІ добросовісним використанням за законом про авторське право, Anthropic загрожував штраф у $1,5 млрд за зберігання архіву з 7 млн піратських книг, що порушували права авторів і видавців.
Подібний позов подала коаліція видавців проти Google, звинувативши технологічного гіганта у незаконному використанні мільйонів захищених авторським правом книг для розробки моделей Gemini. Онлайн-база ISBNdb, що містить понад 111 млн каталогізованих книг, тривалий час слугувала платформою для книготорговців і бібліотек, але тепер переорієнтувалася на оптові закупівлі книг для компаній, що розвивають ШІ. За даними 404 Media, обсяги замовлень коливаються від тисячі до мільйона книг за одну транзакцію.
Один із професійних книготорговців повідомив, що з квітня цього року спостерігається безпрецедентне зростання продажів: якщо раніше продавалося близько 20 книг на тиждень, то тепер — кілька сотень, що у п’ять разів перевищує звичайні обсяги. Аналогічне зростання відзначають і інші продавці на платформах Alibris та Biblio.
Хоча немає прямих доказів, що ISBNdb або інші компанії закуповують книги оптом для ШІ, існують тривожні ознаки. Великі замовлення містили лише книги з міжнародним стандартним книжковим номером (ISBN), без закономірностей за темою, жанром чи автором. Покупці ігнорували ціни і скуповували книги навіть за завищеними цінами.
Під час судового процесу з Anthropic Том Гарві, який раніше працював над Google Books і очолював проект оцифрування Anthropic «Проект Панама», підтвердив, що компанія наймала сторонні фірми для сканування книг. Однією з них була Datamation Information Services, що пропонує як неушкоджувальне, так і руйнівне сканування. Другий метод передбачає розбір книг на сторінки і їх подачу у високошвидкісний сканер, що дешевше і ефективніше, але призводить до знищення книг.
Друковані видання залишаються важливим джерелом інформації для навчання ШІ, але викликають етичні питання. Невідомо, чи відокремлюють компанії рідкісні або зняті з друку книги від масових видань під час оцифрування. Також відскановані книги потрапляють у приватні бази даних, недоступні широкому загалу, що може позбавити майбутні покоління важливої інформації.