Amazonは、大規模言語モデルのトレーニング用に独自のテキストデータを抽出するため、希少で絶版の書籍をデジタル化し、物理的に破棄しています。公開ウェブコーパスがほぼ枯渇しているため、独自の物理アーカイブがモデルの差別化にとって重要なボトルネックとなっています...

ソース要約

Amazonは、大規模言語モデルのトレーニング用に独自のテキストデータを抽出するため、希少で絶版の書籍をデジタル化し、物理的に破棄しています。公開ウェブコーパスがほぼ枯渇しているため、独自の物理アーカイブがモデルの差別化にとって重要なボトルネックとなっています。この慣行は、知的財産権とAIデータパイプラインの長期的な持続可能性に関する議論を激化させています。