Ein ehemaliger OpenAI-Forscher erwartet, dass 100 Milliarden Dollar in Trainingsdaten fließen werden, weil reine Skalierung nicht ausreicht.

Source Brief

Ein ehemaliger OpenAI-Forscher erwartet, dass 100 Milliarden Dollar in Trainingsdaten fließen werden, weil reine Skalierung nicht ausreicht. Sprachmodelle würden sich immer stärker auf Code und Mathematik spezialisieren, während sie in anderen Bereichen stagnieren.