Meine bisherigen, bescheidenen Erfahrungen damit zeigen, dass in erster Linie viel Substanz produziert wird, mit fraglichem "Wahrheitsgehalt" bzw. die Ergebnisse oft mit einer Überzeugung als richtig präsentiert werden, obwohl sie krautfalsch sind, die einen schon verwundert zurück lassen. Man braucht oft mehr Zeit, die Ergebnisse zu verifizieren, als gleich selbst zu recherchieren.
Es wird eben nichts „produziert“, sondern (wenn wir bei LLMs bleiben) nur aus dem beinahe unendlichen Datenmüll im Internet die Wahrscheinlichste Antwort berechnet und in für Menschen verständliche Sprache übersetzt.