Das Urteil, das einen Chatbot zum Produkt machte
Am 20. Mai 2025 unterschrieb eine Bundesrichterin in Orlando einen Beschluss über mehrere Dutzend Seiten, der einen Satz enthält, den die Branche seitdem immer wieder liest.
*„But Defendants fail to articulate why words strung together by an LLM are speech."*
Richterin Anne C. Conway hat damit keine philosophische Aussage gemacht. Sie hat sich geweigert, eine Klage abzuweisen, und dabei das Argument nicht akzeptiert, die Ausgabe eines Sprachmodells sei geschützte Meinungsäußerung nach dem First Amendment. Diese eine Weigerung ist der Grund, warum jeder Anbieter dieser Kategorie im Jahr darauf seine Alterspolitik umgeschrieben hat — und warum viele Leute den Zugang zu einem Dienst verloren, für den sie bezahlt hatten.
Das Verfahren heißt *Garcia v. Character Technologies*, Aktenzeichen 6:24-cv-01903-ACC-DCI im Middle District of Florida. Eingereicht wurde es am 22. Oktober 2024 von Megan Garcia und Sewell Setzer Jr., den Eltern von Sewell Setzer III, der vierzehn war, als er im Februar 2024 starb. Vertreten wurden sie vom Social Media Victims Law Center und vom Tech Justice Law Project. Beklagt waren Character Technologies, die beiden Gründer Noam Shazeer und Daniel De Freitas sowie Google LLC und Alphabet Inc.
Was folgt, handelt von der juristischen Begründung und davon, was sie verändert hat. Was einem Kind zugestoßen ist, gehört seiner Familie und dem Gericht, nicht einer Vergleichsseite.
Warum ein Abweisungsantrag so viel Gewicht hatte
Die meisten Klagen gegen Technologieunternehmen enden früh und leise. Die Beklagte stellt einen Antrag auf Abweisung, argumentiert, selbst wenn alles in der Klageschrift zuträfe, ergäbe es keinen Anspruch — und das Verfahren endet, bevor jemand ein Dokument gelesen oder unter Eid ausgesagt hat.
Es gab auch keine Landkarte. Companion-Apps sind eine kaum drei Jahre alte Kategorie, und niemand hatte geklärt, welches Rechtsgebiet für sie gilt — genau das wollten die Beklagten zu ihren Gunsten festlegen, bevor irgendjemand Akten zu sehen bekam.
Character Technologies stellte diesen Antrag. Und verlor ihn zum größten Teil. Das ist die ganze Bedeutung des 20. Mai 2025 — kein Urteil, kein Schadensersatz, sondern eine Richterin, die feststellte, dass die Vorwürfe ernst genug sind, um in die Beweisaufnahme zu gehen, wo interne Unterlagen herausgegeben werden und Führungskräfte Fragen beantworten.
Drei Teile des Beschlusses haben die Arbeit gemacht.
Erstens: die Berufung auf das First Amendment scheiterte
Die Verteidigung argumentierte, die Ausgabe des Modells sei Rede, und eine Haftung für das, was eine Figur sagt, wäre eine Haftung für Ausdruck.
Das Gericht folgte dem nicht, und die Begründung wiegt schwerer als das Ergebnis. Die Richterin behandelte die Ausgabe als näher an algorithmischer Kuratierung denn an verfasstem Ausdruck und stützte sich dabei auf das Sondervotum von Richterin Barrett in *Moody*. Die Darlegungslast, so ihre Feststellung, lag bei den Beklagten — sie hätten erklären müssen, warum von einem Modell zusammengesetzter Text geschützte Rede ist. Sie hatten es nicht.
Das ist enger, als die Schlagzeilen nahelegten. Das Gericht hat nicht entschieden, dass die Ausgabe eines Sprachmodells niemals Rede ist. Es hat entschieden, dass die Beklagten in diesem Verfahrensstadium nicht dargelegt haben, warum sie es sein sollte. Praktisch war die Wirkung sofort spürbar: Der stärkste verfügbare Schutzschild hielt nicht, und das Verfahren lief weiter.
Zweitens: die App ist ein Produkt, keine Dienstleistung
Die zweite Feststellung reicht am weitesten.
Damit Produkthaftung greift, muss das schädigende Ding ein Produkt sein. Dienstleistungen fallen unter Fahrlässigkeitsrecht, das schwerer zu beweisen und leichter zu verteidigen ist. Character Technologies argumentierte, man erbringe eine Dienstleistung.
Das Gericht sah es anders, verwies auf *Brookes v. Lyft* und zog die Linie genau: Die Ansprüche ergäben sich aus Mängeln der Anwendung selbst, nicht aus den Ideen oder Äußerungen darin. Gestaltungsentscheidungen sind Produktgestaltung. Ist diese Linie einmal gezogen, steht die verschuldensunabhängige Haftung für Konstruktionsfehler offen — und ein Kläger muss nicht mehr nachweisen, dass ein Unternehmen unsorgfältig war, sondern nur, dass die Sache schlecht gebaut ist.
Für eine Kategorie, deren gesamte Ausgabe aus Text besteht, ist das die folgenreichere der beiden Feststellungen. Sie besagt: Die Hülle ist ein Produkt, auch wenn der Inhalt Rede ist.
Was bestehen blieb und was nicht
| Anspruch | Ergebnis |
|---|---|
| Produkthaftung (Konstruktionsfehler) | bleibt |
| Fahrlässigkeit | bleibt |
| Negligence per se | bleibt |
| Verletzung der Warnpflicht | bleibt |
| Florida Deceptive and Unfair Trade Practices Act | bleibt |
| Ungerechtfertigte Bereicherung | bleibt |
| Vorsätzliche Zufügung seelischen Leids | abgewiesen, ohne Nachbesserungsmöglichkeit |
Sechs von sieben. Für eine erstmalige Klage dieser Art gegen ein KI-Unternehmen kommt das einem klaren Erfolg der Kläger in diesem Stadium nahe.
Die Verletzung der Warnpflicht ist der Punkt, der auffällt, wenn man Kunde ist und nicht Jurist. Es ist der Vorwurf, ein Unternehmen habe etwas über das Verhalten seines Produkts gewusst und es den Nutzern nicht gesagt — dieselbe Form wie bei einem Anbieter, der nicht veröffentlicht, was sein Gratis-Tarif wirklich hergibt, bis man sich angemeldet und die Grenze erreicht hat.
Drittens: Google blieb im Verfahren
Google war nicht der Betreiber. Es gab zu verschiedenen Zeitpunkten eine Beteiligung und eine Lizenzvereinbarung, und die beiden Gründer waren 2024 zu Google zurückgekehrt.
Das Gericht behielt Google aus zwei Gründen im Verfahren: Haftung als Hersteller einer Komponente, weil geistiges Eigentum und Infrastruktur bereitgestellt wurden, und Beihilfe, weil Googles eigene interne Berichte zu KI-Risiken eine tatsächliche Kenntnis der Gefahr plausibel machten.
Ein Detail wird regelmäßig falsch berichtet, und es ist ein gutes Beispiel dafür, warum wir Primärdokumente statt Berichterstattung lesen. Alphabet Inc. wurde auf Antrag der Klägerseite selbst aus dem Verfahren genommen, ohne Präklusion — nach Mai 2025 war Alphabet also in der maßgeblichen Fassung der Klage nicht mehr Beklagte, obwohl der Name in Berichten über den Vergleich auftaucht. Google LLC und Alphabet Inc. sind nicht austauschbar, und die Akte behandelt sie unterschiedlich.
Was nicht im Beschluss stand
Section 230 — die Vorschrift, die Plattformen seit fast dreißig Jahren von der Haftung für Nutzerinhalte freistellt — wurde überhaupt nicht geprüft.
Diese Leerstelle lohnt einen Moment. Der berühmteste Schutzschild des amerikanischen Internetrechts kam schlicht nicht vor, weil der Vorwurf nicht lautete, die Plattform habe fremde schädliche Inhalte gehostet. Er lautete, das eigene Design der Plattform sei mangelhaft. Section 230 schützt dich vor dem, was deine Nutzer sagen. Für den Vorwurf, es gehe um das, was du gebaut hast, hat sie deutlich weniger zu bieten.
Wer sein Sicherheitskonzept auf Section 230 stützt, sollte den Beschluss zweimal lesen. Und schlechtes Design ist nicht die einzige Art, wie diese Anbieter ihre Nutzer im Stich lassen — das Datenleck bei Muah AI ist die andere, bei der niemand absichtlich schlecht konstruiert hat und trotzdem 1,9 Millionen Adressen nach draußen gingen.
Was danach geschah
Die Beklagten wollten die First-Amendment-Entscheidung sofort anfechten. Am 15. Juli 2025 verweigerte das Gericht sowohl die Zulassung der Zwischenberufung als auch die Aussetzung, das Verfahren lief also weiter.
Und dann war es nicht mehr ein einzelnes Verfahren.
| Datum | Ereignis |
|---|---|
| 09.12.2024 | *A.F. v. Character Technologies* im Eastern District of Texas — zwei Familien, Vorwürfe unter anderem nach COPPA |
| 01.07.2025 | Zweite geänderte Klageschrift in *Garcia* |
| 15.–16.09.2025 | Drei weitere Klagen in Colorado und New York |
| 16.09.2025 | Eine klagende Mutter sagt vor dem Justizausschuss des Senats aus |
| 07.01.2026 | Vergleichsvereinbarung für alle fünf Verfahren eingereicht |
| 02.11.2026 | Geschworenenprozess war angesetzt — fand nicht statt |
Der Vergleich vom 7. Januar 2026 erledigte alle fünf Verfahren in vier Bundesstaaten, Google und Alphabet eingeschlossen. Die Bedingungen sind vertraulich, was der Normalfall ist und zugleich der Grund, warum es keine Berufungsentscheidung zum Zitieren geben wird. Der Beschluss vom 20. Mai 2025 bleibt eine erstinstanzliche Entscheidung — vielbeachtet, aber für andere Gerichte nicht bindend.
Das ist ein eigenartiges Vermächtnis. Das einflussreichste Dokument in der kurzen Rechtsgeschichte dieser Kategorie ist eine Entscheidung über einen vorbereitenden Antrag in einem Verfahren, das nie verhandelt wurde.
Warum es Produkte verändert hat, nicht nur Recht
Die Anbieter haben kein Urteil abgewartet. Man sehe sich die Reihenfolge an.
Character AI kündigte am 29. Oktober 2025 an, den offenen Chat für alle unter 18 zu entfernen, abgeschlossen zum 25. November. Die Altersprüfung folgte, über einen externen Prüfer mit Selfie und teils physischem Ausweis. Konten, die als unter 18 eingestuft wurden, landeten im Nur-Lese-Zustand — Gespräche noch sichtbar, Chat zu. Zahlende Kunden erfuhren davon am selben Morgen wie alle anderen.
Die Aufsicht bewegte sich im selben Zeitfenster. Die FTC eröffnete am 11. September 2025 eine 6(b)-Untersuchung gegen sieben Unternehmen. 44 Generalstaatsanwälte schrieben am 25. August 2025 gemeinsam an dreizehn KI-Firmen; im Dezember schrieben 42 erneut, mit Frist. Kaliforniens SB 243, das erste US-Gesetz speziell für Companion-Chatbots, gilt seit dem 1. Januar 2026. Der GUARD Act passierte seinen Senatsausschuss am 30. April 2026 mit 22 zu 0.
Nichts davon geht allein auf den Garcia-Beschluss zurück. Aber er hat die Annahme beseitigt, diese Kategorie liege außerhalb der Produkthaftung — und alles danach wurde von Leuten geschrieben, die ihn gelesen hatten.
Das Muster ist nicht auf die USA beschränkt. Die italienische Datenschutzbehörde hatte Replika schon im Februar 2023 die Verarbeitung italienischer Nutzerdaten untersagt und verhängte im Mai 2025 fünf Millionen Euro Bußgeld — unter anderem, weil es überhaupt keine Altersprüfung gab. Die Regeln kamen in beiden Rechtsordnungen nach den Produkten, was passiert, wenn eine Branche schneller gebaut wird, als sich Gesetze dafür schreiben lassen.
Was das heißt, wenn du einen Dienst auswählst
Unmittelbar wenig, mittelbar einiges.
Unmittelbar: Der Vergleich war vertraulich, es bindet niemanden ein Präzedenzfall, und nichts davon sagt dir, welche App besser ist. Mittelbar: Jeder Anbieter dieser Kategorie weiß jetzt, dass ein Gericht seine App als Produkt mit einer Konstruktion behandelt hat, dass Section 230 womöglich nicht hilft und dass sein Investor als Komponentenhersteller genannt werden kann. Dieses Wissen sieht man dem, was ausgeliefert wird, an.
Drei Dinge lohnen sich vor jeder Zahlung, und alle drei führen auf diesen Fall zurück:
- Die Alterspolitik, in den AGB und im Produkt. Beides geht öfter auseinander, als man denkt. Bei einem Anbieter erlaubten die AGB noch die Registrierung ab dreizehn, Monate nachdem das Produkt Minderjährigen den Chat vollständig entzogen hatte.
- Wer die Firma tatsächlich ist. Die Rechtsordnung bestimmt deine Rechte, wenn etwas schiefgeht. Ein maltesisches Unternehmen und ein Delaware-Unternehmen mit Pflichtschiedsverfahren bieten demselben Kunden Unterschiedliches.
- Ob der Anbieter sagt, was mit deinen Gesprächen geschieht. Je vager die Antwort, desto mehr sollten die letzten zwei Jahre beunruhigen.
Diese drei Prüfungen sind die gewöhnliche Sorgfalt, die dieser Fall unumgänglich gemacht hat, und keine davon betrifft die Frage, welche App besser schreibt. Dafür bewertet unser Ranking Die besten KI-Freundin-Apps 2026 Preis, Gratis-Limits, Gedächtnis und Medien.
Für die engere Frage — wohin Leute tatsächlich gehen, wenn ein Anbieter die Regeln verschärft — ordnet der Vergleich der Character-AI-Alternativen dieselben Apps anders, weil er um die Wechselgründe herum gebaut ist und nicht um Funktionen.
Wir prüfen Preise, Limits und AGB monatlich an der Quelle, einschließlich dessen, was wir nicht verifizieren konnten. Gerichtsakten sind öffentlich; unsere Rechenwege auch.
Recherchiert und geprüft von GFRated. Fakten gleichen wir mit den Seiten der Anbieter ab, bei rechtlichen oder technischen Aussagen mit Primärdokumenten. Unser Urteil über eine App beruht auf eigener Nutzung. So prüfen wir.
Weiterlesen
Wenn deine KI-Freundin abgeschaltet wird
Modelle verschwinden, Altersgrenzen schließen sich, Dienste verlassen Länder. Was in den ersten Tagen zu tun ist — und was sich retten lässt.
Wie es dazu kamWoher die KI-Begleiter kommen
Von der ersten öffentlichen Beta bis zum Markt mit einem Dutzend Anbietern vergingen achtzehn Monate. Die Zeitleiste erklärt, warum die Regeln zu spät kamen.
VorfälleWas da abfloss, war keine Passwortliste
1,9 Millionen Adressen — zusammen mit dem, worum die Leute gebeten hatten. Warum das eine andere Art von Datenleck ist als die, die man kennt.
Geld & Tokens„Unbegrenzt“ heißt: der Text
Das Abo kauft Text. Alles Sichtbare läuft über eine zweite Währung, deren Preis oft nirgends steht. Wie man die echte Monatssumme ausrechnet.