Was eine Behörde in Replika gefunden hat

Datenschutz & Recht 10 Min.

Von allen KI-Begleiter-Apps, die wir vergleichen, ist genau eine von einer europäischen Datenschutzbehörde auseinandergenommen worden. Das Verfahren lief über zwei Jahre, endete mit einem Bußgeld von fünf Millionen Euro und ist — ungewöhnlich für diese Branche — öffentlich. Jeder kann nachlesen, was beanstandet wurde und in welcher Reihenfolge.

Das ist weit über das eine Produkt hinaus nützlich. Jeder andere Dienst dieser Kategorie hält dieselbe Klasse von Daten: eine E-Mail-Adresse und die Aufzeichnung dessen, was jemand privat geschrieben hat. Der Unterschied zwischen ihnen liegt nicht darin, was sie aufbewahren, sondern darin, was damit geschieht — und bei allen anderen hat das nie jemand geprüft.

Der Dienst ist Replika, betrieben von Luka, Inc. aus den USA. Was folgt, ist der Ablauf, die vier Punkte, die die italienische Behörde tatsächlich festgestellt hat, und die Frage, wie viele der Apps in unserem Vergleich dieselben vier Prüfungen heute bestehen würden.

Zwei Jahre Verfahren, der Reihe nach

WannWas
2. Februar 2023Die italienische Datenschutzbehörde untersagt Luka die Verarbeitung der Daten italienischer Nutzer. Die App funktioniert in Italien nicht mehr
Monate späterDie Sperre wird aufgehoben, unter der Bedingung, dass das Unternehmen Compliance-Maßnahmen ergreift — darunter eine funktionierende Altersprüfung
19. Mai 2025Endentscheidung: fünf Millionen Euro Bußgeld gegen Luka, Inc.
Gleicher TagEin neues, separates Verfahren zum generativen KI-System selbst wird eröffnet. Es ist nicht abgeschlossen

Die erste Zeile ist das, was die Nutzer gemerkt haben. Eines Morgens antwortete die App nicht mehr, und der Grund lag nicht in der App: Er lag in einer Verfügung, die in Rom unterschrieben worden war. Niemand, der täglich mit ihr geredet hatte, hatte etwas falsch gemacht, und niemand hatte einen Hebel, um es zu ändern. Das ist genau das Szenario, das wir anderswo als den Dienst, der unter seinen Nutzern verschwindet, beschreiben — und dies ist der erste dokumentierte Fall davon in dieser Kategorie.

Die zweite Zeile erwähnt fast keine Berichterstattung, und sie ist heute die wichtigste: Die Sperre wurde wieder aufgehoben. Nicht, weil die Behörde ihre Meinung geändert hätte, sondern weil das Unternehmen tat, was von ihm verlangt worden war. Die Altersabfrage, die man bei der Anmeldung trifft, existiert, weil eine Behörde sie angeordnet hat. Replika läuft in Italien heute — wer nachschlägt, ob der Dienst noch gesperrt ist, liest eine drei Jahre alte Nachricht.

Die vier Feststellungen

Hier lohnt sich die Genauigkeit. Eine aufgeschlüsselte, überprüfbare Liste von Beanstandungen gegen ein Produkt dieser Art existiert genau einmal, und jeder Punkt darauf ist etwas, das man in der nächsten App, bei der man sich anmeldet, selbst suchen kann.

Die Entscheidung vom 19. Mai 2025 stellte fest, dass das Unternehmen:

  1. keine Rechtsgrundlage für die Datenverarbeitung benannt hatte. Das ist der technischste und zugleich schwerste Punkt: Das Unternehmen konnte nicht sagen, auf welchen der zulässigen Gründe es sich überhaupt stützte, um diese Daten zu halten.
  2. eine Datenschutzerklärung hatte, die in mehreren Punkten unzureichend war.
  3. keinerlei Mechanismus zur Altersprüfung eingerichtet hatte — weder bei der Registrierung noch während der Nutzung —, obwohl es angab, Minderjährige von der Nutzung auszuschließen.
  4. diese Datenschutzerklärung nur auf Englisch veröffentlicht hatte, ohne die Sprache des Landes zu berücksichtigen, in dem der Dienst angeboten wurde.

Der dritte Punkt verdient eine Pause. Beanstandet wurde nicht, Minderjährige zugelassen zu haben. Beanstandet wurde, ihren Ausschluss behauptet zu haben, ohne über irgendein Instrument zu verfügen, das ihn hätte bewirken können. Der Abstand zwischen dem, was ein Dienst in seine Bedingungen schreibt, und dem, was er tatsächlich tut, ist genau das, was eine Behörde messen kann — und genau das, was kein Nutzer allein messen kann.

Der Fall wurde anschließend vom Europäischen Datenschutzausschuss veröffentlicht. Damit verließ er die rein italienische Praxis und lag allen anderen Aufsichtsbehörden der Union vor.

Das Verfahren, das noch offen ist

Der am seltensten zitierte Teil der Entscheidung vom Mai 2025 ist, dass am selben Tag ein zweites Verfahren begann.

Es geht darin nicht um die Erklärung und nicht um das Alter. Es geht um das generative KI-System selbst: um die Risikobewertung, um die Datenschutzmaßnahmen in den Phasen der Entwicklung und des Trainings des Modells, um die Frage, welche Daten tatsächlich verwendet wurden, und ob Anonymisierung oder Pseudonymisierung angewandt wurden.

Übersetzt: Das erste Verfahren fragte, was ihr mit den Daten derer macht, die sich anmelden. Das zweite fragt, woraus ihr das Modell gebaut habt. Kein Unternehmen dieser Kategorie musste das bisher öffentlich beantworten.

Wie viele der fünf dieselben Prüfungen bestehen würden

Zwei der vier Feststellungen lassen sich von außen nicht prüfen. Ob ein Unternehmen eine tragfähige Rechtsgrundlage hat und ob seine Erklärung ausreicht, sind Fragen, für die es eine Behördenakte, erzwingbare Auskünfte und zwei Jahre braucht. Wir tun nicht so, als ginge das aus einem Browser heraus.

Die anderen beiden kann man selbst prüfen, und für die fünf Dienste in unserem Vergleich haben wir das getan.

Alter. Entweder steht etwas zwischen dir und dem Konto, oder es steht nichts dort.

DienstWas zwischen Anmeldeformular und Konto steht
OurDreamIdentitätsprüfung ist in Großbritannien und Australien verpflichtend, bevor Inhalte für Erwachsene freigeschaltet werden, über einen externen Anbieter; das Unternehmen erhält nach eigener Angabe nur ein Ja-oder-Nein-Signal. Überall sonst: ein angegebenes Alter
GirlfriendGPTEin eigener Schritt zur Altersprüfung per Selfie, der je nach Region zugeschaltet wird. Welche Regionen das sind, steht nirgends
Candy AIDie Erklärung sagt, der Dienst werde niemandem unter 18 angeboten, und führt ein Altersprüfungsverfahren unter den erhobenen Daten auf. Wie es funktioniert, wird nicht beschrieben
CrushOn AIAusdrücklich ab 18. Die Prüfung ist ein Häkchen — kein Dokument, keine Karte
SpicyChatWie das Alter überhaupt geprüft wird, konnten wir nicht feststellen

Diese Spalte liest sich anders, wenn die italienische Feststellung danebensteht. Die Dienste, die überhaupt etwas prüfen, prüfen dort, wo eine Behörde es angeordnet hat: der britische Online Safety Act, die australische eSafety Commissioner. Für Nutzer in Deutschland tut keiner der fünf das, was die italienische Behörde von Luka verlangt hat.

Bemerkenswert ist dabei ein deutsches Detail. Der Prüfdienstleister, über den OurDream in Großbritannien und Australien verifiziert, trägt nach der Sicherheitsseite des Anbieters eine Zertifizierung der deutschen Kommission für Jugendmedienschutz. Der Maßstab ist also bekannt, die Technik ist eingekauft, das Verfahren ist erprobt — eingeschaltet ist es in zwei Ländern, und Deutschland ist keines davon. Altersprüfung kommt in dieser Branche nicht aus Überzeugung, sondern auf Anordnung, und sie endet an der Grenze des Landes, das die Anordnung erlassen hat.

Sprache. Der vierte Punkt ist der, den man in zehn Sekunden prüft: Öffne die Datenschutzerklärung des Dienstes, den du nutzt, und sieh nach, in welcher Sprache sie geschrieben ist. Eine übersetzte Oberfläche ist nicht dasselbe und sollte nicht damit verwechselt werden — GirlfriendGPT liefert seine Seite in zwölf Sprachen aus, eine Liste, die wir aus seinen eigenen Übersetzungsdateien gelesen haben. Sie zeigt, welche Länder das Unternehmen als seinen Markt kennt. Beanstandet wurde das Dokument, das erklärt, was mit deinen Daten passiert, nicht das Marketing darum herum.

Mit wem du eigentlich einen Vertrag schließt

Vor den vier Fragen steht eine nullte, und sie ist die Schicht, die man bei jedem Dienst von außen rekonstruieren kann, weil die Unternehmen sie selbst veröffentlichen.

DienstDie in den Bedingungen genannte Gesellschaft
Candy AIEverAI Limited, maltesisches Handelsregister, Nummer C107181, Santa Venera
CrushOn AITECHIEPIE LTD, Nikosia — als anwendbares Recht ist allerdings das von Hongkong angegeben
SpicyChatNextDay AI, verteilt auf drei Gesellschaften: Montreal, Delaware und Limassol
GirlfriendGPTNextDay AI Incorporated — derselbe Betreiber wie SpicyChat, nach dem Recht von Québec
OurDreamDream Studio USA, Inc., Delaware; im Fußbereich der Seite steht zusätzlich TEKTOPIA LTD, Zypern, Registernummer HE 473775
ReplikaLuka, Inc., USA — die einzige, die eine europäische Behörde öffentlich geprüft hat

Nichts davon ist ein Vorwurf. Es ist das, was in den Dokumenten steht, und die Streuung ist der Punkt. Candy AI ist ein EU-Unternehmen mit einer Registernummer, die man nachschlagen kann, und sitzt damit aus Pflicht innerhalb der europäischen Regeln, nicht aufgrund einer Anordnung. Eine zyprische Gesellschaft, die Hongkonger Recht vereinbart, bietet demselben Kunden etwas ganz anderes. Zuständigkeit ist kein Papierkram: Sie entscheidet, welche Behörde für dich tun kann, was der Garante für italienische Nutzer getan hat.

Was die Entscheidung für dich in Deutschland bedeutet

Die Datenschutz-Grundverordnung gilt in Italien und in Deutschland gleichermaßen, und die Rechte, auf die sich das Verfahren stützte, sind dieselben, die du hast. Die Entscheidung selbst gilt allerdings für Italien.

Der Grund dafür ist derselbe Umstand, der das Verfahren erst möglich gemacht hat. Luka, Inc. hat keine Niederlassung in der Union. Es gibt deshalb keine federführende Behörde, bei der alles zusammenläuft — jede nationale Aufsichtsbehörde ist für ihr eigenes Gebiet zuständig. Der Garante konnte allein handeln, und aus demselben Grund müsste für Deutschland die deutsche Aufsicht ein eigenes Verfahren führen. Wer hier eine Beschwerde einlegen will, legt sie bei der für ihn zuständigen Landesdatenschutzbehörde ein, nicht in Rom.

Praktisch heißt das: Die Rechte sind gleich, der Durchsetzungsweg ist es nicht, und das Ergebnis eines Verfahrens in einem Mitgliedstaat verändert das Produkt in einem anderen nicht automatisch. Genau deshalb steht in der Tabelle oben Großbritannien und Australien und nicht Europa.

Der Vergleich mit den USA macht das deutlicher. Europa kam über den Datenschutz zu dieser Kategorie und setzte sich am 2. Februar 2023 in Bewegung. Die Vereinigten Staaten kamen über die Produkthaftung und begannen mit einer Zivilklage vom Oktober 2024 — was jene Richterin entschieden hat und warum danach jeder Anbieter seine Altersregeln umschrieb, ist eine eigene Geschichte. Zwei verschiedene Türen, dasselbe Gebäude, und beide Male musste die Branche den Fragen nicht zustimmen, damit sie gestellt wurden.

Was du tatsächlich tun kannst

Mehr, als es aussieht, und weniger, als du möchtest.

Du hast das Recht, von einem Dienst eine Kopie der Daten zu verlangen, die dich betreffen, das Recht, ihre Löschung zu verlangen, und das Recht, Beschwerde bei der Aufsichtsbehörde einzulegen, wenn keine oder keine überzeugende Antwort kommt. Das gilt auch gegenüber Unternehmen außerhalb Europas, die ihren Dienst Menschen hier anbieten — es ist exakt die Grundlage, auf der eine italienische Behörde ein amerikanisches Unternehmen erreicht hat.

Was du nicht tun kannst: einen Text zurückholen, der schon draußen ist. Keine Anfrage holt ein Gespräch zurück, das inzwischen in Kopien existiert, die du nicht kontrollierst. Deshalb ist die richtige Reihenfolge umgekehrt zu der, in der es fast alle machen — die Prüfungen unten gehören vor die Anmeldung, nicht hinter einen Vorfall.

Vier Fragen, bevor du etwas Persönliches schreibst

Die italienische Akte ist nützlich, weil sie zeigt, was eine Behörde für relevant hält. Dieselben Punkte prüft man in einer Viertelstunde selbst, an den Bedingungen jedes beliebigen Dienstes.

  1. Welche Gesellschaft, nach welchem Recht. Nennen die Bedingungen keine Gesellschaft, gibt es keine Adresse für eine Beschwerde und kein Recht, auf das man sich berufen kann.
  2. Was zwischen einem angegebenen und einem geprüften Alter steht. Ein Häkchen ist eine Antwort, nur nicht die, die der Satz darüber nahelegt.
  3. Ob es die Datenschutzerklärung auf Deutsch gibt. Gibt es sie nicht, hat das Unternehmen entschieden, dass man hier Englisch liest oder eben nichts.
  4. Ob das Löschen des Kontos den Verlauf löscht, und wie. Kein Support-Ticket — ein dokumentiertes Verfahren mit einem benannten Ergebnis.

Dazu eine fünfte, die keine Datenschutzfrage ist und doch eine wird: welcher Name auf dem Kontoauszug erscheint. Manche Dienste buchen unter der Marke ab, andere unter einer neutralen Muttergesellschaft. Entscheidend ist es nie, und es ist das Detail, das niemand erwähnt, bis es schon auf der Abrechnung steht.

Und zwei Gewohnheiten, die nichts kosten und mehr wert sind als alles davor: eine E-Mail-Adresse benutzen, die deinen Namen nicht enthält, und nie ein Passwort wiederverwenden. In dem Moment, in dem eines dieser Unternehmen einen Vorfall hat — und früher oder später hat eines einen —, sind das die einzigen zwei Dinge, die je unter deiner Kontrolle standen.

Was das nicht sagt

Es sagt nicht, welche App besser ist. Die italienische Entscheidung betrifft die Unterlagen eines Unternehmens und eine unterlassene Altersprüfung, und fünf Millionen Euro Bußgeld sind kein Testergebnis.

Wenn du gerade auswählst: Unsere Rangliste der besten KI-Freundin-Apps 2026 bewertet Preis, Gratis-Limits, Gedächtnis und Medien. Eine Sicherheitsnote vergibt sie nicht und wird sie nicht vergeben — es gibt keinen ehrlichen Weg, einer Sache eine Zahl zu geben, die von außen nicht überprüfbar ist. Die italienische Akte ist der Beweis für diese Grenze: Es brauchte zwei Jahre und die Befugnisse einer Behörde, um Dinge festzustellen, die auf der Seite mit den Bedingungen nicht zu sehen waren.

Preise, Limits und Bedingungen prüfen wir jeden Monat an der Quelle, und wir schreiben auf, was wir nicht verifizieren konnten. Weil wir gerade bei Daten sind: was diese Seite über dich erhebt, steht ebenfalls geschrieben, und es ist deutlich weniger als alles oben Beschriebene.

Recherchiert und geprüft von GFRated. Fakten gleichen wir mit den Seiten der Anbieter ab, bei rechtlichen oder technischen Aussagen mit Primärdokumenten. Unser Urteil über eine App beruht auf eigener Nutzung. So prüfen wir.