Gefährlich, ja oder nein? Bei der Beantwortung dieser Frage setzen die Jugendschützer von RTL Deutschland nun auf Künstliche Intelligenz. Die Eigenentwicklung “Merm:ai:d” sichtet Videomaterial in erstaunlicher Präzision.
RTL Deutschland schaltet in Sachen Künstliche Intelligenz in den nächsten Gang. Ein Leuchtturmprojekt ist eine eigene Video-KI zum Schutz des jungen Publikums. “Merm:ai:d” hat der Privatsender aus Köln die Eigenentwicklung getauft, in Anlehnung an das Mischwesen aus Jungfrau und Fisch, mit der englischen Abkürzung AI in der Wortmitte. Damit wollen die Verantwortlichen nichts weniger als “neue Maßstäbe im Jugendschutz” setzen.
Ob die Software, die am Dienstag bei der Messe Republica vorgestellt wurde, tatsächlich zum Gamechanger für sichere Inhalte im digitalen Ozean wird, muss sich noch beweisen. Bisherige Nutzungserfahrungen bei RTL Deutschland sprechen dafür. Seit Jahresbeginn läuft dort der Live-Test im Regelbetrieb – und spart enorm Prüfzeit, damit die Jugendschützer angesichts der explodierenden Inhalte und Ausspielwege überhaupt noch hinterherkommen.
Denn auf ihre Arbeit und Erfahrung – sprich: auf den Faktor Mensch – kommt es weiterhin an. Das betont Manuel Ladas, VOX-Jugendschutzbeauftragter und Leiter des Projekts: “Was wir gebaut haben, ist kein elektronischer Jugendschutzbeauftragter, sondern ein Werkzeug für uns Jugendschutzbeauftragte aus Fleisch und Blut.” Und: “Wir lassen nichts einfach nur durch die Maschine laufen.” Das erlaubten allein schon die KI-Richtlinien des Mutterkonzerns Bertelsmann nicht.
“Merm:ai:d” kombiniert algorithmisches Erkennen mit menschlicher Expertise. Letztere war 2023 an ihre Leistungsgrenze gekommen. Das siebenköpfige Jugendschutzteam konnte die zigtausend Stunden Videomaterial, die die Senderfamilie Tag für Tag auf diversen Kanälen ausspielt, mit menschlicher Arbeitskraft allein nicht mehr flächendeckend bewältigen. Eine technische Lösung musste her.
Die langen Prüfstunden vor dem Bildschirm haben sich nun im Schnitt um 80 Prozent pro Video reduziert – weil nicht mehr ganze Sendungen gesichtet werden müssen, sondern nur noch jugendschutzkritische Stellen. Die KI hat in wenigen Minuten alles in Bild und Ton “gesehen” und “gehört”. Problematisches spuckt sie per Timecode-Liste aus, so dass das menschliche Auge zielgenau begutachten und entscheiden kann: gefährlich, ja oder nein?
Die durchschnittliche Prüfdauer variiert freilich von Sendung zu Sendung. Den neusten Film von Quentin Tarantino, der zwischen Humor und Gewaltszenen wechselt, müssen sich die RTL-Gutachter weiterhin in voller Länge anschauen – 120 Treffer der KI wären wenig hilfreich. “Merm:ai:d” prüft keine hammerharten Actionfilme, sondern “Brot-und-Butter-Ware”, also etwa Dokumentationen, Kinderserien oder Krimis.
Eine für die Reihe “Tödlicher Dienstag” produzierte Komödie wie “Miss Merkel – Ein Uckermark-Krimi” mag aus Jugendschutzsicht auf den ersten Blick unverdächtig sein. Sollte sich darin aber eine besonders krasse Obduktionsszene finden, die Verletzungen und Blut zeigt, wäre das sehr wohl jugendschutzrelevant. Solche Kontraste kennt “Merm:ai:d” – und schlägt an; darauf wurde sie gezielt trainiert.
Acht verschiedene KI-Komponenten gingen in die Video-Pipeline ein, darunter ein eigenes neurales Netz – rund 100.000 Szenen aus zehn Jahren Jugendschutzarbeit waren Trainingsgrundlage. Bei diesem händischen Aufwand halfen Studierende, die Tausende interne Subkategorien und Schlagworte zur Analyse des Materials erstellten.
Herausfordernd beim Bau der KI war, dass sie ausnahmslos jedes relevante Thema erkennen kann. Hätte sie nur einen blinden Fleck, wäre sie nutzlos. Lächerlich wäre dagegen zum Beispiel, wenn “Merm:ai:d” einen harmlosen Fluch herausfischen und als Obszönität markieren würde. Das Wort “Fuck” – den etwa bei TV-Koch Tim Mälzer beliebten Fluch – wollen die Jugendschützer aber durchaus selbst prüfen: Ist es so schlimm, dass wir piepsen oder umschneiden müssen, um die Kochsendung im Tagesprogramm zeigen zu können? Oder ist es Mälzer herausgerutscht, weil er sich die Finger verbrannt hat?
Besonders treffsicher ist die RTL-KI im Bereich Extremismus und Diskriminierung. Als Beispiel nennt Daniela Hansjosten, Leiterin Standards & Practices bei RTL Deutschland, eine Folge der Dokusoap “Biete Rostlaube, suche Traumauto”. Im linearen VOX-Programm wurde das Format, in dem Moderatorin Panagiota Petridou Besitzern von schrottreifen Autos zu ihrem Wunschfahrzeug verhilft, zwar 2021 eingestellt – es ist aber online weiterhin verfügbar und damit prüfungsrelevant. In besagter Episode kommt eine Protagonistin vor, auf deren Finger eine nicht gut erkennbare S-Rune tätowiert ist. Was das bloße Menschenauge übersah, blieb der Maschine nicht verborgen: Sie schlug an.
“Die KI hat uns knallhart vor Augen geführt, wie schlecht die Wahrnehmung von uns Menschen ist”, sagt Manuel Ladas. Zwar sei “Merm:ai:d” eher “ein bisschen überempfindlich”. In Anbetracht der Zeitersparnis, die das Werkzeug schaffe, seien ein paar übersteuerte Treffer aber okay. Die Fachleute könnten darauf vertrauen, “dass wirklich gar nichts übersehen wird” – und hätten mehr Luft für die eigentlichen Aufgaben. Ladas: “Die KI nimmt uns nicht die Arbeit weg. Sie sorgt dafür, dass wir sie besser machen.”
Voraussichtlich bis zum vierten Quartal 2025 wird auch eine automatische Erstellung von Stichworten zu problematischen Inhalten in der RTL-KI verfügbar sein. Dann werden die wesentlichen Gründe für die Alterseinstufung in Stichworten erkennbar sein, also zum Beispiel, mit welcher Art von Gewalt oder beängstigenden Szenen in einem Video zu rechnen ist. Damit erfüllt die Sendergruppe eine mögliche gesetzliche Vorgabe: Der neue Jugendmedienschutz-Staatsvertrag, der voraussichtlich im Dezember 2025 in Kraft tritt, verlangt diese Inhaltsdeskriptoren, wie sie beispielsweise Prime Video seit Jahren freiwillig angibt.