KI stellt den Jugendschutz im Netz vor neue Herausforderungen, so der Jahresbericht der Fachstelle Jugendschutz.net. Dies gilt vor allem bei sexualisierter Gewalt. Auch Mutproben und bestimmte Games sind problematisch.
Künstliche Intelligenz verschärft bestehende Risiken für junge Menschen im Internet. Zu diesem Ergebnis kommt der am Mittwoch in Berlin präsentierte Jahresbericht von Jugendschutz.net. Zentrale Problemstellen seien dabei sexualisierte Gewalt, Mobbing und Extremismus. Hier biete generative KI über sogenannte Deepfakes die Möglichkeit, täuschend real wirkende Fälschungen ohne größeren Aufwand zu erstellen und verbreiten. Gepaart mit Nacktheit (Deepnudes) oder Pornografie (Deepporn) entstehe hieraus schnell Cybermobbing oder sexualisierte Gewalt, so Jugendschutz.net. Die Organisation ist das gemeinsame Kompetenzzentrum von Bund und Ländern für den Schutz von Kindern und Jugendlichen im Internet.
“In der Online-Kommunikation wird es zunehmend schwerer zu erkennen, ob sich hinter dem Gegenüber eine tatsächliche Person oder ein KI-System verbirgt”, heißt es in dem Bericht. Dies führe dazu, dass insbesondere Kinder und Jugendliche kaum abzuschätzen könnten, “wie vertrauenswürdig übermittelte Informationen sind oder welche persönlichen Daten sie problemlos preisgeben können.” Besonders problematisch sei, dass sich Fremde mit Hilfe von Chatbots und Stimmgeneratoren noch einfacher als Gleichaltrige ausgeben könnten. Zudem liefere der Einsatz von KI oft auch falsche oder unpassende Ergebnisse und bringe Kinder dadurch in Gefahr.
Darüber hinaus nutzten Extremisten aktuelle Krisen, um Nutzer im Netz zu indoktrinieren und zu radikalisieren. “Der Klimawandel oder die Kriege in der Ukraine und im Nahen Osten sind für junge Menschen wichtige Themen, über die sie sich online informieren. Hierbei stoßen sie schnell auf Desinformationen, Hassinhalte und Gewaltdarstellungen”, so der Bericht. Zudem stelle die oft herabwürdigende und aggressive Form von Posts und Kommentaren im Netz besonders für Kinder eine weitere Gefahr dar.
Jugendschutz.net hat nach eigenen Angaben 2023 fast 5.000 Fälle mit Darstellungen sexualisierter Gewalt dokumentiert, der Großteil der registrierten Verstöße seien dabei Aufnahmen aus Videochats. Diese Aufnahmen entstünden oftmals in der Folge von Cybergrooming und zeigten vor allem leicht bekleidete oder nackte minderjährige Mädchen in sexualisierten Posen oder bei sexuellen Handlungen. “Auch Bilder und Videos, die wahrscheinlich einvernehmlich im Rahmen von Sexting entstanden, werden missbräuchlich zugänglich gemacht”, so der Bericht. Unter Sexting, einer Kombination aus “Sex” und “Texting”, versteht man das legale, einvernehmliche Versenden und Empfangen selbstproduzierter, freizügiger Aufnahmen per Computer oder Smartphone. Cybergrooming bezeichnet die Anbahnung sexueller Kontakte mit Minderjährigen im Internet.
Auch im nicht sexualisierten Bereich lauerten Gefahren im Netz, so Jugendschutz.net. So hätten 2023 beispielsweise Mutproben und Spiele wie die “Hot-Chip-Challenge” großen Zulauf gehabt. Hierbei müssen die Teilnehmer extrem scharfe Tortilla-Chip essen, was zu gesundheitlichen Folgen wie Atemnot, Magenkrämpfen und Kreislaufproblemen führen könne. Mittlerweile haben einige Bundesländer nach Angaben von Jugendschutz.net den Verkauf solcher Chips verboten.
Ein anderer gefährlicher Trend ist nach Angaben von Jugendschutz.net die vor allem auf TikTok oder Youtube beliebte “Firefinger-Challenge”. Dabei tauchen Jugendliche einen Finger in brennbare Flüssigkeit und zünden ihn an. Die Flamme soll anschließend während eines Songs bei einer bestimmten Liedzeile wieder gelöscht werden. Videos zeigten aber, wie das Feuer außer Kontrolle gerate und die gesamte Hand oder weitere Teile des Körpers erfasse. “Die vermeintlich spaßige Idee und massenhafte Dokumentation der Mutproben verleiten zusätzlich zur Nachahmung”, warnt der Bericht.
TikTok und weitere Dienste sperren Hashtags zu gefährlichen Challenges zwar meist schnell, über andere Schlagworte seien solche Videos allerdings weiter aufrufbar. Auch Trenddrogen wie Lachgas würden im Netz als vermeintlich unschädlich dargestellten und so ihr Konsum beworben.
Im Gaming-Bereich stellte Jugendschutz.net teilweise rechtsextreme und islamistische Inhalte in Spielhandlungen fest. So würden Spiel-Avatare verfassungswidrige Kennzeichen wie das Schwarze Banner der Terrororganisation Islamischer Staat (IS), Hakenkreuze oder SS-Runen tragen. Kritik übt der Bericht auch an der kostenlosen Gaming-Plattform Roblox. Diese sei mit über 70 Millionen aktiven Nutzern eine der beliebtesten Spieleplattformen weltweit und nicht grundsätzlich zu beanstanden. Problematisch seien bei der Plattform allerdings sogenannte In-Game-Käufe, da rund die Hälfte der Nutzer Kinder unter 13 Jahren seien. Durch die Käufe können Nutzer ihre Spielchancen verbessern, was “schnell zum Sog und damit zur erheblichen Kostenfalle” werden könne, so der Bericht.