Den Aufstieg marginaler Online-Gemeinschaften erklären

Eine von der EPFL durchgeführte Forschungsarbeit zeigt, dass die Interaktion zwischen Mitgliedern und Nichtmitgliedern "marginaler" Gemeinschaften auf allgemein zugänglichen Online-Plattformen neue Mitglieder in diese Gruppen zieht. Die Wissenschaftler schlagen Lösungen vor, um dieses Phänomen einzudämmen.

Randständige" Gemeinschaften, die Verschwörungstheorien und extremistische Ideologien fördern, gedeihen auf Online-Plattformen für die breite Öffentlichkeit. Forscherinnen und Forscher der Fakultät für Informatik und Kommunikation (IC) der EPFL, die sich mit diesem Phänomen beschäftigen, haben herausgefunden, dass ein Mechanismus das Wachstum dieser Gemeinschaften fördern könnte.

In ihrem Artikel , der auf der 18. Internationalen Konferenz der AAAI über das Web und soziale Medien (ICWSM) mit dem Preis für den besten wissenschaftlichen Artikel ausgezeichnet wurde, beschreiben Wissenschaftler des Data Science Laboratory (DLAB) die Interaktionen, d. h. den Austausch von Kommentaren, zwischen Mitgliedern und Nichtmitgliedern dieser "marginalen" Gemeinschaften.

Mithilfe textbasierter kausaler Inferenztechniken untersuchten die Forscherinnen und Forscher, wie sich marginale Interaktionen auf die Expansion marginaler Gemeinschaften auswirken. Sie nahmen drei große Gruppen auf Reddit ins Visier: r/Incel, r/GenderCritical und r/The Donald.

"Es ist bekannt, dass es auf den großen sozialen Online-Plattformen sogenannte Randgemeinschaften gibt und dass diese Plattformen versuchen, diese zu moderieren. Aber selbst mit der Mäßigung wachsen diese Gemeinschaften weiter. Wir haben uns daher gefragt, was dieses Wachstum antreiben könnte", erklärt Giuseppe Russo, Postdoctoral Research Fellow am DLAB.

"Wir haben festgestellt, dass die Interaktionen - bei denen es sich im Wesentlichen um einen Austausch von Kommentaren zwischen "einer gefährdeten Nutzerin oder einem gefährdeten Nutzer" und einer Nutzerin oder einem Nutzer, die oder der bereits in einer Randgemeinschaft aktiv ist, handelt - dazu führen, dass sich Menschen am Rande der Gesellschaft diesen Gruppen annähern. Die Kommentare sind nicht manifest, wie z. B. "Treten Sie meiner Gemeinschaft bei". Es handelt sich um thematische Diskussionen, die Aufmerksamkeit erregen und eine clevere Möglichkeit darstellen, sich den Moderationsrichtlinien zu entziehen", fährt er fort.

Nutzerinnen und Nutzer, die diese Interaktionen hatten, schlossen sich bis zu 4,2 Prozentpunkte eher marginalen Gemeinschaften an als ähnliche Nutzerinnen und Nutzer, die diese Interaktionen nicht hatten. Dieser Effekt wurde von den Merkmalen der Gemeinschaften, in denen die Interaktion stattfand (z. B. linke oder rechte Gemeinschaften), und von der in den Interaktionen verwendeten Sprache beeinflusst. Toxische Sprache hatte eine höhere Wahrscheinlichkeit (+5 Prozentpunkte), neue Mitglieder in die Randgemeinschaften zu ziehen, als nicht-toxische Interaktionen.

Sobald eine gefährdete Nutzerin oder ein gefährdeter Nutzer an einem Kommentaraustausch teilnimmt, ist es nur ein Klick, um eine Online-Randgemeinschaft zu finden, denn jedes Nutzerprofil zeigt sofort die Gruppen an, in denen die Person aktiv ist. Die Forscherinnen und Forscher stellten auch fest, dass diese Rekrutierungsmethode nur in marginalen Gemeinschaften vorkommt - sie fanden sie nicht in Gemeinschaften, die sich mit Klima, Spielen, Sport oder anderen Themen beschäftigen -, was die Hypothese bestätigt, dass es sich um eine bewusste Strategie handeln könnte.

"Der Mechanismus der Rekrutierung ist sehr einfach. Es handelt sich um einen Austausch von Kommentaren. Eine einfache Diskussion reicht aus, um gefährdete Nutzerinnen und Nutzer in diese schädlichen Gemeinschaften zu lenken. Und wenn sie erst einmal dazugehören, haben viele Studien gezeigt, dass sie sich radikalisieren und zu aktiven Mitgliedern dieser Randgemeinschaften werden", sagt Giuseppe Russo.

Die Forschungsergebnisse werfen wichtige Fragen auf: Ist dieser Rekrutierungsmechanismus relevant genug, um die Aufmerksamkeit der Moderationspolitik von Online-Plattformen zu verdienen, und wenn ja, wie können wir verhindern, dass er das Wachstum dieser marginalen Gemeinschaften fördert?

Im Beobachtungszeitraum schätzten die Forscherinnen und Forscher, dass etwa 7,2 %, 3,1 % und 2,3 % der Nutzerinnen und Nutzer, die sich r/Incels, r/GenderCritical bzw. r/The Donald anschlossen, dies taten, nachdem sie mit Mitgliedern dieser Gruppen interagiert hatten. Ihrer Meinung nach legt dies nahe, dass Moderationsrichtlinien auf Gemeinschaftsebene mit Sanktionen einhergehen könnten, die gegen einzelne Nutzerinnen und Nutzer verhängt werden, z. B. indem die Sichtbarkeit ihrer Beiträge verringert oder die Anzahl der Kommentare, die sie in den sensibelsten Gemeinschaften abgeben können, eingeschränkt wird. Die Forscherinnen und Forscher sind der Ansicht, dass diese Maßnahmen die Auswirkungen dieser "marginalen" Interaktionen verringern und die Entwicklung marginaler Gemeinschaften auf Mainstream-Plattformen verlangsamen könnten.

"Aus gesellschaftlicher Sicht halte ich diese Frage aus vielen Gründen für äußerst relevant, insbesondere weil wir festgestellt haben, dass diese Gemeinschaften nicht nur online, sondern auch im realen Leben Auswirkungen haben. Wir haben Unruhen und Terroranschläge erlebt. Wir haben gesehen, wie Frauen von ihren Mitgliedern ins Visier genommen und getötet wurden. Wenn wir den Zugang zu diesen Gemeinschaften einschränken, begrenzen wir sicherlich auch das Offline-Risiko, was letztendlich das Wichtigste ist", schloss Giuseppe Russo.