TikTok et les dangers de l’algorithme : un réseau social assigné en justice

Des vidéos de danse, de musique, des tutoriels de maquillage… Connu pour ses courtes vidéos divertissantes qui nous font scroller pendant des heures, TikTok compte environ 1,5 milliard d’utilisateurs dans le monde entier. Mais derrière ce divertissement se cache une facette inquiétante. Ce lundi 4 novembre, sept familles françaises ont assigné TikTok devant le tribunal judiciaire de Créteil, en reprochant au réseau, à son algorithme et à sa politique de modération d’avoir contribué à des comportements autodestructeurs chez leurs adolescents, allant parfois jusqu’à l’irréparable.

Parmi ces familles, les parents de Marie – une jeune fille harcelée à l’école, qui s’est suicidée à 15 ans, en septembre 2021 – avaient déjà porté plainte le 8 septembre 2023 contre TikTok pour « provocation au suicide », « non-assistance à personne en péril » et « propagande ou publicité des moyens de se donner la mort ». Ils estiment que l’algorithme TikTok a aggravé la détresse de leur fille en la submergeant de contenus en lien avec ses pensées suicidaires. Peu avant son geste fatal, Marie avait ouvertement partagé son mal-être sur la plateforme, en détaillant les raisons de son désespoir.

L’avocate de cette famille, Laure Boutron-Marmion, qui est aujourd’hui l’avocate du collectif de familles, résume : « Par l’algorithme, l’adolescente a reçu en masse ces vidéos qui sont sur le même thème et qui ne peuvent que conduire à être encore plus mal ».

L’ algorithme : une boucle de détresse infinie

Sur la plateforme, le contenu est principalement présenté aux utilisateurs par le biais de la page « For you », qui sélectionne les vidéos selon les goûts de chacun. Ainsi, lorsque l’on recherche quelque chose de particulier sur TikTok, nos intérêts sont comptabilisés afin que la plateforme puisse promouvoir du contenu similaire dans la page. Ce côté ultra personnalisé est ce qui le rend addictif, les utilisateurs français moyennant 95 minutes par jour, soit une heure et demie, d’utilisation quotidienne.

Quel est le but premier de TikTok ? Faire en sorte que l’utilisateur passe un maximum de temps sur la plateforme. Ainsi, ce ne sont pas seulement les intérêts directement déclarés par l’utilisateur (un attrait pour la musique ou la danse) qui intéressent cet algorithme, mais également le fait qu’il reste quelques secondes de plus sur telle ou telle vidéo. C’est une manière de court-circuiter la volonté des utilisateurs. Face à un contenu correspondant à leurs préoccupations, les utilisateurs risquent de rester plus longtemps dessus.

Dans le cas d’un adolescent en détresse, un algorithme pointu va susciter la création d’un nid de contenu aussi sombre que ses pensées, dans lequel il va se réfugier pour alimenter ses malheurs ou rechercher du réconfort, voire de l’attention. Vous l’aurez compris : lorsque quelqu’un explore des contenus liés à son mal-être psychologique, l’algorithme lui suggère ensuite des publications similaires, renforçant son isolement dans cette thématique.

C’est le cas des enfants des familles ayant mené TikTok en procès. C’est une boucle infinie, abreuvant ces jeunes utilisateurs de contenus excessivement malsains pour leurs santés mentales. Bien que TikTok soit théoriquement accessible à partir de 13 ans, les utilisateurs les plus jeunes sont souvent enclins à percevoir ce qu’ils voient sur la plateforme comme une représentation fidèle de la réalité, les amenant à normaliser ces contenus toxiques dans leur quotidien.

L’ algospeak : un jeu du chat et de la souris

Comme le contenu est principalement promu dans la page « For you », il est primordial pour les créateurs de se faire repérer par l’algorithme afin de toucher un maximum d’audience. On pourrait croire que l’algorithme se montre très strict avec le contenu promu grâce aux multiples restrictions existant déjà sur la plateforme. Les vidéos incitant la violence, la haine, la désinformation ou les contenus sexuellement explicites sont censurés par TikTok. Les vidéos sont scannées pour les violations en permanence, les utilisateurs peuvent également les signaler. Les publications tombant dans les filets de ce contrôle sont soit automatiquement supprimées, soit renvoyées pour examen devant un modérateur humain, qui déterminera les conséquences. Certains contenus sont si choquants que les comptes qui les diffusent finissent par être supprimés de la plateforme.

Le langage est un outil clé du réseau social pour son filtre. Lorsque l’on recherche des mots tels que « suicide », « mutilation » et tutti quanti, TikTok nous renvoie automatiquement sur une page d’aide avec des numéros locaux d’assistance psychologique en ligne. Cette politique de modération paraît, à première vue, assez complète, englobant tous les sujets sensibles pour les utilisateurs les plus jeunes. Cependant, en pratique, elle reste insuffisamment puissante pour être entièrement exempte de failles.

Et si le langage SMS des années 2000 revenait à la mode ? C’est presque le cas pour les utilisateurs de TikTok. Pour échapper à la politique de modération dans leurs publications, les utilisateurs ont adopté un langage permettant de passer sous les radars, l’algospeak.

Par exemple, des mots comme « mort » deviennent « m0rt », ou bien « dépression » remplacée par « d3pre$$ion ». Ce phénomène va encore plus loin que la simple mise en avant de thématiques malsaines, elle normalise également le harcèlement. Les commentaires sont filtrés, mais les trous de ce filet s’appliquent aussi à ces derniers. Pour écrire « kill yourself », qui est banni par TikTok, les utilisateurs inventent des variantes de mots inexistants pour évoquer le même concept, comme « unalive yourself ».

L’algorithme n’identifie pas les mots-clés rédhibitoires, et le contenu reste en ligne. Il existe ainsi une multitude de communautés d’une extrême toxicité, encourageant des troubles alimentaires, la scarification et divers autres sujets qui échappent à la censure de la plateforme en évoluant dans une zone grise. Ce langage a pris une telle ampleur qu’il est désormais banal de savoir contourner l’algorithme pour rechercher un certain type de contenu.

Les « trends » de l’ autodestruction

Après le Blue Whale Challenge ou le Momo Challenge sur WhatsApp et Facebook, qui évoquaient une interaction directe entre participants, la banalisation des pensées noires se fait désormais par le biais de trends sur TikTok, les rendant accessibles à tout utilisateur.

Les trends sont des phénomènes se propageant rapidement sur la plateforme, incitant les utilisateurs à reproduire un certain type de contenu, souvent basés sur une musique, un filtre, un hashtag, un challenge… ou une idée.

On retrouve souvent des trends incitant sournoisement les comportements malsains. Par exemple, pour banaliser l’anorexie, certains utilisateurs ont créé une trend montrant d’abord une photo de nourriture appétissante, appréciée par tout le monde, suivie d’un cliché d’un mannequin en sous-poids conséquent avec la légende « Are you sure about that ? », pour faire en sorte que l’utilisateur se remette en question concernant ses choix alimentaires, normalisant les troubles en associant minceur extrême et succès.

Plus insidieux encore, certaines personnes utilisent des métaphores poussées pour parler de leurs envies de suicide. Ils comparent leurs vies à un stick de baume à lèvres, insinuant que lorsque celui-ci sera fini, ils mettront fin à leurs jours.

Ces utilisateurs tissent souvent des liens avec leurs communautés en abordant ces sujets sous forme d’intrigues. Par exemple, une publication comme : « Mon baume est fini, vous savez ce que ça veut dire ? » suscite une vague de réactions polémiques autour d’une seule vidéo. Cela rend la publication extrêmement populaire sur les pages « For You » d’autres utilisateurs, banalisant le suicide, et représentant la vie comme quelque chose d’aussi simple et insignifiant qu’un stick à lèvres.

Quelle responsabilité pour TikTok ?

En engageant cette procédure devant le tribunal judiciaire de Créteil, ces familles espèrent donc une reconnaissance judiciaire de la responsabilité de TikTok dans la circulation de contenus dangereux. Bien que la plateforme mette en avant une charte prônant un « environnement sûr et bienveillant », du contenu « divertissant et positif » et un accès à des outils pour aider au bien-être numérique, ces promesses contrastent avec les expériences tragiques rapportées.

La question demeure : une plateforme aussi influente peut-elle réellement concilier engagement algorithmique et bien-être numérique, ou ces drames sont-ils la preuve des limites d’un modèle axé sur la rentabilité avant la sécurité ?

Candelaria Marmora