Combattre la toxicité dans les jeux multijoueurs reste un casse-tête permanent pour les développeurs: Ubisoft tente depuis des années de réduire la toxicité des joueurs dans Rainbow Six Siege, Valve a essayé de couper et d’interdire les joueurs Dota 2 toxiques, et EA a retiré des milliers d’actifs de ses jeux dans le espère promouvoir un environnement plus positif. Maintenant, un développeur de logiciels basé à Boston a lancé un outil qui pourrait aider à faire des progrès significatifs.
L’outil s’appelle ToxMod, et c’est un logiciel qui utilise l’intelligence artificielle d’apprentissage automatique pour identifier les communications toxiques lors des sessions de jeu en ligne. ToxMod reconnaît les modèles de discours, en regardant les formes d’onde non seulement pour dire ce que les joueurs disent, mais comment ils le disent – et il peut “ faire retentir ” un langage abusif en direct.
Le concept de ToxMod est né du travail effectué par Mike Pappas et Carter Huffman et leur société Modulate, qu’ils ont fondée après s’être rencontrés lors de leurs études de physique au MIT. Pappas dit qu’ils se sont rencontrés sur un tableau blanc pour résoudre un problème de physique et ont rapidement décidé de créer une entreprise ensemble après avoir constaté qu’ils abordaient les problèmes de manière complémentaire.
«En tant que grands joueurs, le jeu était notre priorité depuis le début», nous dit Pappas. «Lorsque nous avons commencé à réfléchir aux applications là-bas, nous pensions au succès de Fortnite et des skins personnalisables et de tous ces outils pour plus d’immersion et plus d’expressivité dans les jeux.
Leur première grande idée était de créer des skins pour les voix des joueurs: des améliorations «cosmétiques» que les joueurs pourraient utiliser pour changer la façon dont ils sonnent sur le chat vocal. Mais Pappas dit qu’en consultant les développeurs de jeux sur l’utilisation des skins vocaux, ils ont entendu à maintes reprises comment les studios avaient du mal à trouver des moyens de rendre les joueurs plus en sécurité en utilisant le chat vocal – la toxicité les empêchait de vouloir prendre un casque. .
Cela a conduit Modulate à chercher des moyens d’utiliser la technologie d’apprentissage automatique qu’il avait conçue pour que plus de joueurs se sentent plus en sécurité en ligne. L’utilisation de skins vocaux pourrait permettre à quelqu’un de dissimuler son âge, son sexe, son origine ethnique ou toute autre chose qui pourrait en faire une cible de harcèlement en ligne. Pappas a déclaré que Modulate voulait voir plus grand, cependant – ils voulaient créer une «solution complète à ce problème de chat vocal».
“Une chose importante qui était survenue dans nos conversations en studio était des questions telles que, pourriez-vous faire des jurons en direct?” il dit. “Ou pourriez-vous détecter si quelqu’un harcèle quelqu’un et alerter notre équipe à ce sujet?”
Lire la suite: Comment Sea of Thieves est anti-toxique de par sa conception
En utilisant la technologie qu’il avait déjà construite, Modulate a développé ToxMod, qui utilise l’IA pour scanner les formes d’onde vocales et peut non seulement dire ce que les joueurs disent, mais comment ils le disent. L’algorithme est suffisamment sophistiqué pour identifier les nuances de la parole humaine, détecter les pics d’agressivité et réagir en conséquence, à la volée.
Le SDK ToxMod permet aux développeurs d’intégrer la technologie directement dans leurs jeux, une grande partie du filtrage se produisant du côté client, explique Pappas. Une autre couche de filtrage se produit du côté du serveur, c’est là que la parole de la “ zone grise ” peut être signalée et gérée par un modérateur humain si nécessaire, mais avec le temps, l’IA de ToxMod apprend à gérer de plus en plus de cas sans avoir besoin d’une intervention humaine. Les développeurs peuvent personnaliser ToxMod en fonction des besoins spécifiques de leurs jeux et de leurs communautés, en choisissant des seuils appropriés pour ce paramètre et ce public.
«Dans quelle mesure voulez-vous qualifier les discours violents de menace potentielle? Si vous jouez à Call of Duty, c’est peut-être moins un gros problème, à moins que ce ne soit extrêmement grave », dit Pappas. «Alors que si vous jouez à Roblox, c’est peut-être un problème quoi qu’il arrive.»
ToxMod fonctionne également comme un outil prédictif et peut également gérer la réputation des joueurs. Il examine ce qui se passe dans le jeu ainsi que le discours qu’il analyse, ce qui lui permet de déterminer assez rapidement si un joueur devient plus sujet à un comportement toxique dans des circonstances spécifiques, telles qu’une série de pertes ou une attaque d’équipe. Cela signifie qu’il peut faire des recommandations aux serveurs de matchmaking d’un jeu qui peuvent aider à empêcher que ces circonstances ne se produisent du tout.
Dans leur frustration, ils commencent à dire des choses sexistes. Est-ce mauvais? Absolument. Nous voulons toujours signaler cela pour le moment.
«Ce que nous voulons vraiment être en mesure de comprendre, c’est si quelqu’un a perdu les cinq derniers matchs, et ils sont super, super frustrés, et ils font équipe avec quelques femmes qui sont nouvelles dans le jeu, et dans leur frustration qu’ils sont sur le point de perdre la partie, ils commencent à dire des choses sexistes », explique Pappas. “Est-ce mauvais? Absolument. Nous voulons toujours signaler cela pour le moment parce que ces femmes traversent maintenant un mauvais moment, et nous devons absolument arrêter cela pour le moment. Mais en termes de répercussions sur cet acteur, il se peut que vous ne soyez pas banni pendant 30 jours.
«Au lieu de cela, il se peut que nous ayons appris que vous vous aggraviez très rapidement, et donc lorsque vous avez perdu les derniers tours, nous devrions peut-être conseiller au système de matchmaking, ‘hé, jetez un os à ce gars, donnez-lui un peu plus des coéquipiers expérimentés pour qu’il gagne, pour qu’il reste dans une sorte d’état émotionnel où il ne risque pas d’exploser sur les gens.
Chaque jeu et sa communauté de joueurs est un cas unique avec des besoins spécifiques, et Pappas dit que ToxMod peut travailler avec les développeurs pour affiner le logiciel pour répondre à ces exigences. Modulate n’est pas encore prêt à annoncer des partenariats officiels, mais il est en pourparlers avec des membres de la Fair Play Alliance, une coalition d’éditeurs et de développeurs de jeux engagés à favoriser des communautés saines. Ce groupe comprend notamment Epic Games, EA, Riot, Roblox, Blizzard et Ubisoft.
«Nous voulons réparer le chat vocal», a déclaré Pappas. «Nous pouvons intervenir et non seulement leur fournir un outil, mais aussi nous associer à eux et dire que nous avons cette suite d’outils qui nous permet de vraiment façonner votre expérience de chat vocal, comme vous en avez besoin, et vous permet de vraiment assurez-vous que dans l’ensemble, ce sera la riche expérience qu’elle devrait être. »
Vous pouvez trouver plus d’informations sur ToxMod sur le site officiel de Modulate, et Pappas dit qu’il est prêt à être déployé aujourd’hui. Modulate a officiellement lancé l’outil le 14 décembre.
«ToxMod peut être branché par n’importe quel développeur de jeux demain, et ils peuvent commencer à regarder tout l’audio qu’il traite», dit-il. «La technologie est prête. Nous travaillons dur pour mettre en place certaines de ces intégrations initiales – ce sera donc une année passionnante, à coup sûr.
