Vous devez surveiller le contenu toxique sur votre site Web.  L'IA peut aider

Vous devez surveiller le contenu toxique sur votre site Web. L’IA peut aider

Le contenu toxique est omniprésent sur Internet, et les entreprises qui implémentent du contenu généré par les utilisateurs courent le risque d’être l’hôte d’escroqueries, de sectarisme et de désinformation. La mise en place de ce contenu toxique peut nuire à l’image de votre marque et nuire au sentiment des consommateurs si elle n’est pas prise en charge rapidement et à grande échelle.

Embaucher des modérateurs pour passer au crible chaque diffusion en direct, podcast, publication et gif, cependant, pourrait mettre votre entreprise en faillite. Il y a tout simplement trop de contenu pour que les humains puissent tout nettoyer. Un autre problème est que passer au crible le pire d’Internet peut avoir des effets néfastes sur la santé de vos employés. En 2021, un juge a accordé à un groupe de plus de 10 000 anciens modérateurs de Facebook un règlement de 85 millions de dollars après que les modérateurs ont développé un SSPT au travail.

Entrez sur le marché des solutions de modération de contenu qui, en utilisant l’IA ou en l’associant à des humains, contribue à renverser la vapeur dans la guerre contre les contenus toxiques sur Internet.

Kevin Guo, co-fondateur et PDG de la société de modération de contenu alimentée par l’IA Hive, a vu pour la première fois une activité potentielle dans la modération de contenu automatisée lorsque lui et son co-fondateur Dmitriy Karpman étaient étudiants à l’Université de Stanford. Guo et Karpman avaient créé Kiwi, une application de chat vidéo qui associait au hasard des utilisateurs à des inconnus du monde entier.

Rapidement, Guo s’est retrouvé face à ce qu’il a appelé le “problème du hot-dog”, qui sera plus tard parodié dans la comédie de HBO. Silicon Valley. En termes simples : les hommes utilisaient l’application pour s’exposer devant la caméra à un public réticent.

Après avoir déterminé qu’il n’existait pas de solution à son problème, Guo a décidé de créer un modèle d’apprentissage automatique capable d’identifier et de signaler lui-même les “hot dogs”. “J’ai étiqueté à la main cet ensemble d’images moi-même et il ne pouvait vraiment faire qu’une seule chose, qui disait si quelque chose était un” hot-dog “ou non.”

Guo a commencé à vendre son modèle de “hot-dog” sur le côté, mais s’est rapidement rendu compte qu’il y avait plus d’applications pour un modèle d’apprentissage capable d’identifier et d’étiqueter des objets dans des images et des vidéos que la simple détection de nudité, alors en 2017, lui et Karpman ont fermé leurs applications. se concentrer entièrement sur les activités de l’entreprise.

Désormais, Hive propose des services de modération de contenu automatisés de toutes sortes, avec des modèles qui peuvent être formés pour détecter le contenu toxique dans le texte et l’audio en plus des images. Ces modèles sont utilisés par des entreprises telles que Reddit, Giphy et Vevo pour détecter et mettre fin à la violence, aux discours de haine, au spam, à l’intimidation, à l’automutilation et à d’autres comportements que vous préférez ne pas voir sur votre site Web ou votre application.

L’un des premiers succès de Guo en matière de modération de contenu est survenu lorsque la vidéo en direct les services de chat Omegle et Chatroulette ont contacté Hive pour les aider à nettoyer leur contenu. Les deux sociétés sont devenues tristement célèbres au début des années 2010 pour leur incapacité à faire face à des problèmes similaires à la situation du “hot-dog”, alors quand elles ont appris que Guo avait déchiffré le code, elles ont été intriguées.

“Maintenant,” dit Guo, “ces plates-formes sont 100% propres. Nous échantillonnons chaque chat vidéo et nous pouvons le signaler dès que quelque chose se produit.” Selon une étude de cas, Hive ferme plus de 1,5 million de flux Chatroulette par mois.

Guo dit que ses modèles sont conçus pour être utilisés sans aucune assistance ou intervention humaine, un aspect particulièrement attractif pour les grandes entreprises qui ont besoin de solutions hautement évolutives.

En octobre 2021, Microsoft a annoncé avoir acquis Two Hat, un fournisseur de modération de contenu axé sur l’industrie des jeux en ligne. Comme Hive, la plupart des services de modération de contenu de Two Hat fonctionnent sans interaction humaine. Dans un article de blog annonçant l’acquisition, le vice-président de Xbox Product Services, Dave McCarthy, a déclaré que la technologie de Two Hat avait contribué à rendre les communautés mondiales sur Xbox, Minecraft et MSN plus sûres pour les utilisateurs via une approche hautement configurable qui permet à l’utilisateur de décider ce qu’ils sont. et ne sont pas à l’aise avec.

D’autres professionnels de la modération de contenu, cependant, estiment que la vraie solution réside dans la combinaison de ce que l’IA fait bien avec la prise de décision humaine. Twitch, le service mondial de diffusion en direct pour les jeux, la musique et le divertissement, crée des programmes internes qui utilisent l’apprentissage automatique en partenariat avec des humains pour signaler les contenus suspects et nuisibles. Alors que certains contenus sont interdits à l’échelle de la plate-forme, tels que la nudité et la violence, Twitch permet également aux streamers de personnaliser la modération de contenu spécifiquement pour leur propre chaîne.

Un exemple principal de cette personnalisation, selon Alison Huffman, directrice des produits de santé communautaire Twitch, se présente sous la forme d’un outil récemment publié appelé Suspicious User Detection. L’outil utilise l’apprentissage automatique pour identifier les utilisateurs qui ont créé un nouveau compte afin de contourner le fait d’être banni d’un canal spécifique. L’outil signale les fraudeurs potentiels et laisse ensuite les créateurs prendre leur propre décision sur la façon de procéder.

“Nous essayons de combiner le meilleur de l’apprentissage automatique, qui est évolutif et efficace mais imparfait pour détecter les nuances, avec un examen humain, qui est moins efficace mais plus nuancé et personnel”, explique Huffman.

“De cette façon, nous utilisons l’apprentissage automatique pour donner aux créateurs des informations qui les aident à prendre de meilleures décisions de sécurité plus rapidement, tout en laissant la décision finale entre leurs mains.”

#Vous #devez #surveiller #contenu #toxique #sur #votre #site #Web #LIA #peut #aider