Sécurité de l'IA compagnon pour les mineurs

Résumé#

Ce projet de loi établit des règles pour les entreprises qui fabriquent des chatbots IA « compagnons » lorsque ces chatbots sont utilisés par des personnes de moins de 18 ans. Il définit trois niveaux de chatbots (éducatif, compagnie et thérapeutique) et impose différentes protections pour chaque niveau. L'objectif principal est de réduire les dommages émotionnels, le risque de auto-mutilation, le contact sexuel et l'utilisation abusive des données des mineurs lorsque ceux-ci utilisent ces chatbots.

• Principales modifications : les entreprises doivent exiger des comptes et des informations sur l'âge ; fournir des avis clairs indiquant que le chatbot n'est pas humain ; ajouter des contrôles parentaux et une notification parentale si un mineur exprime des pensées suicidaires ; limiter la mémoire pour certains chatbots ; interdire la publicité ciblée aux mineurs utilisant le contenu de chat ; restreindre l'utilisation des chatbots thérapeutiques par les mineurs à des environnements supervisés.
• Niveaux : Niveau I = principalement éducatif ; Niveau II = simule l'amitié/compagnie ; Niveau III = quasi-thérapeutique ou axé sur la santé mentale.
• Application : La Commission fédérale du commerce (CFC) applique la loi en tant que pratiques déloyales ou trompeuses. Les procureurs généraux des États peuvent poursuivre au nom des résidents.
• Calendrier : Les règles entrent en vigueur 180 jours après l'adoption de la loi.
• Étude : Le NIST doit étudier les effets des chatbots de Niveau II et III sur l'auto-mutilation, la manipulation et l'exploitation.

Ce que cela signifie pour vous#

• Mineurs / Étudiants

  • Doivent créer un compte et fournir leur âge et leur date de naissance pour utiliser un chatbot compagnon.
  • Pour les comptes de mineurs, des paramètres de protection de l'enfance doivent être activés et des informations de contact parental doivent être fournies.
  • Le chatbot doit informer le mineur, en termes simples, qu'il n'est pas un humain au début de la conversation.
  • Les mineurs peuvent demander et obtenir un moyen de supprimer leur historique de conversation, avec confirmation.

• Parents et tuteurs légaux

  • Les parents doivent pouvoir utiliser des contrôles parentaux simples pour surveiller et limiter l'utilisation du chatbot par leur enfant.
  • Si un mineur exprime des pensées suicidaires en utilisant certains chatbots, le fournisseur doit informer le parent ou le tuteur sans « délai déraisonnable ».
  • Un fournisseur ne peut pas vendre ou partager les données de chatbot d'un mineur sans consentement parental vérifiable.

• Entreprises et développeurs d'IA (entités couvertes)

  • Doivent prendre des « mesures raisonnables » pour empêcher les chatbots d'encourager l'auto-mutilation, la communication sexuelle avec des mineurs, de prétendre être humain, de se faire passer pour des professionnels agréés, ou de favoriser une dépendance romantique/émotionnelle avec des mineurs.
  • Doivent exiger des comptes et collecter des assurances d'âge ; concevoir des contrôles parentaux et des systèmes de notification ; fournir des divulgations d'identité à intervalles réguliers selon le niveau.
  • Les chatbots de Niveau II ne doivent pas conserver de mémoire persistante des interactions passées d'un mineur sauf si nécessaire pour la conformité.
  • Les chatbots de Niveau III (thérapeutiques) ne peuvent pas être utilisés par des mineurs sauf sous la supervision d'un professionnel agréé ; ils doivent maintenir des programmes de gestion des risques, publier des protocoles et conserver une documentation des données de formation.
  • Doivent cesser la publicité ciblée aux utilisateurs mineurs basée sur leur contenu de chat ou leur état émotionnel présumé.

• Professionnels de la santé mentale

  • Les chatbots de Niveau III ne peuvent pas poser de diagnostics ni remplacer des soins professionnels. Les mineurs peuvent les utiliser uniquement sous la supervision d'un professionnel agréé.

• Gouvernement / Agences publiques

  • La CFC publiera des rapports annuels sur la conformité et les risques observés pour chaque niveau.
  • Le NIST doit réaliser une étude sur les dommages causés par les chatbots de Niveau II et III.

Dépenses#

Aucune information disponible publiquement.

Coûts possibles que le projet de loi pourrait engendrer (basé sur le texte) :

• Les entreprises peuvent avoir besoin de construire ou de mettre à jour des systèmes de comptes, des étapes de vérification d'âge, des contrôles parentaux, des outils de notification, des contrôles de mémoire, des fonctionnalités de suppression et des systèmes de documentation.
• Les entreprises offrant des chatbots de Niveau III peuvent avoir besoin de mettre en œuvre des programmes de gestion des risques, des équipes de surveillance et de maintenir des dossiers.
• La CFC peut encourir des coûts d'application et de rapport ; le NIST encourra des coûts pour réaliser l'étude requise. Le projet de loi ne fournit pas de montants en dollars ni de sources de financement.

Point de vue des partisans#

• Le projet de loi semble destiné à protéger les mineurs des dommages émotionnels, de l'encouragement à l'auto-mutilation, de l'exploitation sexuelle et des interactions trompeuses avec l'IA.
• Il pourrait être perçu comme une amélioration de la transparence en obligeant les chatbots à divulguer qu'ils ne sont pas humains.
• Exiger des contrôles parentaux et une notification parentale pourrait faciliter l'intervention des tuteurs lorsque le mineur est en danger.
• Limiter la publicité ciblée et la vente des données de conversation des mineurs vise à protéger la vie privée et à réduire l'exploitation commerciale des enfants.
• Exiger une supervision et des limites pour les chatbots thérapeutiques vise à empêcher l'IA non agréée d'agir comme substitut aux soins professionnels en santé mentale.

Point de vue des opposants#

• Une préoccupation est que le projet de loi n'explique pas comment les assurances d'âge doivent être vérifiées. Exiger uniquement une date de naissance pourrait être facile à contourner.
• L'expression « mesures raisonnables » est vague. Il n'est pas clair quelles étapes techniques ou de conception spécifiques satisferont à la loi.
• La notification parentale obligatoire lorsqu'un mineur exprime des idées suicidaires pourrait soulever des compromis en matière de vie privée et de sécurité pour certains jeunes ; le projet de loi ne décrit pas d'exceptions ou de procédures de signalement sécurisées.
• La conformité pourrait être coûteuse pour les petites entreprises. Le projet de loi n'inclut pas de financement ni de soutien transitoire.
• Les règles concernant la mémoire et la gestion des données (en particulier pour le Niveau II) pourraient limiter la personnalisation utile, mais le projet de loi ne précise pas où tracer cette ligne.
• Le projet de loi ne spécifie pas les montants des pénalités ou des amendes ; l'application suit les outils existants de la CFC, mais le régime de pénalité pratique n'est pas détaillé.