Validation par des tiers et capacité d'arrêt des modèles d'intelligence artificielle

Résumé#

Int. 1100-2026, parrainé par la présidente du Conseil Julie Menin, modifierait le Code administratif de la ville de New York en ajoutant des règles pour les modèles d'intelligence artificielle. Ce n'est pas une loi : la dernière étape répertoriée est le renvoi au comité. Son objectif déclaré est d'exiger une validation par des tiers et une capacité d'arrêt opérée par un humain avant que les modèles concernés ne soient commercialisés, vendus, offerts à la vente ou déployés dans la ville de New York.

  • Une personne ne pourrait pas commercialiser, offrir à la vente, vendre ou déployer un modèle à moins qu'un validateur tiers ne l'ait évalué et qu'il ait une capacité technique permettant à un opérateur humain de l'arrêter temporairement ou définitivement.
  • Le validateur doit évaluer la performance des tâches, le déterminisme, la vitesse et le volume de sortie, les origines des données d'entraînement, les biais contre les classes protégées, le traitement des données légal et sécurisé, le consentement éclairé et les risques pour la sécurité. Le Bureau du Commandement Cybernétique peut ajouter des sujets d'évaluation.
  • Le validateur doit fournir au développeur du modèle et au Commandement Cybernétique un certificat indiquant si le modèle a été validé et est correctement positionné pour le déploiement, et divulguer tout intérêt financier ou autre dans le modèle ou le développeur.
  • Le directeur du Commandement Cybernétique doit établir des règles sur les qualifications des validateurs et les soumissions de certification, et peut désigner une agence pour délivrer des convocations.
  • Les violations peuvent entraîner des pénalités civiles : 25 000 $ par instance pour la commercialisation, l'offre, la vente ou le déploiement d'un modèle sans validation ou capacité d'arrêt ; 25 000 $ par instance pour falsification d'une validation ; et jusqu'à 25 000 $ pour d'autres violations. La ville peut également demander des ordonnances judiciaires et d'autres recours.

Ce que cela signifie pour vous#

  • Développeurs de modèles d'IA et personnes ou entreprises commercialisant, offrant, vendant ou déployant des modèles dans la ville de New York : Ils devront s'assurer que les modèles répondent aux deux conditions. Le projet de loi définit un validateur tiers comme quelqu'un engagé par un développeur qui n'est pas un affilié du développeur.
  • Validateurs tiers : Ils devront effectuer les évaluations énumérées et divulguer leurs intérêts. Les règles du Commandement Cybernétique établiront leurs qualifications.
  • Résidents et autres personnes affectées par les modèles : Le projet de loi ajoute des évaluations des biais, de la vie privée, du consentement et de la sécurité, mais ne crée pas de droit de demander un examen ou un processus pour que les individus contestent un modèle.
  • Agences publiques : Le Commandement Cybernétique doit établir des règles ; lui ou une agence désignée par son directeur peut délivrer des convocations. Le conseiller juridique de la ville peut engager une action en justice pour faire respecter la loi.
  • Le projet de loi ne bannit pas complètement les modèles d'IA ni n'exige que chaque modèle soit utilisé. Il fixe des conditions pour les activités commerciales énumérées et le déploiement dans la ville.

Argent#

Aucune information sur les coûts n'est disponible dans le matériel disponible.

  • Le projet de loi fixe des pénalités civiles mais ne donne aucune estimation des revenus des pénalités, des coûts d'application ou des besoins en personnel.
  • Les développeurs auraient besoin d'une validation par des tiers pour les modèles concernés ; le projet de loi ne précise pas qui paie le validateur ni combien coûterait la validation.
  • La loi entrerait en vigueur 180 jours après son adoption.

Ce qui n'est pas clair#

  • Le projet de loi n'explique pas comment le Commandement Cybernétique décidera si un modèle est "correctement positionné pour le déploiement", ni quelles preuves les validateurs doivent utiliser.
  • Le projet de loi ne définit pas "par instance" pour le calcul des pénalités.
  • Il ne fixe pas de processus, de délai ou de voie de recours pour les décisions de validation ou d'application.
  • La portée de la définition d'un modèle d'IA est large ; le projet de loi ne précise pas quels types de modèles ou d'utilisations seraient exclus.
  • Le directeur du Commandement Cybernétique peut ajouter des sujets d'évaluation, mais le projet de loi ne limite pas ce que ces sujets peuvent être.

Arguments en faveur#

  • Le projet de loi semble destiné à traiter les risques liés aux modèles qui fonctionnent mal, traitent les groupes protégés de manière injuste, gèrent mal les données ou créent des risques pour la sécurité.
  • Un argument possible en faveur de l'exigence d'un validateur indépendant est qu'il ajoute un examen au-delà de l'évaluation propre du développeur du modèle.
  • Exiger une capacité d'arrêt opérée par un humain pourrait donner à un opérateur un moyen d'arrêter un modèle s'il cause des dommages.

Arguments contre#

  • Une préoccupation est que le projet de loi exige une validation mais laisse d'importants standards et procédures aux futures règles du Commandement Cybernétique.
  • Le projet de loi couvre plusieurs types d'activités et impose des pénalités fixes par instance ; des règles de comptage peu claires pourraient rendre la responsabilité potentielle difficile à prévoir.
  • La validation pourrait ajouter des coûts et des retards pour les développeurs, mais le projet de loi ne fournit aucune estimation des coûts ni de détails sur le fonctionnement du processus.
  • Le Commandement Cybernétique peut ajouter des sujets d'évaluation, tandis que le projet de loi ne décrit pas de limites ni de processus de révision pour ces choix.