When Is a Human Actually “Overseeing” an AI System?

​Présentation par Shalaleh Rismani, postdoctoral researcher at McGill and Mila, working at the intersection of system safety, human-computer interaction, and the societal impact of AI, and Executive Director of the Open Roboethics Institute.

​AI assistants and agents are often described as being “under human oversight,” but what oversight actually means in everyday use remains unclear. This talk examines oversight as a human behavior rather than a system feature, drawing on findings from a study of AI writing assistants that explores how users’ mental models shape their interactions and outputs. We show that greater system understanding does not necessarily lead to better oversight, and can even result in worse outcomes when users place excessive trust in AI suggestions. Using this case as a starting point, the talk raises broader questions about oversight in AI assistants and agents, including coding tools, and highlights why transparency and human-in-the-loop designs alone may be insufficient for ensuring system safety.

​Présentation par Shalaleh Rismani, chercheuse postdoctorale à McGill et Mila, à l'intersection de la sécurité des systèmes, de l'interaction humain-machine et de l'impact sociétal de l'IA, et directrice générale de l'Open Roboethics Institute.

​Les assistants et agents IA sont souvent décrits comme étant « sous supervision humaine », mais ce que la supervision signifie réellement dans l'usage quotidien reste flou. Cette présentation examine la supervision en tant que comportement humain plutôt que comme caractéristique d'un système, en s'appuyant sur les résultats d'une étude portant sur des assistants d'écriture IA qui explore comment les modèles mentaux des utilisateurs façonnent leurs interactions et leurs productions. Nous montrons qu'une meilleure compréhension du système ne conduit pas nécessairement à une supervision plus efficace, et peut même entraîner de moins bons résultats lorsque les utilisateurs accordent une confiance excessive aux suggestions de l'IA. En prenant ce cas comme point de départ, la présentation soulève des questions plus larges sur la supervision des assistants et agents IA, y compris les outils de programmation, et met en lumière pourquoi la transparence et les conceptions avec humain dans la boucle ne suffisent pas à elles seules pour garantir la sécurité des systèmes.

​​—

​Où / Where
UQAM - Pavillon President-Kennedy
Room PK-1140 (first floor)
Instructions: https://docomomoquebec.ca/wp-content/uploads/2024/03/Localisation-de-la-salle-PK.pdf

​Contact host if you need assistance or for questions