AI Governance RG: What AI evaluations for preventing catastrophic risks can and cannot do

​EN

​First session of the AI Governance Reading Group.

​What AI evaluations for preventing catastrophic risks can and cannot do (Peter Barnett, Lisa Thiergart) 2024 https://arxiv.org/abs/2412.08653v1

​AI governance instruments mostly rest on evaluations: frontier safety frameworks, the EU AI Act, the AI Safety Institute mandates, the International AI Safety Report. This paper examines what that toolkit can actually accomplish. In short: an evaluation can establish a lower bound on what a model can do, but not an upper bound on what it might do. It is the second one that regulation needs.

​We recommend reading the paper before you come.

FR

​Première séance du Groupe de lecture sur la gouvernance de l'IA.

​What AI evaluations for preventing catastrophic risks can and cannot do (Peter Barnett, Lisa Thiergart) 2024 https://arxiv.org/abs/2412.08653v1

​Les instruments de gouvernance de l'IA reposent le plus souvent sur les évaluations : les cadres de sécurité des modèles d'avant-garde, le règlement européen sur l'IA, les mandats des instituts de sécurité de l'IA, le Rapport international sur la sécurité de l'IA. Cet article examine ce que cet outillage peut réellement accomplir. En bref : une évaluation peut établir une borne inférieure sur ce qu'un modèle sait faire, mais pas une borne supérieure sur ce qu'il pourrait faire. C'est pourtant la seconde dont la réglementation a besoin.

​On recommande de lire l'article avant de venir.

​—

​Où / Where:

• ​Ω Labs, 3813 Saint-Denis
  Parking spot available on request

• ​Online: Join via Zoom at https://zoom.us/j/99005830598?pwd=3e21GRcTVAPTbvGOJv4RawurTc5ZXx.1
  Online attendees may join 15 mins after the scheduled event start time (6:15 PM).

​Contact host if you need assistance or for questions

​—

​Ω Labs is a community space funded from member contributions. Your donation keeps the space open and the snacks coming.