Verifying a toy neural network

​EN:

​Samuel Gélineau will present his AI Safety side project, gelisam.com/parity-bot, which demonstrates that it is possible to verify that a neural network satisfies a safety property. The neural network is trained to follow a safety property, but that's not enough, because we want the model to follow this safety property on all inputs, not only those which have been tested. So we take a range analysis algorithm which is normally used on code, and we adapt it to work on weights.

​FR:

​Samuel Gélineau présentera son projet Parity Bot (gelisam.com/parity-bot), qui démontre qu’on peut vérifier qu’un réseau de neurones respecte une propriété de sécurité. L’entraîner à respecter cette propriété ne suffit pas : nous voulons une garantie qu’elle tient pour toutes les entrées, et pas seulement celles testées. Cette présentation adapte un algorithme d’analyse de plage (range analysis), habituellement utilisé sur du code classique.

​—

​Feel free to contact Orpheus on Signal: orpheus.77