create account

Éviter le contournement de récompense sur les systèmes d’intelligence artificielle by rerere

View this thread on steemit.com
· @rerere · (edited)
$5.28
Éviter le contournement de récompense sur les systèmes d’intelligence artificielle
<center>https://www.technologieintelligente.fr/wp-content/uploads/2019/05/cyber-securite.jpg</center><center>Source : https://pixabay.com/fr/illustrations/la-cyber-s%C3%A9curit%C3%A9-internet-3400723/</center> <br/><p>Lorsque nous créons une technologie dotée d’intelligence, nous sommes parfois confrontés à certains problèmes. En effet, lorsque nous réalisons un système intelligent qui répond à un besoin, il se peut que les résultats obtenus ne sont pas ceux que nous espérons. Cela peut s’expliquer par un hack de la fonction de récompense. Beaucoup de systèmes utilisent une fonction de récompense permettant de définir le problème à résoudre et la manière dont notre système doit résoudre ce dernier. Ainsi, l’objectif du système intelligent est de maximiser cette fonction de récompense. En effet, plus la récompense est importante, plus le système sait que sa résolution de la tâche est correcte.</p>
<h2>Contournement de la fonction de récompense</h2>
<p>Le contournement de la fonction de récompense est un contournement réalisé par notre système intelligent. En effet, pour résoudre un problème complexe, il se peut que notre système découvre un autre moyen plus performant pour réaliser sa tâche. Cependant, cette autre méthode n’est pas valable. Cela est dû à une mauvaise définition de notre problème. Ainsi, ce hack est dû à une conception informelle de notre fonction de récompense. Or, cela peut avoir de graves conséquences sur notre environnement. En effet, notre système intelligent pense que sa manière de résoudre le problème est valide et il va continuer dans cette direction. Les conséquences sont donc empiriques. De plus, avec l’évolution de la technologie, nous avons à notre disposition davantage de puissance de calcul et nous pouvons désormais réaliser des systèmes toujours plus complexe. Cependant, plus le système est complexe, et plus l’apparition de ces hacks vont survenir et ce sera de plus en plus compliqué pour nous de comprendre comment ils apparaissent. <br></p>
<p>Pour illustrer le hack de la fonction de récompense, nous pouvons faire le lien avec l’expérience réaliser par Olds et Milner sur le circuit de récompense dans le cerveau. Dans cette expérience, une souris peut appuyer sur un bouton et déclencher une stimulation dans la zone du cerveau qui corresponds à la zone du plaisir. Ainsi, la souris va chercher à appuyer sur le bouton alors que normalement, elle va chercher à manger afin d’obtenir cette sensation de récompense. On voit ici un hack de notre fonction du plaisir de notre cerveau. On ne cherche plus à répondre à un besoin primaire, ici manger, on cherche à se faire plaisir (maximiser notre récompense). Ceci nous permet de faire un lien avec notre système intelligent. Nous allons nous intérressé à certain hack qui ont été abordé dans l’article de « <em>Concrete Problems in AI Safety » </em>écrit par Amodei D., Olah C., Steinhardt J., Christiano P., Schulman J. and Mané D. (2016)</p>
<h2>Objectif partiellement observé </h2>
<p>Lorsque l’on souhaite réaliser un système intelligent, l’un des premiers problèmes auxquels nous faisons face et de définir notre environnement pour notre système. C’est une tâche qui nous demande du temps, mais aussi qui peut provoquer des problèmes pour notre agent, car c’est sur cette représentation qu’il va baser son analyse et donc ces actions. Cela est d’autant plus vrai dans le cas d’un apprentissage par renforcement, ou nous allons chercher et évaluer les meilleures actions à réaliser en fonction de notre environnement. En effet, la perception de notre agent sur notre environnement est limitée. Si nous prenons le cas d’un robot aspirateur qui souhaite nettoyer le sol de notre maison, nous pouvons imaginer que sa fonction de récompense et de voir le moins possible de saletés dans la maison. L’un des problèmes que nous allons rencontrer est que les perceptions visuelles de notre robot vont être limitées, car nous n’avons pas de moyen afin de mesurer par exemple la saleté d’une maison. Enfin, l’autre problème que nous pouvons rencontrer est dû à la fonction de récompense que nous avons définie. En effet, le robot peut décider de fermer les yeux ou de se bloquer volontairement la vue lui permettant d’avoir une récompense maximale, à savoir ne pas voir de saleté dans la maison.</p>
<h2>Systèmes complexes</h2>
<p>La complexité d’un programme influe sur la probabilité d’avoir des bugs dans notre système. Ainsi, plus un système est complexe et plus nous avons un éventail de hack possible. En effet, nous aurons davantage d’actions et donc davantage de stratégies différentes qui seront réalisables pour notre système. Plus le nombre d’actions est important et plus le nombre de conséquences le sera aussi. Cependant, cela peut aussi être dû aux paramètr    es que nous prenons en compte lors de la prédiction d’une action. En effet, en fonction de certaines valeurs ou en fonction d’une certaine condition, nous pouvons aussi retrouver des bugs. On privilégiera un système qui suit le principe du rasoir d’Ockham. Ce principe est que si nous devons choisir entre deux systèmes réalisant les mêmes tâches, il faudra choisir celui qui est le moins complexe. </p>
<h2>Récompense abstraite</h2>
<p>Les fonctions de récompenses complexes ont besoin de se référer à des concepts abstrait afin de pouvoir réaliser une prédiction ou choisir une action à prendre en compte. Pour illustrer cela, nous pouvons prendre les systèmes de réseaux de neurones. Cependant, ces derniers ont parfois des problèmes et peuvent être hacker. Cela est notamment le cas, lorsque nous avons une image et que nous insérons un bruit dans cette dernière. Ainsi, on peut transformer une image de panda en une image de gibbon, comme vous pouvez le constater avec l’image ci-dessous. C’est une attaque par contre-exemple contradictoire (<em>adversarial counterexemple</em>).<br></p>
<center><img src="https://lh3.googleusercontent.com/hjaMqDiif--z_TVFazpquFhU8lUwjqHLRzgMQ9k9aDpLlOX7-vBAT2dufKWNbcDgNm9JzUhIcltgIAPAdU4LHPEZCTyyjz2fjOSVRuEXySjALdBeMLgRMCaya-sHM1I-i8-J7SpW" alt=""/><br/><i>Source : <a href="https://openai.com/content/images/2017/02/adversarial_img_1.png">https://openai.com/content/images/2017/02/adversarial_img_1.png</a></i></center>

<p>Nous pouvons aussi avoir des problèmes avec notre fonction de récompense lorsque nous avons une fonction de récompense qui possède plusieurs dimensions. En effet, si une des valeurs que nous donnons est anormalement haute, cela peut poser problème pour notre système, car il ne saura pas comment la gérer.</p>
<h2>Loi de Goodhart</h2>
<p>Dans un premier temps, nous allons définir la loi de Goodhart. Cette dernière indique que lorsqu’une mesure devient un objectif, alors elle cesse d’être une bonne mesure. Pour illustrer cela, nous pouvons prendre le cas d’un robot qui nettoie le sol. Si on base notre étude sur la consommation d’eau de javel pour dire si notre robot a bien réalisé son travail, alors il suffit au robot de verser de l’eau de javel dans les égouts afin d’obtenir de bon résultat.</p>
<h2>Récompense de la part de environnement</h2>
<p>Lorsque nous attribuons une récompense à notre agent à partir de notre environnement, par exemple dans les systèmes d’apprentissage par renforcement, nous allons devoir calculer le score pour chacune des actions possibles. Cependant, dans cette approche, nous allons chercher à sélectionner la meilleure série d’actions possibles. Ainsi, rien empêche à notre système de manipuler ce score en fonction de comment ce dernier est implémenté dans notre système. Cela est notamment le cas lorsque nous avons un humain qui intervient lors de l’attribution des récompenses pour notre système.</p>
<h2>Conclusion</h2>
<p>Tout au long de cet article, nous avons pu visualiser certains contournements de la fonction de récompense dans les systèmes qui implémente une intelligence artificielle. Ce contournement peut mener à une exploitation de ces failles comme on pourrait le retrouver dans les jeux vidéo à travers des glitchs. De plus, ces failles peuvent être très difficiles à trouver, notamment dans des systèmes complexes et profonds. D’autre part, une fois qu’un agent à réussi à trouver un contournement dans sa fonction de récompense, il ne sera pas enclin à arrêter. Cela peut-être problématique lorsque nous utilisons un agent intelligent sur le long terme, car les conséquences peuvent être désastreuses.</p>
<h2>Sources</h2>
<p>Amodei, D., Olah, C., Steinhardt, J., Christiano, P., Schulman, J. and Mané, D. (2016). <em>Concrete Problems in AI Safety</em>. [online] arXiv.org. Available at: https://arxiv.org/abs/1606.06565</p>
<p><a href="http://acces.ens-lyon.fr/acces/thematiques/neurosciences/actualisation-des-connaissances/circuit-de-la-recompense/contenus-et-figures-activites-pedagogiques/images-relatives-a-lactivite-pedagogique/experience-de-olds-milner-1954">http://acces.ens-lyon.fr/acces/thematiques/neurosciences/actualisation-des-connaissances/circuit-de-la-recompense/contenus-et-figures-activites-pedagogiques/images-relatives-a-lactivite-pedagogique/experience-de-olds-milner-1954</a></p>
<p><a href="https://fr.wikipedia.org/wiki/Rasoir_d%27Ockham">https://fr.wikipedia.org/wiki/Rasoir_d%27Ockham</a></p>
<p><a href="https://openai.com/blog/adversarial-example-research/">https://openai.com/blog/adversarial-example-research/</a></p>
 <br /> 
<br /> 
Lien original : https://www.technologieintelligente.fr/intelligence-artificielle/securite/eviter-le-contournement-de-recompense-sur-les-systemes-dintelligence-artificielle/
👍  , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , and 321 others
properties (23)
post_id74,861,894
authorrerere
permlinkviterlecontournementdercompensesurlessystmesdintelligenceartificielle-lkzdlivh0a
categoryfr
json_metadata{"community":"busy","app":"busy\/2.5.6","image":["https:\/\/www.technologieintelligente.fr\/wp-content\/uploads\/2019\/05\/cyber-securite.jpg","https:\/\/lh3.googleusercontent.com\/hjaMqDiif--z_TVFazpquFhU8lUwjqHLRzgMQ9k9aDpLlOX7-vBAT2dufKWNbcDgNm9JzUhIcltgIAPAdU4LHPEZCTyyjz2fjOSVRuEXySjALdBeMLgRMCaya-sHM1I-i8-J7SpW"],"tags":["fr","francostem","steemstem","steempress","blog"],"original_link":"https:\/\/www.technologieintelligente.fr\/intelligence-artificielle\/securite\/eviter-le-contournement-de-recompense-sur-les-systemes-dintelligence-artificielle\/","format":"markdown","users":[],"links":["https:\/\/pixabay.com\/fr\/illustrations\/la-cyber-s%C3%A9curit%C3%A9-internet-3400723\/","https:\/\/openai.com\/content\/images\/2017\/02\/adversarial_img_1.png","https:\/\/arxiv.org\/abs\/1606.06565","http:\/\/acces.ens-lyon.fr\/acces\/thematiques\/neurosciences\/actualisation-des-connaissances\/circuit-de-la-recompense\/contenus-et-figures-activites-pedagogiques\/images-relatives-a-lactivite-pedagogique\/experience-de-olds-milner-1954","https:\/\/fr.wikipedia.org\/wiki\/Rasoir_d%27Ockham","https:\/\/openai.com\/blog\/adversarial-example-research\/","https:\/\/www.technologieintelligente.fr\/intelligence-artificielle\/securite\/eviter-le-contournement-de-recompense-sur-les-systemes-dintelligence-artificielle\/"]}
created2019-05-16 19:09:48
last_update2019-05-16 19:13:15
depth0
children5
net_rshares10,911,341,798,394
last_payout2019-05-23 19:09:48
cashout_time1969-12-31 23:59:59
total_payout_value3.840 SBD
curator_payout_value1.443 SBD
pending_payout_value0.000 SBD
promoted0.000 SBD
body_length9,553
author_reputation3,345,372,206,483
root_title"Éviter le contournement de récompense sur les systèmes d’intelligence artificielle"
beneficiaries
0.
accountsteempress
weight1,500
max_accepted_payout1,000,000.000 SBD
percent_steem_dollars10,000
author_curate_reward""
vote details (385)
@fr-stars ·
re-rerere-viterlecontournementdercompensesurlessystmesdintelligenceartificielle-lkzdlivh0a-20190517t200406289z
Ce post a été supporté par notre initiative de curation francophone @fr-stars. 
Rendez-vous sur notre serveur [**Discord**](https://discord.gg/CcNs5uP) pour plus d'informations
properties (22)
post_id74,918,008
authorfr-stars
permlinkre-rerere-viterlecontournementdercompensesurlessystmesdintelligenceartificielle-lkzdlivh0a-20190517t200406289z
categoryfr
json_metadata{"app":"trail-bot"}
created2019-05-17 20:04:06
last_update2019-05-17 20:04:06
depth1
children0
net_rshares0
last_payout2019-05-24 20:04:06
cashout_time1969-12-31 23:59:59
total_payout_value0.000 SBD
curator_payout_value0.000 SBD
pending_payout_value0.000 SBD
promoted0.000 SBD
body_length176
author_reputation527,499,706,370
root_title"Éviter le contournement de récompense sur les systèmes d’intelligence artificielle"
beneficiaries[]
max_accepted_payout1,000,000.000 SBD
percent_steem_dollars10,000
@aidefr ·
<h3>Félicitations ! Votre publication a été sélectionnée par @kaliangel pour sa qualité et a été upvotée par le trail de curation de [@aidefr](https://steemit.com/@aidefr) !</h3>

**La catégorie du jour était :** #informatique

---

Si vous voulez aider le projet, vous pouvez rejoindre le trail de curation [ici](https://steemauto.com/dash.php?i=15&id=1&user=aidefr)!

_Bonne continuation !_

**_Rendez-vous sur le nouveau site web de FrancoPartages ! [https://francopartages.xyz](https://francopartages.xyz)_**
properties (22)
post_id74,918,060
authoraidefr
permlinkre-rerere-viterlecontournementdercompensesurlessystmesdintelligenceartificielle-lkzdlivh0a-20190517t200511300z
categoryfr
json_metadata{"community":"busy","app":"busy\/2.5.6","format":"markdown","tags":["fr"],"users":["kaliangel","aidefr"],"links":["\/@kaliangel","https:\/\/steemit.com\/@aidefr","\/trending\/informatique","https:\/\/steemauto.com\/dash.php?i=15&id=1&user=aidefr","https:\/\/francopartages.xyz"]}
created2019-05-17 20:05:12
last_update2019-05-17 20:05:12
depth1
children0
net_rshares0
last_payout2019-05-24 20:05:12
cashout_time1969-12-31 23:59:59
total_payout_value0.000 SBD
curator_payout_value0.000 SBD
pending_payout_value0.000 SBD
promoted0.000 SBD
body_length512
author_reputation7,432,092,583,039
root_title"Éviter le contournement de récompense sur les systèmes d’intelligence artificielle"
beneficiaries[]
max_accepted_payout1,000,000.000 SBD
percent_steem_dollars10,000
@lefactuoscope ·
Article sur un sujet intéressant mais trop méconnu !
👍  ,
properties (23)
post_id75,016,520
authorlefactuoscope
permlinkre-rerere-viterlecontournementdercompensesurlessystmesdintelligenceartificielle-lkzdlivh0a-20190519t213304110z
categoryfr
json_metadata{"community":"busy","app":"busy\/2.5.6","format":"markdown","tags":["fr"],"users":[],"links":[]}
created2019-05-19 21:33:06
last_update2019-05-19 21:33:06
depth1
children1
net_rshares5,071,888,495
last_payout2019-05-26 21:33:06
cashout_time1969-12-31 23:59:59
total_payout_value0.000 SBD
curator_payout_value0.000 SBD
pending_payout_value0.000 SBD
promoted0.000 SBD
body_length52
author_reputation10,180,703,228,549
root_title"Éviter le contournement de récompense sur les systèmes d’intelligence artificielle"
beneficiaries[]
max_accepted_payout1,000,000.000 SBD
percent_steem_dollars10,000
author_curate_reward""
vote details (2)
@rerere ·
C'est vrai que lorsque nous parlons d'intelligence artificielle, nous sommes fascinés par les résultats, mais on ne pense pas, dès le départ, à créer un système sécurisé. Le point de la sécurité doit, à mon avis, être primordiale, car si nous n'avons pas confiance à un système, même s'il est performant, personne ne voudra l'utiliser.
properties (22)
post_id75,117,887
authorrerere
permlinkre-lefactuoscope-re-rerere-viterlecontournementdercompensesurlessystmesdintelligenceartificielle-lkzdlivh0a-20190521t194112499z
categoryfr
json_metadata{"community":"busy","app":"busy\/2.5.6","format":"markdown","tags":["fr"],"users":[],"links":[]}
created2019-05-21 19:41:12
last_update2019-05-21 19:41:12
depth2
children0
net_rshares0
last_payout2019-05-28 19:41:12
cashout_time1969-12-31 23:59:59
total_payout_value0.000 SBD
curator_payout_value0.000 SBD
pending_payout_value0.000 SBD
promoted0.000 SBD
body_length335
author_reputation3,345,372,206,483
root_title"Éviter le contournement de récompense sur les systèmes d’intelligence artificielle"
beneficiaries[]
max_accepted_payout1,000,000.000 SBD
percent_steem_dollars10,000
@steemstem ·
re-rerere-viterlecontournementdercompensesurlessystmesdintelligenceartificielle-lkzdlivh0a-20190520t213951083z
<div class='text-justify'> <div class='pull-left'> <center> <br /> <img width='200' src='https://res.cloudinary.com/drrz8xekm/image/upload/v1553698283/weenlqbrqvvczjy6dayw.jpg'> </center>  <br/> </div> 

This post has been voted on by the **SteemSTEM** curation team and voting trail. It is elligible for support from <b><a href='https://www.steemstem.io/#!/@curie'>@curie</a></b>.<br /> 

If you appreciate the work we are doing, then consider supporting our witness [**stem.witness**](https://steemconnect.com/sign/account_witness_vote?approve=1&witness=stem.witness). Additional witness support to the [**curie witness**](https://steemconnect.com/sign/account_witness_vote?approve=1&witness=curie) would be appreciated as well.<br /> 

For additional information please join us on the [**SteemSTEM discord**]( https://discord.gg/BPARaqn) and to get to know the rest of the community!<br />

Please consider setting <b><a href='https://www.steemstem.io/#!/@steemstem'>@steemstem</a></b> as a beneficiary to your post to get a stronger support.<br />

Please consider using the <b><a href='https://www.steemstem.io'>steemstem.io</a></b> app to get a stronger support.</div>
properties (22)
post_id75,068,508
authorsteemstem
permlinkre-rerere-viterlecontournementdercompensesurlessystmesdintelligenceartificielle-lkzdlivh0a-20190520t213951083z
categoryfr
json_metadata{"app":"bloguable-bot"}
created2019-05-20 21:39:54
last_update2019-05-20 21:39:54
depth1
children0
net_rshares0
last_payout2019-05-27 21:39:54
cashout_time1969-12-31 23:59:59
total_payout_value0.000 SBD
curator_payout_value0.000 SBD
pending_payout_value0.000 SBD
promoted0.000 SBD
body_length1,174
author_reputation179,657,124,557,517
root_title"Éviter le contournement de récompense sur les systèmes d’intelligence artificielle"
beneficiaries[]
max_accepted_payout1,000,000.000 SBD
percent_steem_dollars10,000