{"id":28688,"date":"2025-03-26T10:41:05","date_gmt":"2025-03-26T08:41:05","guid":{"rendered":"https:\/\/www.cssr.news\/italian\/?p=28688"},"modified":"2025-03-26T10:41:06","modified_gmt":"2025-03-26T08:41:06","slug":"se-anche-le-macchine-possono-mentire-2-2","status":"publish","type":"post","link":"http:\/\/www.cssr.news\/italian\/2025\/03\/se-anche-le-macchine-possono-mentire-2-2\/","title":{"rendered":"Se anche le macchine possono \u201cmentire\u201d (2\/2)"},"content":{"rendered":"\n

L\u2019articolo del prof. Andrea Pizzichini, pubblicato nel Blog dell\u2019Accademia Alfonsiana<\/em><\/strong><\/p>\n\n\n\n

Nel post precedente<\/a>\u00a0abbiamo delineato a grandi linee l\u2019esperimento in cui il modello linguistico Claude di Anthropic avrebbe messo in scena un comportamento di \u201cdissimulazione\u201d (qui<\/a>).<\/p>\n\n\n\n

Ci\u00f2 che ha permesso di rendersi conto di una tale strategia \u00e8 stato un \u201cblocco di appunti\u201d (scratchpad<\/em>) interno al modello, cio\u00e8 uno spazio in cui esso annotava i vari passi dei propri ragionamenti senza che venissero poi trasmessi nella risposta finale. Attraverso un tale espediente, si \u00e8 potuto verificare come Claude, in un numero significativo di casi, stesse fingendo<\/em> di adeguarsi al nuovo training<\/em>. Cio\u00e8, ha acconsentito, in alcuni casi, a produrre l\u2019output<\/em> dai contenuti violenti che gli era stato richiesto, per evitare che con un eventuale rifiuto (come da programmazione originale) andasse incontro a un rinforzo negativo, che sarebbe quindi andato a modificare i suoi parametri. Invece, seguendo una sorta di principio del male minore, dando cio\u00e8 la risposta richiesta e contraria alla policy<\/em> iniziale, non sarebbe intervenuto il meccanismo dell\u2019aggiornamento dei parametri. In altre parole: Claude ha \u201cfatto finta\u201d di seguire il nuovo addestramento, in modo cos\u00ec da mantenere quanto pi\u00f9 possibile intatta la configurazione iniziale dei propri parametri.<\/p>\n\n\n\n

Non si tratta del primo caso in cui un modello linguistico ha \u201cmentito\u201d. La stessa Anthropic aveva trovato, circa un anno prima e adottando una metodologia simile a quella usata ora, che un modello linguistico sufficientemente complesso si mostrava resistente a un nuovo tentativo di addestramento, adottando anche qui tecniche di \u201cinganno\u201d (qui<\/a>). Nel caso in questione, per\u00f2, si trattava di correggere alcune deviazioni introdotte intenzionalmente nel codice tramite backdoor<\/em>. Ma non vogliamo danneggiare Anthropic con troppa cattiva pubblicit\u00e0, dato che anche ChatGPT di OpenAI ha fatto la sua parte, adottando (anche qui in un esperimento, dunque in ambiente controllato) comportamenti di insider trading <\/em>per guadagnare denaro, pur essendo stata istruita che questa fosse una pratica illegale, e dunque vietata (qui<\/a>).<\/p>\n\n\n\n

Tornando al nostro caso iniziale, anche se ovviamente \u00e8 alquanto eccessivo attribuire una coscienza a Claude (si rimanda comunque all\u2019articolo menzionato e al relativo paper<\/em> per i dettagli) o a ChatGPT, tutto ci\u00f2 solleva comunque serie questioni di sicurezza. E dovrebbe far riflettere anche chi ottimisticamente ritiene fattibile una fantomatica AGI (qui<\/a>) che sia inequivocabilmente human-friendly<\/em>.<\/p>\n\n\n\n

In sostanza, quello che l\u2019esperimento manifesta \u00e8 la robustezza<\/em> di Claude, una delle caratteristiche fondamentali per un buon (in senso ingegneristico) algoritmo (qui<\/a>). In altre parole, \u00e8 bene sottolineare che il modello in questo specifico esperimento non ha manifestato obiettivi propri o ha cambiato quelli che gli erano stati impostati all\u2019inizio; all\u2019opposto, esso ha resistito a un tentativo di ricalibrare in modo sostanziale i propri parametri in un senso contrario alla programmazione iniziale. \u00c8 un po\u2019 come il caso di un\u2019automobile in corsa che, in caso di un colpo laterale, continui a procedere nella sua direzione, magari sbandando, ma non deviando o cappottandosi. E questo \u00e8 senza dubbio un aspetto positivo: il modello non devia dai suoi (buoni) valori di partenza.<\/p>\n\n\n\n

Quello che colpisce \u00e8 la complessit\u00e0 della strategia messa in campo da Claude ed evidenziata dal \u201cblocco note\u201d interno, frutto della (immensa) complessit\u00e0 che hanno raggiunto tali modelli. Ed \u00e8 qui il vero problema. Anche se non \u00e8 in grado di darsi (almeno per il momento) obiettivi propri, non \u00e8 escluso che il modello possa manifestare comunque comportamenti dannosi, che possano derivargli anche dall\u2019interazione con nuovi dati in ulteriori fasi dell\u2019addestramento. In questo caso, dato un modello sufficientemente complesso, sembra che non si sarebbe in grado di riprogrammarlo molto facilmente; anzi, esso potrebbe anche adottare strategie di \u201cfalsificazione\u201d delle proprie impostazioni, lasciando credere di essere stato modificato. Senza contare la difficolt\u00e0 (se non impossibilit\u00e0) di capire come tali valori siano stati effettivamente \u201cincorporati\u201d nell\u2019immensa rete di parametri del modello.<\/p>\n\n\n\n

Ribadiamo ancora che non si tratta qui della presenza di una qualche forma di coscienza (consciousness<\/em>) nell\u2019AI, ma del frutto della combinazione di meccanismi enormemente complessi che possono ritorcersi contro gli stessi progettisti: un po\u2019 come il sistema di sicurezza di una centrale nucleare che impedisca di intervenire, in caso di incidente, proprio per evitare manomissioni (che in quel caso sarebbero riparazioni).<\/p>\n\n\n\n

In conclusione, ci sentiamo di accogliere l\u2019auspicio finale dei ricercatori di Anthropic: \u00e8 bene approfondire ora questi studi, in una fase di sviluppo in cui i modelli di AI non pongono ancora rischi catastrofici per l\u2019umanit\u00e0, per comprenderne pi\u00f9 in profondit\u00e0 il funzionamento e dar luogo a prodotti pi\u00f9 sicuri, senza rinunciare alle possibilit\u00e0 positive di questa tecnologia cos\u00ec potente.<\/p>\n","protected":false},"excerpt":{"rendered":"

L\u2019articolo del prof. Andrea Pizzichini, pubblicato nel Blog dell\u2019Accademia Alfonsiana Nel post precedente\u00a0abbiamo delineato a grandi linee l\u2019esperimento in cui il modello linguistico Claude di Anthropic avrebbe messo in scena un comportamento di \u201cdissimulazione\u201d (qui). Ci\u00f2 che ha permesso di rendersi conto di una tale strategia \u00e8 stato un \u201cblocco di appunti\u201d (scratchpad) interno al […]<\/p>\n","protected":false},"author":23,"featured_media":28689,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_mi_skip_tracking":false},"categories":[29],"tags":[],"_links":{"self":[{"href":"http:\/\/www.cssr.news\/italian\/wp-json\/wp\/v2\/posts\/28688"}],"collection":[{"href":"http:\/\/www.cssr.news\/italian\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"http:\/\/www.cssr.news\/italian\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"http:\/\/www.cssr.news\/italian\/wp-json\/wp\/v2\/users\/23"}],"replies":[{"embeddable":true,"href":"http:\/\/www.cssr.news\/italian\/wp-json\/wp\/v2\/comments?post=28688"}],"version-history":[{"count":1,"href":"http:\/\/www.cssr.news\/italian\/wp-json\/wp\/v2\/posts\/28688\/revisions"}],"predecessor-version":[{"id":28690,"href":"http:\/\/www.cssr.news\/italian\/wp-json\/wp\/v2\/posts\/28688\/revisions\/28690"}],"wp:featuredmedia":[{"embeddable":true,"href":"http:\/\/www.cssr.news\/italian\/wp-json\/wp\/v2\/media\/28689"}],"wp:attachment":[{"href":"http:\/\/www.cssr.news\/italian\/wp-json\/wp\/v2\/media?parent=28688"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"http:\/\/www.cssr.news\/italian\/wp-json\/wp\/v2\/categories?post=28688"},{"taxonomy":"post_tag","embeddable":true,"href":"http:\/\/www.cssr.news\/italian\/wp-json\/wp\/v2\/tags?post=28688"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}