In un mio articolo su Linkedin avevo parlato di alcuni dei test fatti sugli LLM. In realtà di test ne ho fatti di più: quelli mi sembravano i più significativi.
Una cosa evidente è che gli LLM non sanno fare i lipogrammi.
Nel test non avevo usato direttamente la parola “lipogramma” semplicemente avevo chiesto di scrivere un breve testo senza usare una certa lettera.
Qui ho provato invece a chiedere esplicitamente un lipogramma a chatGPT 3.5.
Ecco il risultato. Mi sono sentito preso per i fondelli.
Ho pensato a due scenari.
Primo: Siccome sono evidentemente profilato nelle mie ricerche su internet, come qualunque utente – per rendersene conto basta vedere le pubblicità mirate che arrivano in base ai prodotti cercati poco prima – vuol dire che mi ha riconosciuto e risposto a tono. Ma questa profilazione “dispettosa” apre scenari distopici. Se un ricercato dalla polizia chiedess un'informazione relativa ad un percorso, l'AI potrebbe indirizzarlo proprio verso un posto di blocco per essere fermato! Oppure, peggio ancora, in una guerra inter-etnica potrebbe dare informazioni mediche errate alle etnie rivali... e via discorrendo.
Secondo: Ho scoperto un punto debole degli LLM. I lipogrammi! I casi sono due:
O il punto debole rimane per cui alla domanda “Che differenza c'è tra l'intelligenza umana e quella artificiale?” la risposta sarà: “L'intelligenza artificiale non sa fare i lipogrammi”
Oppure, presto i manager del settore faranno un enachement per coprire questa lacuna. Il costo sarà considerevle, non tanto per chi lavora (noi, i ragazzi del software siamo sempre costati poco!) ma per tutte le riunioni tra strapagati manager che prendono questa decisione strategica, pianificatori di WBS Pert e Gantt con “chi fa cosa quando”, SAL (avanzamento lavoro), colpevolizzazione dei ritardi, comunicazione della nuova feature... insomma si investiranno soldi per una cosa totalmente inutile. Perché a che cavolo servono i lipogrammi?
Nessun commento:
Posta un commento