Il prompting sta evolvendo. Stanno emergendo tecniche più evolute, anche proposte in recenti documenti ufficiali di Microsoft e OpenAi, per sfruttare al meglio l’IA generativa tipo ChatGpt.
Indice degli argomenti
Guide e siti che aiutano a ottenere migliori risultati dai modelli LLM
Basti pensare che Microsoft Research ha da poco pubblicato dei risultati in risposta all’annuncio di Google, che decantava la superiorità di Gemini Ultra relativamente a vari benchmark standard, mostrando come tecniche avanzate di generazione di prompt consentono a GPT-4 di eguagliare sostanzialmente i risultati annunciati da Google.
Si potrebbe obiettare che con tecniche analoghe anche Gemini potrebbe migliorare, ma vedremo se Google seguirà questa strada.
Anche OpenAI ha aggiunto una guida sul prompt engineering con delle indicazioni concrete per ottenere migliori prestazioni dai modelli LLM. Già in passato l’azienda aveva condiviso strategie di prompting in occasione dell’inizio dell’anno scolastico. Queste guide e repository si vanno ad affiancare a centinaia di siti che raccolgono prompt interessanti e ricette (basta cercare “prompt llm examples” sul motore di ricerca) che più o meno magicamente promettono meraviglie non sempre facili da generalizzare.
Sicuramente OpenAI si stima rappresentare il 69% (39% OpenAI direttamente e 30% attraverso Microsoft) del mercato dell’AI generativa è una fonte autorevole per dare indicazioni in materia.
Cerchiamo quindi di capire quali tecniche possano migliorare davvero la nostra esperienza quotidiana con questo tipo di sistemi.
Il progetto Promptbase di Microsoft Research
Microsoft Research con il progetto promptbase condivide i prompt che hanno consentito il miglioramento delle risposte utilizzando GPT-4, si tratta di prompt specifici per i benchmark oggetto e in qualche modo possono ispirare chi li legge ma sono molto specifici. È un po’ come analizzare un’auto di formula 1, la si giudica per la prestazione in circuito, non certo per le caratteristiche nel parcheggiarla. Se si analizza il file prompt_templates.py per il test MMLU si trovano sia dei modelli di prompt che gli esempi che sono utilizzati per aiutare il modello a seguire i ragionamenti necessari a risolvere le domande.
Per ciascuna delle tipologie di sfida viene fornito un modello simile al seguente:
in cui si mostrano degli esempi includendo prima la domanda e poi la risposta ed infine si mette la domanda vera e la risposta è quella che si chiede di completare al modello.
In molti casi seguono solo la domanda e la lettera della risposta corretta:
In altri casi si fornisce il ragionamento seguito per passi per raggiungere la risposta, una tecnica tra quelle raccomandate anche nella guida di OpenAI:
Come è facile osservare sebbene si tratti di esempi di tecniche il repository è difficilmente applicabile se non per ispirarsi concretamente a risolvere certe tipologie di test. È sicuramente consolante il fatto che molti degli approcci sono usi sofisticati delle raccomandazioni di OpenAI, questo di fatto richiede un’attenta lettura della guida per poi sperimentare i prompt legati al proprio contesto.
Come creare prompt efficaci: le raccomandazioni di OpenAI
La guida di OpenAI è quindi un riferimento centrale da studiare, riportiamo qui i tratti essenziali ma ne raccomando una lettura attenta a chi sviluppa sistemi basati su modelli LLM. Molte tecniche non dipendono dal prompt, e sempre più spesso la capacità di seguire istruzioni è ritenuta importante e viene privilegiata nelle sessioni di addestramento di molti modelli LLM anche al di fuori di OpenAI. I suggerimenti quindi possono essere applicati in senso più generale anche se magari non saranno sempre così efficaci come quando impiegati sui modelli di GPT.
Le sei strategie consigliate
La guida essenzialmente raccomanda di impiegare sei strategie:
- Scrivere le istruzioni in modo chiaro (al fine di spiegarsi meglio al modello)
- Fornire testo di riferimento (per ridurre il rischio di allucinazione)
- Dividere compiti complessi in sotto-compiti più semplici (aiutando di fatto il modello nel ragionamento)
- Dare il tempo per pensare al modello (invece di cercare la risposta secca guidarlo in una “catena di pensieri” che lo aiuti a fornire la risposta giusta)
- Utilizzare strumenti esterni (per reperire informazioni da includere come si fa quando si utilizzano sistemi RAG)
- Effettuare un test sistematico dei cambiamenti (per misurare la qualità e il miglioramento del comportamento atteso)
La guida fornisce per ciascuna di queste sei strategie una o più tattiche che si concretizzano poi in prompt di esempio. Vediamone qualcuna utile a titolo di esempio.
Come dare istruzioni chiare
Nella strategia relativa alla chiarezza delle istruzioni le prime due tattiche suggerite sono:
- Includere dettagli nell’interrogazione per ottenere risposte più rilevanti
- Chiedere al modello di comportarsi come una persona specifica
Nella prima tattica gli esempi sono lampanti:
È evidente come con poco sforzo si può aiutare il modello a contestualizzare la domanda e quindi rispondere in modo più consono.
Richiedere un particolare comportamento può essere ottenuto esponendo i tratti di una persona che risponde (o in alternativa definendo il ruolo di una persona, come ad esempio “sei un esperto di Arte e spieghi ai visitatori di una mostra le opere):
Fornire testo di riferimento è alla base dei sistemi che consultano sorgenti esterne come avviene nel caso dei sistemi RAG:
In questo caso si chiede esplicitamente di non usare la conoscenza del modello ma solo quella fornita nel prompt. Si tratta di una tecnica capace di produrre risposte molto specifiche e che riduce significativamente il rischio di allucinazioni (bisogna però non costringere troppo il modello altrimenti si rischia che risponda solo come se fosse una FAQ).
L’intera lista di suggerimenti è stata anche riassunta in un formato grafico che aiuta sicuramente nella consultazione.
L’arte del prompting: tra scienza e creatività
Sebbene le tecniche utilizzabili in un prompt si possano codificare la loro efficacia dipende spesso dalla conoscenza del modello di un particolare ambito, si tratta quindi della formalizzazione di idee che non hanno il valore di un programma o di una formula matematica. Inoltre, dobbiamo sempre ricordare come la generazione testuale abbia sempre una componente casuale legata al parametro della temperatura, e quindi scrivere prompt efficaci per specifici domini applicativi assomiglia più ad un’arte che ad una scienza. Per questo si raccomanda la verifica sistematica dei cambiamenti nella guida: il comportamento non è sempre prevedibile ed anche piccoli cambiamenti possono comportare grandi effetti sul risultato atteso. Questo avviene anche quando viene aggiornato un modello senza che si modifichi in alcun modo il prompt.
I prompt per i chatbot
La guida di OpenAI è rivolta più agli sviluppatori di sistemi, anche se i criteri sono applicabili anche ai prompt degli assistenti come ChatGPT. Le guide per i prompt per l’applicazione ChatGPT sono leggermente diversi, come si evince dagli esempi proposti nel post di blog relativo alla scuola, eccone uno:
In questo prompt molto articolato si nota l’uso di molte delle tecniche presenti nella guida e anche una certa familiarità con i prompt usati da Microsoft Research per migliorare i benchmark.
Conclusioni
Comporre prompt è sempre più difficile e senza sforzarsi nella scrittura di prompt articolati è difficile ottenere tutti i benefici potenzialmente disponibili nell’uso dell’AI generativa. Questo vale sia per la generazione di testo che per quella di immagini. Per questo condivido il pensiero di coloro che ritengono che il risultato di una AI generativa sia anche un’opera di intelletto, quella necessaria alla scrittura e validazione di prompt complessi per ottenere il risultato desiderato. Certamente per gli usi più semplici anche prompt semplici possono bastare, ma se si vuole diventare “pro” è necessario impegnarsi.
