Come funziona Knowledge Buddy

Il CTO di Pega Don Schuerman spiega, alla lavagna, in che modo Knowledge Buddy usa la tecnica RAG, Retrieval Augmented Generation, per trasformare contenuti aziendali in risposte affidabili basate su Pega GenAI. La tecnica RAG riduce al minimo i rischi associati all’IA generativa garantendo risposte riconducibili al contenuto di origine, prevenendo allucinazioni e mantenendo aggiornate le informazioni.

Trascrizione:

Salve, sono Don Schuerman. Oggi sono qui alla lavagna per parlare del prodotto Knowledge Buddy di Pega. Knowledge Buddy utilizza l'IA generativa per sintetizzare le risposte giuste attingendo dalla knowledge base proprietaria delle aziende. E lo fa utilizzando una funzionalità o uno schema detto RAG, Retrieval Augmented Generation. La RAG è una tecnica molto potente in quanto affronta tre sfide tipiche dell'IA generativa utilizzata a livello aziendale.

La prima sfida è l’indispensabile tracciabilità se si intende rispondere a domande a livello aziendale. Se chiedete a ChatGPT una ricetta per il burrito, vi offrirà un'ottima ricetta di cucina tex-mex. Ma non vi dirà dove ha trovato la ricetta, che va bene per un piatto messicano, ma forse non è l’ideale se l’intento è sapere come elaborare una richiesta di risarcimento o gestire un'eccezione di pagamento.

La seconda sfida a livello aziendale è la difficoltà di gestire le allucinazioni. E se usate ChatGPT abbastanza a lungo, vi renderete conto che ogni tanto, se chiedete qualcosa che non sa, si inventa una risposta. E questo in azienda è inaccettabile.

La terza sfida è garantire a livello aziendale che i contenuti siano sempre aggiornati. Sfortunatamente, GPT-3.5 è stato addestrato nel 2021, GPT-4 nel 22/23. E non vorrete certo essere costretti a riaddestrare o mettere a punto un modello, per milioni se non decine di milioni di dollari, ogni volta che disponete di nuovi contenuti. Quindi è necessario un modo per garantire che i contenuti siano accurati. La tecnica RAG risponde a tutto questo.

Ma come funziona? Bene, la prima cosa da fare è prendere tutti i contenuti aziendali, ad esempio documentazione, manuali di istruzioni, materiali di marketing. In Pega abbiamo usato Knowledge Buddy per la nostra documentazione Pega, lo abbiamo usato internamente per i contenuti commerciali e di marketing. L'intelligenza artificiale viene utilizzata per eseguire un processo detto embedding in cui sostanzialmente vengono estratti da questi documenti i blocchetti di contenuto. Ma non solo, oltre a estrarre questi blocchi, diventano chiare anche le relazioni semantiche che intercorrono tra l’uno e l’altro. Così si capisce che tortilla è correlata all’involucro e al confezionamento di un burrito, anche se la parola tortilla e involucro non hanno alcun tipo di relazione semantica diretta. Quei blocchi di contenuto vengono presi e inseriti in un tipo speciale di database detto vettoriale. Il database vettoriale è perfetto per archiviare e mantenere queste relazioni semantiche. Cosa che noi facciamo per voi con Knowledge Buddy. Knowledge Buddy esegue tutto ciò automaticamente per voi.

Così, se disponete di Knowledge Buddy e i vostri utenti o clienti vi fanno una domanda, la prima cosa che Knowledge Buddy fa è accedere a quel database vettoriale e recuperare tutti i blocchi di contenuto che potrebbero essere correlati alla risposta a tale domanda. Ed è a questo punto che entra in gioco l’IA generativa, ma prima di invocarla Knowledge Buddy crea un prompt specialistico, una richiesta molto tecnica da porre all’IA generativa. E in quel prompt dice: ”Genio del sapere, conto su di te per rispondere alle domande. Ti dirò a quale domanda desidero che tu risponda. Ti fornirò anche tutti i contenuti che voglio che tu usi per rispondere alla domanda. E se in quei contenuti non riesci a trovare una risposta, voglio che tu dica: “Non lo so”. Se non riesci a capire cosa significhi la domanda in base ai contenuti che ti ho fornito, voglio che tu dica: “Non lo so’”. E la risposta “Non lo so” diventa davvero importante perché effettivamente al modello sto dicendo “Evita le allucinazioni”. Quindi, prendiamo il prompt e i blocchi di contenuto e li inviamo all’IA generativa. In questo caso utilizziamo modelli OpenAI di Azure. Infine arriva il responso e Knowledge Buddy restituisce tale responso sotto forma di risposta. Una risposta, peraltro, direttamente collegata al contenuto del vostro archivio.

Tornando alle tre sfide o alle tre esigenze legate all'utilizzo dell'IA generativa a livello aziendale, con questo approccio, RAG Knowledge Buddy vi offre la tracciabilità? Assolutamente sì. Sappiamo quali blocchi di contenuto sono stati utilizzati per rispondere alla domanda e conosciamo i documenti ricevuti, possiamo persino fornirvi gli URL dei documenti nel vostro archivio di contenuti ai quali abbiamo attinto per rispondere a quella domanda. Eliminiamo le allucinazioni? Certamente, diciamo a OpenAI di dire: “Non lo so”, se non è possibile trovare una risposta nei contenuti che forniamo. E i contenuti e le conoscenze sono aggiornati? Sì, perché se disponete di nuovi contenuti o aggiornate un documento, vi basta semplicemente aggiornare il database vettoriale. Non dovete riaddestrare un modello, né ottimizzarlo. Infatti, poiché abbiamo creato Knowledge Buddy per operare al livello aziendale dei nostri clienti, vi abbiamo fornito pronti all’uso tutti i flussi di lavoro per aggiungere nuovi contenuti, gestire questo database vettoriale, impostare la dimensione dei blocchi di contenuto, tenere traccia di tutte le operazioni svolte, controllare ogni domanda posta e le risposte date.

Dunque, Knowledge Buddy offre un approccio calibrato per l'azienda, che vi consente di trasformare tutte le montagne di contenuti aziendali in risposte immediatamente fruibili per i vostri dipendenti e i vostri clienti. Se state cercando un modo per iniziare ad applicare l'IA generativa con l’intento di offrire oggi migliori esperienze a dipendenti e clienti e una maggiore efficienza e desiderate farlo in modo sicuro e responsabile, date un’occhiata a Knowledge Buddy e alla sua architettura RAG.