So funktioniert Knowledge Buddy

Don Schuerman, CTO von Pega, erklärt am Whiteboard, wie Knowledge Buddy mit Retrieval Augmented Generation (RAG) und Pega GenAI aus Ihren Unternehmensinhalten verlässliche Antworten ableitet. RAG minimiert die mit GenAI verbundenen Risiken: Es wird sichergestellt, dass sich Antworten zu Quellinhalten zurückverfolgen lassen, KI-Halluzinationen vermieden werden und Informationen stets aktuell sind.

Transkript:

Hallo, mein Name ist Don Schuerman. Heute spreche ich hier am Whiteboard kurz über „Knowledge Buddy“ von Pega. Knowledge Buddy bildet mit generativer KI die richtigen Antworten aus Ihrer unternehmenseigenen Wissensdatenbank mithilfe einer Funktion bzw. eines Musters, die „Retrieval Augmented Generation (RAG)“ genannt wird. RAG ist eine sehr leistungsstarke Technik, weil sie gleich drei Herausforderungen beim Einsatz generativer KI auf Unternehmensebene angeht.

Die erste Herausforderung ist die Rückverfolgbarkeit von Antworten auf Fragen überall aus dem Unternehmen. Wenn Sie ChatGPT nach einem Burrito-Rezept fragen, werden Sie ein super Burrito-Rezept erhalten. Die KI kann Ihnen nur nicht sagen, woher das Rezept stammt. Bei Burritos ist das in Ordnung – aber nicht, wenn Sie wissen wollen, wie Sie mit einer Forderung oder Zahlung verfahren sollen.

Die zweite Herausforderung im Unternehmen ist, dass es dort keinen Raum für KI-Halluzinationen gibt. Wenn Sie lange genug mit ChatGPT herumspielen, werden Sie feststellen, dass die KI zuweilen recht überzeugende Antworten erfindet, wenn sie etwas nicht weiß. Auf Unternehmensebene darf das natürlich nicht passieren.

Drittens sind wir auf Unternehmensebene darauf angewiesen, dass unsere Inhalte immer topaktuell sind. Nur leider wurde GPT-3.5 im Jahr 2021 und GPT-4 im Jahr 2022/23 trainiert. Und wer will schon für jeden neuen Inhalt das Modell neu trainieren oder anpassen? Das kann jedes Mal bis zu zweistellige Millionenbeträge kosten. Sie müssen also stets die neuesten Inhalte berücksichtigen können. RAG ist die Antwort auf alle diese Aspekte.

Wie funktioniert das? Zunächst einmal nehmen Sie alle Ihre Unternehmensinhalte, wie Dokumentationen, Anleitungen, Marketingmaterial usw. Bei Pega nutzen wir z. B. den Knowledge Buddy für unsere Dokumentation und intern für Sales- und Marketing-Inhalte. Mithilfe von KI legen Sie Embeddings an – das ist ein Prozess, bei dem im Wesentlichen kleine Inhaltsblöcke aus all diesen Dokumenten extrahiert werden. Dabei werden nicht nur einzelne Inhaltsblöcke herausgegriffen, sondern auch die semantischen Beziehungen zwischen ihnen verstanden. Sie wissen dann, dass „Tortilla“ etwas mit „Wraps“ und dem Einwickeln von Burritos zu tun hat, selbst wenn die Worte „Tortilla“ und „Wrap“ keine direkte semantische Beziehung zueinander haben. Dann nehmen Sie diese Inhaltsblöcke und speichern sie in einer speziellen Datenbank – einer Vektordatenbank. Eine Vektordatenbank ist für solche semantischen Beziehungen sehr gut geeignet. Das erledigen wir für Sie mit Knowledge Buddy. Knowledge Buddy übernimmt das alles automatisch.

Wenn Sie also Knowledge Buddy nutzen und Ihre Anwender oder Kunden eine Frage stellen, sucht Knowledge Buddy zuerst in der Vektordatenbank alle Inhaltsblöcke heraus, die mit der Antwort auf diese Frage zu tun haben könnten. Nun kommt GenAI ins Spiel. Aber bevor Knowledge Buddy die generative KI aufruft, konstruiert er eine ganz spezielle Anfrage an sie. Diese Anfrage lautet sinngemäß: „Du vefügst über viel Wissen und ich zähle darauf, dass du Fragen beantwortest. Ich werde dir eine Frage stellen, die du beantworten sollst. Ich nenne dir auch alle Inhalte, die du bei der Beantwortung dieser Frage verwenden sollst. Und falls du die Antwort in diesen Inhalten nicht findest, möchte ich, dass du sagst: ,Ich weiß es nicht‘. Wenn du anhand der Inhalte, die ich dir gebe, nicht herausfinden kannst, was die Frage bedeutet, möchte ich, dass du ebenfalls ;Ich weiß es nicht.‘ antwortest.“ Dieses „Ich weiß es nicht“ ist sehr wichtig, weil ich dem Modell damit sage: „Halluziniere nicht.“ Also nehmen wir die Anfrage, die Inhaltsblöcke und senden alles an die generative KI. In diesem Fall verwenden wir OpenAI-Modelle von Azure. Liegen die Informationen dann vor, gibt Knowledge Buddy sie in Form einer Antwort zurück. Diese Antwort ist zudem direkt mit den Inhalten in Ihrem Repository verknüpft.

Kommen wir zurück auf die drei Herausforderungen beim Einsatz generativer KI auf Unternehmensebene. Bietet Ihnen Knowledge Buddy mit dem RAG-Ansatz eine Rückverfolgbarkeit? Absolut. Wir wissen, welche Inhaltsblöcke zur Beantwortung der Frage verwendet wurden, und wir kennen die erhaltenen Dokumente. Wir können sogar die URLs zu den Dokumenten in Ihrem Content Repository angeben, die wir zur Beantwortung dieser Frage herangezogen haben. Schließen wir Halluzination aus? Absolut. Wir weisen OpenAI an, „Ich weiß es nicht“ zurückzugeben, sollte sich die Antwort nicht aus den von uns bereitgestellten Inhalten ergeben. Und: Sind Ihre Inhalte und Ihr Wissen auf dem letzten Stand? Ja, denn für neue Inhalte oder ein neues Dokument brauchen Sie nur die Vektordatenbank zu aktualisieren. Es muss kein Modell neu trainiert oder angepasst werden. Da wir Knowledge Buddy eigens für den Einsatz in den Unternehmen unserer Kunden entwickelt haben, sind alle Workflows bereits vorkonfiguriert – ob für das Hinzufügen neuer Inhalte, das Verwalten der Vektordatenbank, das Festlegen der Größe der Informationsblöcke, das Nachverfolgen aller Aktivitäten oder das Überprüfen aller gestellten Fragen und zurückgegebenen Antworten.

Sie erhalten mit Knowledge Buddy also einen unternehmenstauglichen Ansatz, der aus sämtlichen Inhalten Ihres Unternehmens sofort nützliche Antworten für Mitarbeiter und Kunden zusammenstellt. Wenn Sie mit generativer KI das Mitarbeiter- und Kundenerlebnis sowie die Effizienz verbessern möchten – und zwar auf sichere, verantwortungsvolle Weise –, sollten Sie sich Knowledge Buddy und seine zugrunde liegende RAG-Architektur genauer ansehen.