RAG Modelle: AI & LLMs für Entscheidungsträger

Let’s dive in…

Das RAG-Modell (Retrieval-Augmented Generation) in der AI ist ein hybrider Ansatz, der die Leistungsfähigkeit grosser Sprachmodelle mit der Fähigkeit kombiniert, Informationen aus einer Datenbank abzurufen. Dazu werden zunächst relevante Dokumente oder Daten aus einer Wissensquelle abgerufen und dann mithilfe eines LLM Antworten erstellt, die sowohl auf der Eingabeanfrage als auch auf den abgerufenen Informationen basieren. Dieser Ansatz verbessert die Fähigkeit des Modells, genauere, sachkundigere und kontextrelevante Antworten zu geben.

Microsoft Copilot M365 verwendet ein RAG-Modell (Retrieval-Augmented Generation), das sowohl intelligente Suchtechnologien als auch Datenschutz effektiv integriert. Das System beginnt mit einer intelligenten Suche im eigenen Tenant, um die Anfrage oder den Prompt zu erweitern. Diese angereicherten Informationen werden dann an GPT-4 gesendet, um eine Antwort zu generieren, die wiederum im eigenen Tenant empfangen wird.

Dieser Ansatz ist aus technischer Sicht besonders vorteilhaft für den Datenschutz, da die Suche ausschliesslich innerhalb des eigenen Tenants und basierend auf den Berechtigungen des jeweiligen Benutzers stattfindet. Die Ergebnisse, die auch der Benutzer selbst hätte finden können, verlassen nie die eigene Umgebung. Die relevanten und wichtigen Suchergebnisse werden verschlüsselt an GPT-4 von Microsoft übermittelt, und die Antwort wird ebenfalls verschlüsselt zurückgesendet. Vorausgesetzt, dass Microsoft die Eingabe- und Ausgabedaten jeweils löscht, sollten aus technischer Sicht datenschutzrechtlich keine Bedenken bestehen. Aus juristischer Sicht müssen natürlich die nötigen Verträge vorhanden sein.

Ein sehr guter Blog über dieses Thema findet man bei den Vischer Anwälten.

Hier geht es zum gesamten Artikel: RAG Modelle: AI & LLMs für Entscheidungsträger