Auf Basis eines Dokumentenarchives möchte der Kunde die Möglichkeit haben, über natürliche Sprache Fragen zu formulieren, die dann angemessen beantwortet werden. Für kleinere Texte kann direkt ein vortrainiertes LLM verwendet werden, welches mit einem übergebenen Kontext Antworten formuliert. Hierzu werden verschiedene Modelle unter Beachtung der Laufzeit und der Antwortqualität bewertet. Für größere Texte bzw. mehrere Dokumente werden Frameworks (LlamaIndex, LangChain) verwendet.
Für kleinere Texte kann direkt ein vortrainiertes LLM verwendet werden, welches mit einem übergebenen Kontext Antworten formuliert. Hierzu werden verschiedene Modelle unter Beachtung der Laufzeit und der Antwortqualität bewertet. Für größere Texte bzw. mehrere Dokumente werden Frameworks (LlamaIndex, LangChain) verwendet.
Diese Frameworks verwenden im Hintergrund eine Vektor Datenbank, die den Kontext der verwendeten Dokumente enthält. Dieser Kontext, zusammen mit der Frage des Anwenders werden durch das LLM bearbeitet und daraus eine Antwort generiert. Die Lösungsansätze werden gegenübergestellt und u.a. anhand der Kriterien Laufzeit und Antwortqualität bewertet.