AI Based ChatBot | Clara

Im Projekt "AI Based ChatBot | Clara" unterstützte b-nova die Helvetia Versicherung Schweiz bei der Konzeption und technischen Umsetzung eines KI-gestützten Assistenzsystems auf Basis von Large Language Models (LLMs). Mithilfe von Azure OpenAI, LangChain und Retrieval Augmented Generation (RAG) wurde ein Chatbot entwickelt, der fachliche Anfragen kontextbezogen versteht, relevante Informationen aus einer Wissensdatenbank abruft und präzise Antworten generiert. Neben der Architektur und Implementierung der RAG-Pipeline begleiteten wir Testing, Qualitätssicherung, Prompt Engineering und die iterative Optimierung der Nutzerinteraktion bis in den produktiven Betrieb.

Biggest challenge

Kontextbezogene Beantwortung fachlicher Anfragen durch LLM-gestützte Retrieval-Architektur mit konsistenter Antwortqualität

What we did

Architektur und Umsetzung eines RAG-basierten KI-Chatbots mit Azure OpenAI, LangChain und Vector Database inklusive Integration, Testing und Betriebsbegleitung

Main tools we used

Azure OpenAI, LangChain, LangGraph, RAG, Vector DB, Python, OpenShift

Aufgaben

Analyse der fachlichen Anforderungen und enge Abstimmung mit Stakeholdern zur Definition der Chatbot-Ziele und Erwartungen

Identifikation und Priorisierung relevanter Use Cases für den KI-gestützten Kundendialog

Entwurf der Gesamtarchitektur inklusive RAG-Pipeline, LLM-Anbindung und Retrieval-Strategie

Aufbau und Pflege der Wissensdatenbank mit Embedding-Erstellung und Integration einer Vector Database für semantische Suche

Systematisches Prompt Engineering zur Optimierung von Dialogqualität, Tonalität und fachlicher Korrektheit

Design und Implementierung von Dialogflüssen und Antwortstrukturen unter Berücksichtigung verschiedener Nutzerintentionen

Entwicklung der Chatbot-Agenten mit LangChain und LangGraph für mehrstufige Konversationslogik und Tool-Orchestrierung

Integration von Azure OpenAI Service als zentrales LLM-Backend für Textgenerierung und Embedding-Erstellung

Anbindung an bestehende Backend- und Drittsysteme über REST APIs zur Echtzeit-Datenabfrage im Dialog

Implementierung von Authentifizierung und Autorisierung mittels OIDC für sichere Nutzerinteraktionen

Aufbau automatisierter Test- und Evaluierungsprozesse zur kontinuierlichen Messung der Antwortqualität

Einführung von Guardrails und Content-Filtering zur Sicherstellung fachlich korrekter und markenkonformer Antworten

Containerisierung und Deployment der Lösung auf OpenShift für skalierbare und hochverfügbare Bereitstellung

Aufbau und Wartung der CI/CD-Pipelines mit GitHub Actions für automatisierte Builds, Tests und Deployments

Einrichtung von Monitoring, Logging und Observability zur Überwachung der LLM-Performance und Nutzungsmuster

Iterative Verbesserung der Antwortqualität und Nutzererfahrung basierend auf Feedback und Nutzungsanalysen

Umfassende Dokumentation der Architektur, Betriebsprozesse und Wissenstransfer an interne Teams

Technologien

Azure OpenAI Service LangChain / LangGraph Retrieval Augmented Generation (RAG) Vector Databases (Embeddings) Python Prompt Engineering REST APIs / FastAPI OpenShift GitHub Actions Redis / Caching OIDC / Authentifizierung Monitoring / Observability