Im Second-Level-Support von Coop eCommerce war das Prozesswissen historisch über verschiedene Ablagen verteilt und unstrukturiert dokumentiert. Mitarbeitende mussten Antworten auf Supportanfragen manuell zusammensuchen, was zu langen Suchzeiten und teilweise erfolglosen Recherchen führte. Die Thesis untersucht, wie ein dedizierter, auf Retrieval-Augmented Generation (RAG) basierender Agent, angebunden über ein MCP-Gateway an die interne KI-Plattform, die Time-to-Information messbar reduziert und die Antwortqualität dabei überprüfbar quellentreu bleibt.

Die Arbeit folgt dem Design-Science-Research-Ansatz: Zunächst wurde die Wissensbasis konsolidiert, strukturiert nach Confluence migriert und via MCP-Gateway an die unternehmensinterne KI-Plattform angebunden. Die Wirksamkeit wurde in einem kontrollierten Within-Subject-Experiment mit 20 Mitarbeitenden gemessen: Jede Person bearbeitete realistische Supportfragen sowohl manuell als auch agentengestützt (Counterbalancing zur Kontrolle von Reihenfolgeeffekten). Die Antwortqualität wurde mit dem RAGAS-Framework anhand eines fachlich validierten Golden Datasets von 25 Referenzfragen beurteilt.

Der Agent halbiert die mediane Suchzeit im Second-Level-Support; der Unterschied ist statistisch signifikant (Wilcoxon-Test, p = .005) und weist eine grosse Effektstärke auf. Sämtliche 25 Referenzantworten des Golden Datasets erwiesen sich als quellentreu – der Agent erfand keine Inhalte, sondern stützte sich nachweisbar auf die hinterlegte Wissensbasis. Auffällig: Erfolglose, abgebrochene Suchen traten ausschliesslich in der manuellen Bedingung auf. Für Coop bedeutet dies eine direkte Entlastung des Supports, schnellere Antworten für interne Anspruchsgruppen und eine skalierbare Grundlage für weitere Anwendungsfälle. Über die Kennzahlen hinaus liefert die Arbeit übertragbare Erkenntnisse zur Operationalisierung von RAG-Agenten in Unternehmen: unter anderem, dass die Sichtbarkeit einer Wissensquelle nicht mit ihrer Auffindbarkeit durch den Agenten gleichzusetzen ist (Ingest-Pipeline-Bedingungen) und dass Bildinhalte für die Indexierung in Text überführt werden müssen. Damit entsteht ein praxiserprobtes Vorgehensmodell für den produktiven Einsatz von KI-Agenten im Support.