KI in der Verwaltung: Erfolgreicher Einsatz von LLMs in der Stadt Winterthur

Generative KI und speziell Large Language Models (LLMs) gewinnen zunehmend an Beliebtheit. Aus datenschutztechnischen Gründen kommen herkömmliche Tools wie ChatGPT für die Verwaltung jedoch oft nicht in Frage. Doch ganz auf LLMs zu verzichten, scheint mittelfristig fragwürdig, denn diese bieten ein hohes Potenzial. Beim Bund experimentiert man in diesem Kontext bereits seit fünf Monaten mit einem internen GPT: Bund testet Gov-GPT in geschützter Umgebung (1).

Ein spezifisches Potenzial von LLMs für die Verwaltung ist der effiziente Zugang zu internem Wissen und somit zu riesigen Daten- und Informationsquellen. Ermöglicht wird dies unter anderem durch sogenannte Retrieval Augmented Generation (RAG) Algorithmen. Das Modell ruft gezielt relevante Informationen aus einer hinterlegten Wissensquelle ab und nutzt sie, um mit einem LLM fundierte Antworten zu generieren. Wir haben beispielsweise auf Basis des RAG unseren H·AI·rmilio erarbeitet. Dieser beantwortet Fragen zur Projektmanagementmethode HERMES 2022, lesen Sie dazu unseren Fachbeitrag «Mittendrin in einer weiteren digitalen Revolution II».

Die Stadt Winterthur testet im Rahmen des Pilotprojekts «Generative KI-Assistenz für Winterthur» verschiedene Anwendungsfälle für generative Künstliche Intelligenz (KI). Wird durften hier u. a. im agilen Projektmanagement unterstützen sowie die strukturierte und zielorientierte Umsetzung der verschiedenen Use Cases sicherstellen.

Ein erster Schritt, das Potenzial von LLMs auszuschöpfen, wurde am Beispiel des Pilotprojekts in Winterthur demonstriert. Daraus entstanden folgende Fragen zu kritischen Erfolgsfaktoren:

• Welche Erfahrungen aus vergangenen Projekten sind übertragbar und wo erfordert die neue Technologie andere Ansätze?

• Wie erhebe ich den Schutzbedarf und damit zusammenhängende Massnahmen, wenn ein KI-System auf die Informationen zugreift?

• Was bedeuten die Eigenschaften eines spezifischen LLMs für die Lösungsentstehung und wie passt das in gut funktionierende Projektabläufe?

Um diese Fragen zu klären, gab es viel Koordinationsaufwand zwischen dem Projektleiter der Informatikdienste der Stadt Winterthur, den Softwareentwicklern des Umsetzungspartners «Liip», dem Datenschutzverantwortlichen der Stadt und weiteren Stakeholdern. Dank unseres Branchen- und Methodenwissens konnten wir hier eine Brücke schlagen und so gemeinsam eine effiziente Lösungsentwicklung sicherzustellen.

Aus dem Projekt heraus wurden verschiedene PoCs agil entwickelt. Besonders hervorzuheben ist der Sozialberatungs-GPT, ein RAG-basiertes Tool, das auf interne Quellen der Sozialberatung zugreift und bereits erstaunlich präzise Antworten geliefert hat. In diesem spezifischen Beispiel konnte durch gezielte Filtermassnahmen sichergestellt werden, dass keine vertraulichen oder personenbezogenen Daten verarbeitet werden, die Nutzenden aber dennoch vom Tooleinsatz profitieren.

Nach Abschluss des Pilotprojekts können wir folgende Learnings festhalten:

• Berührungsängste sind nachvollziehbar und gleichzeitig bestehen bereits heute Lösungsansätze, die einen Einsatz von LLMs in der Verwaltung ermöglichen. Diese reichen von Individualsoftware-Entwickler bis hin zu Standardlösungen. Die Evaluation von geeigneten Lösungen ist eine Projektaufgabe, die in Teilaspekten komplizierter scheint als bisher, jedoch mit den gängigen Methoden der IT-Projektleitung zu bewältigen ist.

• Mit der Erarbeitung von konkreten PoCs können Fehler früh gemacht und erkannt werden. Dies ermöglicht es, Erfahrungswerte zu sammeln und Ressourcen zielführend einzusetzen.

• Der produktive Betrieb von datenschutzkonformem LLM Einsatz ist bereits jetzt möglich. Wichtig ist es aber den Fokus neben dem Datenschutz auf das Kosten-Nutzen-Verhältnis zu legen.

Unser gesamtes Team ist darüber hinaus besonders stolz, dass die Stadt Winterthur nach Abschluss des Pilotprojekts mit dem Smart City Award 2024 im Bereich Innovation ausgezeichnet wurde, hier erfahren Sie mehr dazu: Smart City Hub Award 2024 (2).

Derzeit werden Abklärungen getroffen, inwiefern die PoCs für den produktiven Betrieb in Frage kommen. Wir bieten gerne weiterhin unsere Unterstützung an, sei es im Kontext einer Projektleitung oder bei der Beschaffung einer optimalen Lösung. In diesem Sinne gilt unser besonderer Dank der Stadt Winterthur und insbesondere Christoph Zech für die exzellente Zusammenarbeit.

Möchten Sie gerne erfahren, wie Sie Large Language Models in Ihrer Verwaltung einsetzen können? Zögern Sie nicht uns per Telefon unter 058 320 30 00, per E-Mail unter office@app.ch oder mittels des untenstehenden Formulars zu kontaktieren. Unsere Expertinnen und Experten freuen sich auf Ihre Anfrage.