Daten sind alles – diesem Dogma folgt heutzutage quasi jedes Business. Große Versicherungsunternehmen sind da keine Ausnahmen, gerade hier sind datengetriebene Ansätze unerlässlich. Die HUK bietet mit Telematik Plus beispielsweise einen KFZ Versicherungstarif an, der das Fahrverhalten der Versicherungsnehmer per Smartphone erfasst. Die Daten werden anschließend im Backend ausgewertet. Verantwortungsvolles Fahren beeinflusst auf diese Art und Weise positiv den Versicherungsbeitrag. Durch eine Smartphone App hat der Fahrer immer volle Transparenz über sein Fahrverhalten.

Ein wichtiger Baustein dieses Backends ist Apache Kafka, das hauptsächlich als zentrale Datenpipeline dient. Auch als Datalake Infrastruktur ist Kafka bei der HUK mittlerweile fester und zentraler Bestandteil.
Zudem vollzieht die HUK mit Kafka aktuell die Transformation von Batch- zu event-basierter Realtime Streaming Verarbeitung.

Wie mittlerweile alle großen und komplexen Infrastrukturkomponenten lassen sich auch Kafka Cluster am Besten automatisiert installieren und verwalten. DevOps Tools und Prinzipien wie Ansible und GitOps treffen an dieser Stelle auf Anforderungen aus dem BigData Bereich.

In diesem Vortrag wollen wir näher auf die Architektur des HUK Kafka Backends eingehen, sowie die Erfahrungen der letzen 1.5 Jahre teilen, die wir von der Planung über den ersten PoC bis zum Produktionslivegang sammeln konnten.