DevOps meets BigData – Kafka im Versicherungsumfeld

Daten sind alles – diesem Dogma folgt heutzutage quasi jedes Business. Große Versicherungsunternehmen sind da keine Ausnahmen, gerade hier sind datengetriebene Ansätze unerlässlich. Die HUK bietet mit Telematik Plus beispielsweise einen KFZ Versicherungstarif an, der das Fahrverhalten der Versicherungsnehmer per Smartphone erfasst. Die Daten werden anschließend im Backend ausgewertet. Verantwortungsvolles Fahren beeinflusst auf diese Art und Weise positiv den Versicherungsbeitrag. Durch eine Smartphone App hat der Fahrer immer volle Transparenz über sein Fahrverhalten.

Ein wichtiger Baustein dieses Backends ist Apache Kafka, das hauptsächlich als zentrale Datenpipeline dient. Auch als Datalake Infrastruktur ist Kafka bei der HUK mittlerweile fester und zentraler Bestandteil.
Zudem vollzieht die HUK mit Kafka aktuell die Transformation von Batch- zu event-basierter Realtime Streaming Verarbeitung.

Wie mittlerweile alle großen und komplexen Infrastrukturkomponenten lassen sich auch Kafka Cluster am Besten automatisiert installieren und verwalten. DevOps Tools und Prinzipien wie Ansible und GitOps treffen an dieser Stelle auf Anforderungen aus dem BigData Bereich.

In diesem Vortrag wollen wir näher auf die Architektur des HUK Kafka Backends eingehen, sowie die Erfahrungen der letzen 1.5 Jahre teilen, die wir von der Planung über den ersten PoC bis zum Produktionslivegang sammeln konnten.

Dr. Bernhard Hopfenmüller ist seit 4.5 Jahren Teil der ATIX und aktuell als Consultant, Trainer und Teamlead tätig. Seine Projekte beinhalten und umfassen Python, TheForeman, Ansible, Saltstack, Containerisierung, Apache Kafka und DevOps Themen aller Art. Er tritt regelmäßig als Referent bei Open Source- und Linux-Veranstaltungen in Deutschland und Europa auf.

Julian Schreiner ist Administrator der BigData DevOps Gruppe bei der HUK-Coburg. Er betreut die BigData Infrastruktur bei der HUK, insb. Cloudera Hadoop und Kafka.
Speziell befasst sich Julian Schreiner mit den Themen Linux-Administration, Automatisierung mit Ansible und Puppet sowie Containerorchestrierung mit Kubernetes.

This post is also available in: Englisch