Event Stream Verarbeitung in einem verteilten System
Daten, welche im Betrieb von IT Infrastruktur und Applikationen gesammelt werden, gewinnen an Bedeutung da sie vermehrt benutzt werden um Business Value zu erzeugen. Für Unic wird eine Architektur erarbeitet welche diese Daten zentral sammelt und für die Weiterverarbeitung zur Verfügung stellt.
Indermühle, Benjamin, 2016
Art der Arbeit Bachelor Thesis
Auftraggebende Unic AG
Betreuende Dozierende Schaaf, Marc
Keywords Kafka, Message Broker, Zeitreihen, Event Streams
Views: 26 - Downloads: 4
Systeme der Unic Hosting Umgebung geben Informationen über deren Zustand aus. Die bestehende Lösung, welche diese Informationen sammelt und verarbeitet ist für Unic nicht mehr zufriedenstellend. Relevante Informationen werden zum Teil nicht verarbeitet, weil die Erfassung neuer Informationsquellen aufwändig ist. Ausserdem stösst das System an seine Kapazitätsgrenzen. Die neue Lösung soll einfach zu bedienen, stabil im Betrieb und flexibel in der Benutzung sein. Die neue Lösung soll mit der bestehenden Hosting Umgebung wachsen können und für die nächsten 5 Jahre Bestand haben.
Das Projekt wurde in drei Phasen aufgeteilt. In der Analysephase wurde mit den Stakeholdern zusammen die Anforderungen erarbeitet. In der Designphase wurde auf Basis der Anforderung eine Grobarchitektur erstellt. Die Architektur wurde verfeinert und für die einzelnen Komponenten Softwarelösungen evaluiert. Die verschiedenen Lösungen wurden anhand der Anforderungen miteinander verglichen und die beste Kombination in einem Proof of Concept getestet.
Das Ergebnis dieser Arbeit ist eine Architekturempfehlung. Die Architektur besteht aus drei Schichten; der sammelnden Schicht, dem Message Broker und der verarbeitenden Schicht.
Für die Sammlung benutzt die Architektur die Beats Plattform von Elastic. Die Beats laufen verteilt auf den erzeugenden Systemen und leiten die gesammelten Informationen in einem standardisierten Format an den Message Broker weiter. Als Message Broker verwendet die Architektur Kafka. Durch Kafka werden die sammelnde und die verarbeitende Schicht unabhängig voneinander und gewinnen an Flexibilität. Der Message Broker lässt sich hochverfügbar sowie verteilt betreiben und deckt damit die Anforderungen der Unic. Für die Speicherung der Zeitreihen setzt die Architektur Elasticsearch, für die Visualisierung wird Grafana verwendet.
Die Architektur ist komplexer als die bestehende Lösung, da sie aus mehr Komponenten besteht welche sich zudem auch hochverfügbar betreiben lassen. Dies führt zu mehr Aufwand im Betrieb. Dafür ist die Architektur stabiler und flexibler als die bisherige. Sie bietet ein stabiles Fundament für die Informationsverarbeitung und kann in den kommenden Jahren mit den Anforderungen mitwachsen.
Studiengang: Wirtschaftsinformatik (Bachelor)
Vertraulichkeit: öffentlich