Skalierbare uVI-Berechnung in der Cloud
KUGU Home ist ein Marktführer im digitalen Gebäudemanagement. Eine
Kernfunktion ihrer Plattform ist die Berechnung des Energie- und
Warmwasserverbrauchs für die Endkunden.
KUGU stand vor der Herausforderung seinen Service für seinen
wachsenden Kundenstamm zu verbessern. In Zusammenarbeit mit dem
KUGU-Team haben wir das System neu konzipiert und dabei den
Schwerpunkt auf Skalierbarkeit und Parallelisierung gelegt.
Technologien: AWS, Athena, Apache Iceberg, Lambda, SQS, S3, ECS, Glue
Unser Beitrag
Im Rahmen unserer Zusammenarbeit haben wir den Prozess für die
Berechnung des Warmwasser- und Heizungsverbrauchs neu durchdacht.
Durch unseren innovativen Ansatz, den Prozess in klar definierte Stufen
zu zerlegen, diese Stufen als unabhängige Schritte zu entwickeln und
eine parallele Berechnung für alle Kunden durchzuführen. Hinzu kommt
die strategische Unterscheidung zwischen transaktionalen und
analytischen Arbeitslasten, welche uns ermöglichte die Effizienz des
gesamten Prozesses zu optimieren.
Die Herausforderung
Die Herausforderung bei der Prozessoptimierung bestand darin, dass die Datenvolume riesigen ist und eine Vielzahl von Geräteherstellern existieren.
Neben dem Ziel, die Berechnung zu beschleunigen und gleichzeitig die Kosten zu reduzieren, wollten wir eine Lösung erschaffen die auch die Arbeitslast des KUGU-
Teams reduziert und den Prozess optimiert.
Wir haben dies erreicht, indem wir den Prozess in isolierte Schritte aufgeteilt haben, diese modular und unabhängig gemacht haben und sichergestellt haben, dass jeder Schritt unabhängig skaliert werden kann.
Lösung
-
Entwurf und Implementierung einer Data-Lakehouse-
Architektur: Entwicklung eines auf Streaming-Daten basierten Data-Lakehouse, welches derzeit über 10 Millionen Datensätze pro Tag effizient verarbeitet. -
Parallele Verarbeitung: Durch den Einsatz von Technologien wie
Athena, Spark, Iceberg und DynamoDB konnten wir die Effizient in
der Datenverarbeitung erheblich steigern. -
DevOps-Automatisierung: Rationalisierung des Bereitstellungsprozesses durch die Automatisierung aller DevOps-Aktivitäten zur Gewährleistung eines reibungslosen und zuverlässigen Betriebs.
-
Verbesserte Testverfahren: Einführung von automatisierten Tests und Belastungstests, um die Zuverlässigkeit des Systems und das Vertrauen der Benutzer zu stärken.
-
Infrastruktur-als-Code (IaC): Einführung eines IaC-Ansatzes, um sicherzustellen, dass unsere Infrastruktur gut dokumentiert, transparent und leicht replizierbar ist.
-
Überwachung und Protokollierung: Implementierung umfassender Überwachungs- und Protokollierungslösungen, um potenzielle Probleme schnell zu erkennen und zu beheben und so die Ausfallsicherheit des Systems zu erhöhen.
-
Automatisierung manueller Überprüfungen: Teilweise Automatisierung der manuellen Plausibilitätsprüfungen, um die Effizienz zu steigern und menschliche Fehler zu reduzieren.
Ergebnisse
-
Kapazitätserweiterung: Durch unsere Lösung konnte ein Großteil der zuvor gebundenen Teamkapazitäten freigesetzt werden, was die Konzentration auf weitere Innovationen und Verbesserungen ermöglicht.
-
Prozess-Replizierbarkeit: Einrichtung eines wiederholbaren Prozesses, der selektiv für bestimmte Kundensegmente ausgelöst werden kann, ohne dass der gesamte Vorgang jedes Mal neu gestartet werden muss.
-
Skalierbarkeit: Schaffung eines Prozesses, der nahtlos mit dem Wachstum des Unternehmens mitwächst und langfristige Anpassungsfähigkeit und Effizienz gewährleistet.
-
Grundlage für zukünftige Entwicklungen: Es wurde eine solide Grundlage für die nächste Iteration der Plattform geschaffen, die den Weg für eine kontinuierliche Weiterentwicklung ebnet.
-
Geringere Produktionsbelastung: Die Belastung der Produktionsumgebung wurde effektiv minimiert, was zu einer verbesserten Servicequalität für die Kunden führte.
Scott Williams, CPTO
Data Max demonstrated remarkable expertise in reengineering and monitoring our data pipeline, resulting in a significant improvement in performance and reliability. Their proactive approach, deep understanding of our needs, and exceptional collaboration made them a highly recommended partner for any organization seeking help in data engineering in cloud.
By working with Data Max we were able to blend our engineering together to create a seamless and high impactful piece of work. We hope to work with them more in the future.