Um Simfoni bei der Umstellung von manuellen auf automatisierte Aufgaben besser zu unterstützen und modernere und für die Cloud optimierte Methoden zur Datenaufnahme und -kategorisierung einzuführen, arbeitete Firemind an zwei integrierten Proof-of-Concepts.

Die erste war die Entwicklung einer Machine Learning-Lösung zur Produktanreicherung. Dieser maschinelle Lernprozess sollte nicht nur die Art und Weise verbessern, wie Simfoni seine Daten abruft, sondern auch, wie sie gruppiert, gespeichert, abgerufen und in einer Business Intelligence (BI)-Plattform angezeigt werden.

Die Kundendaten von Simfoni werden per SFTP oder direkt in einen Amazon S3-Bucket eingespeist. Von hier aus wurden die aufgenommenen Kundendaten über ein Ordnerpräfix gruppiert, um eine genaue Gruppierung und Bündelung der Daten zu gewährleisten. Diese Dateien mussten dann in ein Dateiformat konvertiert werden, das einfacher zu handhaben und flexibler im Hinblick auf künftige Wertentwicklungen war. Während der ML-Anreicherungsphasen des Prozesses fiel die Wahl auf Parquet.

Parquet ist für die Verarbeitung komplexer Daten in großen Mengen optimiert und bietet verschiedene Möglichkeiten zur effizienten Datenkomprimierung und Kodierung von Typen. Dieser Ansatz hilft bei Abfragen, die bestimmte Spalten aus einer großen Datentabelle lesen müssen. Parquet liest nur die benötigten Spalten innerhalb einer BI-Plattform, wodurch der erforderliche Input/Output (IO) stark minimiert wird.

Sobald die ML-Phase abgeschlossen war, wurde die neue Ausgabe erneut S3 gespeichert und ein AWS Lambda-Event ausgelöst. Dieser Trigger setzt einen einzigartigen Klassifizierungsbewertungsprozess in Gang, wobei die Metadaten aus dem ML-Modell über Amazon DynamoDB gepusht werden. DynamoDB ist eine vollständig verwaltete, serverlose NoSQL-Schlüsseldatenbank, die für die Ausführung von Hochleistungsanwendungen in jeder Größenordnung entwickelt wurde und die perfekte Wahl für diesen Anwendungsfall ist.

Der Trigger pusht auch ML-angereicherte Daten in PostgreSQL. PostgreSQL ist eine fortschrittliche relationale Open-Source-Datenbank, die sowohl SQL (relationale) als auch JSON (nicht-relationale) Abfragen unterstützt. Firemind verwendet diese Datenbank, da es sich um ein äußerst stabiles Datenbankmanagementsystem handelt, das seit mehr als 20 Jahren von einer Community entwickelt wird, was zu seiner hohen Belastbarkeit, Integrität und Korrektheit beigetragen hat. Nach diesem Prozess kann die Benutzeroberfläche des Kunden von Simfoni über die von ihm gewählte BI-Plattform alle Ingestions sowie deren Klassifizierungsgenauigkeit und Metadaten auflisten.

Teil 2

Der zweite Proof-of-Concept verlagerte den Schwerpunkt auf eine neue Lösung für das maschinelle Lernen von Daten. Diese Lösung ermöglichte es Simfoni-Nutzern, AWS Transfer für Rohdateien in S3 zu verwenden. Nach einer vorher festgelegten Zeit werden diese Dateien zur Archivierung an eine andere Bucket-Ebene angepasst.

Eine Lambda Function konvertiert alle eingelesenen xlsx-Dateien in das Parquet-Format, was eine einfachere und besser verwaltbare Datenverarbeitung ermöglicht. Nachdem die Lambda Function ihre Aktionen abgeschlossen hat, gibt sie die Daten in einen neuen S3-Bucket aus, in dem die konvertierten Dateien für die nächsten Schritte gespeichert werden.

Die nächste Stufe (und objektiv die wichtigste) ist die Verwendung von AWS Glue DataBrew (Bereinigung/Normalisierung von Datensätzen) oder Amazon SageMaker. Beide ermöglichen grafische Benutzeroberflächen (GUIs) und bieten gleichzeitig die Tools und technischen Funktionen für die fortgeschrittene Datenmodellierung.

Sobald die Kundendaten aufgenommen, bereinigt, modelliert und bereitgestellt wurden, werden sie in einem neuen S3-Bucket gespeichert und sind dann einsatzbereit.