Ahmed Nuaman, Managing Director bei Firemind, gab im Anschluss eine kurze Einführung in die Praktiken von Firemind und die während des Tages verfügbaren Anleitungen.
Da sich der Workshop um die Daten der Teilnehmer drehte, befassten wir uns zunächst mit dem Dateningestion und den vorbereiteten Daten, die die Teilnehmer in Amazon S3-Buckets abgelegt hatten. Sobald die Daten in einen S3-Bucket eingespeist werden, stehen sie sofort für die Speicherung, den Abruf und die weitere Verarbeitung zur Verfügung. S3 bietet eine hohe Haltbarkeit, Skalierbarkeit und Verfügbarkeit für Daten und eignet sich daher für eine Vielzahl von Szenarien zur Datenaufnahme, einschließlich Datensicherung, Data Lakes, Protokollspeicherung und Datenarchivierung.
Sobald die Daten vorbereitet waren, begannen die Teilnehmer mit dem AWS Glue-Teil des Workshops. AWS Glue ist ein vollständig verwalteter Extraktions-, Transformations- und Ladeservice (ETL), der von AWS bereitgestellt wird. Er hilft dabei, den Prozess der Vorbereitung und Umwandlung von Daten für die Analyse zu automatisieren, so dass es einfacher wird, Erkenntnisse zu gewinnen und aus den in Amazon S3-Buckets gespeicherten Daten einen Mehrwert zu ziehen.
Bei der Arbeit mit aufgenommenen Daten in einem S3-Bucket bietet AWS Glue die folgenden Funktionalitäten:
Datenkatalog: AWS Glue erstellt und verwaltet ein zentrales Metadaten-Repository namens Data Catalog. Er katalogisiert die Struktur, das Schema und den Speicherort Ihrer Daten in S3. Der Data Catalog fungiert als zentrale Quelle für Metadaten und erleichtert das Auffinden und Verstehen der eingelesenen Daten.
Crawler: AWS Glue Crawler scannen automatisch den S3-Bucket und schließen auf das Schema und die Struktur der Daten. Crawler können Dateiformate und Partitionierungsschemata identifizieren und Metadaten extrahieren, die im Data Catalog gespeichert sind. Dieser automatisierte Erkennungsprozess spart Zeit und Mühe, da keine Schemata mehr manuell definiert werden müssen.
ETL-Aufträge: Mit AWS Glue können Teilnehmer ETL-Aufträge erstellen, um die eingelesenen Daten in ein für die Analyse geeignetes Format umzuwandeln. Sie können eine visuelle Schnittstelle oder Code (Python oder Scala) verwenden, um die Transformationen zu definieren. ETL-Aufträge können Operationen wie Filtern, Aggregieren, Verbinden und Bereinigen der Daten durchführen. Die transformierten Daten können wieder in S3 gespeichert oder in andere Datenspeicher oder Analysedienste geladen werden.
Data Lake Formation: AWS Glue ist mit AWS Lake Formation integriert, das zusätzliche Funktionen für die Verwaltung und Sicherung von Data Lakes bietet. Es hilft bei der Definition und Durchsetzung von fein abgestuften Zugriffskontrollrichtlinien, Datentransformationen und Datenaufbewahrungsrichtlinien für die in S3 aufgenommenen Daten.
Die letzte Phase des Workshops war die Visualisierung und Erkundung der Daten mit Amazon QuickSight. Mit QuickSight können alle Benutzer unterschiedliche analytische Anforderungen aus der gleichen Quelle der Wahrheit durch moderne interaktive Dashboards, paginierte Berichte, eingebettete Analysen und natürlichsprachliche Abfragen erfüllen.
Möchten Sie an Ihren Daten arbeiten?
Wenn Sie ein Unternehmen sind, das die Macht Ihrer Daten noch besser nutzen möchte und eine fachkundige Betreuung wünscht, wenden Sie sich an unser Team.
Als Datenspezialisten helfen wir Ihnen, Ihre Datenbestände zu konsolidieren und zu bereinigen, Data Lakes aufzubauen, die die Datenverwaltung zum Kinderspiel machen, und Ihnen den Wert von visualisierten Daten zu vermitteln. Visualisierungen und Dashboards, die Ihnen helfen, strategische Entscheidungen für Ihr Unternehmen zu treffen.
