Migration der Nonacus-Datenpipelines und -Workflows von Azure nach AWS

  • Kunde
  • Industry
  • Service
  • Segment
  • Autor
  • Nonacus
  • Gesundheitswesen & Biowissenschaften
  • Migration
  • SMB
  • Jodie Rhodes
Mehr entdecken
Auf einen Blick

Nonacus wurde 2015 mit einem einzigen Ziel gegründet: qualitativ hochwertige, nicht-invasive Gentests anzubieten, bei denen der Endverbraucher im Vordergrund steht.

Herausforderung

Das Nonacus-Team sah sich mit Herausforderungen bei der Cloud-Skalierung mit der Batch-Technologie von Microsoft Azure für die Genomsequenzierung konfrontiert.

Lösung

Firemind migrierte die Datenpipelines von Nonacus zu AWS und schuf eine sichere, skalierbare Lösung.

Genutzte Dienste
  • Amazon S3
  • AWS IAM
  • Amazon ECR
  • AWS ECS
Ergebnisse
  • Migration in 25 Tagen
  • Optimierte Ressourcen
  • Maximierte Kosteneffizienz
Geschäftliche Herausforderungen

Hürden der Cloud-Skalierbarkeit überwinden

Das Nonacus-Team war bei der Nutzung der Batch-Technologie von Microsoft Azure für seine Genomsequenzierungslösung auf viele Herausforderungen in Bezug auf die Cloud-Skalierung gestoßen. Die Genomdiagnostik erfordert die Verarbeitung großer Mengen komplizierter Daten, die präzise und zuverlässige Ergebnisse liefern müssen. Das bestehende Setup hatte Schwierigkeiten, die Anforderungen an die Skalierbarkeit zu erfüllen, was zu Ineffizienzen bei der Verarbeitung und der Ressourcenverwaltung führte.

Um den wachsenden Daten- und Rechenbedarf zu decken, wurde ein neuer Ansatz benötigt, der einen nahtlosen Übergang von den bestehenden Arbeitsabläufen ermöglicht und gleichzeitig eine kosteneffiziente und vollständig skalierbare Infrastruktur gewährleistet. Eine effektive und transformative Architektur war entscheidend, nicht nur für die Migration, sondern auch für die Aufrechterhaltung eine performanten Betriebs bei langfristigem Wachstums und datenintensiven Aufgaben.

Stehst Du vor ähnlichen Herausforderungen?

Wir sind Spezialisten für die Lösung von Problemen mit Daten und KI. Lass uns Dir helfen, die Vorteile der Cloud zu nutzen.

Jetzt loslegen

Was unsere Kunden sagen

Höre direkt von denjenigen, die unsere Dienstleistungen in Anspruch genommen haben. Entdecke, wie wir für unsere Kunden den Unterschied gemacht haben.

Lösung

Die AWS-gestützte Migration von Firemind

Für ein Unternehmen wie Nonacus, das komplizierte Daten für die Onkologie und die vorgeburtliche Gesundheitsfürsorge verarbeitet, hatte die Gewährleistung einer reibungslosen Migration ohne Funktionsverlust höchste Priorität. Dieses Projekt umfasste die Konzeption, das Design und die Bereitstellung einer umfangreichen Infrastruktur in der AWS-Cloud, die eine vollständige Migration der Arbeitslasten des Kunden von Microsoft Azure zu AWS-Diensten ermöglichte.

Das Projekt begann mit der Erstellung der Hauptarchitektur für Amazon S3. Dies würde es Nonacus ermöglichen, Daten als Teil ihrer Nextflow DSL 2 Prozesse sicher zu speichern. Nextflow bietet eine praktische Syntaxerweiterung, die die Definition von Modulbibliotheken ermöglicht und das Schreiben komplexer Datenanalyse-Pipelines vereinfacht.

Unsere Lösung nutzte intelligente Tiering-Speicherklassen innerhalb von S3, um Nonacus ein Maximum an Kosteneffizienz zu bieten, ohne die Zeitpläne für den Datenzugriff zu beeinträchtigen.

Nach dieser Einrichtung haben wir eine sichere IAM-Rolle erstellt, die Nextflow Tower SaaS den Zugriff auf die Daten in S3 zum Lesen und Schreiben erlaubt. Da Nextflow Tower SaaS nicht explizit den AWS Key Management Service (KMS) verwendet, haben wir der IAM-Rolle das Recht eingeräumt, mit KMS zu entschlüsseln, indem wir eine S3-Bucket-Richtlinie erstellt haben, die Nextflow Tower SaaS zur Verwendung der Verschlüsselung „aws:kms“ verpflichtet.

Nachdem die Rollen, Zugriffe und Verschlüsselungen geklärt waren, entwickelte Firemind eine Architektur, die es Nonacus ermöglichte, seine Pipelines und Arbeitsabläufe von Microsoft Azure nach AWS zu migrieren. Wir richteten eine Github Actions-Pipeline ein, um benutzerdefinierte Open-Source-Docker-Images zu erstellen und in Amazon Elastic Container Registry (ECR) bereitzustellen. ECR ermöglichte es uns, Container-Images zu pushen, ohne eine Infrastruktur installieren oder skalieren zu müssen, und Images mit einem beliebigen Verwaltungstool abzurufen.

Die Einrichtung eines ECS-Clusters zur Ausführung von AWS Fargate-Aufgaben auf der Grundlage der Images in ECR war einer der letzten Schritte. Wir richteten die Fargate-Aufgabenrolle ein, damit die Aufgaben sowohl auf S3 als auch auf KMS zugreifen können, um alle Daten von Nonacus zu lesen und zu schreiben.

Wir haben AWS Graviton-Prozessoren verwendet, um die beste Preisleistung innerhalb ihrer Rechenlasten zu gewährleisten. AWS Graviton3-Prozessoren sind das neueste Mitglied der AWS Graviton-Prozessorfamilie. Sie bieten im Vergleich zu AWS Graviton2-Prozessoren eine bis zu 25% bessere Rechenleistung, eine bis zu 2x höhere Gleitkommaleistung und eine bis zu 2x schnellere Leistung bei kryptografischen Arbeitslasten.

Optimierte Ressourcen

Mit der Einführung und Nutzung von AWS Batch konnten wir sicherstellen, dass die Nonacus-Wissenschaftler und -Ingenieure Hunderttausende von Batch- und ML-Computing-Aufträgen effizient ausführen und gleichzeitig die Rechenressourcen optimieren können, damit sie sich auf die Analyse der Ergebnisse und die Lösung komplexer Probleme konzentrieren können.

Effektive Migration

Die vertrauensvolle und sichere Migration eines bestehenden Workflows, insbesondere von einem anderen Cloud-Anbieter, kann eine schwierige Aufgabe sein. Unsere gründliche Planung und umfassende Fehlersuche, Schritt für Schritt, sorgten für einen reibungslosen Übergang ohne Funktionsverlust für die komplexen und auf Prioritäten ausgerichteten Arbeitslasten von Nonacus.

Beratung und Finanzierung

Als Advanced Partner von Amazon Web Services (AWS) waren wir in der Lage, Finanzierungsmöglichkeiten und Kosteneinsparungen zu ermöglichen, sofern bestimmte Kriterien erfüllt sind. Diese Finanzierung und Projektbegleitung ist von unschätzbarem Wert, wenn es darum geht, neue Arbeitsabläufe in der Cloud zu planen, zu erproben und aufzubauen.

Kontakt aufnehmen

Möchtest Du mehr erfahren?

Hast Du eine bestimmte Fallstudie oder ein Thema gesehen und möchtest mehr erfahren? Oder denkst Du über Dein nächstes Projekt nach? Schreibe uns eine Nachricht!