Verbesserte Speicheroptimierung und Abrufzeit für SCANOSS

  • Kunde
  • Industrie
  • Service
  • Segment
  • Autor
  • SCANOSS
  • Informationstechnologie
  • Cloud-Speicher
  • SMB
  • Jodie Rhodes
Mehr erforschen
Auf einen Blick

SCANOSS hat den SCA-Bereich mit einer 100%igen Open-Source-Plattform verändert, die es Entwicklern ermöglicht, von Anfang an konformen Code zu erstellen.

Herausforderung
SCANOSS, eine Open-Source-SCA-Plattform, musste die Speicherung und den Abruf seines riesigen 11 TB großen Open-Source-Code-Datensatzes optimieren.
Lösung

Firemind hat sich mit SCANOSS zusammengetan, um seine Infrastruktur auf AWS zu migrieren und dabei IOPS, Speichereffizienz und Abrufgeschwindigkeit zu verbessern.

Genutzte Dienste
  • Amazon S3
  • Amazon EC2
  • Amazon VPC
  • Amazon CloudFormation
Ergebnisse
  • 65% weniger Zeitaufwand für das Scannen der Codebase
  • Signifikante Kosteneinsparungen
Geschäftliche Herausforderungen

Einzigartige Herausforderungen für SCANOSS

Die Herausforderungen, mit denen SCANOSS konfrontiert war, waren im Vergleich zu anderen Unternehmen, die Daten abrufen, ziemlich einzigartig. Als eines der ersten Unternehmen, das ein vollständig quelloffenes SCA-Tooling-System anbietet, verfügt es über einen extrem großen Datensatz von 11 Terabyte! Das bedeutet, dass sie in der Lage waren, den Großteil des öffentlichen Open-Source-Codes (aus Quellen wie GitHub, Bitbucket, GitLab, RhodeCode) zu indizieren.

Damit SCANOSS das Open-Source-Material scannen und zeitnah Ergebnisse liefern konnte, waren unglaublich hohe IOPS (Input/Output Operations per second) erforderlich. Eine so hohe Anzahl von Lese- und Schreibvorgängen stellt eine unglaubliche Belastung für die beteiligten Prozesse dar und verursacht auch Kosten.

Stehen Sie vor ähnlichen Herausforderungen?

Wir sind Spezialisten für die Lösung von Problemen mit Daten und KI. Lassen Sie uns Ihnen helfen, die Vorteile der Cloud zu nutzen.

Jetzt loslegen
Lösung

Architektur einer Lösung auf AWS

Bei diesem Projekt ging es darum, speicheroptimierte Rechenoptionen in Amazon Web Services (AWS) zu testen, mit dem Ziel, vollständig zu AWS zu migrieren. Um dies zu erreichen, mussten wir die Machbarkeit einer neuen Architektur nachweisen, die die aktuelle Produktion und die Arbeitsabläufe des Unternehmens übertreffen konnte.

Aufgrund der unglaublich hohen IOPS-Werte wussten wir, dass die aktuellen AWS-Datenservices (wie Amazon RDS, Amazon Aurora und Amazon DynamoDB) nicht in der Lage sein würden, die aktuelle Leistung zu erreichen und gleichzeitig Geschwindigkeits- und Kostenvorteile zu bieten. Sie nutzten Microsoft Azure mit einer dedizierten Festplatte und Flat Files. Um dem entgegenzuwirken, haben wir stattdessen Amazon S3 in Kombination mit Amazon EC2 I3-Instanzen verwendet.

Amazon EC2 I3-Instances sind die nächste Generation von speicheroptimierten Instances für Arbeitslasten mit hohen Transaktionen und geringer Latenz. I3-Instances bieten den besten Preis pro E/A-Leistung für Arbeitslasten wie NoSQL-Datenbanken, In-Memory-Datenbanken, Data Warehousing, Elasticsearch und analytische Arbeitslasten.

Durch die Nutzung von EC2 I3 konnten wir unsere Beispieldaten (40 GB von den 11 TB) nehmen und beginnen, die Zeit- und Kosteneinsparungen mit den Datenaktualisierungen und den hohen IOPS zu vergleichen. Wir stellten fest, dass wir den Scanvorgang und die Erstellung der Ergebnisse von 79 Minuten auf etwa 29-31 Minuten reduzieren konnten. Dies führte zu einer 65%igen Reduzierung der Gesamtzeit im Vergleich zu weiteren Tests, wobei die Kosteneinsparungen die Geschwindigkeit gleichermaßen widerspiegeln.

Zeit bis zum Wert

Wie bei vielen unserer Datenmigrationsprojekte waren wir in der Lage, die Ziele des Kunden schnell zu verstehen und rückwärts zu arbeiten, um sicherzustellen, dass wir eine für den Zweck geeignete Architektur entwickelten. Innerhalb von 8 Tagen, verteilt auf 7 Wochen, arbeiteten wir eng mit SCANOSS zusammen und waren in der Lage, die gewünschten hohen IOPS-Scanzeiten und Kosteneinsparungen zu erzielen.

Integrierte Ausbildung

Sowohl Firemind als auch SCANOSS arbeiteten sehr eng zusammen, um sicherzustellen, dass wir die Herausforderungen des Projekts schnell erkennen konnten und kontinuierliche Schulungen zu den Vorteilen der EC2 I3-Instanzen anbieten konnten. Dies stellte sicher, dass der leitende Entwickler von SCANOSS sich sicher fühlte, als seine Microsoft Azure-Umgebung zu AWS wechselte.

Hohe Transaktionsarbeitslasten

11 TB an Open-Source-Daten sind kein Scherz! Und ein Unternehmen, das eine so große Menge an Daten scannen, aktualisieren und Änderungen vornehmen muss, benötigt eine hohe Transaktionslast. Dieses Projekt zeigte die Nutzung optimierter Speicherlösungen der nächsten Generation, mit Ergebnissen, die sich direkt auf die Zukunft von SCANOSS auswirken werden.

Kontakt aufnehmen

Möchten Sie mehr erfahren?

Haben Sie eine bestimmte Fallstudie oder einen Einblick gesehen und möchten Sie mehr erfahren? Oder denken Sie über Ihr nächstes Projekt nach? Schreiben Sie uns eine Nachricht!