Die Lösung für das Data-Science-Team von Samba Security wurde um zwei ML-Pipelines herum aufgebaut. Die erste ML-Pipeline trainierte ein Modell mit Hilfe von Sambas benutzerdefinierten Skripten für die Datenvorverarbeitung, das Training und die Tests. Das daraus resultierende Modell-Artefakt wird für Batch- und Echtzeit-Inferenzen an Modell-Endpunkten bereitgestellt, die von Amazon SageMaker verwaltet werden.

Die zweite ML-Pipeline erleichtert die Inferenzanfrage an das gehostete Modell. Auf diese Weise ist die Pipeline für das Training von der Pipeline für die Inferenz entkoppelt. Eine der Schwierigkeiten bei diesem Projekt besteht darin, die manuellen Schritte der Datenwissenschaftler von Samba Security zu replizieren. Das Team von Firemind verwendete AWS Step Functions und SageMaker Processing, um diese Aufgabe zu bewältigen. Mit Step Functions können Sie Aufgaben in AWS mithilfe von AWS Lambda-Funktionen, Amazon Elastic Kubernetes Service (Amazon EKS) Workern oder in diesem Fall SageMaker ausführen. Mit SageMaker Processing kann man Aufgaben definieren, die auf verwalteten ML-Instanzen innerhalb des SageMaker-Ökosystems ausgeführt werden. Jeder Lauf eines Step Function-Jobs führt seine eigenen Protokolle, Laufhistorie und Details über den Erfolg oder Misserfolg des Jobs. Das Team nutzte Step Functions und SageMaker zusammen mit Lambda, um die Automatisierung von Training, Tuning, Bereitstellung und Inferenz-Workloads zu bewältigen.

Das einzige, was noch fehlte, war die kontinuierliche Integration von Codeänderungen in diese Bereitstellungspipeline. Firemind implementierte ein CodeStar-Projekt, das eine Verbindung zum bestehenden Code-Repository von Samba Security herstellte. Sobald das Data-Science-Team von Samba Security eine Aktualisierung an einem bestimmten Branch der Codebasis vornimmt, greift CodeStar die Änderungen auf und löst die Automatisierung aus.