Bei diesem Projekt ging es um die erfolgreiche Entwicklung und Bereitstellung eines AWS-basierten Proof-of-Concept (PoC), der die Effizienz der Large Language Model (LLM)-Inferenz bei der Umwandlung unstrukturierter Daten in strukturierte Dokumente demonstrierte. Das Ziel war die Verarbeitung von PDF-Dokumenten durch einen gut designten AWS-Workflow, der Dienste wie Amazon Textract, AWS Lambdas, Amazon SageMaker und AWS Step Functions nutzt.

Der Prozess begann mit dem Hochladen von PDF-Dokumenten in einen Amazon S3-Bucket, was Textract dazu veranlasste, den Rohtext zu extrahieren. Eine Lambda-Funktion verarbeitete anschließend die Daten in handhabbare Stücke. Für die Inferenz in Echtzeit wurde ein LLM auf SageMaker verwendet, das während der Dokumentenverarbeitung aktiviert und nach der Verarbeitung deaktiviert wurde.

AWS Step Functions orchestrierten den Workflow und umfassten zwei wichtige „Map“-Methoden. Die erste verarbeitete Prompts aus einem Dokument, während die zweite Textbausteine verarbeitete. Eine Lambda Function extrahierte definierende Informationen aus LLM-Ausgaben für jeden Prompt und Chunk. Die resultierenden Informationen wurden erfolgreich in die erforderlichen Formate für die weitere Verarbeitung durch MRH Trowe umgewandelt.

In Anbetracht des zu diesem Zeitpunkt experimentellen Charakters von LLMs war das primäre Ergebnis des Projekts die AWS-Infrastruktur, die die Fähigkeiten des LLMs mit unstrukturierten Daten demonstrierte. Die skizzierte Lösung bot einen vielseitigen Rahmen, der die Grundlage für zukünftige Entwicklungen, Verfeinerungen und Anwendungsfälle über die PoC-Phase hinaus bildete.