"Als Bank sitzen wir auf einer riesigen Datenmenge, auf der wir KI Modelle laufen lassen wollen. Gleichzeitig können wir aber nicht in die Public Cloud gehen wegen BaFin Vorgaben. Wir brauchten also eine Möglichkeit, lokal GPU Server in unsere OpenShift Infrastruktur zu integrieren"
In einer Welt, in der digitale Transformation und technologische Innovationen an der Tagesordnung stehen, stehen auch traditionelle Finanzinstitute vor der Herausforderung, mit den neuesten technologischen Entwicklungen Schritt zu halten. Eine führende deutsche Bank stand vor genau dieser Herausforderung, als sie den Entschluss fasste, ihre Dienstleistungen durch den Einsatz von Künstlicher Intelligenz (KI) zu erweitern und zu verbessern. Das Ziel war klar: Die Implementierung von fortschrittlichen AI-Kapazitäten, um Zeitreihenvorhersagen mit Long Short-Term Memory (LSTM) Netzwerken auf TensorFlow-Basis durchzuführen. Diese Technologie versprach, die Genauigkeit von Finanzprognosen zu revolutionieren und die Entscheidungsfindung auf eine neue Ebene zu heben.
Interaktiver Bedarfsermittler
Allerdings stand die Bank vor einer bedeutenden Hürde: Aufgrund strenger Vorgaben der Bundesanstalt für Finanzdienstleistungsaufsicht (BaFin) war es ihr nicht gestattet, Cloud-basierte GPU-Ressourcen zu nutzen. Diese Einschränkung machte es erforderlich, alle Daten und Prozesse lokal, innerhalb der eigenen Infrastruktur, zu hosten. Die Bank benötigte eine Lösung, die es ihr ermöglichte, die Vorteile von KI voll auszuschöpfen, ohne dabei die regulatorischen Anforderungen zu verletzen.
Die bestehende IT-Infrastruktur der Bank basierte auf umfangreichen OpenShift Clustern, die Terabyte an Daten verarbeiteten. Die Herausforderung bestand darin, eine nahtlose Integration von AI-Servern in diese komplexe Landschaft zu ermöglichen, ohne die bestehenden Prozesse zu stören. Unsere Lösung: Die Implementierung spezialisierter AI-Server direkt in das On-Premise OpenShift Cluster der Bank. Durch das Hinzufügen eines spezifischen Labels „gpu“ zu den Nodes konnten wir eine gezielte Zuweisung von Workloads und Deployments auf die GPU-Server sicherstellen. Dank der „node affinity“ Funktion von OpenShift war es möglich, die AI-basierten Prozesse effizient auf die leistungsstarken GPU-Server zu lenken, wann immer dies erforderlich war.
Diese Case Study beleuchtet den innovativen Ansatz, den wir verfolgt haben, um die Bank in die Lage zu versetzen, ihre AI-Ambitionen zu realisieren, während gleichzeitig die lokalen Hosting-Anforderungen und die regulatorischen Vorgaben eingehalten wurden. Es ist ein Paradebeispiel dafür, wie technologische Barrieren mit kreativen Lösungen überwunden werden können, um die digitale Transformation in der Finanzbranche voranzutreiben.
AI Hardware im Einsatz bei der Bank
Die Bank entschied sich für mehrere AI Server large, ohne die Software „Software AI Copilot“, da sie die GPUs direkt über Terraform ansprechen wollten.
Dazu wurden die Server in das Rechenzentrum integriert. Um zu vermeiden, dass „normale“ Workloads auf den „teuren“ AI Servern laufen (wegen den GPUs), wurden die Nodes in OpenShift als „gpu“ server getaggt, und eine default „do not schedule“ policy für normale workloads gesetzt. Nur workloads und deployments mit dem „gpu“ tag in der node affinity laufen auf den GPU Servern.
Sie fragen sich wie Sie AI in Ihrem Unternehmen nutzen können?
Kontaktieren Sie uns für eine gratis 15-minütige Beratung
