On-Premise LLM in Frankfurt
On-Premise LLM in Frankfurt auf höchstem Niveau, zum bestmöglichen Preis.
Die GPU ist da, das Modell auch. Was fehlt, ist das Stück dazwischen: das Modell als zuverlässige private API, sicher erreichbar aus Ihrer Anwendung, mit Ergebnissen, denen Sie vertrauen können. Genau das ist der Auftrag.
Frankfurt ist das wichtigste Finanzzentrum Kontinentaleuropas, Sitz der Europäischen Zentralbank, der Bundesbank, der Deutschen Börse und einer dichten Ansammlung von Banken, Vermögensverwaltern und Zahlungsdienstleistern. Zugleich ist die Stadt einer der größten Rechenzentrums- und Internetknotenstandorte Europas. Software wird über Dienstleistersteuerung, Auslagerungsregister und Informationssicherheitsprüfungen eingekauft, und fast jeder Kunde ist entweder selbst reguliert oder beliefert jemanden, der es ist.
Für eine Frankfurter Bank oder einen Vermögensverwalter bedeutet eine externe Modell-API einen neuen IKT-Drittdienstleister im DORA-Register und eine neue Risikobewertung. Ein privates Modell in Ihrem bestehenden Cloud-Konto oder Rechenzentrum hält KI bei Dienstleistern, die Sie bereits bewertet haben.
Was Sie bekommen
- vLLM-Serving, abgestimmt auf Ihre GPU: Quantisierung auf dem nativen Kernel-Pfad, Dimensionierung des KV-Cache, Continuous Batching, Prefix Caching
- Ein privater Netzwerkpfad ohne öffentliche Erreichbarkeit, nachweislich als direkte Peer-Verbindung statt über ein Relay
- Schema-gebundene Antworten plus ein deterministisches QA-Gate, sodass eine falsche Antwort abgewiesen statt angezeigt wird
- Dokumentierte Ausgangswerte: Tokens pro Sekunde, Time to First Token, reale gleichzeitige Kapazität
- Infrastructure as Code in Ihrem Repository, ein Runbook, und sämtliche Zugangsdaten liegen bei Ihnen
Keine Vorauszahlung und kein Treuhandkonto nötig. Sie behalten jeden Dollar, bis ein Meilenstein geliefert und abgenommen ist, und dreißig Tage Fehlerbehebung sind inklusive. Umfang und Preis werden in einem Gespräch festgelegt.
Rechnungsstellung in USD oder EUR, zahlbar per Wise oder Banküberweisung.
Rückruf anfordern
Sie sprechen mit dem Entwickler, der die Arbeit macht. Kein Vertrieb, keine Verkaufspräsentation.
Wer hier entwickelt
On-Premise LLM
Frankfurts Banken und ihre Dienstleister arbeiten unter den DORA-Regeln zum Drittparteienrisiko, und ein Modell in ihrer eigenen Umgebung lässt sich weit leichter durch diese Prüfung bringen als ein neuer externer KI-Anbieter.
Drei Phasen, nichts Verstecktes.
Analyse zum Festpreis
Fünf Werktage ab dem Tag, an dem die Zugänge stehen. Ihr Stack wird durchgängig geprüft, bestehende Arbeit begründet als beizubehalten oder zu ersetzen eingestuft, das Verbindungsdesign festgelegt und die Abnahmekriterien als prüfbare Aussagen formuliert.
Umsetzung in Meilensteinen
Rund drei Wochen. Für jeden Meilenstein gibt es schriftliche Abnahmekriterien, die vor Arbeitsbeginn vereinbart werden, und er wird erst nach Ihrer Abnahme in Rechnung gestellt. Auf Wunsch benennen Sie einen unabhängigen technischen Prüfer.
Übergabe und Abschluss
Eine echte Anfrage durch Ihre echte Anwendung, mit synthetischen Daten, die jede QA-Regel besteht. Runbook, aufgezeichnete Übergabe, und alle unsere Zugänge werden entfernt, schriftlich bestätigt.
Was hier tatsächlich gilt.
Regulierung und Daten
Banken, Versicherer, Wertpapierfirmen und Zahlungsinstitute wenden seit Januar 2025 den Digital Operational Resilience Act der EU (DORA) an, der IKT-Risiken, Meldung von Vorfällen, Resilienztests und das Informationsregister der IKT-Drittdienstleister abdeckt; für Unternehmen in seinem Anwendungsbereich hat er die BAIT der BaFin abgelöst. Nach dem deutschen Gesetz zur Durchführung der KI-Verordnung vom Juli 2026 behält die BaFin zudem die Marktüberwachung über KI, die in regulierten Finanztätigkeiten eingesetzt wird. DSGVO und BDSG gelten, private Unternehmen unterliegen der Aufsicht des Hessischen Beauftragten für Datenschutz und Informationsfreiheit (HBDI), und Betriebsräte haben Mitbestimmungsrechte bei Tools, die Beschäftigte überwachen können. Das deutsche NIS2-Umsetzungsgesetz (NIS2UmsuCG) gilt seit Dezember 2025. Die KI-Verordnung der EU ist seit August 2024 in Kraft: Die Regeln für KI-Modelle mit allgemeinem Verwendungszweck gelten seit August 2025, die Transparenzpflichten seit August 2026, während der Digital-Omnibus von 2026 die zentralen Hochrisiko-Pflichten auf Dezember 2027 für eigenständige Systeme wie Personalauswahl oder Kreditscoring und auf August 2028 für KI in regulierten Produkten verschoben hat.
Vertrag und Zahlung
Ihr Vertragspartner ist ein selbstständiger Berater mit Sitz in Indien. Rechnungen in EUR oder USD, Zahlung per Wise oder Banküberweisung. Ihre Buchhaltung behandelt einen ausländischen Lieferanten auf dem üblichen Weg, und alle Unterlagen, die sie benötigt, erhalten Sie, bevor Zugänge eingerichtet werden.
Arbeitszeiten
Mindestens vier Stunden tägliche Überschneidung über Ihren Vormittag nach mitteleuropäischer Zeit, mit Antworten am selben Tag an Werktagen.
Können Sie innerhalb der DORA-Anforderungen zum Drittparteienrisiko arbeiten?
Ja. Rechnen Sie damit, dass wir Angaben für Ihr Informationsregister der IKT-Drittdienstleister liefern, Ihre Zugangs- und Incident-Prozesse einhalten und die Arbeit in Konten bleibt, die Ihnen gehören. Der Exit ist einfach, weil Code, Infrastruktur und Dokumentation von Anfang an Ihnen gehören.
Kann alles in Frankfurter Rechenzentren bleiben?
Ja, sofern Ihr Cloud-Konto oder Ihre Hardware dort ist. Deployments lassen sich auf eine Frankfurter Cloud-Region oder Ihre eigenen Server festlegen, und Modell, Serving-Schicht und Logs bleiben vollständig innerhalb dieser Grenze.
Wie funktioniert die Zeitverschiebung mit Frankfurt?
Mindestens vier Stunden tägliche Überschneidung über Ihren Vormittag nach mitteleuropäischer Zeit, mit Antworten am selben Tag an Werktagen. Die Arbeit erfolgt remote aus Indien, und Reviews, Incident-Calls und Demos werden innerhalb dieses Zeitfensters angesetzt.
Wir haben bereits Hardware und ein laufendes Modell. Ist das ein Problem?
Das ist der ideale Ausgangspunkt. Bestehende Arbeit wird in der Analyse begründet eingestuft: unverändert beibehalten, mit Änderungen beibehalten oder ersetzt. Ersetzt wird nichts ohne Ihre schriftliche Zustimmung.
Ist ein vollständig Air-Gapped-Betrieb möglich?
Ja, einschließlich Spiegelung von Modell und Abhängigkeiten, Offline-Updates und lokaler Evaluierung, ganz ohne ausgehenden Netzwerkzugriff.
Wer hält die Konten?
Sie, durchgehend. Cloud-Konten werden von Ihnen angelegt und gehalten, unsere Zugänge sind personengebunden und mit minimalen Rechten ausgestattet, und sie werden bei der Übergabe entfernt, schriftlich bestätigt.