Die regionale Inferenz ist ab sofort allgemein verfügbar. Kunden können ihre Anfragen gezielt an eine europäische Adresse (api.eu.mistral.ai) oder eine US-Adresse (api.us.mistral.ai) schicken.  Die Modellausführung wird dann auf Rechner in der jeweiligen Region geleitet, im EU-Fall in Rechenzentren in EU- und EFTA-Staaten. Das ist relevant für Banken, Behörden oder Versicherer, die aus rechtlichen Gründen belegen müssen, dass Kundendaten die EU nicht verlassen. Ein Nebeneffekt: Kürzere Wege bedeuten kürzere Antwortzeiten. Wer die Standard-Adresse nutzt, bekommt keine Zusage, wo gerechnet wird. Die Regionswahl kostet einen Aufschlag von zehn Prozent auf den normalen Preis.

Neu ist dabei nicht, dass Mistral überhaupt in Europa arbeitet. Das Unternehmen gab schon zuvor an, Kundendaten standardmäßig in der EU zu hosten. Der Unterschied liegt zwischen dem Ort, an dem Daten liegen, und dem Ort, an dem gerechnet wird. Für den regulären Endpunkt api.mistral.ai schreibt Mistral in der Dokumentation nun ausdrücklich, dass er nicht regionsgebunden ist und keine Zusage über den Ort der Verarbeitung macht. Wer diese Zusage will, muss den regionalen Endpunkt ansteuern. Aus Kundensicht liegt die Neuerung damit vor allem in der Zusage selbst: einer wählbaren und prüfbaren Festlegung, wo die Rechenarbeit stattfindet. Davon zu trennen ist der Fall, dass Unternehmen offene Mistral-Modelle selbst betreiben oder in einer selbst gewählten Cloud-Region ausrollen. Dort bestimmt ohnehin die eigene Infrastruktur den Ort der Verarbeitung.

EU-Datenverarbeitung kommt mit teilweise erheblichen Einschränkungen

Aufschlussreich ist, was Mistral selbst an Grenzen einräumt. Von den Zusatzwerkzeugen läuft nur Function Calling regional, also der Aufruf externer Programmfunktionen durch das Modell. Agenten, Stapelverarbeitung und Dateiverwaltung fehlen an den regionalen Adressen. Auch das Modellangebot unterscheidet sich je nach Region. Eine feste Liste veröffentlicht Mistral nicht, Kunden müssen sie beim jeweiligen Endpunkt abfragen.

Einen Grund nennt das Unternehmen nicht. Naheliegend ist der Unterschied zwischen simpler Modellabfrage und dem Speichern von Zwischenständen. Ein normaler Modellaufruf benötigt keinen dauerhaften Speicher. Agenten, Batch-Aufträge und Dateiablage dagegen halten Daten über den einzelnen Aufruf hinaus fest, etwa Zwischenschritte oder hochgeladene Dokumente. Mistral selbst bezeichnet sie als „stateful“. Dass sie zusätzliche Infrastruktur vor Ort erfordern, liegt nahe, wird vom Unternehmen aber nicht bestätigt.

Auch der Geltungsbereich ist enger, als das Wort Souveränität vermuten lässt. Kontoeinstellungen, Zugangsschlüssel, Abrechnung und Nutzungsstatistiken können laut Dokumentation außerhalb der gewählten Region verarbeitet werden. Der Blogpost nennt zudem begrenzte, abgesicherte Übermittlungen an Subunternehmer außerhalb der Region. Regional ist die Rechenarbeit, nicht die ganze Plattform. Ob Anfragen anschließend gespeichert oder protokolliert werden, regelt eine separate Einstellung namens Zero Data Retention.

Für die Praxis bedeutet das: Wer Vertragstext direkt an ein Modell schickt, kann ihn über den EU-Endpunkt verarbeiten lassen. Wer Agenten oder Dateiverwaltung über die Files-API benötigt, bekommt dieselbe Zusage nicht.

Wer sich tiefer mit dem Thema befassen muss, findet in einem Webinar von heise KI PRO einen Überblick: Es zeigt, welche Möglichkeiten Unternehmen haben, generative KI-Modelle in der EU zu betreiben, worauf strategisch zu achten ist und wie sich sicherstellen lässt, dass die eigenen Daten die Europäische Union nicht verlassen. Mehr Informationen bieten unsere Deep Dives, Talks und Artikel zum Thema KI in Europa inklusive der Pflichten des EU AI Acts seit August auf heise KI PRO.

Warum Firmen für eine Warteschlange zahlen

Das zweite Angebot heißt Priority Tier und befindet sich in einer offenen Testphase. Alle Kunden teilen sich dieselben Rechenzentren. Wird es dort eng, weil viele gleichzeitig Anfragen schicken, dauern Antworten länger. Der Priority Tier ist eine Art Vorfahrtsregel: Anfragen zahlender Kunden werden bei Andrang vor dem übrigen Verkehr abgearbeitet. Gedacht ist das für Anwendungen, bei denen Wartezeit direkt weh tut, etwa ein Chatbot im Kundenservice oder ein System im laufenden Betrieb einer Fabrik.

Dazu kommt ein Uptime-SLA von 99,5 Prozent. SLA steht für Service Level Agreement, also eine vertraglich zugesicherte Dienstgüte. Uptime meint die Zeit, in der der Dienst tatsächlich erreichbar ist. 99,5 Prozent erlauben rechnerisch rund dreieinhalb Stunden Ausfall pro Monat. Für den normalen Zugang gibt es laut Mistral gar kein solches Versprechen.

Technisch schaltet man die Vorzugsklasse über einen einzelnen Wert in der Anfrage frei, service_tier. Steht er auf „auto“, nutzt die Anfrage die Überholspur, wenn sie verfügbar ist. Voreingestellt ist „standard_only“, also der reguläre Weg. Jeder Kunde bekommt zudem individuell ausgehandelte Obergrenzen, etwa wie viele Anfragen pro Minute bevorzugt behandelt werden. Wird diese Grenze überschritten, scheitert die Anfrage nicht, sondern rutscht in den Normalbetrieb zurück. In der Antwort steht anschließend, welche Klasse tatsächlich bedient hat, was Kunden die Kontrolle erlaubt, ob sie bekommen, wofür sie zahlen.

Mistral ruft dafür das 1,75-fache der Standardpreise ab, also 75 Prozent Aufschlag. Rabatte durch das sogenannte Prompt Caching, bei dem wiederholt genutzte Textteile zwischengespeichert und günstiger abgerechnet werden, bleiben erhalten. Sie können bis zu 90 Prozent ausmachen und werden laut Dokumentation zuerst abgezogen, erst danach greift der Aufschlag. Buchbar ist der Priority Tier nicht per Klick, sondern nur über einen Vertrag mit dem Vertrieb.

Parallel öffnet das Unternehmen seine Plattform für offene Modelle anderer Anbieter. Den Anfang macht GLM-5.2 des chinesischen Anbieters Z.ai, das unter denselben regionalen Regeln und Zusagen läuft wie Mistrals eigene Modelle. Für die nötige Rechenleistung sammelt Mistral außerdem mehrjährige Abnahmezusagen von Großkunden ein, verpackt als European Compute Units. Die Logik dahinter: Nur wenn viele Unternehmen sich langfristig festlegen, lohnt sich der Bau neuer Rechenzentren in Europa.

Mistral ist Mitglied der Open Secure AI Alliance und der Nemotron-Koalition von Nvidia. Die Aufnahme fremder Modellgewichte in die eigene Plattform sieht das Unternehmen als Fortsetzung dieser Linie.