Le p\u00e9rim\u00e8tre d\u2019activit\u00e9 de la r\u00e9gion Ile-de-France, englobant environ 12 millions d\u2019habitants, est vaste, tout autant que la place accord\u00e9e au num\u00e9rique au sein de la collectivit\u00e9. Pour conduire ses missions, comme la gestion de l\u2019informatique des lyc\u00e9es, le financement des entreprises et les transports (IDF Mobilit\u00e9s), la r\u00e9gion emploie 12.000 collaborateurs.<\/p>\n
Elle dispose \u00e9galement de sa propre DSI, dirig\u00e9e par Achille Lerpini\u00e8re. Et cette direction investit depuis d\u00e9but 2023 dans des cas d\u2019usage en IA, y compris en GenAI, comme l\u2019expliquait le Chief Information & Technology Officer le 15 octobre \u00e0 l\u2019occasion de la conf\u00e9rence Big Data & AI Paris 2024.<\/p>\n
Au total, une dizaine d\u2019applications d\u2019IA ont \u00e9t\u00e9 initi\u00e9es l\u2019ann\u00e9e derni\u00e8re.<\/p>\n
Un LLM de confiance h\u00e9berg\u00e9 dans des infrastructures souveraines <\/p>\n
Le backlog s\u2019est ensuite enrichi de cas d\u2019usage suppl\u00e9mentaires remont\u00e9s par les employ\u00e9s de la r\u00e9gion francilienne. C\u2019est dans ce cadre que la collectivit\u00e9 a \u00e9t\u00e9 amen\u00e9e \u00e0 collaborer avec Orange Business et l\u2019\u00e9diteur fran\u00e7ais sp\u00e9cialis\u00e9 en GenAI, LightOn<\/a>, dont la technologie a \u00e9t\u00e9 int\u00e9gr\u00e9e pour traiter certains de ces usages.<\/p>\n Pour Mick Levy, directeur Strat\u00e9gie et Innovation d\u2019Orange Business, le partenariat s\u2019inscrivait dans une d\u00e9marche visant \u00e0 d\u00e9ployer l\u2019IA dans un cadre de confiance. Afin de pr\u00e9tendre \u00e0 cette appellation, le fournisseur s\u2019appuie sur des datacenters localis\u00e9s en France et des garanties contre l\u2019extraterritorialit\u00e9.<\/p>\n Engag\u00e9 dans un processus de certification SecNumCloud<\/a>, Orange entend d\u2019ailleurs renforcer son positionnement sur l\u2019IA de confiance. \u201cC\u2019est bien parti\u201d, laisse \u00e9chapper le consultant, sugg\u00e9rant une finalisation \u201cdans les semaines \u00e0 venir.\u201d<\/p>\n \u201cAu sein de ces datacenters, nous avons install\u00e9 des infrastructures d\u00e9di\u00e9es \u00e0 l\u2019IA g\u00e9n\u00e9rative, dont les fameuses puces Nvidia H100 (…) sur lesquelles nous avons install\u00e9 un LLM d\u2019une startup engag\u00e9e, fran\u00e7aise, partie d\u2019un mod\u00e8le open source compl\u00e9t\u00e9 dans son apprentissage par encore plus de donn\u00e9es francophones\u201d, d\u00e9taille Mick Levy.<\/p>\n Int\u00e9gr\u00e9 aux offres de l\u2019ESN, le LLM LightOn est ainsi fourni \u00e0 la r\u00e9gion Ile-de-France, qui peut proc\u00e9der \u00e0 du fine-tuning du mod\u00e8le pour en am\u00e9liorer les performances pour ses usages sp\u00e9cifiques. D\u00e9but 2023, c\u2019est pourtant sur AWS et GCP que la collectivit\u00e9 \u00e9tait en mesure d\u2019ex\u00e9cuter LightOn.<\/p>\n PoC chez les hyperscalers, mais IA en production relocalis\u00e9es <\/p>\n Le recours aux services de cloud public des hyperscalers n\u2019\u00e9tait cependant pas conciliable \u00e0 terme avec la sensibilit\u00e9 des donn\u00e9es de la r\u00e9gion. Son premier projet visait en effet \u00e0 se doter d\u2019un Tech Assistant, un agent conversationnel pour les \u00e9quipes techniques.<\/p>\n \u201cNous avions besoin de confiance et donc de souverainet\u00e9\u201d, justifie Achille Lerpini\u00e8re. Sur un plan r\u00e9glementaire, l\u2019h\u00e9bergement aupr\u00e8s d\u2019un Gafam n\u2019\u00e9tait pas proscrit puisque d\u00e9but 2023, NIS2 restait \u00e0 finaliser.<\/p>\n Pour le d\u00e9veloppement d\u2019un PoC de son assistant de r\u00e9solution des incidents IT, les services des hyperscalers ont donc \u00e9t\u00e9 consomm\u00e9s. Des informations suppl\u00e9mentaires sur les projets de la r\u00e9gion devraient \u00eatre communiqu\u00e9s lors de La Matinale Data & IA 2024<\/a> du 5 d\u00e9cembre d’Orange Business.<\/p>\n \u201cNous avons fine-tun\u00e9 le mod\u00e8le dans le but que l\u2019IA soit en capacit\u00e9 de d\u00e9tecter les \u00e9carts entre les documentations, les plus anciennes et les plus r\u00e9centes, et de proposer de l’auto compl\u00e9tude\u201d, indique d’ores et d\u00e9j\u00e0 le DSI.<\/p>\n Lors de la phase de production, les d\u00e9veloppements devaient en revanche \u00eatre rapatri\u00e9s dans des infrastructures de confiance, en on-premise ou sur du cloud souverain. C\u2019est cette seconde option qui a \u00e9t\u00e9 privil\u00e9gi\u00e9e.<\/p>\n L\u2019int\u00e9gration de processeurs graphiques d\u00e9di\u00e9s pour l\u2019entra\u00eenement et l\u2019inf\u00e9rence des mod\u00e8les d\u2019IA dans les datacenters de la r\u00e9gion aurait n\u00e9cessit\u00e9 des \u00e9volutions cons\u00e9quentes des infrastructures et g\u00e9n\u00e9r\u00e9 de la complexit\u00e9.<\/p>\n RAG et donn\u00e9es personnelles en environnement de confiance <\/p>\n Pour b\u00e9n\u00e9ficier d’offres de type GPU-as-a-service et h\u00e9berger ses cas d\u2019usage IA traitant de la donn\u00e9e sensible (dont personnelle), l\u2019Ile-de-France a choisi de tirer profit du partenariat conclu entre Orange Business et LightOn.<\/p>\n