une approche test-and-learn assumée
Dans le cadre de notre initiative AI composée de 7 piliers (Former nos collaborateurs, Adapter nos services, …), nous avons lancé plusieurs études et pilotes sur l’utilisation de l’IA dans notre quotidien de consultants.
L’une de ces études s’est portée sur la mise en place d’une architecture « IA » dédiée nous permettant de travailler sur des données confidentielles tout en comprenant les rouages technologiques de bout en bout, du hardware à l’interface utilisateur sans dépendance externe.
L’objectif étant à terme de pouvoir accompagner nos clients sur ces thématiques et sur les challenges d’architecture IA autohébergées au sein du Système d’Information.
premiers émois
Nos premières expérimentations nous ont amenés à implémenter une infrastructure hébergée chez un infogérant « local ».
Cette infrastructure nous a permis de déployer des modèles LLM Opensource mis à disposition de collaborateurs dans le cadre de challenges et use-cases internes.
Principaux lessons-learned :
- limitation des temps de réponse,
- limitation des modèles déployables,
- dépendance du fournisseur pour adapter l’infrastructure (entendable et appréciable pour une infrastructure déployée et opérée, mais par contre plus délicat en phase d’expérimentation)
nouvelle étape
Afin d’adresser également les problématiques opérationnelles (LMOps), nous avons décidé d’investir dans du matériel professionnel adapté aux charges de travail IA avec des serveurs DGX Spark puis DGX Station de NVIDIA.
Le DGX Spark, équipé du superchip NVIDIA GB10 Grace Blackwell, délivre jusqu’à 1 pétaflop de performance IA dans un format compact avec 128 Go de mémoire unifiée (nous nous intéressons également de près à la DGX Station, et attendons la sortie des puces GB300, les détails de leur fonctionnement et la dépendance à GPU externe).
Ces infrastructures nous permettront ainsi de développer et tester des modèles d’IA jusqu’à 200 milliards de paramètres localement, avec la possibilité de connecter plusieurs systèmes pour traiter des modèles encore plus importants.
Nous avons choisi de nous concentrer sur des architectures basées sur les superchips Grace Blackwell, comme le DGX Spark (1 pétaflop, 128 Go de mémoire unifiée), afin de bénéficier d’une convergence CPU/GPU unique et d’optimiser le traitement massif de modèles IA. Nous privilégions les matériels NVIDIA unifié en raison des facilités d’intégration offertes par CUDA, anticipant ainsi une réelle rupture technologique auxquelles nous croyons.
NB : notre choix aurait également pu se porter sur une architecture basée sur AMD / Ryzen AI Max+. Néanmoins, elle nécessite d’être adossées à des backend FastFlowLM au lieu d’Ollama.
backend
Nos tests portent sur plusieurs modèles open source de pointe notamment Mistral AI (modèles multimodaux haute capacité), Llama 4 (architecture Mixture of Experts supportant jusqu’à plusieurs millions de tokens), GPT-OSS d’OpenAI optimisé pour l’auto-hébergement, ainsi que le modèle suisse Apertus développé par le partenariat EPFL – ETH Zurich – CSCS. Nous ne visons pas à construire nos propres modèles, mais à approfondir continuellement notre expertise au contact des innovations de la communauté open source.
frontend
Nous recherchons des solutions qui permettent, au-delà d’un portail utilisateur ergonomique, une gestion aisée des différents utilisateurs et de leurs droits.
Nous attendons également d’un frontend la possibilité d’exploiter des modèles on-premise ou cloud et une gestion fine des accès par API ainsi que la construction de RAG sur des corpus documentaires importants sans avoir à les exposer.
Nous avons commencé nos tests avec Ollama Web UI mais nous testons activement les alternatives telles que LibreChat, AnythingLLM, LobeChat, Text Generation Web UI.
pourquoi cette approche
Cette approche nous permet de :
- Comprendre la technologie : nous continuons à développer une expertise réelle. Nous nous imposons de suivre les nombreuses évolutions chaque semaine
- Maîtriser nos données : tout reste dans nos infrastructures pour les manipulations de données confidentielles ou sensibles.
- Tester sans risque : les expérimentations se font sur nos propres environnements.
- Comprendre les limites : savoir évaluer les limites des outils d’IA sur le marché et leurs réels coûts d’exploitation. Certains processus ne nécessitent pas forcément d’IA. Nous développons des méthodologies et outils pour mesurer rigoureusement la valeur ajoutée de l’IA par rapport à une simple automatisation, afin d’éviter la surqualification
- Et enfin offrir à nos collaborateurs un environnement dédié sur lequel apprendre, et expérimenter sans risque.
la suite du programme
Préparer l’avenir : cette expérimentation nous permettra de vous apporter notre expertise et vous accompagner dans votre stratégie IA et son implémentation dans vos processus métiers.
Notre objectif est ainsi double :
- vous aider à choisir les meilleurs modèles selon les cas d’usage, et la façon de les intégrer.
- vous présenter des retours d’expérimentations concrets, portés sur la réelle valeur générée pour l’entreprise.
Pas de promesses marketing, juste du concret basé sur notre expertise.
plus d'insights
enjeux et bénéfices liés à la mise en œuvre d’un assistant IA conversationnel
digital solutions
November 13, 2025
chatbots IA et agents intelligents
digital solutions
November 13, 2025
managed services : flexibilité, qualité et confiance swiss made
digital solutions
November 12, 2025
