Un agent IA mobile n'est pas un chatbot dans une app. C'est un système capable de comprendre une intention, utiliser le contexte de l'utilisateur, appeler des outils, préparer ou exécuter des actions, puis rendre le résultat dans une expérience adaptée au téléphone.
Le mobile rend l'agent plus puissant, mais aussi plus sensible. Il peut accéder à la caméra, au micro, à la localisation, aux contacts, aux notifications, aux fichiers, aux achats, aux deep links et à des données très personnelles. Chaque capacité doit donc être conçue avec une logique de permission, de confiance et de contrôle.
Définir ce que l'agent peut vraiment faire
La première étape consiste à lister les actions possibles. Un agent peut répondre, recommander, classer, générer, chercher, créer, modifier, envoyer, réserver, payer, notifier ou partager. Toutes ces actions n'ont pas le même niveau de risque.
Il faut créer une matrice d'autonomie : ce que l'agent peut faire seul, ce qu'il peut préparer, ce qui nécessite confirmation, ce qui est interdit. Cette matrice doit être visible dans le produit, pas seulement dans une documentation interne.
Construire une architecture mobile-agent robuste
Une architecture saine sépare l'app mobile, le backend, l'orchestration IA et les outils métier. L'app mobile ne doit pas contenir les clés API ni porter seule la logique d'agent. Elle collecte l'intention, affiche les étapes, gère les permissions et présente les validations.
Le backend reçoit la demande, vérifie l'utilisateur, applique les droits, prépare le contexte, appelle le modèle, expose les outils autorisés, journalise les actions, limite les coûts et renvoie un état exploitable par l'interface.
- Mobile : UX, permissions, voix, caméra, notifications, état local.
- Backend : auth, quotas, sécurité, logs, outils, jobs asynchrones.
- Agent : instruction, contexte, outils, mémoire, garde-fous, sortie structurée.
- Data : profils, historique, documents, embeddings, préférences, permissions.
Le contexte est le produit
Un agent mobile devient utile quand il dispose du bon contexte. Cela peut inclure le profil utilisateur, l'historique d'usage, la localisation, un document photographié, une conversation, un objectif, une préférence, un événement du calendrier ou un état métier.
Mais plus le contexte est riche, plus la confidentialité devient importante. L'utilisateur doit comprendre ce qui est utilisé, pouvoir retirer une donnée, désactiver une mémoire et savoir quand une information est envoyée au serveur.
Voice AI : très puissant, très exigeant
La voix est naturelle sur mobile. Elle permet de déclencher un agent en marchant, en conduisant, en cuisine, en situation terrain ou pendant une activité. Mais l'expérience vocale est impitoyable : la latence, les interruptions, les bruits de fond et les réponses trop longues détruisent vite l'usage.
Un agent vocal doit savoir écouter, répondre brièvement, confirmer les actions sensibles, se laisser interrompre et reprendre le contexte. Les APIs temps réel et les architectures speech-to-speech rendent ces expériences beaucoup plus crédibles, mais elles demandent un design conversationnel précis.
Intégrer les outils sans ouvrir trop de risques
La force d'un agent vient de ses outils : rechercher une donnée, créer un événement, envoyer un message, modifier un profil, lancer un paiement, réserver un créneau, générer un document. Mais chaque outil est une surface de risque.
Il faut limiter les paramètres, valider les entrées, tracer les appels, gérer les erreurs et distinguer simulation, préparation et exécution. Une bonne pratique consiste à afficher un résumé de l'action avant validation : ce que l'agent va faire, avec quelles données, et quel sera l'impact.
Mémoire : utile seulement si elle est contrôlable
La mémoire rend l'agent plus personnel : préférences, habitudes, objectifs, historique, contraintes, ton, relations. Mais une mémoire incontrôlée crée un malaise. L'utilisateur doit pouvoir consulter, corriger ou supprimer ce que l'agent retient.
Dans une app mobile, la mémoire doit être conçue comme une fonctionnalité visible. Par exemple : préférences de coaching, objectifs hebdomadaires, style de recommandation, informations de profil, éléments à ne jamais utiliser.
L'interface doit montrer l'action, pas seulement la réponse
Un agent qui agit doit rendre son travail observable. L'utilisateur doit voir les étapes : recherche du contexte, proposition, action préparée, validation, résultat. Sur mobile, cette visualisation doit rester compacte : timeline, bottom sheet, checklist, cartes d'action, confirmations rapides.
Le pire design est une conversation longue où l'utilisateur ne sait pas ce qui a été fait. Le meilleur design transforme l'action de l'agent en éléments vérifiables.
Coûts et performance sur mobile
Un agent mobile peut être utilisé souvent, parfois par petites sessions. Le coût par interaction doit donc être surveillé. Les tâches simples doivent utiliser des modèles adaptés. Les tâches lourdes peuvent être asynchrones. Les réponses fréquentes peuvent être mises en cache. Les médias doivent être compressés avant analyse quand c'est possible.
La performance perçue est aussi importante que la performance réelle. Il faut streamer les réponses, afficher les étapes, permettre l'annulation et éviter les écrans bloqués.
Checklist de lancement
- Cas d'usage précis et fréquence claire.
- Matrice d'autonomie et validations humaines.
- Backend sécurisé, pas d'appel modèle direct depuis l'app.
- Permissions minimales et explication claire pour chaque accès mobile.
- Logs, coûts, latence et qualité suivis dès le MVP.
- UX de correction quand l'agent se trompe ou ne sait pas.
Un agent IA mobile réussi n'est pas le plus autonome. C'est celui qui intervient au bon moment, avec le bon contexte, le bon niveau de contrôle et une action réellement utile sur un écran très contraint.
Passer à l'action
