Apple Intelligence, la nouvelle offre d’IA générative d’Apple, ne sera pas seulement une fonctionnalité à destination des consommateurs ; les développeurs pourront également tirer parti de cette technologie de pointe. Au cours de son discours d’ouverture à la WWDC 2024 lundi, la société a annoncé que les développeurs pourraient intégrer l’expérience propulsée par Apple Intelligence dans leurs propres applications. Les SDK (kits de développement logiciel) d’Apple ont été mis à jour avec une variété de nouvelles API et de cadres qui permettront aux créateurs d’applications d’intégrer l’outil Image Playground, ou création d’images GenAI, avec seulement quelques lignes de code. Apple a montré comment une application telle que Craft pourrait utiliser cette offre pour rendre les documents des utilisateurs plus visuels en leur permettant d’ajouter des images générées par IA.
Les outils d’écriture propulsés par l’IA seront également automatiquement disponibles dans toute application utilisant la vue de texte modifiable standard. Pour illustrer cela, Apple a démontré comment une application comme Bear Notes pourrait automatiquement permettre aux utilisateurs de réécrire, de relire et de résumer leurs notes. En outre, Apple met en place de plus en plus de moyens pour que les développeurs puissent prendre des actions dans leurs applications avec Siri. Les développeurs qui ont déjà adopté SiriKit, un SDK pour intégrer Siri dans leurs applications, verront des améliorations immédiates de nombreuses nouvelles capacités de Siri sans aucun effort supplémentaire de leur part, a déclaré Apple. Cela comprend des domaines tels que les listes, les notes, le média, la messagerie, les paiements, les réservations de restaurants, les appels VoIP et les entraînements.
“Apple annonce deux nouvelles capacités Siri qui bénéficieront aux développeurs sans travail supplémentaire.”
Dans son discours destiné aux développeurs, Apple a déclaré qu’il y avait deux nouvelles capacités Siri dont les développeurs pourraient bénéficier sans travail supplémentaire. Premièrement, Siri pourra invoquer n’importe quel élément des menu d’une application. Cela signifie qu’un utilisateur pourrait dire quelque chose comme “montre mes notes de présentateur” lorsqu’il est dans son diaporama, ou même quelque chose de plus conversationnel, comme “j’ai besoin de voir mes notes d’orateur”. Deuxièmement, Siri pourra accéder à tout le texte affiché sur la page en utilisant les systèmes de texte standard d’Apple. Cela permettra aux utilisateurs de faire référence et d’agir sur le texte à l’écran. Par exemple, si vous aviez un rappel ou une note pour “souhaiter un joyeux anniversaire à grand-père”, vous pourriez simplement dire “Appelle-le sur FaceTime” pour agir sur cette note.
Parallèlement, le cadre des App Intents d’Apple, qui permet des interactions légères de type “app” sans que l’application ne soit installée, aura également accès à Apple Intelligence. Apple définit de nouvelles intentions et les met à disposition des développeurs dans différentes catégories, en commençant par un sous-ensemble de catégories comprenant les livres, navigateurs, appareils photo, lecteurs de documents, gestion de fichiers, journaux, mail, photos, présentations, tableurs, tableaux blancs et traitement de texte.
Avec ces intentions, une application d’édition de photos comme Darkroom pourrait par exemple exploiter l’intention “Apply Filter”, permettant aux utilisateurs de dire simplement “Appliquer un filtre cinématographique à la photo que j’ai prise d’Ian hier” pour que l’application passe à l’action. De plus en plus de domaines seront ajoutés avec le temps. Au début, les utilisateurs pourront développer avec l’application Shortcuts, mais avec le temps, Siri sera en mesure d’appeler les intentions d’applications dans les domaines pris en charge. En outre, lors de son discours, Apple a partagé que les applications qui correspondent à un domaine SiriKit existant pourront bénéficier des améliorations conversationnelles de Siri, comme répondre correctement même si vous bégayez ou comprendre des références à une partie antérieure de la conversation.
Siri pourra également rechercher des données provenant d’applications en utilisant une nouvelle API Spotlight qui permet d’inclure les entités d’applications dans son index. Ces entités font référence à l’index sémantique d’Apple Intelligence comprenant des éléments tels que les photos, messages, fichiers, événements de calendrier et plus encore. Aussi, Apple a annoncé lundi qu’elle avait développé sa propre application de gestion de mots de passe, des Bitmoji générés par IA et une calculatrice pour l’iPad. Cet article a été mis à jour après publication avec des informations supplémentaires provenant du discours des développeurs.
