Accélérons le développement avec les services Azure : créons des chatbots et des services cognitifs avec la plateforme

Bonjour, Habr ! Aujourd'hui, nous allons vous montrer comment résoudre des tâches habituellement nécessitant l'intervention humaine grâce à Azure. Les opérateurs passent beaucoup de temps à répondre aux mêmes questions, à traiter des appels téléphoniques et des messages texte. Les chatbots automatisent la communication et la reconnaissance, permettant ainsi de réduire la charge sur les humains. De plus, les bots sont utilisés dans Azure DevOps, où ils permettent, par exemple, d'approuver des versions, de gérer des builds — visualiser, lancer et arrêter — directement depuis Slack ou Microsoft Teams. En essence, un chatbot ressemble à un CLI, mais de manière interactive, permettant aux développeurs de rester dans le contexte de la discussion dans le chat.

Dans cet article, nous aborderons les outils de création de chatbots, montrerons comment les améliorer avec des services cognitifs et décrirons comment accélérer le développement grâce à des services prêts à l'emploi d'Azure.

Chatbots et services cognitifs : ressemblances et différences

Pour créer des bots dans Microsoft Azure, on utilise le service Azure Bot et la plateforme Bot Framework. Ensemble, ils constituent un ensemble de logiciels pour construire, tester, déployer et administrer des bots, permettant de créer à partir de modules existants des systèmes de communication simples ou avancés, intégrant la voix, la reconnaissance du langage naturel et d'autres fonctionnalités.

Supposons que vous deviez mettre en œuvre un bot simple basé sur un service de questions-réponses d'entreprise ou, à l'inverse, créer un bot fonctionnel avec un système de communication complexe et ramifié. Pour cela, vous pouvez utiliser plusieurs outils, classés de manière conditionnelle en trois groupes : 

1. Services de développement rapide d'interfaces de dialogue (bots).
2. Services cognitifs d'IA prêts à l'emploi pour divers scénarios d'utilisation (reconnaissance d'images, de la parole, bases de connaissances et recherche).
3. Services de création et d'entraînement de modèles d'IA.

Les gens mélangent souvent par intuition "bots" et "services cognitifs", car les deux concepts reposent sur le principe de communication, et dans les scénarios d'utilisation, il y a des dialogues. Mais les chatbots fonctionnent avec des mots-clés et des déclencheurs, tandis que les services cognitifs traitent des requêtes aléatoires, généralement prises en charge par des humains : 

Les services cognitifs sont un moyen supplémentaire de communiquer avec l'utilisateur, aidant à convertir une demande aléatoire en une commande claire et à la transmettre au bot. 

Ainsi, les chatbots sont des applications pour traiter les demandes, tandis que les services cognitifs sont des outils d'analyse intelligente des requêtes, qui fonctionnent séparément, mais auxquels le chatbot peut faire appel, devenant ainsi « intelligent ». 

Création de chatbots

Le schéma recommandé pour concevoir un bot dans Azure est le suivant : 

Pour concevoir et développer des bots dans Azure, on utilise Bot Framework. Sur GitHub, il y a des exemples de bots, les capacités du framework évoluent, il est donc nécessaire de prendre en compte la version du SDK utilisée dans les bots.

Le framework permet plusieurs options de création de bots : par le biais de code classique, d'outils en ligne de commande ou de diagrammes de flux. La dernière option visualise les dialogues, pour cela on peut utiliser le gestionnaire Bot Framework Composer. Il a été créé sur la base du Bot Framework SDK comme un outil de développement visuel que des équipes interdisciplinaires pourraient utiliser pour créer des bots.

Bot Framework Composer permet de construire la structure d'un dialogue à l'aide de blocs, dont le bot va se servir. De plus, on peut créer des déclencheurs, c'est-à-dire des mots-clés sur lesquels le bot va réagir pendant un dialogue. Par exemple, les mots « opérateur », « vol » ou « stop » et « assez ».

Dans Bot Framework Composer, on peut créer un système de dialogues complexe en utilisant Adaptive Dialogs. Les dialogues peuvent utiliser à la fois des services cognitifs et des cartes d'événements (Adaptive Cards) :

Après la création, on peut déployer le chatbot dans l'abonnement, et un script préparé automatiquement créera toutes les ressources nécessaires : services cognitifs, plan d'application, Application Insights, base de données, etc.

QnA Maker

Pour créer des bots simples basés sur des bases de données d'entreprise de questions et réponses, on peut utiliser le service cognitif QnA Maker. Réalisé sous la forme d'un simple assistant Web, il permet de soumettre un lien vers une base de connaissances d'entreprise (URLs FAQ) ou de prendre comme base des documents au format *.doc ou *.pdf. Après la création de l'index, le bot sélectionnera lui-même les réponses les plus appropriées aux questions de l'utilisateur.

Avec QnAMaker, il est également possible de créer des chaînes de questions de clarification avec création automatique de boutons, de compléter la base de connaissances avec des métadonnées et d'affiner le service au fur et à mesure de son utilisation.

Le service peut être utilisé comme un chatbot réalisant uniquement cette fonction, ou comme partie d'un chatbot complexe, utilisant, selon la demande, d'autres services IA ou des éléments du Bot Framework.

Travailler avec d'autres services cognitifs

La plateforme Azure propose différents services cognitifs. Techniquement, il s'agit de services web autonomes qui peuvent être appelés par le code. En réponse, le service renvoie un JSON dans un format spécifique, qui peut être utilisé dans le chatbot.

Les services suivants sont le plus souvent utilisés dans les chatbots :

1. Reconnaissance de texte.
2. Reconnaissance de catégories d'images définies par le développeur avec le Custom Vision Service (cas d'utilisation : reconnaissance de si un employé porte un casque, des lunettes de protection ou un masque).
3. Reconnaissance faciale (un excellent cas d'utilisation est de vérifier si la personne interrogée a placé sa propre photo, ou par exemple, une photo d'un chien ou d'une personne d'un autre sexe).
4. Reconnaissance vocale.
5. Analyse d'images.
6. Traduction (nous nous souvenons tous du bruit causé par la traduction simultanée dans Skype).
7. Vérification de l'orthographe et suggestions de correction d'erreurs.

LUIS

La création de bots peut également nécessiter LUIS (Language Understanding Intelligent Service). Les tâches du service :

• Déterminer si l'énoncé de l'utilisateur a du sens et si une réaction du bot est nécessaire.
• Réduire les efforts de transcription de la parole (du texte) de l'utilisateur en commandes compréhensibles pour le bot.
• Prévoir les véritables objectifs/intentions des utilisateurs et extraire des informations clés des phrases dans le dialogue.
• Permettre au développeur de lancer le bot en utilisant seulement quelques exemples de reconnaissance de sens et d'affiner ensuite le bot en cours d'utilisation.
• Permettre au développeur d'utiliser une visualisation pour évaluer la qualité de la transcription des commandes.
• Aider à des améliorations progressives de la reconnaissance des véritables objectifs.

En essence, l'objectif principal de LUIS est de comprendre, avec une certaine probabilité, ce que l'utilisateur veut dire et de convertir une requête naturelle en une commande structurée. Pour reconnaître la signification des requêtes, LUIS utilise un ensemble d'intentions et d'entités (soit préconfigurées par les développeurs, soit tirées de « domaines » préalablement définis – certaines bibliothèques de phrases types préparées par Microsoft). 

Un exemple simple : vous avez un bot qui fournit des prévisions météorologiques. Pour lui, l'intention consiste à transformer une requête naturelle en « action » – une demande de prévisions météorologiques, et les entités sont le temps et le lieu. Voici un schéma de fonctionnement de l'intention CheckWeather pour ce type de bot.

Intention
Entité
Exemple de requête naturelle

CheckWeather
{«type»: «location», «entity»: «moscou»}
{«type»: «builtin.datetimeV2.date», «entity»: «futur», "resolution": "2020-05-30"}
Quel temps fera-t-il demain à Moscou ?

CheckWeather
{«type»: «date_range», «entity»: «ce week-end»}
Montre-moi les prévisions pour ce week-end.

Pour combiner QnA Maker et LUIS, vous pouvez utiliser Dispatcher. 

Lorsque vous travaillez avec QnA Maker et que vous recevez une requête de l'utilisateur, le système détermine avec quel pourcentage de probabilité la réponse de QnA convient à la requête. Si la probabilité est élevée, la réponse est donnée à l'utilisateur à partir de la base de connaissances de l'entreprise, sinon la requête peut être envoyée à LUIS pour clarification. L'utilisation de Dispatcher permet de ne pas programmer cette logique, mais de déterminer automatiquement cette limite de séparation des requêtes et de les répartir rapidement.

Test et publication du bot

Pour les tests, une autre application locale est utilisée, Bot framework emulator. Avec l'émulateur, vous pouvez interagir avec le bot et vérifier les messages qu'il envoie et reçoit. L'émulateur affiche les messages tels qu'ils apparaîtront dans l'interface de chat web et enregistre les requêtes et réponses JSON lors des échanges de messages avec le bot.

Un exemple d'utilisation de l'émulateur est présenté dans cette démonstration, qui montre la création d'un assistant virtuel pour BMW. La vidéo aborde également les nouveaux accélérateurs pour la création de chatbots – des templates :

https://youtu.be/u7Gql-ClcVA?t=564

Vous pouvez également utiliser des templates lors de la création de vos propres chatbots. 
Les templates permettent de ne pas réécrire les fonctions types du bot, mais d'ajouter un code déjà prêt en tant qu'« habileté ». Un exemple pourrait être le travail avec un calendrier, la planification de rendez-vous, etc. Le code des habiletés prêtes. publiée github.

Les tests ont été concluants, le bot est prêt et il doit maintenant être publié et connecté aux canaux. La publication se fait via les outils Azure, et des messageries ou des réseaux sociaux peuvent être utilisés comme canaux. Si le canal d'entrée des données désiré n'est pas disponible, vous pouvez le chercher dans la communauté correspondante sur GitHub. 

Pour créer un chatbot complet en tant qu'interface de communication avec l'utilisateur et les services cognitifs, vous aurez bien sûr besoin de services Azure supplémentaires, tels que des bases de données, des services serverless (Azure Functions), ainsi que LogicApp et, éventuellement, Event Grid.

Évaluation et analytique

Pour évaluer l'interaction avec les utilisateurs, vous pouvez utiliser à la fois l'analytique intégrée d'Azure Bot Service et le service spécial Application Insights.

En conséquence, il est possible de collecter des informations selon les critères suivants :

• Combien d'utilisateurs ont accédé au bot depuis différents canaux sur une période donnée.
• Combien d'utilisateurs, ayant envoyé un seul message, sont revenus plus tard et ont envoyé un autre message.
• Combien d'actions ont été envoyées et reçues par chaque canal pendant la période spécifiée.

Avec Application Insights, vous pouvez surveiller n'importe quelle application dans Azure et, en particulier, des chatbots, obtenant des données supplémentaires sur le comportement des utilisateurs, les charges et les réactions du chatbot. Il convient de noter que le service Application Insights a sa propre interface sur le portail Azure.

De plus, les données collectées via ce service peuvent être utilisées pour créer des visualisations supplémentaires et des rapports analytiques dans PowerBI. Un exemple de tel rapport et un template pour PowerBI peuvent être trouvés. ici.

Merci à tous pour votre attention ! Dans cet article, nous avons utilisé article du webinaire sur Microsoft Azure par Anna Fenushina « Quand les gens n'ont pas le temps. Comment utiliser à 100% les chatbots et les services cognitifs pour automatiser les processus routiniers », où nous avons montré de manière concrète ce que sont les chatbots dans Azure et quels sont leurs scénarios d'application, ainsi qu'une démonstration de la création d'un bot dans QnA Maker en 15 minutes et de la structure des requêtes dans LUIS. 

Nous avons organisé ce webinaire dans le cadre d'un marathon en ligne pour les développeurs Dev Bootcamp. Il a porté sur des produits qui accélèrent le développement et allègent une partie de la charge de travail des employés de l'entreprise grâce à des outils d'automatisation et à des modules Azure préconfigurés. Les enregistrements d'autres webinaires inclus dans le marathon sont disponibles via les liens :

• Azure DevOps comme outil pour structurer le cycle de développement complet dans n'importe quel langage et pour n'importe quelle plateforme, en utilisant des pratiques DevOps 
  Nous discutons de l'évolution et des nouvelles fonctionnalités du service Azure DevOps. Nous détaillons chacun de ses cinq composants principaux et comment le service aide à organiser le développement industriel de logiciels. Présenté par Vladimir Gusarov, Microsoft MVP.
• Organisation CI/CD avec Azure Pipelines
  Nous examinons comment mettre en œuvre l'approche « build as code » pour tous les langages de programmation en utilisant des pipelines YAML multi-niveaux. Présenté par Vladimir Gusarov, Microsoft MVP.
• Pratiques de support simultané de plusieurs versions de produit dans le développement industriel, utilisant Azure Repos
  Nous discutons des stratégies de gestion du code source logiciel et de l'utilisation des systèmes de contrôle des versions via Azure Repos. Présenté par Vladimir Gusarov, Microsoft MVP.
• WhiteSource. Surveillance des bibliothèques open source sécurisées 
  Nous introduisons des méthodes de gestion de l'open source dans le développement et l'utilisation pratique de l'outil WhiteSource. Nous parlons de la détection de vulnérabilités dans les composants open source et du respect de la conformité des licences avec WhiteSource. Présentateurs : Diana Lisbaron, Directrice des ventes WhiteSource, et Daria Oreshkina, Web Control, distributeur officiel de WhiteSource en Russie.

Source : habr.com