Qu’est-ce que la détection d’anomalies ?

La détection d’anomalies repose sur une série d’outils destinés à identifier et résoudre les anomalies au fur et à mesure qu’elles apparaissent dans un ensemble de données.

Modification d’un modèle de données, d’une valeur hors norme ou d’un événement qui fait figure d’exception. Un écart par rapport à ce qui est attendu ou un élément qui ne correspond pas aux attentes.

Une anomalie (une valeur hors norme dans un modèle) peut indiquer un élément qui sort de la norme ou un élément qui peut être incorrect.

Anomalie ponctuelle ou globale

Un point de donnée unique ayant été identifié comme étant trop en décalage par rapport aux autres.

Anomalie contextuelle

Anomalie reflétant une anormalité dans le contexte d’un ensemble de données, mais qui peut être considérée comme normale dans le contexte d’un autre ensemble de données. Ce type d’anomalie contextuelle est le plus fréquent dans les données de séries chronologiques.

Anomalie collective

Lorsqu’un sous-ensemble complet de données est anormal par rapport à un ensemble plus large de données, les points de données individuels ne sont pas pris en compte lors de l’identification d’anomalies collectives.

Identification d’une valeur hors norme rare ou d’un point de donnée en rupture avec les tendances d’un ensemble de données. Les anomalies peuvent être révélatrices d’événements suspects, de dysfonctionnements, de défauts ou de fraudes.

Le défi de la détection d’anomalies

Un système de détection d’anomalies nécessite soit une main-d’œuvre manuelle pour l’analyse, soit l’utilisation de l’apprentissage machine, ce qui peut s’avérer difficile, car cela requiert une connaissance approfondie d’un domaine et nécessite de relever le défi de prédire d’éventuelles anomalies statistiques avant même qu’elles ne se manifestent.

Détection d’anomalies à l’aide de l’apprentissage machine

Avantages de la détection d’anomalies et de l’apprentissage machine

L’apprentissage machine fonctionne mieux pour la détection d’anomalies : elle est plus rapide que la détection manuelle, s’adapte parfaitement aux changements et dispose des capacités nécessaires pour gérer facilement des ensembles de données volumineux.

Données non structurées

Les données structurées reposent sur la compréhension et la signification des données. Elles ont été interprétées et organisées en un ensemble de données compréhensible. Les données codées ou non structurées peuvent rendre un algorithme futile tant qu’elles ne sont pas structurées, car le contexte de ces données n’est pas suffisamment interprété et compris.

De la nécessité d’ensembles de données volumineux

Un bon ensemble de données à analyser doit être suffisamment conséquent pour établir une bonne tendance et identifier les anomalies appropriées. La détection peut s’en trouver améliorée, car il est impossible de réaliser plus d’inférences valides à partir d’un petit ensemble de données, et un grand ensemble de données peut révéler une anomalie plutôt qu’un élément qui pourrait faire partie d’une tendance ou qui n’est pas révélateur d’une déviation aussi notable que prévu par rapport à la norme.

Exigence de talent

Entraîner un algorithme d’apprentissage automatique nécessite des ingénieurs ou des experts de données compétents. Selon les options des solutions, l’entraînement de machine peut exiger plusieurs semaines, voire plusieurs mois, et selon la solution, différents niveaux d’apprentissage machine sont nécessaires.

Détection d’anomalies selon trois paramètres

Supervision

Les données supervisées sont préparées au préalable avec chacun des points de données étiquetés comme « nominaux » ou « anomaux ». Toutes les anomalies sont identifiées à l’avance pour que le modèle puisse s’entraîner.

Nettoyage

Tous les points de données sont étiquetés comme « nominaux », et les points « anormaux » n’ont pas été étiquetés. Les données propres laissent au modeleur de données le soin détecter les éventuelles anomalies, car tous les points de données de l’ensemble propre sont considérés comme « nominaux ».

Absence de supervision

Les données non supervisées arrivent sans points dits « nominaux » ou « anormaux ». C’est au modeleur de données de déterminer les points « nominaux » et « anormaux ». Il n’y a aucune base ni compréhension sur lesquelles s’appuyer pour tenter de déterminer le résultat exact.

Processus d’identification d’un modèle qui n’a pas été observé dans une nouvelle observation ne figurant pas dans les données d’apprentissage.

L’approche la plus simple pour détecter une anomalie consiste à identifier quelque chose d’anormal dans une diffusion de données qui semble s’écarter d’une tendance ou de distributions statistiques courantes (par exemple, un élément qui dévie de la moyenne, de la médiane ou d’un mode).

Comment utiliser l’apprentissage machine pour détecter des anomalies et surveiller les états de santé.

Transformation digitale

Également connue sous le nom de « digitalisation » ou « Industrie 4.0 », une transformation digitale utilise la technologie et les données pour rationaliser la productivité et augmenter l’efficacité. Les données sont de plus en plus disponibles à mesure que les machines et les appareils se connectent et deviennent capables de transférer une grande quantité de données vers d’innombrables emplacements. L’objectif est ensuite d’extraire et d’analyser les informations obtenues à partir des données afin de réduire les coûts et les temps d’indisponibilité. L’apprentissage machine et l’analyse des données jouent un rôle important dans ce domaine.

Surveillance des états de santé

L’état de santé de toute machine, quelle que soit sa complexité, finira par atteindre un niveau médiocre. Cela ne signifie pas qu’elle est en fin de vie ou qu’il est temps de l’éteindre définitivement, mais plutôt qu’elle pourrait avoir besoin d’une opération de maintenance pour retrouver son niveau optimal de performances. Un grand ensemble de données à analyser peut révéler des anomalies qui pourraient indiquer qu’une machine nécessite – ou va bientôt nécessiter – une opération de maintenance ou un remplacement.

Approches basées sur la densité

Détection d’anomalies basée sur la densité

La détection d’anomalies basée sur la densité part du principe que tous les points de données nominaux sont proches les uns des autres, tandis que les anomalies en sont éloignées. Elle se base sur l’algorithme simple et non paramétrique suivant : l’algorithme des K plus proches voisins (en anglais kNN pour « K-nearest neighbors »). Cet algorithme est largement usité pour classer des données en fonction de leurs similitudes d’après des mesures de distance comme la distance euclidienne ou celles de Manhattan, Minkowski ou Hamming.

Détection d’anomalies basée sur le clustering

Le clustering (partitionnement) repose sur l’hypothèse que des points de données similaires appartiennent généralement à des clusters ou des groupes similaires, ce qui est déterminé par leur distance par rapport aux centroïdes locaux (la moyenne de tous les points). L’algorithme de clustering des K-moyennes (K-means) crée des clusters « k » de points de données similaires. Tout point qui atterrit en dehors des clusters « k » sera considéré comme une anomalie.

Détection d’anomalies basée sur les SVM

Les algorithmes d’apprentissage SVM (Support Vector Machine, soit machine à vecteurs de support) utilisent généralement l’apprentissage supervisé, mais certaines options permettent aussi d’identifier des anomalies dans les environnements d’apprentissage non supervisés. Une limite souple est apprise et appliquée à l’ensemble d’entraînement, les instances de données normales sont regroupées dans le respect de cette limite, et les anomalies sont identifiées à mesure qu’elles dépassent la limite apprise.

Les données de séries chronologiques sont une séquence de valeurs collectée au fil du temps. Chaque point de données peut avoir deux mesures : l’heure et la date de collecte du point de données et la valeur de ce point de données. Des données sont collectées en permanence et sont essentiellement utilisées pour prévoir de futurs événements plutôt que comme une projection en soi. Les anomalies de séries chronologiques peuvent être utilisées pour détecter les éléments suivants :

  1. Utilisateurs actifs
  2. Vues de pages Web
  3. CPC
  4. CPL
  5. Taux de rebond
  6. Taux de perte
  7. Valeur moyenne des commandes
  8. Installations d’applications mobiles

La détection d’anomalies basée sur les séries chronologiques permet d’établir une base de référence pour des comportements types dans les KPI identifiés.

  • Nettoyage des données
  • Détection des introductions
  • Détection des fraudes
  • Surveillance de l’état de santé des systèmes
  • Détection des événements dans les réseaux de capteurs
  • Perturbations de l’écosystème

Détection d’anomalies relative aux performances de services

Une approche réactive vis-à-vis de la détection peut entraîner des temps d’interruption et des problèmes de performances qui entraînent des répercussions avant la mise en place d’une solution. La détection d’anomalies relatives aux performances peut aider les entreprises à prévoir quand et pourquoi un problème peut se produire au sein d’un service d’entreprise. La plupart des secteurs peuvent en bénéficier. Voici deux exemples de secteurs pouvant en bénéficier :

  • Telco : l’analyse des télécommunications produit d’énormes ensembles de données, et il est important de mettre en place des solutions avancées pour détecter et empêcher des latences, des instabilités et une mauvaise qualité des appels qui seraient susceptibles d’affecter les performances.
  • Adtech : les performances des applications complexes peuvent être difficiles à surveiller en raison de la vitesse à laquelle les transactions se produisent dans le cadre d’une vente aux enchères. La détection d’anomalies peut rechercher des problèmes dans une application avant qu’elle ne tombe en panne, empêchant ainsi les temps d’interruption lors d’une action publicitaire.

Détection d’anomalies relative à la qualité des produits

Les produits doivent fonctionner correctement et avec le moins d’erreurs possible. L’évolution naturelle des produits peut entraîner des anomalies comportementales dans tous les domaines – d’une nouvelle fonctionnalité à un test A/B – et une surveillance continue de toute anomalie comportementale peut prévenir les temps d’interruption ou les problèmes récurrents. La plupart des secteurs peut en bénéficier, et en voici deux exemples :

  • Commerce électronique : la détection d’anomalies peut rechercher tout comportement étrange ou problème de qualité de produit, comme des problèmes de prix ou des changements saisonniers anormaux.
  • Fintech : le secteur financier réalise des transactions en quelques millisecondes, et il faut être certain que les applications qui supervisent ces transactions sont sécurisées et cohérentes. La détection d’anomalies permet d’éviter les temps d’interruption ou les problèmes en restant à l’affut de tout élément anormal dans les performances et le fonctionnement des applications.

Détection d’anomalies relative à l’expérience utilisateur

Une expérience utilisateur peut être négative si un site subit une dégradation de ses services. La détection d’anomalies peut aider les entreprises à réagir à tout problème avant qu’elles ne deviennent des sources de frustration pour les clients et n’entraînent une perte de revenus. Quelques secteurs peuvent bénéficier de la détection d’anomalies de cette manière :

  • Pratique des jeux vidéo : les jeux sont complexes, ce qui rend la surveillance manuelle des complexités permutationnelles quasiment impossible. L’intelligence artificielle (IA) peut contrer les problèmes et les erreurs dans le cadre d’une expérience utilisateur.
  • Commerce en ligne : les entreprises en ligne s’appuient fortement sur l’expérience utilisateur pour réussir. L’équipe IT doit surveiller et atténuer les erreurs d’API, les temps d’indisponibilité des serveurs et les problèmes de temps de chargement. L’analyse rapide des causes premières via la détection d’anomalies permet d’identifier rapidement un problème afin d’aider les plateformes, les centres de données et les systèmes d’exploitation à être réparés avec un minimum de temps d’indisponibilité, voire aucun.

  • La détection automatisée d’anomalies fournit des informations précises en temps réel tout en assurant le classement, la détection et le regroupement des données. Ainsi, il n’est plus nécessaire de faire appel à une équipe plus importante d’analystes de données.
  • Apprentissage machine supervisé et non supervisé : idéalement, l’apprentissage machine se produit sans supervision ni interaction humaine. Cependant, il est préférable que quelques analystes continuent d’alimenter les données de base de référence, tout en surveillant occasionnellement le programme d’apprentissage machine.
  • Hybride : détection d’anomalies proportionnée, qui offre la possibilité de créer manuellement des règles pour permettre une certaine flexibilité concernant des anomalies spécifiques.

La détection d’anomalies doit répondre à la question suivante : est-ce que l’on crée une solution ou est-ce que l’on achète un système ? Quelques éléments importants sont à prendre en compte dans le processus de prise de décision, notamment les points suivants :

  • Taille de l’entreprise
  • Volume des données à traiter
  • Capacité de développement interne
  • Tout projet d’expansion
  • Demandes des parties prenantes
  • Exigences budgétaires
  • Taille d’une équipe disponible
  • Expertise interne en science des données

Des fonctionnalités qui évoluent avec votre activité

Anticipez les problèmes avant qu’ils ne surviennent avec ServiceNow.