L’objectif de ce document, réalisé avec l’aide des membres du groupe de travail autosurveillance des réseaux du Graie et de leurs expériences, est de proposer une série d’indicateurs de performances afin d’évaluer le pouvoir prédictif d’une simulation à partir d’un modèle mathématique, dans le domaine de l’hydrologie et donc également dans le cadre de l’autosurveillance des systèmes pour permettre au maître d’ouvrage de juger son modèle.
Cette évaluation est faite principalement pour comparer les valeurs observées (par exemple mesurées) avec les valeurs calculées par un modèle. L’appréciation par le maitre d’ouvrage de ces indicateurs dépend de l’objectif du modèle, fixé lors de sa conception (à quelle interrogation précise il doit répondre) ; l’utilisation à minima de deux indicateurs est fortement conseillée.Les indicateurs proposés permettent ainsi d’évaluer : LA FIDÉLITÉ, LA JUSTESSE et L’EXACTITUDE d’un modèle.
Ce document vient se focalise sur la phase « analyse de la performance » d’un modèle.
Nous supposerons donc que les concepts de conception, d’objectifs du modèle, de données, de calage sont familiers pour le lecteur et que, dans un contexte d’application, ces questionnements et principes ont déjà été considérés dans le projet amont lors de la conception du modèle.
Trois types d’indicateurs sont envisagés :
- des indicateurs généraux (Biais, RMSE, MSE),
- des indicateurs normalisés (c’est-à-dire calculés et jugés par rapport à une valeur de référence) (Nash-Sutcliffe, RSR, RVE),
- et enfin des indicateurs visuels (Fonction des résiduels, Graphique des X observés en fonction des X simulés).
Ces trois types d’indicateurs sont décrits puis illustrés grâce à des applications sur des cas réels.
Rédacteurs : Santiago SANDOVAL- INSA Lyon DEEP, Adrien MOMPLOT – AEGIR, Laëtitia BACOT – GRAIE – laëtitia.bacot@graie.org
en appui sur le sous-groupe modélisation du groupe de travail autosurveillance des réseaux d’assainissement : Elodie BRELOT, GRAIE | Pascal BRET, La Métropole de Lyon – Direction de l’eau | Alejandro CLARO BARRETO, INSA Lyon DEEP – Valence Romans Agglo | Virginie DANIEL, Valence Romans Agglo | Nicolas DRUT, Veolia Eau Grand Est | Sandrine FRAYSSE Valence Romans Agglo | Marine GIRES, SUEZ Eau France | Boumediene Ghoulam, Altereo – G2C Ingénierie | Gael LORINI, Agglomération Villefranche Beaujolais (AVB) | Benoît MARDUEL, Altereo – G2C Ingénierie | Clément OYON, AGGLO VILLEFRANCHE BEAUJOLAIS – Services Techniques | Ronan PHILIPPE, La Métropole de Lyon – Direction de l’eau …
COURANT 2019, le groupe de travail autosurveillance des réseaux d’assainissement proposera un utilitaire de calcul excel pour faciliter le calcul de ces critères d’auto-évaluation.