La mise au point d’un modèle d’évaluation multicritère qualitatif de systèmes de culture

Document d’analyse PSDR3 - Projet CITODAB

La mise au point d’un modèle d’évaluation multicritère qualitatif de systèmes de culture

Calibrage par les utilisateurs finaux avant mise en application

CITODAB

2

Pour citer ce document Colomb Bruno, (2011), La mise au point d’un modèle d’évaluation multicritère qualitatif de systèmes de culture. Calibrage par les utilisateurs finaux avant mise en application, Document d’analyse PSDR3 Midi-Pyrénées, Projet CITODAB, 14p + annexes.

© Centre INRA Toulouse Midi-Pyrénées / 2012 Conception-réalisation : Yaël Kouzmine (Centre INRA Toulouse Midi-Pyrénées) Crédits photographiques couverture : Mathieu Preudhomme (haut) et Christian Slagmulder (bas)

Sommaire L’auteur ���������������������������������������������������������������������������������������������������������������������������������������������������������������������������������4 Remerciements ��������������������������������������������������������������������������������������������������������������������������������������������������������������4 I. Rappel sur les étapes d’une évaluation multicritère de systèmes de culture et position du calibrage du modèle ��������������������������������������������������������������������������������������������������������������������5 II. Principe du calibrage du modèle par les praticiens �������������������������������������������������������������������6 III. Le modèle Dexi exemple à calibrer ��������������������������������������������������������������������������������������������������������8 IV. Implémentation de la procédure Calibrage-ArbreDexi.R ��������������������������������������������������9 IV-1. Structure de la procédure R ��������������������������������������������������������������������������������������������������������������������9 IV-2. Un exemple d’utilisation ��������������������������������������������������������������������������������������������������������������������������10 V. Conclusion ������������������������������������������������������������������������������������������������������������������������������������������������������������������ 12 Références bibliographiques ���������������������������������������������������������������������������������������������������������������������������14 Annexe 1. Le modèle d’évaluation Qualite_gestion_P.dxi, Structure de l’arbre, Fonctions d’utilité & poids des indicateurs ��������������������������������������������������������������������������������������������15 Annexe 2. Procédure de calibrage sous R d’un arbre DEXi ���������������������������������������������������� 19

3

L’auteur Bruno Colomb est Ingénieur de recherche au Centre INRA Toulouse Midi-Pyrénées et membre de l’UMR 1248 AGIR (Agrosystèmes et agricultures, Gestion des ressources, Innovations et Ruralités - INRA / INP-ENSAT).

© Louis Jestin

E-mail : bruno.colomb@toulouse.inra.fr

4

Remerciements Ce document n’aurait pas vu le jour sans le concours des conseillers agricoles Jean Arino (Chambre d’agriculture du Gers), Lise Billy (Chambre d’agriculture des Hautes-Pyrénées), Sylvain Collet (Chambre d’agriculture de Haute-Garonne), Éric Rossignol (Chambre d’agriculture de l’Ariège), Sophie Tuyères (Chambre d’agriculture du Tarn-et-Garonne), sans le travail de Sylvain Gaubrie dans le cadre de son stage de fin d’étude d’ingénieur de l’ENSAT 2011, et sans l’animation apportée à l’ensemble par Anne Glandières de la Chambre régionale d’agriculture de Midi-Pyrénées.

Que tous soient remerciés pour leur contribution.

I. Rappel sur les étapes d’une évaluation multicritère de systèmes de culture et position du calibrage du modèle Les systèmes de cultures sont des systèmes de production agricole auxquels sont assignées aujourd’hui de multiples fonctionnalités et de multiples contraintes qui relèvent des différentes dimensions de la durabilité. L’évaluation intégrée de leurs performances visà-vis des unes et des autres est donc une opération complexe (Sadok et al., 2007) qui sera conduite généralement en plusieurs étapes par un collectif de travail ad hoc.

Durant la première étape dite de problématisation, le collectif analyse et formalise ses préoccupations relatives aux systèmes de cultures. Dans les différents domaines de la durabilité, les préoccupations sont définies en terme de performances à atteindre et/ou de contraintes à respecter, et à chacune d’elles sont associés un ou plusieurs indicateurs.

La deuxième étape correspond à la construction proprement dite du modèle d’évaluation.

Lorsque l’évaluation vise à fournir les bases d’un classement complet des systèmes entre eux sur un critère final unique de durabilité, le modèle d’évaluation prend la forme d’une arborescence d’indicateurs. La structure en arbre des indicateurs doit refléter l’importance relative accordée aux préoccupations sous-jacentes, depuis les plus élémentaires jusqu’à la note de durabilité globale. Elle détermine le processus d’agrégation des indicateurs, depuis les plus basiques (feuilles de l’arbre) jusqu’à l’indicateur racine. Nous nous plaçons dans cette hypothèse de structure hiérarchique, avec une implémentation du modèle réalisée avec la technologie MCDA DEX (Bohanec, 1990) grâce à l’outil DEXi, tel que cela a été réalisé pour MASC dans ces diverses versions ou déclinaisons (Sadok et al., 2009 ; Colomb et al., 2011 ; Craheix et al., 2011 ; 2012).

La troisième étape consiste à paramétrer le modèle. Dans le cas des modèles implémentés sous DEXi, le paramétrage porte sur la définition des règles de raisonnement qualitatives qui régissent le processus d’agrégation des indicateurs. Ces règles, regroupées dans les fonctions d’utilité, déterminent le poids des indicateurs basiques et intermédiaires de l’arborescence dans l’évaluation de l’indicateur racine. L’ensemble des règles reflète le système de préférences des utilisateurs. Son établissement doit faire l’objet d’un travail d’explicitation consensuel soigneux.

La quatrième étape peut être constituée d’une analyse de sensibilité (AS), visant à étudier la sensibilité des résultats d’évaluation à la structure du modèle et à son paramétrage.

Dans le cas des modèles DEXi, elle permet de préciser notamment l’importance relative des indicateurs de base et/ou agrégés intermédiaires dans le diagnostic final, en fonction de la structure de l’arbre et de leurs positions dans l’arbre. Les AS sont généralement conduites par des scientifiques car les méthodes font appel à des algorithmes élaborés (Carpani et al., 2010). De plus, les résultats sont généralement d’interprétation délicate, tant les sources de sensibilité internes au modèle sont nombreuses (nombre de classes propres

5

à chaque indicateur, profondeur de l’arbre, nombre d’indicateurs présents aux différents niveaux, etc.).

La cinquième étape, détaillée ci-après, vise à la calibration du modèle par les praticiens utilisateurs eux-mêmes, de façon à les mettre en confiance vis-à-vis de ce dernier, après paramétrage par leur soin.

La sixième étape correspond à l’application du modèle sur le ou les jeux de cas à étudier réellement. Elle intègre le calcul ou l’évaluation des indicateurs de base. L’interprétation des résultats constitue la dernière phase préparatoire aux décisions concernant les systèmes évalués (communication, mise en expérimentation, promotion, etc.).

Chacune des cinq premières étapes se réalise dans le temps et le produit de chacune peut passer par plusieurs états jusqu’à ce qu’une certaine maturité soit atteinte. Dans ce cas, il est possible de passer à l’étape suivante : problématisation à construction du modèle, construction à paramétrage…, calibration à utilisation.

6

Le présent document vise à exposer une procédure de calibrage du modèle utilisable lorsque son développement est parvenu à l’issue de l’étape 4 : un modèle de type DEXi a été conçu, paramétré et a fait éventuellement l’objet d’une analyse de sensibilité. A ce stade, les utilisateurs praticiens (versus les scientifiques) souhaitent une étape supplémentaire d’appropriation du modèle,

II. Principe du calibrage du modèle par les praticiens qui les mette en confiance par rapport à ce qui peut en ressortir.

Le principe de calibrage du modèle est simple. Il s’agit d’évaluer avec le modèle un ou des jeux de systèmes de cultures pour lesquels les praticiens ont déjà des connaissances assez précises de leurs caractéristiques, de leurs contextes, de leurs performances. Le calibrage peut s’effectuer en comparant les diagnostics issus du modèle avec ceux que les praticiens sont capables d’émettre à priori et par expertise directe.

Un calibrage acceptable ne requiert pas nécessairement une convergence forte entre la vision préalable des praticiens et les diagnostics fournis par le modèle. Au contraire, des écarts sont à priori souhaitables, sinon le modèle n’aurait aucune utilité. L’essentiel est de vérifier que, pour des cas connus, le modèle restitue une évaluation cohérente avec l’expertise des praticiens. Quant aux écarts constatés, ils devront pouvoir être expliqués soit par une insuffisance du modèle ou de son paramétrage, conduisant à leur révision éventuelle, soit être interprétés comme des apports diagnostics nouveaux venant enrichir la vision préexistante des utilisateurs, voir la modifier.

En pratique, le modèle paramétré peut être mis à l’épreuve de l’expertise de deux façons.

La première consiste à lui soumettre un jeu de cas représentatif des systèmes de culture considérés, généré statistiquement. Le jeu de cas, réduit à un ensemble de vecteurs de données d’entrée du modèle (valeurs des indicateurs basiques), peut être construit statistiquement en tenant compte des deux constats suivants, très généraux : ..Les performances des systèmes de cultures présentent toujours une certaine variabilité dans un contexte donné. Lorsque ces performances sont considérées comme indicateur du modèle, il convient de tenir compte de cette variabilité pour générer le jeu de cas utile au calibrage du modèle dans le contexte concerné. ..Les performances des systèmes de culture peuvent présenter des relations faibles à fortes entre elles. Ainsi les systèmes de culture irrigués du Sud-ouest présentent généralement une productivité plus forte que les systèmes non irrigués, associée à une pression sur la ressource en eau nécessairement plus forte. Dans ce contexte, les deux indicateurs ne sont pas indépendants.

Les connaissances détenues par les praticiens portant sur la variabilité des performances élémentaires des systèmes de cultures et leurs relations éventuelles peuvent être mises à profit pour générer statistiquement des jeux de données d’entrée à soumettre au modèle DEXi à calibrer.

En générant un nombre de cas suffisamment important, on peut obtenir une distribution pour l’indicateur synthétique racine du modèle. Celle-ci peut être comparée à une distribution proposée à priori à dire d’expert pour le type de systèmes de culture concerné, graphiquement ou à l’aide de tests statistiques classiques appropriés.

Une deuxième façon de tester le modèle consiste à comparer les valeurs de l’indicateur synthétique issues de ce dernier pour un petit nombre de scénarios réels bien caractérisés, avec les valeurs indiquées à priori par les utilisateurs pour chacun d’eux. La comparaison s’effectue cette fois non pas entre deux distributions de valeurs, mais entre deux séries de valeurs de faible effectif. Une manière simple de vérifier la cohérence entre les deux séries est de réaliser une simple table de contingence. La comparaison entre les deux séries de diagnostics peut être étayée statistiquement en ayant recours à une méthode d’analyse de concordance adaptée aux données catégorielles ordonnées1.

1. Une bonne introduction à ces méthodes est présentée dans l’article Wikipédia «Inter-rater reliability» (rater = notateur).

In statistics inter-rater reliability, inter-rater agreement or concordance is the degree of agreement among raters. It gives a score of how much homogeneity, or consensus, there is in the ratings given by judges. It is useful in refining the tools given to human judges, for example by determining if a particular scale is appropriate for measuring a particular variable. If various raters do not agree, either the scale is defective or the raters need to be re-trained.

Accessible à l’adresse http://en.wikipedia.org/wiki/Inter-rater_reliability, l’article renvoie a plusieurs packages statistiques écrits sous R ou l’on trouvera diverses fonctions intéressantes pour l’analyse de la concordance des diagnostics obtenus par des voies différentes (dans notre cas par un modèle d’évaluation et par une expertise directe).

7

Quelle que soit la méthode d’analyse, une bonne convergence entre les deux séries de diagnostics renforcera la confiance que les praticiens peuvent avoir dans le modèle. Les cas de divergence apporteront soit matière à réflexion conduisant à révision du paramétrage et/ou du modèle s’ils sont nombreux et mal expliqués, soit à faire apparaître de l’innovant, c’est-à-dire des systèmes de cultures qui, par une ou plusieurs performances, s’écartent des cas de figure les plus fréquents.

Dans le cas où la ou les distributions de l’indicateur racine produites par le modèle apparaissent globalement satisfaisantes, celui-ci peut être considéré comme calibré pour l’utilisation envisagée.

La première méthode de calibrage précédemment décrite (comparaison de deux distributions) est illustrée ci-après à partir d’un modèle d’évaluation de petite dimension, implémenté sous DEXi.

Le modèle repose sur 6 indicateurs basiques, reflets des facteurs de diagnostic pris en compte (f 1) : FIP DEC BAP RIP AUP PTP 8

: Fertilite initiale en P III. moyenne Le modèle i exemple à calibrer : Exigence en DEX P des cultures : Bilan cultural de P annuel moyen Le modèle choisi constitue une aide l’évaluation de la qualité : Recyclage de P« Qualite_gestion_P.dxi » via les restitutions organiques aériennes ouà racinaires de gestion du phosphore à l‘échelle d’un système de culture, en tant qu’indicateur basique : Autonomie pour la satisfaction des besoins en P relevant de la durabilité agronomique. Cet indicateur a été introduit initialement dans : Pouvoir tampon du sol vis-à-vis de P MASC-AB (Colomb et al., 2011) à la demande de conseillers en agriculture biologique,

puis reprise sous une forme modifiée dans la version 2 de MASC (Craheix et al., 2011 ;

L’indicateur synthétique de qualité la gestion du phosphore évalué trois indicate 2012). La version décrite de ici diffère toutefois de la version(QGP) initialeest utilisée dansvia MASCagrégés intermédiaires : mise au point afin d’améliorer le caractère discriminant du modèle pour des AB. Elle a été situations de grandes cultures biologiques en Midi-Pyrénées, apparu insuffisant suite aux premières utilisationsdu (Gaubrie, : Degré de satisfaction besoin2011). en P des cultures

SBP SVEFP : Sens et vitesse d évolution de la fertilité DFP : Diagnostic d’évolution de la fertilité P Figure 1. Le modèle Qualite_gestion_P.dxi

DEXi

Qualite_gestion_P.dxi 12/10/2011

Attribute tree Attribute QGP SBP FIP DEC DFP FIP SVEFP BRI BAP RIP PTP AUP

Description Qualite de la gestion de P Degre de satisfaction du besoin en P des cultures Fertilite initiale en P Exigence moyenne en P des cultures a l echelle de la succession Diagnostic evolution de la fertilite P Fertilite initiale en P Sens et vitesse d evolution de la fertilite P Agrege bilancultural et Recyclage interne de P Bilan cultural de P annuel moyen Recyclage par Restitutions organiques de P Pouvoir tampon du sol vis a vis de P Autonomie pour la satisfaction des besoins en P

Figure 1 : Le modèle Qualite_gestion_P.dxi Les classes d’appréciation de chaque indicateur, les règles constituant les fonctions d’utilité du modèle ainsi que les poids locaux et globaux résultants de ces fonctions pour les différents

Le modèle repose sur 6 indicateurs basiques, reflets des facteurs de diagnostic pris en compte (figure 1) : ..FIP : Fertilité initiale en P ..DEC : Exigence moyenne en P des cultures ..BAP : Bilan cultural de P annuel moyen ..RIP : Recyclage de P via les restitutions organiques aériennes ou racinaires ..AUP : Autonomie pour la satisfaction des besoins en P ..PTP : Pouvoir tampon du sol vis-à-vis de P L’indicateur synthétique de qualité de la gestion du phosphore (QGP) est évalué via trois indicateurs agrégés intermédiaires : ..SBP : ..SVEFP : ..DFP :

Degré de satisfaction du besoin en P des cultures Sens et vitesse d’évolution de la fertilité Diagnostic d’évolution de la fertilité P

Les classes d’appréciation de chaque indicateur, les règles constituant les fonctions d’utilité du modèle ainsi que les poids locaux et globaux résultants de ces fonctions pour les différents indicateurs sont présentés en annexe 1.

La génération statistique d’un jeu de cas et sa soumission au modèle s’effectue par le biais d’une procédure implémentée sous R, intitulée « Calibrage-ArbreDexi.R » présentée en annexe 2.

IV. Implémentation de la procédure Calibrage-ArbreD exi.R IV-1. Structure de la procédure R La procédure Calibrage_ArbreDexi.R présentée en annexe 2 comporte trois étapes, dans la logique de la démarche de calibrage décrite précédemment. Étape 1 : Génération du jeu d’options à traiter ..Choix du nombre d’options (ou vecteurs de données d’entrées) à générer (exemple 1 000) ..Génération des valeurs de chaque indicateur basique, à partir des distributions spécifiées à priori à dire d’expert. Dans le modèle Qualite_gestion_P.dxi, il n’y a pas de relation significative entre les indicateurs d’entrée. En conséquence, les jeux de valeurs pour les différents indicateurs basiques, de même effectif n, sont générés de manière indépendante à l’aide de la fonction sample()2 2. Dans le cas contraire, il existe sous R des fonctions permettant de générer des échantillons de deux variables catégorielles.

9

..Construction d’une matrice d’options x indicateurs sous R puis exportation sous forme d’une table texte au format .csv, récupérable sous DEXi. Étape 2 : Traitement du jeu d’options par le modèle DEXi ..Lancement sous R de l’utilitaire DexiEval.exe, avec des arguments d’entrée/sortie et de formatage adéquats (voir la documentation de l’utilitaire sur le site DEXi) pour lire la matrice d’options x indicateurs générée sous R. ..Exportation par DEXi d’un fichier .csv contenant les valeurs (numériques) des indicateurs basiques et agrégés des différentes options. ..Reprise de ce fichier de sortie et mise en forme sous R pour réalisation des traitements de l’étape 3.

10

Étape 3 : Réalisation de graphiques ou traitements statistiques visant à faciliter l’examen des diagnostics générés par le modèle et leur comparaison avec les diagnostics fournis à priori par les utilisateurs Sont proposés ici, à titre illustratif : ..Un graphique de comparaison des histogrammes des valeurs des notes de qualité de gestion du phosphore délivrées par le modèle d’une part, et définies à priori par expertise d’autre part le graphique est produit par la fonction barplot() de R. ..Un test simple de comparaisons de distributions de variables catégorielles. Le test est conduit avec la fonction chisq.test() de R adaptée à ce type de variable.

IV-2. Un exemple d’utilisation L’exemple présenté a été mis en œuvre avec un groupe de conseillers agricoles désireux de vérifier la capacité du modèle Qualite_gestion_P.dxi à discriminer des systèmes de grandes cultures biologiques, en Midi-Pyrénées, dans des exploitations sans élevage, mais aussi les systèmes de grandes cultures conventionnels de la région (Gaubrie, 2011).

Les conseillers savent que, sur l’ensemble de la région, la gestion du phosphore dans les systèmes biologiques pose souvent problème. Des évolutions négatives de la fertilité P sont perceptibles, en relation avec la rareté des apports de P, le caractère très fixateur des sols vis-à-vis de cet élément, et cela malgré la faiblesse des exportations de P observées à l’échelle des rotations. Mais il y a des exceptions à cette « big picture », explicables par un ou plusieurs des facteurs de diagnostics pris en compte. Par ailleurs, les conseillers disposent de connaissances à priori sur la qualité de gestion du P pour des systèmes conventionnels, à base de maïs irrigués par exemple, pour lesquels la situation est bien différente (apports de P fréquents et parfois excessifs, conduisant à des bilans positifs et à des niveaux de fertilité P élevés). Vérifier que le modèle restitue la « big picture » dans les deux types de systèmes contribuera à renforcer la confiance que les praticiens peuvent avoir dans le modèle.

L’étape cruciale pour les conseillers consiste à spécifier des distributions à priori des valeurs prises par les six indicateurs basiques du modèle, dans leur contexte régional, pour les

TABLEAU 1. Distributions à priori des valeurs de l’indicateur de la qualité de gestion du phosphore (QGP) pour deux types de systèmes de cultures en Midi-Pyrénées, et des indicateurs basiques qui la déterminent selon le modèle «Qualite_gestion_P.dxi ». Pour établir la correspondance entre les valeurs numériques des indicateurs (1, 2, 3 ou 4) et les modalités qualitatives (faible, moyen, élevé, etc.) voir l’annexe 2.

Indicateurs

Modalités 1

2

3

4

0.25 0.33 0.3 0.4 0.4 0.25 0.33

0.5 0.33 0.2 0.3 0.4 0.2 0.33

0.10

0.15 0.3 0.4 0.3 0.3 0.3 0.3

0.25 0.5 0.2 0.5 0.5 0.4 0.1

0.50

Pour des systèmes de culture biologique sans élevage : QGP Qualité de gestion du P FIP Etat de fertilite initial en P PTP Pouvoir tampon P du sol DEC Degre exigence culture RIP Recyclage interne du P BAP Bilan annuel moyen de P AUP Autonomie P

0.35 0.33 0.5 0.3 0.2 0.4 0.33

0.15

Pour des systèmes à base de maïs irrigués : QGP Qualité de gestion du P FIP Etat de fertilite initial en P PTP Pouvoir tampon P du sol DEC Degre exigence culture RIP Recyclage interne du P BAP Bilan annuel moyen de P AUP Autonomie P

0.10 0.2 0.4 0.2 0.2 0.1 0.6

11 0.2

Tableau 1. Distributions à priori des valeurs de l’indicateur de la qualité de gestion du phosphore (QGP) pour deux types de systèmes de cultures en Midi-Pyrénées, et des indicateurs basiques qui la déterminent selon le modèle «Qualite_gestion_P.dxi ». Pour établir la correspondance entre les valeurs numériques des indicateurs (1, 2, 3 ou 4) et les modalités qualitatives (faible, moyen, élevé …) voir l’annexe 2.

deux types de systèmes, mais aussi la distribution à priori de l’indicateur synthétique de qualité de gestions du phosphore (QGP). Ayant participés eux-mêmes à l’établissement du modèle, ils ont eu le temps de mobiliser et de confronter leurs perceptions, qui se sont La figure 2 montre (Tableau 1). que les histogrammes des valeurs de l’indicateur de qualité de gestion du avérées convergentes

phosphore issues du modèle d’une part et fournies par expertise d’autre part, ne sont pas graphiquement pour lesdes deuxvaleurs types de de cultures biologiques et La figure 2 montretrès quedifférentes, les histogrammes desystèmes l’indicateur de qualité de gestion systèmes conventionnels à base de maïs irrigués. du phosphore issus du modèle d’une part et fournis par expertise d’autre part ne sont pas Pour les premiers, le modèle sur-estime la proportion de cas ayant une qualité de gestion du P très graphiquement très différents, pour les deux types de systèmes de cultures biologiques et favorable (valeur numérique de l’indicateur égale à 4). Pour les seconds, le modèle sous-estime un systèmes à basede degestion maïs irrigués. peu lesconventionnels cas ayant une qualité très défavorable (1) ou défavorable (2), et sur-estime la proportion de cas ayant une qualité de gestion favorable (3) ou très favorable (4).

Pour premiers, le modèlefaibles. surestime la proportion une qualité de gestion du Leslesécarts sont toutefois L’application du testdeducas Chiayant 2 produit des p-value très supérieures à 0.05favorable pour les deux types de systèmes.

Il n’y a pas de différence satistique entre la le distribution P très (valeur numérique de l’indicateur égale à 4). Pour les seconds, modèle à priori de l’indicateur de les qualité du phosphore et lade distribution desdéfavorable valeurs issues sous-estime un peu cas ayant une qualité gestion très (1)du oumodèle. défavorable Le modèle Qualite_gestion_P.dxi, tel que paramétré après plusieurs essais, apparaît à restituer (2), et surestime la proportion de cas ayant une qualité de gestion favorable (3) apte ou très les connaissances à priori (et supposées fondées) des conseillers sur les systèmes évalués.

Il peut être favorable (4). considéré comme calibré et prêt à l’usage dans le contexte prédéfini de l’évaluation.

Les écarts sont toutefois faibles. L’application du test du Chi 2 produit des p-value très supérieures à 0.05 pour les deux types de systèmes. Il n’y a pas de différence statistique entre la distribution à priori de l’indicateur de qualité du phosphore et la distribution des valeurs issues du modèle.

Le modèle Qualite_gestion_P.dxi, tel que paramétré après plusieurs essais, apparaît apte à restituer les connaissances à priori (et supposées fondées) des conseillers sur les systèmes évalués. Il peut être considéré comme calibré et prêt à l’usage dans le contexte prédéfini de l’évaluation.

V. Conclusion Ce document montre comment un modèle d’évaluation de système de culture implémenté sous DEXi peut être calibré en valorisant les connaissances préalables ou a priori des praticiens, portant sur les systèmes à évaluer. La démarche présentée peut s’appliquer au calibrage d’une branche ou sous branche d’un arbre d’évaluation complet, soit à un arbre satellite associé à l’arbre principal, élaboré pour l’évaluation de l’un de ses indicateurs basiques.

12

Le calibrage du modèle doit être envisagé du point de vue de son objectif premier, qui est d’être une aide à l’évaluation. Le caractère « aidant » du modèle se situe en partie dans la conduite opérationnelle de l’évaluation, mais aussi et surtout dans la pertinence des sorties diagnostiques émises. Les sorties diagnostiques du modèle ne constituent pas cependant à elles seules « l’évaluation ». Elles sont destinées à s’incorporer dans les perceptions initiales des utilisateurs vis-à-vis des performances des systèmes étudiés, à les faire évoluer, à les l’enrichir, à les questionner. L’appréciation des évaluations produites par le modèle s’appuie souvent sur une confrontation avec la vision préalable que les praticiens ont des systèmes. Cette vision conditionne l’accueil fait à l’évaluation formelle réalisée avec le modèle. Les écarts ressentis ou constatés déterminent largement la crédibilité des résultats et les débats post évaluation. Afin que certains des écarts soient perçus comme révélateurs d’innovations, il est nécessaire que le modèle renvoie à des images fiables des systèmes connus, d’où l’importance d’une étape de calibrage bien conduite.

Figure 2. Distributions comparées des valeurs de l’indicateur « Maitrise de la qualité de gestion du phosphore » délivrées par le modèle (bâtons en pleine couleur) et spécifiées à dire d’expert (bâton avec hachurage coloré) pour des systèmes de cultures biologiques en exploitations sans élevage et pour des systèmes conventionnels à base de maïs irrigués en région Midi-Pyrénées.

Correspondance entre note de qualité et jugement qualitatif : 1 : « très défavorable » 2 : « défavorable » 3 : « favorable » 4 : « très favorable »

Systèmes dede culture Systèmes culturebiologiques biologiques

30 10

20

%

40

50

Expert Modèle

0

13 1

2

3

4

Note de Qualite de gestion du Phosphore

Systèmes à base irriguésconventionnels conventionnels Systèmes à basede demaïs maïs irrigués

30 0

10

20

%

40

50

Expert Modèle

1

2

3

4

Note de Qualite de gestion du Phosphore

Figure 2 : Distributions comparées des valeurs de l’indicateur « Maitrise de la qualité de gestion du phosphore » délivrées par le modèle (batons en pleine couleur) et spécifiées à dire d’expert (baton

Références bibliographiques Bohanec M., 2008. DEXi : Program for multi-attribute Decision Making. User’s manual, Version 3.00. IJS Report DP-9989, Jožef Stefan Institute, Ljubbljana, 2008.

Available at : http://www-ai.ijs.si/MarkoBohanec/pub/DEXiManual30r.pdf Bohanec, M., Rajkovič V., 1990. DEX: an expert system shell for decision support.

Sistemica, 11, 145-157.

Carpani M., Bergez J.E., Monod H., 2010. « Sensitivity analysis of a hierarchical qualitative model – the analysis of MASC ». Sixth International Conference on Sensitivity Analysis of Model Output Procedia. Social and Behavioral Sciences, 2, 7627-7628.

Colomb B., Aveline A., Carof M., 2011. Une évaluation multicritère qualitative de la durabilité des systèmes de grandes cultures biologiques, Quels enseignements ? Restitution des programmes RotAB et CITODAB. Document d’analyse PSDR3 Midi-Pyrénées-Projet CITODAB et CAS-DAR RotAB, 43 pages + annexes.

14

Craheix D., Angevin F., Bergez J.-E., Bockstaller C., Colomb B., Guichard L., Reau R., Doré T. 2011. MASC version 2.0. Un outil pour l’analyse de la contribution des systèmes de culture au développement durable. Présentation & principes d’utilisation. INRA, AgroParisTech, GIS GCHP2E. 175 pages.

Craheix D., Angevin F., Bergez J.-E., Bockstaller C., Colomb B., Guichard L., Reau R., Doré T., 2012. « MASC 2.0, un outil d’évaluation multicritère pour estimer la contribution des systèmes de culture au développement durable », Innovations Agronomiques, 20, 35-48.

Gaubrie S., 2011. La durabilité des systèmes de grandes cultures biologiques en Midi-Pyrénées : une approche multicritère réalisée par et pour des conseillers agricoles. Projet de fin d’études.

Diplôme d’ingénieur agronome. INP ENSAT, Toulouse. 94 pages.

Sadok W., Angevin F., Bergez J.-E., Bockstaller C., Colomb B., Guichard L., Reau R., Doré T., 2008. « Ex ante assessment of the sustainability of alternative cropping systems: implications for using multicriteria decision aid methods. A review », Agronomy for Sustainable Development, 28, 163–174.

Sadok W., Angevin F., Bergez J.E, Bockstaller C., Colomb B., Guichard L., Reau R., Messéan A. and Doré T., 2009. « MASC: a qualitative multi attribute decision model for ex ante assessment of the sustainability of cropping systems », Agronomy for Sustainable Development, 29, 447-461.

Annexe 1. Le modèle d’évaluation Qualite_gestion_P.dxi, Structure de l’arbre, Fonctions d’utilité & poids des indicateurs

15

DEXi

Qualite_gestion_P.dxi 27/10/2011

Attribute tree Attribute QGP SBP FIP DEC DFP FIP SVEFP BRI BAP RIP PTP AUP

Description Qualite de la gestion de P Degre de satisfaction du besoin en P des cultures Fertilite initiale en P Exigence moyenne en P des cultures a l echelle de la succession Diagnostic evolution de la fertilite P Fertilite initiale en P Sens et vitesse d evolution de la fertilite P Agrege bilancultural et Recyclage interne de P Bilan cultural de P annuel moyen Recyclage par Restitutions organiques de P Pouvoir tampon du sol vis a vis de P Autonomie pour la satisfaction des besoins en P

Scales Attribute QGP SBP FIP DEC DFP FIP SVEFP BRI BAP RIP PTP AUP

Scale tres defavorable; defavorable; favorable; tres favorable faible; moyen; eleve faible; moyen; eleve exigeante; moyennement exigeante; peu exigeante tres defavorable; defavorable; favorable; tres favorable faible; moyen; eleve defavorable rapide; defavorable lente; stabilite; favirable lente; favorable rapide tres deficitaire; deficitaire; equilibre; excedentaire; tres excedentaire tres deficitaire; deficitaire; equilibre; excedentaire; tres excedentaire faible; moyen; eleve faible; moyen; eleve faible; moyenne; elevee

Tables

16

SBP 36% faible faible faible faible faible faible faible faible faible faible faible faible moyen moyen moyen moyen moyen moyen moyen moyen moyen moyen moyen moyen eleve eleve eleve eleve eleve eleve eleve eleve eleve eleve eleve eleve

DFP 36% tres defavorable tres defavorable tres defavorable defavorable defavorable defavorable favorable favorable favorable tres favorable tres favorable tres favorable tres defavorable tres defavorable tres defavorable defavorable defavorable defavorable favorable favorable favorable tres favorable tres favorable tres favorable tres defavorable tres defavorable tres defavorable defavorable defavorable defavorable favorable favorable favorable tres favorable tres favorable tres favorable

AUP 27% faible moyenne elevee faible moyenne elevee faible moyenne elevee faible moyenne elevee faible moyenne elevee faible moyenne elevee faible moyenne elevee faible moyenne elevee faible moyenne elevee faible moyenne elevee faible moyenne elevee faible moyenne elevee

QGP tres defavorable tres defavorable tres defavorable tres defavorable tres defavorable defavorable defavorable defavorable favorable defavorable favorable favorable tres defavorable tres defavorable defavorable tres defavorable defavorable favorable defavorable favorable tres favorable favorable tres favorable tres favorable defavorable defavorable favorable defavorable favorable favorable favorable tres favorable tres favorable tres favorable tres favorable tres favorable

Page

1

DEXi

Qualite_gestion_P.dxi 27/10/2011

FIP 50% faible faible faible moyen moyen moyen eleve eleve eleve

DEC 50% exigeante moyennement exigeante peu exigeante exigeante moyennement exigeante peu exigeante exigeante moyennement exigeante peu exigeante

FIP 44% faible faible faible faible faible moyen moyen moyen moyen moyen eleve eleve eleve eleve eleve

SVEFP 56% defavorable rapide defavorable lente stabilite favirable lente favorable rapide defavorable rapide defavorable lente stabilite favirable lente favorable rapide defavorable rapide defavorable lente stabilite favirable lente favorable rapide

BRI 100% tres deficitaire tres deficitaire tres deficitaire deficitaire deficitaire deficitaire equilibre equilibre equilibre excedentaire excedentaire excedentaire tres excedentaire tres excedentaire tres excedentaire

PTP 0% faible moyen eleve faible moyen eleve faible moyen eleve faible moyen eleve faible moyen eleve

BAP 52% tres deficitaire tres deficitaire tres deficitaire deficitaire deficitaire deficitaire equilibre equilibre equilibre excedentaire excedentaire excedentaire tres excedentaire tres excedentaire tres excedentaire

RIP 48% faible moyen eleve faible moyen eleve faible moyen eleve faible moyen eleve faible moyen eleve

Page

2

SBP faible faible moyen faible moyen eleve moyen eleve eleve

DFP tres defavorable tres defavorable defavorable favorable favorable tres defavorable defavorable favorable favorable tres favorable defavorable defavorable favorable tres favorable tres favorable SVEFP defavorable rapide defavorable rapide defavorable lente defavorable rapide defavorable lente defavorable lente stabilite stabilite stabilite favorable rapide favirable lente favirable lente favorable rapide favorable rapide favirable lente BRI tres deficitaire tres deficitaire deficitaire tres deficitaire deficitaire equilibre deficitaire equilibre excedentaire equilibre excedentaire tres excedentaire excedentaire tres excedentaire tres excedentaire

17

DEXi

Qualite_gestion_P.dxi 27/10/2011

Average weights Attribute QGP SBP FIP DEC DFP FIP SVEFP BRI BAP RIP PTP AUP

18

Local

Global

36 50 50 36 44 56 100 52 48 0 27

36 18 18 36 16 20 20 11 10 0 27

Page

3

Annexe 2. Procédure de calibrage sous R d’un arbre DEXi

19

#******************************************************************************* # Calibrage_ArbreDEXi.R # # Exemple de Procedure de calibrage d'un modèle DEXi en tenant compte # des connaissances des utilisateurs sur les distributions à priori # des valeurs prises par les indicateurs d'entree du modele, et sur # les valeurs de l'indicateur synthétique de sortie du modèle. # # Cette procédure fait partie intégrante d'un document référencé dans le cadre # de l'école thématique dédiée à l'évaluation multicritère # des systèmes de cultures (INRA Toulouse, mai 2012) : # « Utilisation avancée de DEXi pour le calibrage du modèle MASC par les utilisateurs » # B. Colomb. UMR AGIR, INPT INRA 1248. #******************************************************************************* # Le modèle Qualite_gestion_P.dxi utilisé ici pour l'exemple # permet d'apprécier l'appréciation de la qualite de gestion du phosphore # à l'échelle d'un système de culture. #-----------------------------------------------------------------------------# Etape I : Générer les valeurs des critères de base de l'arbre d'évaluation # et créer une table destinée à être exportée dans le repertoire de travail # puis importée dans le modèle Qualite_gestion_P.dxi #-----------------------------------------------------------------------------# Sous-étape 1 : Génération des jeux de valeurs des différents indicateurs #-----------------------------------------------------------------------------# Liste des indicateurs basiques et agrégés du modèle # présentés dans l'ordre des import/export de DEXi # A noter que l'indicateur FIP est utilisé deux fois comme indicateur basique

20

# # # # # # # # # # # #

QGP : SBP : FIP : DEC : DFP : FIP : SVEFP : BRI : BAP : RIP : PTP : AUP :

"Qualite de la gestion de P" "Degré de satisfaction besoins en P des cultures" "Fertilite initiale en P" "Exigence moyenne en P des culture sur la rotation" "Evolution de la fertilite P" "Fertilite initiale en P" "Sens et vitesse d'evolution de la fertilité P" "Agrege bilan cultural et recyclage interne de P" "Bilan cultural annuel moyen de P" "Recyclage interne du P par restitutions oraganiques" "Pouvoir tampon du sol vis à vis de P" "Autonomie pour la satisfaction des besoins en P"

agrege agrege basique basique agrege basique agrege agrege basique basique basique basique

# Choix du nombre de CAS générés nCAS # # # # # #

<- 5000

Génération des valeurs des indicateurs basiques Les valeurs sont des notes de 1 à 3, ou 1 à 4 selon les indicateurs.

La note 1 correspond en général à la modalité la plus défavorable et la note 4 à la plus favorable On effectue un tirage de valeurs à l'aide de la fonction "sample" en spécifiant le vecteur de probabilite des valeurs attendues.

# Distribution a priori des indicateurs de basiques pour des systèmes biologiques en MP # Génération de FIP : valeurs 1, 2 ou 3 ~ equiprobables # A priori donc on considère que les proportions de situations avec des # niveaux de fetilité en P faible, moyen ou éleve sont les mêmes FIP

<- sample(1:3,nCAS,replace=TRUE)

# Génération de PTP : valeur 1 la plus probable # Les sols a forts pouvoirs tampons sont majoritaires ...

PTP <-

sample(c(1,2,3), 100, replace = TRUE, prob=c(0.5, 0.3, 0.2) )

# Génération de DEC : valeur 2 la plus probable # Les cultures d'exigence moyenne en P sont les plus fréquentes ...

DEC <-

sample(c(1,2,3), 100, replace = TRUE, prob=c(0.3, 0.4, 0.3) )

2

# Génération de RIP : valeurs les plus fréquentes 2 et 3 # Les systèmes bio à restitutions organiques faibles ou moyennes # sont les plus fréquents (dans le cas des SDC bio sans élevage)...

RIP <-

sample(c(1,2,3), 100, replace = TRUE, prob=c(0.2, 0.4, 0.4) )

# Génération de BAP : Dans le cas fictif traité la valeur la plus frequente # est égale à 1, correspondant à des bilans de Phosphore très négatifs, # la moins fréquente est égale à 4 correspondant à des bilans positifs ...

BAP

<- sample(c(1,2,3,4), 100, replace = TRUE, prob=c(0.4,0.25,0.20,0.15) )

# Génération de AUP : valeurs 1, 2 ou 3 ~ equiprobables # A priori on considère que les proportions de situations ayant une autonomie # vis à vis de P faible, moyenne ou élevee sont les mêmes AUP

<- sample(1:3,nCAS,replace=TRUE)

# Distribution des indicateurs pour des systèmes à base de mais irrigués # # # # # #

FIP PTP DEC RIP BAP AUP

<<<<<<-

sample(1:3,nCAS,replace=TRUE, prob=c(0.2, 0.3, 0.5) ) sample(c(1,2,3), 100, replace = TRUE, prob=c(0.4, 0.4, 0.2) ) sample(c(1,2,3), 100, replace = TRUE, prob=c(0.2, 0.3, 0.5) ) sample(c(1,2,3), 100, replace = TRUE, prob=c(0.2, 0.3, 0.5) ) sample(c(1,2,3,4), 100, replace = TRUE, prob=c(0.1,0.3,0.4,0.2) ) sample(1:3,nCAS,replace=TRUE, prob=c(0.1, 0.3, 0.6) )

#-----------------------------------------------------------------------------# Sous-étape 2 : Construction de la table de jeu de cas à evaluer #-----------------------------------------------------------------------------# Outre les indicateurs basiques précédemment générés, il convient d'insérer # les colonnes qui correspondent aux indicateurs agrégés. # Construction de la table à exporter en .csv pour être utilisée par DEXi # Les options (au sens DEXi, ici systèmes de cultures) sont nommées O1, O2,...

QGPt

<- data.frame( CAS

= paste("O",1:nCAS,sep=""), QGP = rep("",nCAS), SBP = rep("",nCAS), FIP = FIP , DEC = DEC, DFP = rep("",nCAS), FIP.1 = FIP , SVEFP = rep("",nCAS), BRI = rep("",nCAS), BAP = BAP , RIP = RIP , PTP = PTP , AUP = AUP )

# Le passage a la table transposée permet d'incorporer en 1ère colonne le nom # des indicateurs tel qu'attendu par DEXi dans un fichier d'import d'options.

QGPn

<- t(QGPt)

# Incorporation en première ligne du vecteur des noms des indicateurs (vni) # La 1ere ligne attendue par DEXi dans un fichier d'entrée est un champ caractère vide # puis la liste des noms d'indicateurs entre guillements double vni

<- c("","QGP","SBP","FIP","DEC","DFP","FIP","SVEFP","BRI","BAP","RIP","PTP","AUP")

# Incorporation de cette première ligne QGPn

<- cbind(vni, QGPn)

# Exportation de la matrice des options, sans les noms de lignes et de colonnes, # avec séparateur virgule write.table(QGPn, file="QGPn.csv", sep = "," , row.names = F, col.names = F ) #-----------------------------------------------------------------------------# Etape II : Evaluation des critères agrégés par DEXi et récupération sous R #------------------------------------------------------------------------------

3

21

# ---Soumission du fichier d'options (QGPn.csv) à l'arbre Qualite_gestion_P.dxi # # # # # # #

Pour les arguments de la commande de lancement de DEXi en batch, voir la documentation de l'utilitaire DEXiEval. Dans la commande : Qualite_gestion_P.dxi est l'arbre DEXi à utiliser QGPn.csv est le fichier d'input contenant la valeur des indicateurs basiques des options à évaluer QGPEt.csv est le fichier d'ouput contenant la valeur des indicateurs basiques et des indicateurs agrégés des options évaluées

shell("DexiEval.exe -keep Qualite_gestion_P.dxi -base1 -on -all -csv QGPn.csv -base1 -ot -all -csv QGPEt.csv") # Récupération sous R de la table des options évaluées # (indicateurs basiques et agrégés) et mise en forme de la table.

QGPE

<-read.table("QGPEt.csv", sep=",", fill=TRUE, header = TRUE)

# Elimination de l'indicateur dédoublé FIP.1 QGPE <- QGPE[, -7] # Les noms des options servent à nommer les lignes de la table R dimnames(QGPE) [1] <- list( QGPE$X ) # La colonne 1 portant le nom des options evaluees peut être enlevée QGPE <- QGPE[, -1] #-----------------------------------------------------------------------------# Etape III : Représentation graphique et comparaison statistique # des notes de qualité de gestion du phosphore obtenues # par le modèle et définies à priori par expertise #------------------------------------------------------------------------------

22

# Vecteur (hb) des proportions obtenues par le modèle pour les différentes notes # de qualités de gestion du P dans l'ordre des notes croissantes, soit : # [ 1:"tres defavorable", 2 : "defavorable",3: "favorable", 4:"tres favorable" ] hb

<-

tabulate(QGPE[,"QGP" ], nbins= 4 )

/ nCAS * 100

# Distribution à priori des notes de qualité fournies à dire d'expert # Les proportions à priori pour les notes de qualité mentionnée par les experts sont recueillies # dans le vecteur pp dans l'ordre des notes croissantes. # # Cas des systèmes de culture biologiques pp <-c(35, 25, 25, 10) # Cas des systèmes de culture conventionnels à base de maïs irrigués # pp <-c(10, 15, 25, 50) # Matrice réunissant les notes de qualité à priori et obtenues par le modèle # pour faire un graphique de comparaison des histogrammes et un test de comparaison statistique bt

<-

matrix(c(pp,hb) , byrow = T , nrow=2 , dimnames = list(c("Expert", "Modèle"), c("TDF", "DF", "F", "TF")) )

# Graphique de comparaison des histogrammes des notes de qualité à priori et obtenues par le modèle # Utilisation de la fonction graphique barplot # Arguments pour la fonction de dessin barplot note <- c( "1" , "2" , "3" , "4" ) vcol <- c("red","red","orange","orange","green","green","green4","green4")

4

# Dessin avec barplot windows(width = 12/2.54 , height = 12/2.54 , pointsize = 12) barplot( height= bt , beside =T, names.arg= note , axis.lty=1, col= vcol , border = vcol , density = c(25 ,150) , legend = rownames(bt) , args.legend = list(x = "top", cex = 0.75), cex.axis = 1 , cex.names= 1 , axes = T, offset = 0.5, space = c(0.1, 0.5), ylim = c(0,55) , ylab=list("%", cex = 1) , xlab=list("Note de Qualite de gestion du Phosphore", cex = 1) ) title("Systèmes de culture biologiques" , cex.main = 0.9,

font.main= 4 )

title("Systèmes à base de maïs irrigués conventionnels" , cex.main = .9,

font.main= 4 )

#---- Comparaison statistique des distributions des notes de qualité à priori et obtenues par le modèle # On applique un test du Chi², adapté aux distributions discrètes (données catégorielles comme ici) # Rappel # si p-value est < 0.05, les deux distributions sont vraisemblablement différentes # si p-value est > 0.05, les deux distributions "viennent de la même population" # et ne sont pas différentes chisq.test(bt) # Exemple pour les sytèmes biologiques, avec nCAS = 5000 # X-squared = 2.71, df = 3, p-value = 0.82 ; # OK, distributions non différentes # Exemple pour les sytèmes biologiques, avec nCAS = 5000 # X-squared = 1.0546, df = 3, p-value = 0.78 # OK, distributions non différentes # Le modèle donne des diagnostics statistiquement non différents des diagnostics à priori, # pour les deux types de systèmes de cultures. # Il peut être considéré comme calibré sur la base du point de vue des experts consultés.

23

5

La mise au point d’un modèle d’évaluation multicritère qualitatif de systèmes de culture.

Calibrage par les utilisateurs finaux avant mise en application Bruno Colomb

RÉSUMÉ Les systèmes de cultures sont des systèmes de production agricole auxquels sont assignés de multiple fonctionnalités et contraintes qui relèvent des différentes dimensions de la durabilité. L’évaluation intégrée de leurs performances vis-à-vis des unes et des autres repose sur un modèle d’évaluation multicritère préalablement mis au point. Ce document expose une procédure itérative simple de calibrage d’un modèle d’évaluation de système de culture implémenté avec la technologie MCDA DEXi. Le calibrage répond au besoin des praticiens de vérifier si le modèle constitue bien une aide à l’évaluation au-delà de la facilitation opérationnelle, en produisant des diagnostics qui viennent enrichir leur propre représentation de la durabilité des systèmes de culture. Il est à mettre en oeuvre à l’issue de la démarche de développement et de paramétrage du modèle par un collectif de travail désireux de l’utiliser.

Mots-clés : Durabilité, système de culture, évaluation multicritère, modèle, DEXi, calibrage

Dans le cadre du Programme de recherche Pour et Sur le Développement Régional (PSDR3) en Midi-Pyrénées, le Projet CITODAB bénéficie du soutien financier de :

www.inra.fr/psdr-midi-pyrenees