Graugnard et al., 2006

IDEV-BAD, 2016

La capitalisation est un processus individuel, collectif ou institutionnel qui consiste à valoriser les leçons et acquis issus du cycle de l’intervention ou expérience, à travers la production et la mise en œuvre de nouvelles connaissances, en vue d’accroître les résultats des interventions, voire le positionnement et la notoriété des organes de l’Union.

• Il existe bien de nuances entre la capitalisation et d'autres fonctions telles que la gestion des connaissances, le benchmarking, la veille, la recherche-action, la méta-évaluation.

Objectifs de la capitalisation

• Permettre une utilisation plus efficace des ressources en évitant le renouvellement des erreurs ou en permettant de tirer les bénéfices, tant des réussites que des échecs (S. Robert, 2005) ;
• Accroître les performances des cycles de l’intervention évaluée ou celles d’autres interventions, à travers la valorisation et la mise en œuvre des recommandations adoptées, des leçons apprises et des connaissances acquises (C-UEMOA 2021).

Logiques de base de la capitalisation : trois logiques

• Une logique d’expériences, le savoir capitalisé étant issu d’un travail de mémoire basé sur ce qui s’est fait ;
• Une logique de méthode, facilitant le repérage des savoir-faire, leur sélection et leur modélisation ;
• Une logique de fonction, permettant d’une part d’apprendre à partir des pratiques en vue de progresser et, d’autre part, d’appliquer ces savoir-faire acquis en interne et le cas échéant, en assurer leur diffusion.

Types de capitalisation selon les finalités ou motivations des auteurs de la capitalisation :

• la capitalisation individuelle, qui est une démarche personnelle ou individuelle de valorisation des expériences et connaissances acquises, pour soi-même, en vue d’améliorer ses pratiques ou performances individuelles ;
• la capitalisation collective, qui répond à des intérêts d’équipe visant l’amélioration de compétences collectives, en vue de renforcer une position concurrentielle ou de valoriser un savoir commun, voire une identité partagée ;
• la capitalisation institutionnelle, qui vise à conserver et valoriser les processus, les approches et activités menés dans un contexte institutionnel ou organisationnel, où les savoir-faire migrent et où les détenteurs de savoirs transfèrent leurs connaissances vers d’autres opérateurs de la structure ou vers l’extérieur.

Types de capitalisation selon le moment où elle est réalisée : 

• « capitalisation in vivo », qui se réalise au cours de l’intervention ;
• « capitalisation a posteriori » (ex post), qui se réalise après l’intervention. 

Principales étapes du processus de capitalisation

• Étape 1 : Repérer l’expérience ou la pratique à capitaliser, à travers le choix et la caractérisation des expériences ou pratiques candidates ;
• Étape 2 : Confronter l’expérience ou la pratique, à travers son analyse critique collective, en équipe (pertinence, plus-value réplicabilité, etc.) ;
• Étape 3 : Valoriser l’expérience ou la pratique retenue, à travers sa transformation en savoir utilisable ;
• Étape 4 : Diffuser les nouvelles connaissances, c’est-à-dire les rendre accessibles aux différentes parties et aux tiers à travers des canaux et formats adaptés à chaque type de public cible ;
• Étape 5 : Utiliser les nouvelles connaissances, c’est-à-dire les transformer en pratiques dans le cycle de l’intervention ou dans d’autres interventions. 

Une chaîne de résultats décrit les liens de causes à effets entre les fins et les moyens (SCT Canada, 2004), c’est-à-dire :

• les différents niveaux de changements visés par le programme à court, moyen et long termes ; 
• les réalisations concrètes (produits ou extrants finaux) qui doivent être utilisées par les bénéficiaires directs pour l’atteinte de ces résultats ; 
• les activités nécessaires à mettre en œuvre pour la fourniture de ces produits de qualité satisfaisante, à des coûts et délais raisonnables (efficience) ;
• les ressources et moyens nécessaires (inputs). 

Une représentation logique et plausible de la manière dont une séquence de moyens ou intrants, d’activités et de produits ou extrants réalisés par une intervention entre en interaction avec le comportement des bénéficiaires pour induire en eux un changement de court terme (résultat immédiat), de moyen terme (effet) ou de long terme (impact). 

Ce concept de « chaînes de résultats » s’inspire également de celle du Fonds International pour le Développement Agricole (FIDA) qui considère, dans son Système intégré de Gestion des Résultats et Impacts (SYGRI), trois niveaux de résultats : résultat immédiat ou de court terme (niveau 1), résultat intermédiaire ou de moyen terme (niveau 2) et « résultat ultime ou de long terme (niveau 3) ». 

Commission de l’UEMOA, Cellule d’Évaluation, 2016 (inspirée du Secrétariat du Conseil du Trésor du Canada)

Système intégré de Gestion des Résultats et Impacts (SYGRI) du FIDA

• Comité d’Aide au Développement – CAD-OCDE (pour les cinq premiers critères) : Guide de l’évaluation, Ministère des Affaires Étrangères, Direction Générale de la Coopération Internationale et du Développement (DGCID), Service de la Stratégie, des Moyens et de l’Évaluation Bureau de l’Évaluation, OCDE, juin 2005, pages 12, 13 et 14
• Commission de l’UEMOA pour les deux derniers critères (CEVal, 2016)

Pertinence : capacité globale de l’intervention à fournir des réponses adaptées ou appropriées aux besoins et priorités des bénéficiaires directs visés, à plusieurs sous-critères (adéquation des solutions de l’intervention avec les problèmes et besoins identifiés, bien-fondé de l’intervention en rapport avec les besoins et priorités des bénéficiaires, conformité avec les objectifs, les orientations et priorités de la Commission. 

NOTA : La cohérence (interne et externe) est parfois analysée, par certaines institutions, comme un critère autonome ou isolé de la pertinence, comme c’est le cas dans le Guide d’évaluation du CAD-OCDE (pages 12 à 14). Dans le présent manuel, la cohérence est analysée comme étant un sous-critère de la pertinence.

Efficience : efforts accomplis pour optimiser les niveaux de réalisations et d’atteinte des résultats dans des contextes de ressources limitées (réalisations/produits ou livrables, coûts, qualité, délais, rapport bénéfices-coûts, efforts d’économies accomplis pour optimiser les réalisations et les résultats, rapport bénéfices-coûts ou résultats-coûts de l’intervention, efforts de synergies et complémentarités déployés, mesures d’atténuation des risques de l’intervention (risques opérationnels et risques stratégiques, etc.).

L’efficience pourrait se décline en trois principaux sous-critères :

• l’efficience technique, qui apprécie les choix techniques et technologiques, les procédés et les combinaisons de facteurs techniques opérés pour fournir plus de réalisations ou produits (livrables ou extrants) et des résultats que les niveaux moyens escomptés au profit des bénéficiaires ;
• l’efficience financière ou allocative, qui détermine et analyse les procédures et choix opérés pour assurer le financement des réalisations (ou produits) et les résultats escomptés à moindres coûts, en rapport avec les ressources  respectivement allouées et aux coûts du marché ;
• l’efficience économique, qui détermine et analyse les efforts accomplis pour fournir, de manière optimale, des réalisations et résultats à moindres coûts en rapport avec les prévisions et les allocations de ressources. L’efficience économique est, de manière mathématique, le produit de l’efficience technique et de l’efficience financière ou allocative.                                                          

Additionnalité communautaire : plus-value ou valeur ajoutée communautaire de l’intervention, c’est-à-dire sa portée et ses effets réels ou potentiels à l’égard des États membres de l’Union et, dans une certaine mesure (10%), à l’égard des autres États membres de la CEDEAO.

La portée communautaire pour l’ensemble des huit (8) États membres de l’UEMOA est pondérée à 90 points sur 100 (soit 11,25 points par État), contre 10 points pour les États membres de la Communauté Économique des États de l’Afrique de l’Ouest (CEDEAO) autres que ceux de l’UEMOA dont 2 points par État pour un plafond de 5 États.

Qualité à l’entrée : capacité à assurer une bonne formulation de l’intervention et son évaluabilité durant son cycle de mise en œuvre.

La pratique évaluative de la Commission propose quatre sous-critères clés : (i) qualité globale de la participation des parties prenantes dans la formulation de l’intervention, (ii) qualité globale du diagnostic et de la chaîne de résultats de l’intervention ; (iii) pertinence et adéquation des cadres de gouvernance et de gestion de l’intervention (pilotage institutionnel, suivi, audits, gestion des risques, etc.) et (iv) évaluabilité de l’intervention (situations de référence, cadres logiques, cadre de mesure des performances, etc.).

Une évaluation ex ante des politiques, des programmes et projets (ou évaluation prospective) est une évaluation réalisée avant le démarrage de l’intervention. 

Elle vise à améliorer la qualité à l’entrée (y compris son évaluabilité), la faisabilité et l’impact de l’intervention 
(Cf. objectifs spécifiques dans le manuel d’évaluation).

Les évaluations ex ante de mesures ou réformes nationales ou communautaires sont des analyses ou simulations d’impacts réalisés par le Département des Politiques Économiques et de la Fiscalité Intérieure de la Commission (DPE), sur la base de méthodes, d’approches, d’instruments et outils spécifiques.

Elles sont, pour la plupart, d’échelles nationales et réalisées sur la base de demandes formulées par États (orientée-demande), en vue d’apprécier les effets et impacts de mesures économiques et sociales spécifiques envisagées ou liés à des chocs économiques et sociales exogènes. 

Elles visent à faciliter les prises de décisions politiques nationales ou communautaires, notamment sur les plans économique et social.

Elles peuvent également être réalisées à l’initiative propre du DPE, en appui à l’alerte ou à la prise de décisions politiques nationales ou communautaires. 

Une évaluation à mi-parcours (ou évaluation formative) est, comme son nom l’indique, celle qui est réalisée à mi-chemin du processus de mise en œuvre de l’intervention.

Elle vise à ajuster les stratégies et modalités générales de mise en œuvre de l’intervention ainsi que les plans de gestion des risques de son environnement en vue d’optimiser l’atteinte des résultats et objectifs visés.

Une évaluation finale (sommative ou récapitulative) est celle qui est réalisée juste à la fin de l’intervention.

Elle a pour but d’évaluer les niveaux d’atteinte des résultats et les effets de l’intervention (efficacité) ainsi que les leçons que l’on peut en tirer pour en améliorer les phases ultérieures ou contribuer à d’autres interventions (capitalisation ou benchmarking).

Une évaluation d’impact (encore appelée évaluation rétrospective ou ex post) est une méthode spécifique d’évaluation qui permet d’identifier les changements du bien-être des individus qui peuvent être attribués à un projet, un programme ou une politique particulière » (OUOLLO, 2016)³⁶. 

Elle se distingue de par sa focalisation sur la causalité et l’attribution des changements et de par sa capacité à établir une situation contrefactuelle pour la mesure de l’impact. « Le contrefactuel peut être considéré comme ce qui serait arrivé si un participant n’avait en réalité pas bénéficié du programme » (Ibid., 2016).

En effet, pour évaluer l’impact d’une intervention, il existe, généralement, deux principales méthodes (Ibid., 2016) :

• les méthodes expérimentales, qui permettent de construire le contrefactuel par assignation randomisée d’un groupe de participants au projet (le groupe de traitement) et d’un groupe de non-participants (groupe témoin) ;
• les méthodes non expérimentales (ou quasi expérimentales) qui assurent plutôt, a postériori, la reconstruction du contrefactuel par différentes techniques statistiques (Score de Propension et Appariement, Doubles Différences, Variables Instrumentales, Regression Discontinuity Design).

Une évaluation transversale (ou évaluation thématique) est celle centrée sur des thèmes, des interventions ou pratiques spécifiques constituant un centre d’intérêt particulier ou une préoccupation transversale (mainstreaming) pour l’institution (ici la Commission).

Exemples de thèmes : institutionnalisation du genre, gouvernance, participation citoyenne, gestion environnementale, équité et éthique sociale, etc.).

La fonction d’évaluation regroupe l’ensemble des dispositifs, des mécanismes des processus et règles qui organisent et encadrent l’activité d’évaluation et le développement de la pratique évaluative au sein d’une organisation ou institution. Elle est déclinée en des processus plus structurés, déclinés en quatre phases : la planification des évaluations, la programmation des évaluations planifiées, la mise en œuvre du portefeuille d’évaluations programmées et la rétroaction autour des évaluations. 

La fonction d’évaluation est différente de l’activité d’évaluation, qui est une démarche structurée d’appréciation la plus objective que possible de l’intervention, programmée et déclinée en quatre principales étapes dans le manuel d’évaluation : préparation administrative (recrutement ou mobilisation de l’expertise nécessaire pour l’évaluation), préparation technique (phase de démarrage et livrables), collecte des données et rédaction du rapport provisoire, examen, validation et approbation du rapport. 

La Gestion Axée sur les Résultats (GAR) est définie comme « une stratégie de gestion selon laquelle les données sur les résultats et sur le rendement orientent la mise en œuvre et déterminent l’affectation des ressources pour atteindre des objectifs préalablement définis, en réponse aux attentes des populations, des entreprises, des Organisations de la Société Civile et des États membres de l’Union ».

« La GAR est donc un processus continu de recherche de l’efficacité » (Ibid., 2020).

Une politique, un plan, un programme ou un projet, une stratégie sectorielle ou une réforme formulée et mise en œuvre dans le cadre de l’opérationnalisation et l’atteinte des objectifs du Traité de l’Union et du Protocole additionnel n°II, relatif aux politiques sectorielles de l’Union (Commission de l’UEMOA, 2015)³⁷.

Pour le Comité d’Aide au Développement (CAD-OCDE), le terme « intervention » désigne l’objet de l’évaluation. « Ce terme englobe tous les types d’initiatives de développement/d’interventions humanitaires potentiellement soumises à évaluation à l’aune de ces critères. Il peut s’agir d’un projet, d’un programme, d’une politique, d’une stratégie, d’un domaine thématique, d’un programme d’assistance technique, d’une activité de conseil stratégique, d’une institution, d’un mécanisme de financement, d’un instrument ou de toute autre activité. Le terme englobe les actions de développement, l’aide humanitaire, les opérations de maintien de la paix, les mesures d’atténuation et d’adaptation aux changements climatiques, les travaux normatifs et les activités non souveraines ». 

Lexique annexe au projet de Guide pratique pour la Planification Stratégique, la Programmation, la Budgétisation et le Suivi-évaluation (PPBS), Centre de programmation Stratégique, de Recherche et de veille (CSR), Commission de l’UEMOA, septembre 2015, page 28

Critères d’évaluation : définitions adaptées et principes d’utilisation, Direction de la Coopération pour le Développement, Comité d’Aide au Développement, décembre 2019, page 5

La méta-évaluation est une analyse contradictoire des processus, des méthodologies utilisées, de la qualité des données et de leur analyse (rigueur et impartialité) d’une ou de plusieurs évaluations déjà réalisées. Il s’agit, en somme, de procéder à l’évaluation d’une ou de plusieurs évaluations en vue de juger de leur qualité et/ou d’apprécier la performance des évaluateurs.

La méta-évaluation a pour finalité d’aider à la prise de décision de grandes portées stratégiques à l’adoption d’orientations stratégiques majeures pour l’organisation ou l’institution, sur la base de l’agrégation d’une série de résultats, d’observations, de conclusions et de recommandations tirées d’une série d’évaluations.

Dans le contexte spécifique de la Commission, le processus de méta-évaluation sera essentiellement orienté vers l’analyse de la cohérence des évaluations avec les Termes de Référence des études, la pertinence de la méthodologie et des données utilisées, la pertinence des analyses, commentaires et conclusions de l’évaluateur, ainsi que le réalisme et la faisabilité des recommandations formulées dans le rapport d’évaluation.

Au sein de la Commission, la mise en œuvre des évaluations est un processus interactif (glissant), décliné en quatre principales étapes :

• préparation administrative de l'évaluation (recrutement du Consultant ou mise en place de l’équipe d’évaluation) ;
• préparation technique de l’évaluation (phase de démarrage) ;
• collecte, analyse des données et rédaction du rapport provisoire ;
• examen, validation et approbation du rapport d’évaluation.

La planification stratégique consiste à concevoir un futur désiré ainsi que les moyens réels d’y parvenir. Il s’agit de mettre les problèmes de développement dans une vision de long terme, à partir d’une démarche fondée sur trois attitudes complémentaires vis-à-vis du futur, à savoir : 

• acquérir en commun une vision prospective des devenirs possibles et les futurs impossibles, souhaitables à long terme ;
• guider la conception, l’appropriation et la mise en œuvre collective d’une stratégie de développement plausible et durable ;
• éclairer le choix et la programmation des actions publiques et des initiatives privées.

Un processus participatif d’analyse des besoins en évaluations, de sélection du portefeuille d’évaluations prioritaires à réaliser sur une période donnée et de définition des modalités générales de sa mise en œuvre (ressources, programmations, approches globales, etc.).

La planification vise à fournir une vue globale anticipée et structurée sur le portefeuille d’évaluations prévues au cours d’une période relativement longue (environ 6 ans ou deux cycles de programmations triennales), sur les conditions et modalités de sa mise en œuvre ainsi que sur les domaines jugés prioritaires pour la redevabilité et l’aide au pilotage stratégique.

Les résultats de développement sont des changements tangibles sur les plans comportemental, institutionnel et social qui surviennent sur une période de trois à dix ans, généralement à la suite d’investissements coordonnés à court terme… (CAD-OCDE, 2002, page 5).

Un résultat de développement est, également, un extrant, un effet ou un impact (intentionnel ou non, positif ou négatif) associé à une activité de développement (op.cit.,
page 9).

Pour la Commission, un résultat est un changement descriptible ou mesurable sur les plans comportemental, institutionnel et social auprès de bénéficiaires directs ou indirects, qui survient à court, moyen ou long terme, à la suite d’actions et investissements coordonnés, entraîné par une relation de cause à effet.

Il s’agit d’un changement mesurable de la situation des bénéficiaires, attribuable à la politique, au programme, au projet ou à la réforme.

Un processus continu et intégré de collecte, d’analyse d’informations et d’appréciation des performances réalisées dans la mise en œuvre d’un projet, d’un programme ou d’une politique, en vue d’optimiser l’atteinte des résultats.

La fonction de suivi a pour finalité de contribuer à l’efficacité et à l’efficience des mécanismes de mise en œuvre et de gestion de l’intervention, à travers l’appréciation continue des réalisations et écarts sur les prévisions et la prise de mesures d’ajustements nécessaires pour notamment améliorer les performances opérationnelles (ressources, activités, réalisations ou produits, résultats).