Section I : Examen du système de collecte et de suivi
A. EXAMEN DU DISPOSITIF DE COLLECTE DES DONNÉES ET DE SUIVI DES INDICATEURS DE PERFORMANCE
9.3. L’examen du système de collecte et de suivi des indicateurs de performance consiste à procéder à une évaluation du système d’information, des méthodes et mécanismes mis en place pour l’élaboration et la validation du projet de rapport de performance.
9.4. Sur la base de cet examen, l’équipe d’audit doit s’assurer que le système de collecte des informations de performance a prédéfini, notamment, les informations et données à collecter et leurs sources respectives, leur canevas de collecte ainsi que la périodicité de la production, de la collecte et du traitement des informations requises.
9.5. L’équipe d’audit doit s’assurer que le système de collecte des informations de performance fonctionne de façon régulière à tous les niveaux et génère, dans les délais requis, des informations et données de performance avec des sources vérifiables, présentées suivant le canevas préconisé.
9.6. L’équipe d’audit doit rédiger une note de synthèse sur les constats majeurs relevés, au titre du système de collecte des informations et des données de performance, aux fins d’en faire mention au rapport ou pour approfondissement.
9.7. Pour vérifier le dispositif de suivi-évaluation ayant généré les informations du rapport de performance, l’équipe d’audit peut administrer des questionnaires aux responsables de programme, coordonnateurs de projet, responsables des structures décentralisées de l’entité et aux responsables chargés du suivi-évaluation (S&E).
B. EXAMEN DU SYSTÈME DE SUIVI-ÉVALUATION DE L’ENTITÉ
Encadré n°20 : Exemple de questionnaires d’appréciation du système de S&E de l’entité à l’attention de la direction/service chargé du S&E
QUESTIONS :
1. Pour le dispositif de suivi-évaluation, demander et obtenir les documents et informations ci-dessous :
- organigramme et textes régissant la direction/service chargé du S&E
- liste du personnel de la cellule (nom, prénoms, profil, fonction, expérience professionnelle)
- renforcement de capacités (thèmes et nombre de formations, en relation avec le suivi-évaluation, reçues au cours des cinq dernières années)
- outils et supports utilisés dans le cadre du suivi-évaluation
- mécanisme d’analyse des informations
- interaction entre la direction/service chargé du S&E et les différents programmes (surtout ceux financés directement par les partenaires au développement)
- mécanisme de remontée de l’information sur les activités réalisées en maîtrise d’ouvrage déléguée (ONG, bureaux d’études spécialisées, collectivités locales, communautés bénéficiaires, etc.)
2. Existe-t-il un manuel de suivi-évaluation ? Si oui, tous les gestionnaires de projet ont-ils connaissance de l’existence de ce dernier ?
3. Y a-t-il eu des séances d’appropriation du manuel par tous les intervenants de la chaîne de collecte, de production, de traitement, d’analyse et de diffusion de l’information (si oui, obtenir la preuve) ?
4. En début de chaque gestion, les responsables des activités et des projets sont-ils informés de leurs programmes annuels de travail ?
* Si oui : par quel biais en sont-ils informés ?
5. La collecte de l’information présentée au rapport de performance se fait-elle de façon décentralisée ?
* Si oui
- demander et obtenir la périodicité de collecte des informations et le temps moyen de transmission de l’information collectée à la structure centrale (la direction/service chargé du S&E) ;
- comment les informations sont communiquées à la direction/service chargé du S&E (par téléphone, internet, rapports, fiches de suivi, ou autres)
* Si non demander et obtenir les sources des informations relatives aux structures décentralisées qui figurent dans le rapport de performance ?
6. Les gestionnaires des projets et/ou les structures opérationnelles des différents programmes du BP élaborent-ils des rapports d’activités ?
* Si oui :
- quelle est la périodicité de ces rapports et qui en sont les destinataires ?
- existe-t-il un canevas pour l’élaboration des rapports d’activités ?
- obtenir une copie de tous les rapports élaborés au cours de la gestion sous revue et actuellement.
* Si non se faire décrire la méthode utilisée par ces derniers pour rendre compte de leurs activités au niveau central (la direction/service chargé du S&E).
7. Comment la direction/service chargé du S&E corrobore les informations qui lui sont transmises ?
8. Quelle est la méthode de traitement des informations ?
* Si informatisée :
- vérifier l’existence de base de données
- obtenir les outputs générés par le système en place (tableaux de bord)
* Si non informatisée obtenir la description de la méthode utilisée
9. Des rapports intermédiaires sont-ils élaborés par la direction/service chargé du S&E ?
* Si oui demander et obtenir :
- la périodicité de ces rapports
- la liste des destinataires des rapports
- s’ils ont permis d’améliorer la gestion. En cas de réponse positive obtenir la preuve (lettre, note, ou autre)
10. Les structures opérationnelles et/ou gestionnaires de projets sont-ils destinataires des rapports de performance de l’entité ?
11. La direction/service chargé du S&E effectue-t-elle des extraits des observations de la JF aux structures opérationnelles et/ou gestionnaires de projets ? (Si oui, obtenir les copies de ses extraits)
12. Se faire décrire par la direction/service chargé du S&E le processus de validation des rapports de performance (préparatifs, participants, mode de déroulement).
13. En cas de non-existence de manuel de suivi-évaluation, se faire décrire la procédure de collecte des informations au rapport.
Source : Cour des comptes/UEMOA
Encadré n°21 : Exemple de questionnaire à administrer aux structures opérationnelles et/ou gestionnaires de projets
Questions :
1. Des formations sur la réforme GAR ont-elles été organisées à l’intention des structures opérationnelles et/ou gestionnaires de projets inscrits au BP ?
2. En début de chaque gestion, les responsables des activités et des projets sont-ils informés de leurs programmes annuels de travail ?
* Si oui : par quel biais en sont-ils informés ? participent-ils à l’élaboration du BP ? participent-ils à l’élaboration de leurs PTA ?
3. La direction/ service chargé du S&E a-t-elle organisée et mis en place un processus de collecte de l’information ?
* Si oui, demander et obtenir : la périodicité de collecte des informations ; les méthodes de traitement réservées aux informations collectées ; le temps moyen de transmission des informations produites à la direction/ service chargé du S&E ; comment les informations sont communiquées à la direction/ service chargé du S&E (par téléphone, internet, rapports, fiches de suivi, ou autres).
* Si non, arrive-t-il que la direction/service chargé du S&E demande des informations sur les activités exécutées par les structures opérationnelles. En cas de réponse affirmative, obtenir la périodicité, les moyens par lesquels les demandes sont communiquées, les supports et les moyens de transmission des informations demandées.
3. Élaborez-vous des rapports d’activités ?
* Si oui :
- quelle est la périodicité de ces rapports et qui en sont les destinataires ?
- existe-t-il un canevas pour l’élaboration des rapports d’activités ?
- obtenir une copie de tous les rapports élaborés au cours de la gestion sous revue et actuellement
* Si non, se faire décrire la méthode utilisée par ces derniers pour rendre compte de leurs activités au niveau central (la direction/ service chargé du S&E).
4. Recevez-vous des missions de la direction/service chargé du S&E et du vérificateur interne ?
- quelle en est la périodicité ?
- les missions sont-elles relatives aux activités que vous mettez en œuvre ?
- les missions formulent-elles des recommandations dans le but d’augmenter vos performances (obtenir les preuves) ?
6. Recevez-vous les rapports élaborés par la direction/service chargé du S&E ?
* Si oui, obtenir copie des rapports ; ces rapports vous ont-ils permis d’améliorer vos performances ? En cas de réponse positive, obtenir la preuve (mesures prises).
7. Êtes-vous destinataires des rapports de performance de l’entité ? (Si oui, obtenir des copies)
8. La direction/ service chargé du S&E vous adresse-t-elle des extraits des observations de la Cour des comptes ? (Si oui, obtenir les copies de ses extraits)
9. Participez-vous à la validation des rapports de performance ? (Préparatifs, participants, mode de déroulement)
Source : Cour des comptes/UEMOA
9.8. L’équipe d’audit doit traiter les données issues des réponses écrites aux questionnaires qualitativement et quantitativement pour argumenter les recommandations de la JF.
9.9. À la fin de l’examen du dispositif de suivi-évaluation, l’équipe d’audit doit rédiger une note de synthèse sur les constats majeurs relevés, aux fins d’en faire mention au rapport d’audit.