Engager une démarche d'impact - Retour sur la collaboration entre Wikimédia France et l'Agence Phare

Posted on 12 février 20219 septembre 2022 by Rémy Gerbet

Depuis ses débuts, l’association Wikimédia France est attachée à promouvoir la production et diffusion de connaissances libres et et ouvertes. C’est dans ce sens, qu’elle intervient autant que possible en soutien des communautés de bénévoles qui mobilisent et se mobilisent au quotidien autour des projets de la communauté (Wikipédia, Wikicommons, Wikidata).

Depuis un certain temps, cependant, l’association utilisait des indicateurs qui avaient « peu de valeurs » pour au moins deux raisons :

d’une part, ces indicateurs avait été peu discutés seulement en interne ;
d’autre part, les données collectées à travers ces indicateurs étaient peu ou pas utiles au fonctionnement de l’association.

Pour cette raison, entre septembre et décembre 2018, l’association Wikimédia France a bénéficié de l’accompagnement de l’Agence Phare pour repenser ses indicateurs et son impact. Cette démarche a été collective du début à la fin. Un groupe de travail composé de salariés, d’une bénévole de l’association, Sukkoria, et du président de l’association Pierre-Yves Beaudouin ont élaboré ensemble un nouveau système d’évaluation. Des partenaires de l’association et des membres ont aussi participé au processus lors de discussions avec les équipes de l’Agence Phare.

Deux ans plus tard, les conséquences de ce travail sont bien visibles dans l’organisation et l’activité de l’association. Certaines logiques et pratiques ont été transformées mais, surtout, notre angle de vue sur l’impact à radicalement changé. Nous ne collectons pas des indicateurs pour faire plaisir à des financeurs, nous les collectons avant tout pour nous. Wikimédia France s’est recentrée sur le cœur de ses missions qui avaient trop tendance à s’effacer derrière des partenariats prestigieux ou des contenus libres novateurs. Ainsi, l’association est en parfaite adéquation avec le principe édicté dans les recommandations 2030 du Mouvement Wikimédia qui promeut la centralité des personnes, en résumé, le fait que chaque aspect de notre Mouvement doit répondre aux besoins et aux difficultés des personnes qui y contribuent ou en bénéficient, de sorte que toutes et tous puissent contribuer dans les meilleures conditions à rendre accessible la totalité du savoir humain.

Pourquoi engager une démarche d’impact ?

Wikimédia France utilisait un système d’indicateurs depuis des années dont la pertinence et l’utilité ont pu faire débat en interne comme en externe au niveau du mouvement Wikimédia. Certains de ces indicateurs sont en effet des Shared Metrics commun à la plupart des affiliés du mouvement afin de bâtir une base harmonisé de l’évaluation à l’échelle mondiale. Comme toute tentative d’une telle ampleur, l’évaluation reposaient sur le plus petit facteur commun (participation, comptes crées et contenus). À cette base d’évaluation s’est ajoutée la crise de gouvernance de 2017 de l’association qui a conduit certains membres à s’interroger sur la pertinence des actions menées et les objectifs fixés. L’équipe salariée s’interrogeait aussi beaucoup sur le sens des projets menés. Il y avait donc une volonté ferme de se réinventer, de changer, de tester de nouvelles choses et de prendre des risques. Cette volonté était activement supportée par le nouveau conseil d’administration et la direction salariée.

Interroger et mesure l’impact : quel intérêt pour une association ?

Aujourd’hui, le mot “impact” est devenu omniprésent dans l’univers médiatique. Le terme “impact” renvoie alors très souvent à l’ensemble des effets de long-terme d’une organisation sur ses parties prenantes (citoyens, bénévoles, partenaires) et sur son environnement.

Pour évaluer, comprendre ou mesurer son impact, il est possible alors de définir un ensemble d’indicateurs, qui sont des “moyens de vérification/preuves” pour interroger et démontrer son impact, et pour chacun de ces indicateurs, il est possible de collecter des données ou des “indices” qui permettront de renseigner ces indicateurs.

Définir des indicateurs et collecter des données n’est pas simplement un enjeu neutre ou technique : il s’agit d’un acte politique. En effet, pour une association, définir des indicateurs est 1) une façon de se donner les moyens de comprendre sa manière de contribuer au changement du monde, 2) une manière de clarifier et/ou de redéfinir son identité et son projet, 3) une manière de se raconter et de mettre en récit autrement les activités de l’association.

Pour une association comme Wikimédia France, redéfinir ses propres indicateurs, c’est ainsi se donner les moyens de réaffirmer la singularité de sa vision et de ses ambitions.

1er objectif : retrouver le sens

Quelle est l’utilité de l’association ? Quels sont ses objectifs ? Quelle est sa vision ?

Étrange ! Pour une association, le sens de l’action est au cœur de son fonctionnement et de sa raison d’être mais Wikimédia France est une association un peu particulière. En effet, elle n’est pas née pour résoudre un problème sociétal défini. Elle a été constituée pour répondre aux besoins d’une communauté bien précise, celle des contributeurs à l’encyclopédie Wikipédia et aux autres projets Wikimédia. Elle a été pensée pour servir d’interface entre les actions en ligne de ces nombreux bénévoles qui améliorent l’encyclopédie et les pouvoirs publics. Elle est, à la base, une association soutenant et promouvant les intérêts du groupe qui la compose.

Cependant, plus le projet encyclopédique de Wikipédia grandit et s’impose dans le quotidien de millions d’internautes, plus les missions de l’association changent. Elle s’est retrouvée confrontée à des problématiques sociétales : accessibilité, discrimination, éducation aux médias et à l’information, désinformation, modération, Open Content, Open Data…. Elle a dû évoluer, se repenser, développer de nouvelles activités voire se spécialiser. Aujourd’hui, Wikimédia France agit dans des domaines très variés :

elle milite pour un numérique libre,
elle forme des professionnels de la culture pour libérer, ouvrir et partager les données et contenus culturels,
elle collabore avec les enseignants et les élèves dans une logique d’éducation aux médias et à l’information,
elle soutient les actions d’autres associations comme les Sans PagEs pour réduire le biais de genre sur les projets Wikimedia,
elle préserve et valorise la diversité linguistique en développant des outils comme Lingua libre qui permettent à de nouvelles communautés de partager leur langue et leur culture sur les projets Wikimedia

Tout cela sans oublier ses fondamentaux : le soutien à la communauté des contributeurs et contributrices de l’encyclopédie et l’action auprès du grand public pour sensibiliser aux projets Wikimedia.

Une palette d’action très large qui s’est développée au fil des années pour répondre aux enjeux auxquels l’association était confrontée et où elle semblait pouvoir/devoir apporter une réponse. La situation était similaire au niveau mondial. La solution portée par le mouvement Wikimedia pendant des années a été de soutenir tant bien que mal des initiatives éparses qui ne parvenaient pas à répondre au problème global.

Or depuis 2018 et dans la lignée des réflexions portées au niveau du mouvement, l’association a souhaité se recentrer sur des missions claires, précises avec des objectifs définis et énoncés. Un peu d’introspection ne fait jamais de mal. Nous avions souvent tendance à démultiplier les projets parce que celui-ci était intellectuellement ou politiquement intéressant pour la communauté et nos membres ou pour répondre de manière quasi-immédiate à une nouvelle problématique. Nous devions retrouver une grille de lecture.

Que notre principale boussole soit l’impact !

Les choses ont voulu qu’au moment de ce travail avec l’Agence Phare, l’association était aussi en renouvellement de son plan stratégique sur 3 ans et les deux réflexions menées en parallèle se complétaient parfaitement. Au delà, de cette première réflexion et comme tous les acteurs de l’ESS, nous voulions répondre à une question centrale : en quoi l’association change la vie des personnes qui la côtoient ou travaillent avec elle ? Nous ne nous étions jamais posé la question en partant du principe que Wikipédia en tant que vitrine de notre mouvement était la clé à quasiment à toutes les solutions. Or, l’association apporte d’autres solutions, elle est porteuse d’innovation et surtout elle est parfaitement complémentaire avec l’encyclopédie. Au lieu, de nous cacher derrière l’encyclopédie, il était temps de nous affirmer comme une organisation à but non lucrative avec des objectifs sociaux clairs. En gros, il était temps pour l’association de terminer sa crise d’adolescence et de se projeter vers l’avenir. L’association agit sur la société. Elle apporte des solutions, accompagne le changement et transmets des valeurs. Nous devions le démontrer et le prouver.

2e objectif : mieux communiquer sur les activités de l’association ?

Qu’avons-nous fait ? Pourquoi l’avons nous fait ? Quels sont les résultats ?

Les bilans d’actions sont des outils intéressants mais ils ne marquent pas le point final d’un projet. Ce sont plutôt des transitions ou des points d’étapes. Suivre l’évolution des pratiques, implique un travail sur le long terme. Une capacité à suivre presque de manière individualisée les publics cibles. Cela implique de se doter d’outils de collecte spécifiques et enfin d’être capable de communiquer efficacement. Passer d’une logique de bilan à une logique d’impact n’est pas aisée. Nous voulions montrer l’impact à long terme de l’association et surtout pouvoir communiquer autour du travail mené de manière différente. Faire le lien entre des indicateurs récoltés sur plusieurs années et montrer comment l’association a impacté le milieu scolaire, le monde de la culture ou tout simplement amélioré l’engagement de ses bénévoles, est un exercice bien difficile mais qui est primordial si nous voulons attirer de nouveaux bénévoles, renforcer nos partenariats existants et s’imposer comme un acteur majeur auprès des pouvoirs publics. Surtout, mieux communiquer et diffuser les projets menés par l’association, c’est aussi renforcer la confiance de nos donateurs envers les missions de Wikimédia France. Nous nous devions donc d’intégrer aussi cette démarche d’impact dans une réflexion plus globale autour de la communication de l’association.

Quels sont les conséquences de cette démarche ?

Depuis cet accompagnement, beaucoup de choses ont été faites et beaucoup restent à faire. L’association a pu fixer ses trois impacts :

Impact 1 : Développer l’accès, la compréhension et l’usage des projets Wikimedia.
Impact 2 : Soutenir et accompagner la production et la diffusion de contenus libres
Impact 3 : Agir sur les politiques et les pratiques des institutions publiques

Pour chacun de ces impacts, Wikimédia France a défini un certain nombre d’indicateurs pour lesquels elle collecte régulièrement des données qui sont actualisées et partagées entre les salariés. Surtout, cette démarche collective a permis de repenser la manière dont le rapport d’activité est structuré.

Les programmes ont été repensés pour offrir une certaine stabilité qui nous permettra d’analyser sur le long terme les résultats de l’association. les chargé·es de missions sont toutes et tous responsables de la collecte des indicateurs. Le rapport d’activité de l’association a changé pour mettre en avant l’impact plutôt que du bilan de programme. Instaurer cette notion d’impact au sein de Wikimédia France nous a permis de transcender l’aspect programmes et projets pour nous concentrer sur ce qui lie les activités ensemble (que ce soit par type de public, d’institutions ou de contenus).

Cependant, tout n’est pas encore terminé. La collecte des données et leur analyse demeure largement perfectible notamment à cause de notre dépendance à de nombreux outils dont nous n’avons pas la maîtrise. Nous rencontrons encore des difficultés à récupérer des données qualitatives et nous devons donc développer des outils et des méthodes d’entretiens et d’échanges visant à recueillir ce type d’informations. Enfin, la communication de nos résultats aux membres, à la communauté et aux donateurs n’est pas encore suffisamment transparente, directe et pédagogique. Le travail va se poursuivre mais nous sommes convaincus que cette transformation apportera à l’association une assise, une stabilité et une plus grande capacité à se saisir des enjeux sociétaux, auxquelles elle peut et doit apporter des solutions.

Le regard de l’Agence Phare (Emmanuel Rivat)

Wikimédia France est un projet collectif, et il n’était pas envisageable d’avancer sur ce projet sans associer différentes parties prenantes.

Afin de structurer une réflexion concrète sur l’impact, l’accompagnement a été structuré en six étapes :

Étape 1: définir les objectifs de la réflexion sur l’impact : S’agit-il seulement d’un enjeu de communication ? De fédérer le regard des équipes en interne sur le sujet de l’impact ? De se donner les moyens d’améliorer la qualité des actions ? S’agit-il plus largement de structurer des outils pour accompagner le pilotage global de l’association (suivi des objectifs, des résultats ?).

Étape 2: définir le périmètre de la réflexion sur l’impact : on pourrait avoir le sentiment qu’il faut nécessairement tout évaluer, tout comprendre, tout mesurer. Or c’est une erreur classique. Une association doit prioriser ce périmètre : quelles activités souhaite-t-elle évaluer ? Auprès de quels publics ?

Étape 3: stabiliser les impacts visés et construire des indicateurs de qualité : pour ce faire, l’Agence Phare a proposé plusieurs ateliers à Wikimédia France, au cours desquels des indicateurs issus de différentes sources (entretiens avec des bénévoles, travaux de recherche) ont été discutés, validés ou bien mis de côté.

Étape 4: Identifier les méthodes adéquates : en fonction des objectifs, du périmètre et des impacts visés, l’association peut alors choisir entre trois grandes approches : une approche quantitative (mesurer), une approche qualitative (comprendre), ou une approche financière (monétiser).

Étape 5 : identifier les modalités de collecte de données : l’association choisit-elle d’internaliser parce qu’elle en a les ressources et compétences ? Ou bien d’externaliser ?

Étape 6 : identifier les modalités d’analyse et de valorisation des données : sous la forme d’un rapport d’activité ?

Wikimédia France a fait un certain nombre de choix au cours de ces différentes étapes, avec toujours le souci d’associer les salariés, les bénévoles et le président de l’association à la réflexion. Il s’agit d’une bonne pratique et d’un enseignement important de cette démarche.

En effet, cette exigence a contribué fortement à la qualité des échanges et du contenu produit au sein de l’association, d’une part, et d’autre part, a constitué un levier de diffusion et d’appropriation de la démarche en interne.

L’évaluation d’impact est souvent perçu comme un enjeu complexe et très technique.Or les associations doivent pouvoir se donner les moyens de redéfinir leurs propres normes si elles veulent avoir une chance de peser sur les normes qui les entourent.

La démarche menée par Wikimédia France est intéressante parce que la mesure de l’impact n’est pas seulement pensée comme le changement “des petits pas”, mais bien le changement des pratiques et des normes sur les données qui gouvernement nos comportements et nos propres limitations.

Alors que les associations gestionnaires ou les startups sociales oublient trop souvent d’inclure dans leur raison d’être la coopération avec les institutions, Wikimédia France s’est donné les moyens de penser son impact sur plusieurs niveaux complémentaires : l’accompagnement des communautés de contributeurs, mais également l’accompagnement des politiques publiques sur la cause des données libres et ouvertes.

La démarche menée par Wikimédia France est également intéressante et peut être un exemple pour d’autres associations sur deux plans :

La valorisation de la participation des salariés, des élus, des bénévoles à la construction des indicateurs

La valorisation de la place de l’humain (et d’indicateurs qualitatifs) dans l’analyse de l’impact de projet numérique/data. Pas d’impact numérique sans humain, pas de mesure quantitative sans qualitatif !

La démarche menée par Wikimédia France montre in fine qu’il s’agit d’un sujet important parce qu’il préfigure et reformule le monde que nous souhaitons atteindre.

Engager une démarche d’impact – Retour sur la collaboration entre Wikimédia France et l’Agence Phare