Imaginez ce scénario : c’est la première séance d’un programme sportif populaire pour les jeunes dans un centre communautaire très fréquenté. Des dizaines de jeunes se saluent, examinent l’endroit et se mêlent aux entraîneurs dans les gradins. L’engouement est palpable alors que les jeunes arrivent sur le terrain. Bientôt, l’espace se remplit de sons satisfaisants de ballons qui rebondissent sur du bois franc, qui claquent sur des mains, qui effleurent des filets et qui frôlent les murs arrières. Des voix enthousiastes s’élèvent au-dessus de la musique de fond alors que les jeunes encouragent (et parfois provoquent) leurs pairs, et la température ambiante augmente régulièrement alors que les entraîneurs font passer le programme de l’échauffement aux exercices, puis au jeu, et enfin à un débreffage participatif. Après une acclamation chaleureuse, le cercle se rompt et les jeunes affluent dans l’atrium ou dans l’aire d’attente pour prendre des collations, retrouver les membres de leur famille, repenser aux jeux de la journée et parler de nouveau avec leurs amis.
Pour 10 points : que manque-t-il à ce merveilleux scénario temporel?
Si votre première réponse a été « une évaluation avant le programme », félicitations, c’est la bonne réponse. Bien que facile à négliger, une évaluation de programme rigoureuse et fondée sur la théorie est la clé pour déterminer l’effet de la participation au programme sur les résultats positifs des jeunes, du savoir-faire physique aux compétences de vie essentielles telles que le leadership et l’estime de soi. Même les objectifs immédiats, fondés sur l’expérience, tels que la satisfaction, l’engagement et le plaisir, doivent être évalués pour déterminer si les objectifs du programme sont atteints.
L’évaluation de programme : trop souvent le dernier élément de la liste des priorités
Alors pourquoi la nécessité d’une évaluation de programme dans le domaine du sport pour les jeunes est-elle si souvent ignorée ou écartée? Dans le contexte d’un programme sportif très engageant, l’importance de l’évaluation tend à être éclipsée par d’autres activités. Il est facile de supposer que puisque les jeunes assistent au programme et participent aux activités prévues, le programme atteint ses objectifs. De nombreuses organisations (86 % des organisations sans but lucratif de l’Ontario, selon un rapport de 2018) ne disposent pas de personnel ayant l’expérience ou l’expertise nécessaire pour concevoir et mettre en œuvre des évaluations de programme (Ontario Nonprofit Network, 2018). Il est possible que les organisations ne sachent pas quel résultat mesurer ou comment le mesurer (Salesforce, 2019). Le manque d’argent, de personnel approprié et de temps pour mettre en œuvre les évaluations de programme ont été cités comme les principaux obstacles à la réalisation d’évaluations et à l’utilisation des résultats des évaluations, bien qu’un investissement accru dans l’évaluation de programmes soit un besoin connu (Ontario Nonprofit Network, 2018; Technology Affinity Group, 2018). La nécessité de disposer de meilleurs outils pour saisir les conséquences du sport sur le développement des jeunes est également bien documentée (Sportanddev, 2011). Mais la principale raison de l’absence ou de la médiocrité des évaluations de programme dans le cadre du sport pour les jeunes – et la question qui sera abordée dans le présent article – est peut-être la difficulté d’impliquer les jeunes dans les processus d’évaluation.
Engager les jeunes dans l’évaluation : aussi facile qu’attraper un poisson avec les mains
Les jeunes sont notoirement difficiles à engager dans l’évaluation avant et après le programme. Recueillir des réponses aux sondages peut être aussi compliqué qu’attraper un poisson avec les mains, comme le témoigne le taux de réponse moyen de 10 à 20 % sur le terrain (Fryrear, 2015). Les efforts et les heures investis dans le suivi des jeunes par le biais d’appels téléphoniques, de courriels et de rappels en personne peuvent présenter un retour sur l’investissement décroissant ainsi qu’une expérience de découragement pour le personnel lorsque les taux de réponse restent faibles malgré les meilleurs efforts de toutes les parties concernées. Les plates-formes de sondage typiques ne peuvent pas rivaliser avec Instagram, YouTube, TikTok et les derniers jeux et les applications les plus performantes. Au cours d’une journée typique, les adolescents passent 6,5 heures à utiliser les médias à l’écran, et les préadolescents 4,5 heures (Joshi et coll., 2019). Une enquête d’évaluation bien conçue ne devrait pas prendre plus de 10 ou 15 minutes à remplir. Est-ce trop demander de passer occasionnellement environ 5 % de son temps d’écran quotidien à une enquête liée au sport? Nous ne pensons pas, mais les statistiques ne sont pas de cet avis.
Innovation en matière d’évaluation au MLSE LaunchPad
Au MLSE LaunchPad, une approche créative et novatrice sur l’engagement des jeunes dans l’évaluation de programme a permis d’accroître l’adhésion des jeunes et des entraîneurs et de générer des données plus nombreuses et de meilleure qualité. Les résultats de l’évaluation ont été utilisés pour améliorer la qualité des programmes, accroître leur incidence et améliorer les stratégies d’appel et de rapport aux donateurs.
Le présent article présente plusieurs stratégies utilisées au MLSE Launchpad pour faire participer les jeunes aux processus d’évaluation de programme. Nous définissons les jeunes au sens large, de 6 à 29 ans. Notre expérience concerne divers jeunes urbains qui participent à des programmes gratuits dans un centre collaboratif de Sport For Development situé au centre-ville de Toronto. Notre population comprend une forte proportion de jeunes racialisés, de jeunes nouveaux arrivants et de jeunes issus de familles à faible revenu, avec un équilibre approximativement égal entre les garçons et les filles. Toutefois, ces concepts peuvent être appliqués dans divers contextes, notamment dans des programmes compétitifs et payants et peuvent être utiles dans toute organisation où les dirigeants et les administrateurs voient la nécessité de faire participer davantage de jeunes – et de les faire participer plus efficacement – aux processus d’évaluation.
Pratiques actuelles sur le terrain
Les sondages sont un outil commun pour évaluer les résultats des programmes sportifs pour les jeunes. Les sondages peuvent être créés à partir de zéro pour traiter des résultats spécifiques intéressant l’organisation sportive, ou peuvent intégrer des mesures de résultats préalablement élaborées, telles qu’une échelle d’estime de soi ou un questionnaire sur le savoir-faire physique, qui ont été testées et validées. Les sondages sont généralement réalisés à l’aide d’un crayon et d’un papier ou par le biais de services en ligne tels que SurveyMonkey, les données étant ensuite transférées vers un logiciel tel qu’Excel pour une analyse, une visualisation et un rapport plus approfondis. Dans certaines organisations, il incombe aux formateurs et aux responsables de programmes de collecter les données nécessaires. D’autres organisations font appel à du personnel de gestion, des bénévoles ou des évaluateurs et consultants externes. Dans la plupart des cas, les taux de réponse sont très faibles, l’incitation à répondre aux sondages est inefficace et la charge de travail pour augmenter le nombre de répondants et gérer les données qui en résultent est insoutenable.
Parmi les autres techniques d’évaluation utilisées dans le cadre du sport pour les jeunes, on peut citer les évaluations observées des aptitudes fondamentales au mouvement, du niveau de forme physique ou d’autres résultats liés à la performance physique. Les groupes de discussion ou les entretiens avec les principales parties prenantes sont souvent utilisés pour générer des données qualitatives, notamment un retour d’information sur l’expérience du programme et des résultats moins tangibles qui peuvent être plus difficiles à évaluer quantitativement, comme la manière dont les participants ont l’intention d’appliquer les enseignements du programme en dehors de celui-ci. Les données issues des groupes de discussion et une approche mixte peuvent également accroître l’utilité des résultats de l’évaluation du programme en ce qui concerne le récit et l’engagement des parties prenantes.
Les approches typiques de l’évaluation de programme présentent plusieurs problèmes pertinents pour le contexte du sport chez les jeunes. Les échelles publiées et les sondages élaborés dans les milieux universitaires ont tendance à être longues et peuvent inclure un langage qui ne convient pas aux jeunes. Il est difficile de trouver des questionnaires adaptés à l’âge pour évaluer de nombreux résultats d’intérêt dans le secteur du sport. Et de nombreux sondages utilisent une approche plus clinique ou axée sur les lacunes, ce qui peut être rebutant pour les jeunes et contredit une approche de développement positif des jeunes dans les programmes sportifs (Fraser-Thomas et coll., 2005). Lorsque les outils ne sont pas bien conçus pour l’usage auquel ils sont destinés, la qualité des données qui en résultent est réduite et leur utilité est amoindrie.
Les évaluations des mouvements observés présentent également de nombreux obstacles à la mise en œuvre. La grande quantité d’espace, de temps et de ressources humaines nécessaires rend ce type d’évaluation peu pratique dans de nombreux contextes. Les jeunes peuvent trouver que les tests physiques sont ennuyeux ou sont une perte de temps; en tant que tel, il peut être impossible d’obtenir le niveau d’effort et d’engagement requis. Les entraîneurs peuvent ne pas aimer le fait de perdre du temps de programme – du temps qu’ils considèrent comme mieux dépensé pour le développement des compétences ou le jeu de compétition. En effet, dans le contexte d’un cycle de programme de 8 semaines, le fait de consacrer une session à l’évaluation des mouvements avant et après le programme consomme 25 % du temps disponible pour le programme.
Les groupes de discussion exigent également que l’on détourne du temps des activités du programme ou que les jeunes assistent à des séances supplémentaires pour y participer. Comme de nombreux jeunes se précipitent de l’école à leur programme sportif, se pressent pour le dîner et faire leurs devoirs avant de se coucher, et jonglent éventuellement avec un emploi à temps partiel, un rôle de bénévole ou des responsabilités familiales, il peut être impossible de consacrer plus de temps à ces activités. Les jeunes préfèrent naturellement être sur le terrain ou s’occuper de leur propre vie.
Modèle de mesure « MISSION » du MLSE LaunchPad
L’acronyme « MISSION » englobe les meilleures pratiques issues de trois années d’expérience de travail dans notre cadre. Les principes ont été codifiés et appliqués à tous nos travaux de recherche et d’évaluation, et ont servi de base à la conception et à la mise en œuvre de nos cadres, processus et outils d’évaluation, ainsi qu’à nos partenariats de recherche.
Minimum – N’effectuez des sondages auprès des jeunes que lorsque les résultats seront utilisés dans la prise de décisions.
Ce principe réduit la charge de travail des jeunes, permet d’éviter la lassitude des sondages et encourage un engagement élevé en démontrant aux jeunes que leurs réactions conduisent à des changements qu’ils peuvent constater. Les résultats finaux sont une efficacité accrue et une clarté administrative sur la manière dont les données d’évaluation seront utilisées, c’est-à-dire pour l’objectif décisionnel spécifique que les données ont été collectées pour soutenir.
Introspection – Phrasez les éléments du sondage comme des énoncés personnels.
D’après l’expérience que nous avons acquise en interrogeant plus de 10 000 jeunes participants, les déclarations personnelles suscitent un lien personnel plus fort et ont plus de sens pour les jeunes répondants, car ils peuvent facilement essayer de déclarer des choses, ce qui se traduit par des réponses plus honnêtes qui reflètent mieux les résultats des jeunes. Par exemple, nous utilisons des énoncés comme « Je me vois comme un leader » ou « Je sens que j’ai de quoi être fier » au lieu de « Vous voyez-vous comme un leader? » ou « Sentez-vous que vous avez de quoi être fier? ».
Succinct – Utilisez le moins d’éléments de sondage nécessaires pour obtenir des résultats significatifs.
Nous nous efforçons de garder nos mesures de résultats brèves, la plupart d’entre elles étant composées d’environ dix éléments. Dans les cas où un programme souhaite mesurer deux résultats (par exemple, l’estime de soi et la compétence sociale), le sondage qui en résulte sera d’une vingtaine de questions. Cela permet de réduire le temps passé à remplir les sondages, de maintenir l’engagement des jeunes dans le processus et de diminuer le risque de données moins fiables qui peuvent résulter du fait que les jeunes parcourent un long sondage aussi rapidement que possible sans vraiment lire et considérer les éléments ou les options de réponse. La limitation du nombre de mesures des résultats laisse également la possibilité d’intégrer des questions supplémentaires liées au processus, tel que le niveau d’intérêt pour une nouvelle initiative, la satisfaction à l’égard d’un programme existant ou le meilleur jour de la semaine pour programmer un événement spécial; ou encore des questions d’intérêt particulier pour les personnes offrant du financement.
Structuré sur les forces – Formulez les questions du sondage de manière positive pour renforcer les résultats positifs des jeunes.
Les questions du sondage formulées de manière positive mettent l’accent sur les points forts et non sur les points faibles, tout en permettant aux jeunes d’indiquer qu’ils ne ressentent pas actuellement l’attribut positif auquel ils font référence en étant en désaccord avec l’énoncé. Les éléments formulés négativement sont d’une utilité douteuse dans les sondages auprès des jeunes (Jackson Barnette, 2000), peuvent projeter un sentiment de diagnostic et créer une expérience de fin de sondage qui peut susciter des émotions négatives ou aliéner les jeunes. Par exemple, les questions de sondage comme « Je me sens respecté dans mon programme » ou « Je me sens utile » encouragent le répondant à réfléchir aux attributs positifs qu’il possède peut-être déjà ou qu’il est en train de développer grâce au programme. Cela contraste fortement avec les questions fondées sur le déficit comme « Je ne me sens pas respecté dans mon programme » et « Je me sens inutile ».
Implication des entraîneurs – Faites participer l’entraîneur ou le responsable des jeunes à la conception et à la réalisation du sondage.
L’évaluation n’est pas un travail individuel laissé aux seuls évaluateurs, mais plutôt un élément clé du programme. Le personnel de première ligne est l’un des plus grands atouts des programmes sportifs de qualité. Les relations entre les jeunes et les adultes sont un déterminant important des résultats positifs pour les jeunes, et de nombreux jeunes développent des relations significatives et à long terme avec leurs entraîneurs et autres responsables de programmes. À ce titre, les entraîneurs et les responsables de programmes sont souvent mieux placés que le personnel de direction ou d’évaluation pour distribuer des tablettes à des fins d’évaluation de programmes ou pour travailler par le biais de simples sondages auprès de très jeunes participants. Au mieux, la collecte de données est un effort de collaboration impliquant chacune des parties susmentionnées (entraîneurs, gestionnaires et évaluateurs) pour maximiser les taux de réponse et la qualité des données, et garantir la compréhension des instructions.
Outil en ligne – Collecte de données numériques pour maximiser l’engagement et l’honnêteté des jeunes.
Les recherches actuelles mentionnent que les jeunes sont plus honnêtes face à de la technologie qu’ils ne le sont face à face avec un autre être humain (Radovic et coll., 2018). Compte tenu de notre dépendance accrue à la technologie numérique pour tout, de l’interaction sociale, aux transactions bancaires et à l’éducation, cela n’est pas surprenant. Nous pouvons tirer parti de cette réalité en recueillant des données par le biais de plates-formes numériques engageantes qui intègrent des éléments de ludification et de compétition, à l’instar des jeux et applications mobiles préférés des jeunes. Un questionnaire SurveyMonkey permet d’atteindre une partie de l’objectif, mais présente un design fade et peu attrayant. L’utilisation de plates-formes mobiles plus attrayantes et plus conviviales peut se traduire par un plus grand plaisir pour les jeunes répondants, des taux de réponse plus élevés et une meilleure adhésion du personnel lorsque les jeunes remplissent les évaluations du programme sur leur propre temps, ce qui permet de gagner un temps précieux. Au MLSE LaunchPad, en moyenne, 2/3 des jeunes remplissent leur sondage pré-programme de manière indépendante avant la première session du programme. En moyenne, nous obtenons un taux de réponse de 86 %.
Neutralité éliminée – Utilisez des échelles « Oui/Non » et à 4 points. Éliminez l’option « incertain ».
Une échelle de Likert est un type d’échelle d’évaluation utilisé pour mesurer les attitudes ou les opinions. Les répondants sont invités à évaluer les éléments en fonction de leur degré d’accord, de la fréquence d’une pensée ou d’une action, ou de l’importance de l’élément de sondage (Iowa State University, 2010). Les jeunes préfèrent les échelles de Likert aux autres formats de sondage, les trouvant plus faciles à remplir (van Laerhoven et coll., 2007). Toutefois, dans une échelle de Likert à cinq points, les jeunes tendent vers un point neutre lorsqu’elle est proposée comme option (Dalal et coll., 2014). Sur la base de nos expériences, le MLSE LaunchPad utilise des échelles à quatre points avec des options de réponse allant de « Pas du tout d’accord » à « Tout à fait d’accord », ou des questions « Oui/Non » dans les cas où la réponse nuancée que permet une échelle de Likert n’est pas nécessaire.
Menez votre évaluation aux abords du terrain
En plus de l’application de notre modèle de mesure MISSION, une autre tactique clé utilisée pour accroître l’engagement des jeunes dans les processus d’évaluation a été de mener des évaluations aux abords du terrain chaque fois que cela était possible. Cela signifie qu’il faut distribuer des tablettes pour la réalisation du sondage sur le côté ou dans les gradins, plutôt que dans une salle de classe ou une salle d’attente. Les jeunes ont l’impression de faire toujours partie de l’action et de ne pas manquer le temps du programme, et les entraîneurs peuvent mieux soutenir les activités sur le terrain et les activités d’évaluation. Nous avons étendu cette tactique à notre collecte de données qualitatives, en menant de brefs entretiens aux abords du terrain après le programme pour solliciter les réflexions des jeunes. À peine sortis du terrain, nous constatons que les jeunes sont plus concentrés et mieux en mesure de faire part de leur expérience du programme.
Appliquer ces pratiques dans votre contexte
Il est vrai que certaines des stratégies et tactiques efficaces décrites ci-dessus nécessitent un niveau élevé de ressources pour être mises en œuvre, notamment en matière de temps, d’espace et de technologie. Voici quelques idées à faible coût pour mettre en œuvre certaines de nos leçons clés afin d’accroître l’engagement des jeunes dans les processus d’évaluation.
1. Concentrez-vous! Soyez précis sur ce que vous devez évaluer.
Adoptez une approche minimaliste de l’évaluation et ne mesurez que ce dont vous avez besoin. Des résultats plus solides sont souvent obtenus en concentrant les efforts d’évaluation sur un ou deux résultats prioritaires. Vous obtiendrez probablement une plus grande participation des jeunes en éliminant simplement les sondages ou les questions individuelles qui ne sont pas nécessaires. Soyez clair sur les données dont vous avez besoin pour prendre des décisions concernant les programmes futurs, l’amélioration de la qualité et la budgétisation, et supprimez tout le reste.
2. Misez sur l’essentiel avec moins de mots.
Vos sondages contiennent-ils des questions redondantes ou les questions sont-elles longues, contenant plusieurs idées dans une seule phrase? Trouvez des moyens de simplifier, en éditant toutes les questions dans un souci de concision et de clarté. N’ayez pas peur de modifier vos questions jusqu’à ce qu’elles soient correctes. Bien que les résultats ne soient pas comparables entre les différentes versions, il est probablement plus important d’améliorer votre sondage pour favoriser un engagement plus important que de rester cohérent.
3. Évaluez (ou réévaluez) les mesures de résultats avec précaution.
Si votre programme utilise une mesure de résultats normalisée pour évaluer les progrès des jeunes dans un domaine clé du développement positif, que savez-vous de cette mesure de résultats? Qui l’a élaborée, quand a-t-elle été créée et dans quels contextes a-t-elle été utilisée? A-t-elle été validée pour être utilisée avec votre démographie, en tenant compte de l’âge, du sexe, de la race et des populations rurales par rapport aux populations urbaines – et si oui, quand la validation a-t-elle été effectuée? Le langage évolue rapidement, et les mots qui avaient un sens pour les adolescents en 1985 peuvent ne pas être clairs pour les jeunes d’aujourd’hui. Consultez les ressources existantes pour trouver des mesures de résultats adaptées aux jeunes, ou travaillez avec un évaluateur pour élaborer votre sondage. Consultez les ressources ci-dessous pour trouver de bons points de départ.
4. Faites participer les entraîneurs.
Les entraîneurs et les autres membres du personnel de première ligne s’engageront avec plus d’enthousiasme dans la collecte de données lorsqu’ils sauront quels renseignements ils collectent et comment les données seront utilisées, surtout s’ils ont participé à la conception du contenu du sondage. Le retour d’information des accompagnateurs est important pour garantir que les bonnes questions sont posées de la bonne manière et que les processus d’évaluation ne créent pas d’obstacles à la participation des jeunes. Le soutien de l’entraîneur est également essentiel pour faire comprendre aux jeunes l’importance de l’évaluation, pour mettre en œuvre efficacement l’évaluation des programmes et pour créer une culture de l’évaluation au sein de votre organisation.
5. Numérisez votre processus.
Les processus d’évaluation numérique sont non seulement plus attrayants pour les jeunes, mais ils sont également plus faciles et plus efficaces à gérer pour le personnel et permettent une utilisation plus rapide et plus approfondie des données générées. Idéalement, un seul système devrait être utilisé pour gérer votre base de données des participants, l’inscription aux programmes, la programmation, les communications et l’évaluation des programmes. En l’absence d’un logiciel complet, un bon compromis consiste à centraliser différents types de données dans une feuille de calcul commune, notamment les données démographiques, les inscriptions, les présences et les réponses aux sondages ou autres résultats du programme. Cela permet d’éliminer les redondances dans la collecte de données qui peuvent être frustrantes pour le personnel et les jeunes, et de poser des questions utiles et instructives, par exemple en examinant les relations entre le type de programme et le niveau de fréquentation, ou entre le sexe et les résultats du programme.
6. Incitez à l’engagement!
Nous croyons fermement qu’il faut faire savoir aux jeunes que nous accordons de l’importance à leurs opinions et à leurs commentaires en leur offrant des incitations modestes et intentionnelles pour qu’ils réalisent des activités d’évaluation. Cela peut aller de la fourniture d’un repas en compagnie de votre groupe de discussion, à l’inscription de tous les jeunes qui répondent aux sondages avant et après le programme à un tirage de fin de saison pour un vêtement ou un équipement sportif. Les incitations à faible coût comprennent des badges, des autocollants et des certificats pour les jeunes participants, de petits articles donnés par des commanditaires, tels que des chèques-cadeaux de faible valeur, des gourdes d’eau réutilisables ou des bas, ou l’admission à un événement spécial tel qu’une soirée pizza ou une sortie sportive.
Fort engagement à l’égard des évaluations dans le sport pour les jeunes – OUI, C’EST POSSIBLE!
Au MLSE LaunchPad, une approche expérimentale de l’évaluation des programmes a mené à la création du modèle stratégique et des tactiques spécifiques décrits ci-dessus. Trois années d’apprentissage et d’amélioration itérative ont accru l’engagement des jeunes dans les processus d’évaluation de notre établissement, avec des avantages de grande envergure qui ont un effet positif sur les jeunes, le personnel de première ligne, la direction et l’ensemble du secteur du sport pour les jeunes grâce à des apprentissages partagés qui peuvent être appliqués dans divers contextes. Le plaisir et l’évaluation ne s’excluent pas mutuellement. Nous vous encourageons à adopter cette attitude et cette approche lors de votre prochaine évaluation de programme dans le but de la rendre un peu plus agréable et engageante pour toutes les personnes impliquées. Si les jeunes sont heureux, vous serez heureux. N’hésitez pas à communiquer avec notre équipe pour entamer une discussion sur ces questions ou sur d’autres questions de recherche et d’évaluation dans le domaine du sport pour les jeunes.
Ressources recommandées
Évaluer les résultats des programmes pour les enfants et les jeunes : Un guide pratique – Excellentes ressources pour planifier et réaliser des évaluations de programme, et une compilation d’outils d’évaluation.
Société canadienne d’évaluation – Une liste d’évaluateurs accrédités exerçant dans chaque province, ainsi que des directives éthiques et des normes d’évaluation des programmes.
MLSE LaunchPad – Communiquez avec notre équipe pour discuter des pratiques actuelles et des questions relatives à la conception et à la mise en œuvre d’évaluations dans le milieu sportif pour les jeunes.
YouthREX – The Youth Research and Evaluation eXchange – Un centre de connaissances, une bibliothèque d’outils d’évaluation et plusieurs ressources de développement professionnel.