Communautés de pratique
Des écosystèmes pour l'apprentissage, le travail et l'innovation.
L’évaluation des environnements, des usages aux impacts
Categories: Fiches de lecture

De Jacques Viens (Chap. 17, pp. 249-270)

Avec les CoPV d’enseigants, nous sommes à une étape de description des usages afin de pouvoir constituer un corpus minimal de pratiques qui permettra par la suite d’identifier et de comparer les facteurs, objets et conditions d’usage  permettant une utilisation efficace, voire efficiente des CVE, et ce, selon un certain éventail de contextes et d’usages.

L’auteur porte une attention particulière sur les aspects suivants des listes de discussion : l’environnement technique, les pratiques pédagogiques mises en oeuvre (outils et usages), le contexte dans lequel le dispositif émerge et se développe, les acteurs impliquées et concernés.

A propos des CoP, en comparaison des communautés d’apprentissage (p.251) : « Ces activités ne constituent en aucun cas des activités de formation reconnues et formalisées. Leur objectif principal n’est pas l’apprentissage en soi mais le soutien à une pratique ». Les acteurs sont simplement appelés à communiquer (lire des messages et discuter) et non à co-construire des artefacts, voire leurs connaissances, leurs compétences (NDLR : Pas vrai en entreprise).

L’évaluation, repérage de quelques éléments

L’auteur pointe d’abord l’adoption (degré d’utilisation et adhésion à la communauté), ses critères d’évaluation (Généralement quantitatifs et indicateurs) ainsi que les facteurs favorables (importance de l’information, adhésion hiérarchique, expression des motivations personnelles..).

Ensuite la participation (activité, engagement), ses critères d’évaluation (Généralement quantitatifs et parfois qualitatifs telle la convivialité) et les facteurs favorables ou défavorables… »La place du modérateur semble avoir un rôle important, sans qu’il y ait pourtant accord normatif sur celle-ci : très présent ou au contraire la plus discret possible (p.256). ». La qualité des auteurs des messages est prise en compte par les membres, les spécialistes semblant avoir davantage d’audience que les généralistes. Un paradoxe lié à l’outil aussi: les messages de qualité sont plus longs et caractéristiques d’un débat riche et non superficiel mais inadapté au mode de communication. Le nombre de messages trop élevé devient aussi un frein à la participation aussi. Les enseigants expliquent qu’une aisance professionnelle et dans la communication est requise pour oser intervenir auprès des pairs.

A propos des retombées des CEV : « Le plus souvent, le constat est l’impossibilité de mesurer l’impact des échanges sur les pratiques des enseignants (P.257) », les activités de dissémination peuvent être par contre révélatrices.

Nous sommes dans un contexte de découverte de nouvelles pratiques, des évaluations de nature formative (recherche-développement) tentent de jauger l’efficience des outils/activités. Des évaluations de nature exploratoire visent à identifier de nouvelles stratégies d’utilisation des outils ou encore leur impact sur un ensemble de facteurs (p.259).

La culture est au coeur même de l’apprentissage et des facteurs qui influencent les usages et les impacts des environnements de formation, qu’ils soient virtuels ou qu’ils impliquent une présnece en face à face. (p.259)

Quelques contributions de la littérature en mesure et évaluation

Méthodes, guides et outils : Je retiens particulièrement Stufflebeam (2002) qui opte pour une approche systémique en 10 étapes, tandis que Olivier (2000) propose une démarche + classique destinée davantage à des consultants externes.

Stufflebeam (2002) Olivier (2000)
  1. Entente contractuelle (objectifs, finalités, méthodologie, contraintes)
  2. Evaluation du contexte
  3. Evaluation des entrées (inputs)
  4. Evaluation des processus
  5. Evaluation des impacts
  6. Evaluation de l’efficacité et de l’efficience
  7. Evaluation de la transférabilité
  8. Evaluation de la pérennité
  9. Méta-évaluation (évaluation de l’évaluation)
  10. Rapport synthèse final
  1. Identification des décideurs et principaux intervenants
  2. Sélection et précision des Q de l’évaluation en fct des analyses et besoins des décideurs
  3. Sélection de la méthodologie d’évaluation
  4. Sélection des méthodes et techniques de collecte de données
  5. Sélection des méthodes et techniques d’analyse
  6. Choix du format de présentation

Da Landsheere (2002) va + loin (p.262) : les évaluateurs se fondent sur des assomptions et des théories de type bahavioriste qui influencent l’évaluation et qu’ils doivent en prendre conscience pour améliorer l’évaluation dans des contextes sociocognitivistes/socioconstructivites.

Une grille d’analyse systématique proposant une démarche systématique

Elle représente un cadre d’analyse  systémique issu de Viens et Wyrsch (2004). La démarhe est construite autour d’une séquence de questionnement qui prend en compte plrs dimensions de la culture des acteurs et du contexte d’utilisation (Fig.1 – p.265 – La démarche cadre proposée pour encadrer l’évaluation selon une perspective systémique).

1- Dimensions structurelles et actancielles – Identifier sa position d’acteur/évaluateur

  1. Dimension micro : acteurs directement impliqués dans la communauté, le projet (Gestionnaires, leaders, collaborateurs, assistants, apprenants/membres…)
  2. Dimension méso : acteurs institutionnels (gestionnaires de l’institution, employés et services qui soutiennent le projet)
  3. Dimension macro : acteurs sociétaux (décideurs politiques, organisme de financement, entreprises privées…)

2- La verbalisation de ses filtres culturels : sa propre culture

« Chaque individu aborde l’étude et l’évaluation d’un dispositif avec un certain bagage qui influencera ses choix méthodologiques et ses analyses (p.265). 4 aspects de la culture des acteurs peuvent influencer les actions :

  • Les représentations/visions de l’enseignement-apprentissage et des rôles-responsabilités des acteurs, le positionnement épistémologique
  • Les habiletés et les ressources des acteurs pour mener l’évaluation à terme
  • Les attitudes et affects face au dispositif
  • Les pratiques habituellement utilisées qui génèrent une force d’inertie et orientent les actions qui seront réellement entreprises

3- La prise en compte de l’étape d’avancement du dispositif

Les objectifs, les questions, les méthodologies et les objets d’évaluation seront différents selon l’étape à laquelle se situe le dispositif…7 étapes : Analyse, conception, production, mise à l’essai à petite échelle, évaluation/révision, màj et implantation en contexte réel à moyenne échelle, maintenance et diffusion à grande échelle.

4- Le questionnement des éléments stratégiques du dispositif en vue de son évaluation

  • Objectifs et compétences visées
  • Caractéristiques de la clientèle
  • Orientation épistémologique
  • Stratégies d’enseignement et activités d’apprentissage/formation proposées
  • Ressources mises à disposition
  • Contenu
  • Stratégies et outils d’évaluation des apprentissages
  • Aspects technologiques (interface, ergonomie, ressources…)
  • Gestion du dispositif
  • etc…

5- La précision des éléments stratégiques de l’évaluation

  • Les buts et objectifs de l’évaluation
  • Les objets d’analyse qui seront ciblés
  • Les méthodes et stratégies d’évaluation
  • Les outils qui seront utilisés (collecte, analyse, interprétation des données)

Source

Viens, J., 2006. L’évaluation des environnements, des usages aux impacts in Daele, A. et Charlier, B., Comprendre les communautés virtuelles d’enseignants : Pratiques et recherches, L’Harmattan, Paris, pp.249-270.

———————————-

Ressource intéressante sur l’évaluation, s’appuyant sur les travaux de Stufflebeam : CIPP EVALUATION MODEL CHECKLIST

Leave a Reply