Recherche

Foire aux questions

L’efficacité des systèmes d’assurance qualité

 A. Contexte de l’opération et implantation

1. Quels sont les fondements de cette nouvelle opération?

Depuis sa création en 1993, la Commission a travaillé dans la perspective d’en arriver au moment où, enrichis d’une expertise développée au fil des ans par les évaluations qu’elle a menées et par celles réalisées à leur initiative, les collèges auraient développé une culture institutionnelle d’évaluation. Cette opération s’appuie donc sur la reconnaissance de l’expertise d’évaluation développée par les collèges et les amène à assumer pleinement leurs responsabilités en cette matière. (Document Orientations et cadre de référence, 2e édition, p. 7-8)

2. Quels ont été le rôle et la contribution des collèges de la phase de validation? Qu’est-ce qui a découlé de cette phase?

Les collèges de la phase de validation ont répondu aux attentes définies dans le document Orientations et cadre de référence, comme tous les autres collèges. Au terme de la phase de validation, la Commission a dressé le bilan de cette phase avec la participation des collèges concernés. Elle a produit un rapport bilan qui lui a permis d’ajuster le processus d’audit pour les vagues à venir. Par exemple, la Commission a ajusté les outils utilisés par le comité de visite, prolongé le calendrier du premier cycle d’audit, bonifié son offre de soutien et de formation aux collèges et revu l’horaire de la visite ainsi que les groupes rencontrés au cours de celle-ci. Le document de référence a aussi été révisé pour en augmenter la clarté, en assurer une compréhension univoque et bonifier les directives à l’attention des collèges pour la production de leur rapport d’autoévaluation.

3. Quel type de soutien la Commission offre-t-elle aux collèges dans le cadre de cette opération?

La Commission mène des formations individualisées dans chacun des établissements du réseau collégial afin de présenter cette nouvelle opération et de soutenir les collèges dans le début de leurs travaux d’autoévaluation. Comme elle a établi le calendrier de ces formations en fonction du calendrier des visites d’audit, elle a également organisé des sessions d’information régionales pour informer rapidement l’ensemble des collèges sur les orientations et les travaux à mener dans le cadre de cette nouvelle opération. Elle a aussi introduit des rencontres de suivi de la démarche d’autoévaluation, regroupant les collèges d’une même vague, un an avant le dépôt de leur rapport. La Commission se rend disponible pour d’autres rencontres individualisées à la demande des collèges. Enfin, l’agent de recherche associé au collège ainsi que la coordonnatrice de l’opération demeurent toujours disponibles pour répondre aux questions.

4. Est-ce que les collèges doivent encore déposer leurs politiques institutionnelles d’évaluation des programmes et d’évaluation des apprentissages, leur plan stratégique et leur plan de réussite à la Commission pour évaluation?

Oui. Le mandat que le législateur a confié à la Commission demeure inchangé et consiste entre autres à évaluer pour chacun des établissements d’enseignement collégial au Québec les politiques institutionnelles d’évaluation des apprentissages, y compris les procédures de sanction des études, les politiques institutionnelles d’évaluation des programmes d’études et la réalisation des activités reliées à leur mission éducative, tant au regard de la planification administrative et pédagogique qu’au regard de l’enseignement et des divers services de soutien (dans le cas des cégeps, cette évaluation englobe celle de leur plan stratégique).

5. La Commission peut-elle valider le devis d’évaluation ou d’autres documents produits par un collège dans le cadre de sa démarche d’autoévaluation?

Parce que la Commission aura à porter un jugement sur l’efficacité du système d’assurance qualité, elle ne valide pas le devis d’évaluation ou d’autres documents afin d’éviter d’être en position de juge et partie. Toutefois, si un collège souhaite clarifier sa compréhension du document de référence et des attentes de la Commission, il peut consulter l’agente de recherche qui lui est associée ou la coordonnatrice de l’opération.

 B. Évaluation de l’efficacité des systèmes d’assurance qualité

FONDEMENTS CONCEPTUELS

6. Dans la conception de la qualité retenue par la Commission comme étant l’adéquation aux objectifs, de quels objectifs est-il question précisément ?

Il s’agit des objectifs poursuivis par des mécanismes liés à une obligation réglementaire (PIEP etPIEA) de même que des objectifs institutionnels définis par le collège (dans son plan stratégique et son plan de réussite) pour réaliser sa mission.

APPROCHE

7. Quelle est la différence entre l’audit et l’évaluation telle que menée par la Commission au cours des 20 dernières années?

Lors de ses opérations précédentes, la Commission portait un jugement sur la qualité en fonction de l’objet évalué, par exemple la qualité d’un programme d’études ou de l’évaluation des apprentissages. La plus récente opération sur l’évaluation de l’efficacité des plans stratégiques et des plans de réussite amorçait un changement vers l’évaluation de l’efficacité des mécanismes. Dans le cadre de l’audit, la Commission évalue non plus la qualité elle-même, mais l’efficacité des mécanismes visant à assurer la qualité. (Document Orientations et cadre de référence, 2e édition, p. 15).

8.Comment l’arrimage se fait-il entre le cycle d’audit et la planification annuelle des échéanciers du collège?

Le processus d’audit est totalement indépendant du calendrier de mise en œuvre des mécanismes d’assurance qualité du collège. La Commission visite le collège une fois pendant le cycle et porte un regard sur l’efficacité des mécanismes mis en œuvre au cours de la période d’observation. Pour le premier cycle d’audit, la période d’observation débute pour tous les collèges à l’année 2012-2013. Un collège peut décider de remonter plus loin dans le temps s’il le souhaite.

 C. L’audit des systèmes d’assurance qualité

LE SYSTÈME D’ASSURANCE QUALITÉ SOUMIS À L’AUDIT

9. Est-ce que l’offre de la formation continue des établissements est visée par l’audit?

Oui, le système d’assurance qualité soumis à l’audit couvre les mécanismes mis en œuvre à la formation créditée, tant à la formation ordinaire qu’à la formation continue. (Document Orientations et cadre de référence, 2e édition, p.58)

10. De quelle façon devons-nous témoigner de l’efficacité des mécanismes pour la formation offerte à l’international?

D’abord, vous devez témoigner de l’efficacité des mécanismes pour la formation offerte à l’étranger seulement s’il s’agit de formation créditée, par exemple une session d’études à l’étranger, un programme offert en délocalisation menant à un DEC ou à une AEC, etc. Ensuite, vous devez démontrer de quelle façon les mécanismes en place veillent à la qualité de cette formation.

11. Les collèges n’ayant pas l’obligation réglementaire d’avoir un plan stratégique, mais ayant fait le choix de s’en donner un, peuvent-ils témoigner de l’efficacité des mécanismes associés à cette composante du système d’assurance qualité dans leur rapport d’autoévaluation?

La composition du système d’assurance qualité soumis à l’audit est fonction du mandat de la Commission comme prévu à sa Loi et des obligations réglementaires propres à chaque établissement selon leur statut. La Commission ne demande donc pas aux collèges de témoigner de l’efficacité des mécanismes associés à la planification stratégique s’ils ne sont pas soumis à cette obligation puisque la Commission n’a pas le mandat de les évaluer. Toutefois, ils peuvent témoigner de la contribution de la planification stratégique à d’autres composantes du système d’assurance qualité soumis à l’audit, le cas échéant. (Document Orientations et cadre de référence, 2e édition, p. 17-18)

12. La Commission pourrait-elle porter un regard sur des mécanismes entourant les programmes d’études, par exemple ceux associés aux services aux étudiants?

L’audit des systèmes d’assurance qualité se limite aux objets prévus au mandat de la Commission. Le collège peut se doter d’un système d’assurance qualité plus large que celui qui est soumis à l’audit, mais la Commission limite son examen aux quatre composantes associées à son mandat ainsi qu’aux critères et sous-critères définis pour chacune.

– Système d’information

13. Quelles sont les attentes de la Commission quant à la composition et à l’organisation du système d’information institutionnel du collège?

La Commission ne porte pas de jugement sur le système d’information des collèges. Il appartient à chaque collège d’adapter son système d’information en fonction de ses pratiques institutionnelles. (Document Orientations et cadre de référence, 2e édition, p. 19)

14. Le système d’information demande-t-il le développement d’un système informatique? 

Le système d’information peut prendre des formes variées, selon les pratiques de chaque établissement, et ne demande pas nécessairement le développement d’un système informatique dédié. Il revient à chaque établissement de faire le choix le plus approprié à sa situation.

– Mécanismes

15. Dans la définition des mécanismes d’assurance qualité, que signifient les termes « obligatoire et orientant » et « du point de vue institutionnel »?

Certains mécanismes ont un caractère obligatoire de par la Loi sur les collèges d’enseignement général et professionnel ou le Règlement sur le régime des études collégiales (RREC), par exemple. En plus de ces mécanismes, les collèges se dotent d’autres mécanismes qui ont un caractère obligatoire dans l’institution. Les mécanismes ont un caractère orientant en ce sens qu’ils guident et encadrent les pratiques des intervenants.

16. Est-ce que les comités de programme constituent des mécanismes?

Pour la Commission, toute instance qui exerce des responsabilités de planification, de mise en œuvre ou de suivi de l’atteinte des objectifs fixés peut constituer un mécanisme pertinent dans la démonstration d’efficacité d’un établissement, dépendant des choix institutionnels guidant la démarche d’autoévaluation.

17. Faut-il répertorier l’ensemble des mécanismes mis en place dans le collège?

Bien qu’il ne soit pas essentiel, le travail de répertorier peut être intéressant pour dresser le portrait des grands ensembles de mécanismes. Toutefois, il n’est pas nécessaire de témoigner de l’efficacité de tous les mécanismes qui peuvent être recensés. Il revient au collège de choisir les mécanismes dont il va témoigner à la Commission pour démontrer, sans équivoque, l’efficacité de son système d’assurance qualité. À cet effet, le collège a avantage à partir des critères et sous-critères associés aux composantes pour choisir les mécanismes dont il va témoigner. Aussi, il est proposé de consulter la définition du terme « mécanisme d’assurance qualité » ainsi que les catégories de mécanismes qui sont présentées à la page 19 du document Orientations et cadre de référence, 2e édition.

18. Le collège doit-il évaluer en profondeur l’efficacité de tous les mécanismes associés à chaque composante de son système d’assurance qualité?

La démonstration consiste à témoigner de l’efficacité des mécanismes qui se définit comme étant leur capacité à assurer l’amélioration continue de la qualité en fonction des objectifs qu’ils poursuivent (document Orientations et cadre de référence, 2e édition, p. 15). Pour un sous-critère donné, le collège peut témoigner de l’efficacité d’un groupe de mécanismes.

19. Le collège pourrait-il choisir de témoigner uniquement de l’efficacité de sa Politique institutionnelle d’évaluation des programmes d’études (PIEP) dans sa démonstration sur l’efficacité des mécanismes assurant la qualité des programmes d’études et ne pas aborder d’autres types de mécanismes?

Les obligations faites aux collèges dans le cadre de l’opération se limitent aux objets couverts par le mandat de la Commission comme le définit sa Loi. En conséquence, un collège pourrait choisir de se limiter à démontrer l’efficacité de sa PIEP et des pratiques qui l’appuient. Il doit aussi s’assurer d’aborder tous les critères et sous-critères.

20. Lorsque deux politiques ou deux plans ont été mis en œuvre au cours de la période d’observation, quelle version doit-être considérée pour la démonstration?

Il est pertinent pour le collège de témoigner dans son rapport d’autoévaluation du processus qui l’a amené à actualiser sa politique ou à élaborer un nouveau plan. Cela témoigne de sa capacité à réviser et à actualiser ses mécanismes. Son regard critique plus approfondi de l’efficacité des mécanismes doit toutefois porter sur la politique ou le plan en vigueur au moment de son autoévaluation. Lors de la visite, le jugement de la Commission portera sur la politique ou le plan en vigueur à ce moment.

21. La Commission évalue-t-elle si le nombre de mécanismes d’assurance qualité est suffisant?

Non, le critère utilisé est l’efficacité des mécanismes. Si un collège souhaite porter un regard sur l’efficience de ses mécanismes, il peut définir un enjeu en ce sens à examiner dans le cadre de l’évaluation.

CRITÈRES D’ÉVALUATION ET SOUS-CRITÈRES

22. Comment les sous-critères retenus, ainsi que les éléments qui leur sont associés, ont-ils été déterminés?

Il s’agit de sous-critères établis que la Commission a utilisés dans le cadre d’opérations antérieures. Ces sous-critères sont maintenant repris sous l’angle de l’efficacité des mécanismes. Des consultations ont également été menées sur les critères.

23. Le collège doit-il utiliser tous les critères pour faire l’évaluation de l’efficacité de ses mécanismes d’assurance qualité?

Oui, pour chacune des composantes, le collège doit aborder les trois critères (Document Orientations et cadre de référence, 2e édition, p. 21) et tous les sous-critères associés aux composantes. (Document Orientations et cadre de référence, 2e édition, p. 22 à 25)

24. Notre collège s’éloigne peu à peu des évaluations approfondies de programme pour se diriger vers des évaluations continues. Il se pourrait donc que les six critères d’évaluation de programme ne soient pas tous utilisés au cours de la période d’observation. Dans le cadre de l’audit, cela peut impliquer que le collège ne pourra pas se prononcer sur les six sous-critères associés à l’efficacité des mécanismes assurant la qualité des programmes d’études. Est-ce que cette pratique est compatible avec l’audit?

La Commission s’attend toujours à retrouver les six critères d’évaluation des programmes dans les PIEP des collèges. Toutefois, il revient au collège de mettre en œuvre la PIEP selon ses propres cycles et déclencheurs. Dans le rapport d’autoévaluation, la Commission s’attend à ce que le collège aborde les six sous-critères associés à l’efficacité des mécanismes assurant la qualité des programmes d’études. La Commission constate effectivement une tendance des collèges à passer d’un mode d’évaluation en profondeur des programmes d’études à un mode d’évaluation continue et reconnaît leur autonomie dans la mise en œuvre de leurs pratiques d’évaluation. Si un critère n’est pas retenu par un collège lors d’une évaluation de programme, c’est parce qu’il a la conviction que ce critère est satisfait, donc qu’il possède un mécanisme efficace pour prendre cette décision. Le collège devra donc témoigner de l’efficacité de ces mécanismes. Dans le cas d’une approche d’évaluation continue, il se peut aussi qu’un établissement n’ait pas traité tous ses critères de qualité des programmes pendant la première période d’observation. La Commission s’attendra dans de tels cas à prendre connaissance de l’évaluation de l’efficacité des mécanismes associés à ces critères lors du prochain cycle d’audit. Par ailleurs, il est opportun de rappeler que l’obligation qui est faite aux collèges d’évaluer les programmes d’études vient du RREC.

25. En ce qui concerne les sous-critères, le collège doit-il faire l’analyse et documenter en détail chacun des éléments associés aux sous-critères ou doit-il faire une analyse plus globale?

Ces éléments sont présentés à titre de référence afin d’assurer une compréhension univoque des sous-critères. Ils rappellent aux collèges ce que la Commission entend par exemple par « pertinence des programmes d’études » (composante 1) ou « équité de l’évaluation des apprentissages » (composante 2). Pour poser son jugement sur l’efficacité des mécanismes concernant chaque sous-critère, le collège doit référer à ces éléments de définition. Il peut porter un regard critique sur l’efficacité d’un groupe de mécanismes, le cas échéant, en gardant en tête ces éléments de définition. Par exemple, il peut se questionner de cette façon : les mécanismes prennent-ils en compte les différents éléments associés à l’équité de l’évaluation des apprentissages? L’annexe D (Document Orientations et cadre de référence, 2e édition, p. 55 à 77) comprend des questions d’appréciation destinées à guider les collèges dans leur démonstration pour chaque critère et sous-critère.

26. Qu’entend la Commission par des données « pertinentes » et « suffisantes » sur lesquelles doit s’appuyer le collège pour porter un regard critique quant à l’efficacité de ses mécanismes?

Des données pertinentes sont en lien explicite avec le critère d’évaluation à satisfaire. Elles sont suffisantes en ce sens qu’elles permettent d’en couvrir toutes les dimensions et de faire une démonstration probante.

27. Les collèges ont-ils à démontrer le caractère dynamique et intégré de leur système d’assurance qualité, c’est-à-dire les interactions entre les mécanismes des différentes composantes?

Le jugement global de la Commission sur l’efficacité du système d’assurance qualité du collège repose sur le jugement porté sur chacune des composantes en fonction des critères et des sous-critères. Aucun critère n’est défini sur le système d’assurance qualité de façon globale pour apprécier son caractère dynamique et intégré. La Commission invite toutefois les collèges à une réflexion sur ces aspects de la gestion de la qualité dans le but d’enrichir leur portrait institutionnel de l’assurance qualité. Elle cherche ainsi à documenter la situation des collèges et à témoigner de leurs avancées à cet égard dans ses rapports. Toutefois, la Commission ne juge pas les observations notées sur cette question. (Document Orientations et cadre de référence, 2e édition, p. 26-27)

JUGEMENT DE LA COMMISSION

28. Dans ses avis, la Commission va-t-elle suggérer des solutions aux collèges pour corriger les lacunes observées?

Les avis de la Commission décrivent des problématiques à résoudre et il revient aux collèges de décider des moyens pour ce faire.

29. Si la Commission émet des recommandations, est-ce que le suivi se fera lors de l’audit suivant ou des suites pourraient être données dans les années suivant l’audit?

Le suivi des recommandations se fait à un moment convenu entre le collège et la Commission.

DÉMARCHE D’AUTOÉVALUATION

30. Quelle pourrait être la composition du comité d’autoévaluation?

Il revient au collège de voir à une représentation des différents intervenants associés à l’assurance qualité au collège en fonction des enjeux particuliers de l’autoévaluation tels qu’il les aura définis.

31. Que signifie « préciser nos propres enjeux liés à l’évaluation »? (Document Orientations et cadre de référence, 2e édition, p. 20)

La Commission invite les collèges à s’approprier la démarche d’autoévaluation en profitant de cette première évaluation de leur système d’assurance qualité pour examiner des aspects particuliers de leur gestion de la qualité, au-delà des attentes définies par la Commission. Il peut s’agir, par exemple, de porter un regard sur l’efficacité du système d’information, sur l’efficience des mécanismes, sur la qualité des communications à l’interne, etc. L’objectif est de rendre l’exercice le plus profitable possible pour le collège.

32. Peut-on remonter dans le temps, jusqu’à des changements apportés à certains mécanismes en 2002 par exemple, pour témoigner de l’efficacité des mécanismes dans le cadre de l’audit?

Pour le premier cycle d’audit, la période d’observation débute pour tous les collèges à l’année 2012-2013. Un collège peut décider de remonter plus loin dans le temps s’il le souhaite, mais il doit s’assurer de la pertinence des données antérieures à 2012 dans la démonstration d’efficacité demandée par la Commission.

33. Bien que la démonstration aborde l’efficacité des mécanismes veillant à la qualité et non la qualité elle-même, le collège aura-t-il à fournir des documents qui témoignent de la qualité comme telle?

Oui, des rapports d’évaluation de programme doivent par exemple être fournis pour appuyer la démonstration sur l’efficacité des mécanismes mis en œuvre pour assurer la qualité des programmes d’études. Pour fonder sa démonstration, le collège doit s’appuyer sur les résultats obtenus afin d’illustrer que les mécanismes permettent de déceler les points à améliorer et la façon dont ces derniers sont pris en charge pour améliorer la qualité.

 D. Les étapes du cycle d’audit

34. Quelle est la procédure pour convenir de la date de dépôt du rapport d’autoévaluation et du moment de la visite d’audit?

La Commission a remis un échéancier à chaque collège qui précise la session à laquelle il recevra la visite d’audit et la date à laquelle il devra déposer son rapport d’autoévaluation. La coordonnatrice à la logistique prend contact avec le collège, à la fin de la session précédant la visite (octobre ou avril), pour convenir des dates précises de la visite.

35. Comment accéder au Portail numérique de la Commission pour déposer notre rapport d’autoévaluation?

Tous les collèges ont reçu, entre les mois d’avril et novembre 2015, une procédure ainsi qu’un code d’accès pour ce faire. Pour toute question sur la procédure ou votre code d’accès, veuillez communiquer avec madame Nathalie Thibault, coordonnatrice à la logistique :
nathalie.thibault@ceec.gouv.qc.ca.

36. Quelle est la durée de la visite d’audit?

La durée de la visite est fonction du statut des établissements, qui définit le système d’assurance qualité soumis à l’audit, et de leur organisation. Elle varie de deux à trois jours.

37. Quelle est la plus-value de la visite considérant que le collège a fourni toute l’information dans son rapport d’autoévaluation?

La visite sert à mettre en contexte l’information contenue dans le rapport d’autoévaluation, à la compléter et à bien comprendre les conclusions tirées par l’établissement. Elle est complémentaire au rapport d’autoévaluation et permet de prendre en compte, s’il y a lieu, ce que le collège a pu réaliser entre l’adoption du rapport et le moment de la visite d’audit. Pour ce faire, le témoignage de différents groupes est essentiel. Le comité de visite tient à rencontrer la direction de l’établissement, le conseil d’administration, la Commission des études, la régie du collège, la régie pédagogique de la Direction des études, le comité d’autoévaluation ainsi que des professeurs, des étudiants, des professionnels et tout intervenant impliqué dans la mise en œuvre des mécanismes. Au terme de ces rencontres, le comité de visite se réunit pour faire la synthèse de ses observations et se prononce sur les résultats de l’audit au regard de chacun des critères, identifie les points saillants (forces et faiblesses), porte des jugements, et, le cas échéant, formule des avis que la Commission pourrait faire à l’établissement. Ces observations sont fondées sur l’information contenue dans le rapport d’autoévaluation, mais aussi sur les témoignages recueillis et les documents examinés lors de la visite. La visite demeure donc essentielle pour dresser un portrait juste, complet et actuel de la situation du collège au regard de l’efficacité de ses mécanismes d’assurance qualité.

38. Quels sont les groupes rencontrés par la Commission lors des visites d’audit?

Le comité visiteur rencontre notamment la direction de l’établissement, le conseil d’administration, la Commission des études, la régie du collège, la régie pédagogique de la Direction des études, le comité d’autoévaluation, des intervenants, des professeurs et des étudiants. Il est à noter que certains groupes peuvent varier en fonction des caractéristiques propres à chaque établissement.

39. La Commission va-t-elle publier une banque de données des pratiques exemplaires?

Pour le moment, la Commission ne témoigne pas des pratiques exemplaires des collèges au regard de l’efficacité de leurs mécanismes. Dans son Bilan des résultats de l’an 1 du premier cycle d’audit, elle fait toutefois état des tendances en termes de points forts observés lors des audits menés en 2014-2015.