1. Buts de l’opération
1.1 Qu’est-ce que l’évaluation institutionnelle?
R. : L’évaluation institutionnelle peut être définie comme une démarche continue et concertée d’analyse et d’appréciation de la réalisation de la mission éducative d’un établissement.
L’évaluation institutionnelle s’avère d’abord l’occasion, pour chacun des établissements, d’une réflexion sur sa mission et sur les principaux objectifs institutionnels qui en découlent. L’évaluation amène ensuite le collège à poser un regard critique sur son organisation et sa gestion, à mesurer l’atteinte de ses objectifs institutionnels, à apprécier les moyens qu’il s’est donnés pour assurer son développement et s’ajuster aux attentes de la société et, enfin, à vérifier la qualité de ses pratiques de communication.
1.2 : Comment l’évaluation institutionnelle s’inscrit-elle dans la continuité des opérations menées par la Commission?
R. : L’évaluation institutionnelle s’inscrit à la suite de six opérations d’évaluation, incluant la formation générale, de l’évaluation des politiques institutionnelles (PIEA, PIEP), ainsi que de l’évaluation de l’application de la politique institutionnelle d’évaluation des programmes.
Chacune de ces opérations a mis en lumière des dimensions transversales qui touchent différents aspects d’un établissement d’enseignement. La présente évaluation portera sur le fonctionnement d’un collège dans son ensemble. On peut ici parler « d’approche établissement », par analogie à l’approche programme.
1.3 : Quels sont les buts poursuivis par la Commission avec cette opération?
R. : La Commission poursuit trois objectifs :
Aider les collèges à s’acquitter encore mieux de leur mission de formation.
Témoigner des efforts que les collèges mettent à atteindre leurs objectifs et des résultats qu’ils obtiennent.
Utiliser les résultats de l’évaluation, le cas échéant, pour appuyer la recommandation de la Commission d’autoriser un collège à décerner le DEC. (Cette recommandation se fera si le Ministre a l’intention d’autoriser des collèges à décerner le DEC.)
1.4 : Y a-t-il un lien entre l’évaluation institutionnelle et l’habilitation?
R. : Il importe d’abord de préciser que l’habilitation ne relève pas de la Commission d’évaluation de l’enseignement collégial; l’habilitation relève d’une décision ministérielle.
En ce qui regarde spécifiquement l’habilitation, la Loi sur les collèges (art.18e) prévoit à cet égard que «le Ministre peut déléguer à un collège, aux conditions qu’il détermine et après recommandation de la Commission d’évaluation de l’enseignement collégial, tout ou partie de sa responsabilité en matière de sanction des études prévue par le régime». Le Ministre peut déléguer sa responsabilité; s’il veut le faire, il doit obtenir la recommandation de la Commission.
La Commission croit pour sa part que la décision d’habiliter un collège à décerner ses propres diplômes ne devrait pas reposer uniquement sur des évaluations de programmes, mais tenir compte de la capacité d’un collège à réaliser toutes les dimensions inhérentes à la mission éducative qui lui est confiée. La décision de la Commission, de recommander ou non au Ministre d’habiliter un collège, tiendra donc compte des résultats obtenus dans le cadre de l’évaluation institutionnelle, ainsi que des circonstances qui prévaudront. En conséquence, la Commission ne prévoit pas faire de recommandation avant d’avoir au moins terminé l’opération d’évaluation institutionnelle.
1.5 : Dans le cadre de l’évaluation institutionnelle, la Commission procédera-t-elle à l’évaluation des ressources humaines?
R. : Non. Ce sont les processus d’évaluation ainsi que la gestion de ces processus qui seront évalués.
1.6 : L’évaluation institutionnelle est-elle une opération récurrente?
R. : Oui, mais la périodicité et les modalités sont à préciser.
1.7 : Quel est l’impact de l’évaluation institutionnelle pour les collèges?
R. : L’évaluation institutionnelle permettra d’évaluer la façon dont les collèges se prennent en charge. L’évaluation vise à apprécier si les collèges sont en mesure d’identifier leurs forces, leurs problèmes le cas échéant, et de les régler.
1.8 : La Commission fera-t-elle encore des évaluations de programme?
R. : Oui. La Commission poursuivra son mandat d’évaluation des programmes. Elle a jusqu’ici choisi d’évaluer des programmes offerts par le plus grand nombre de collèges afin de favoriser le développement d’une culture de l’évaluation au sein du réseau.
1.9 : Quels sont les collèges visés par l’évaluation institutionnelle?
R. : Tous les collèges, aussi bien privés que publics, qui offrent un programme conduisant à l’obtention d’un diplôme d’études collégiales (DEC).
2. Guide d’évaluation
2.1 : Le Guide réfère-t-il à un collège modèle?
R. : Non. Le Guide énumère des éléments caractérisant une organisation ayant atteint une certaine maturité, capable de se prendre en charge et d’assurer son développement.
Le but de l’opération est de juger de la façon dont les collèges se prennent en charge, en identifiant leurs points forts et leurs points faibles, et en visant l’amélioration continue de la formation à l’aide d’un plan d’action. Le plan d’action est un élément très important de l’évaluation institutionnelle.
2.2 : Les collèges doivent-ils tenir compte des cinq critères et des quatorze thèmes définis dans le Guide ?
R. : Oui. Les cinq critères d’évaluation et les quatorze thèmes du Guide doivent tous être traités, mais les pistes d’analyse suggérées par la Commission sont au choix des collèges. Un collège peut ainsi accorder une importance variable à un thème selon sa situation et les enjeux qu’il détermine pour son autoévaluation. Le collège doit faire une démonstration concluante permettant d’apprécier son mode de fonctionnement et ses résultats en regard de sa mission éducative.
2.3 : La plupart des critères se rattachent à la mission (projet éducatif ou autre). Si un collège n’en a pas, qu’arrive-t-il?
R. : Tous les collèges ont une mission, celle confiée par la Loi sur les collèges ou par la Loi sur l’enseignement privé. De plus, les politiques institutionnelles et autres documents contiennent des principes et des valeurs auxquels un collège peut se référer pour procéder à son autoévaluation.
2.4 : Qui devrait prendre en charge l’opération d’évaluation institutionnelle dans un collège?
R. : Compte tenu des buts poursuivis par l’évaluation institutionnelle, l’opération devrait être prise en charge par la direction. Toutefois, pour obtenir les résultats escomptés, l’évaluation institutionnelle requiert la participation de tous les intervenants, de tout le personnel d’un collège.
2.5 : Les évaluations précédentes doivent-elles être prises en compte?
R. : Oui. Les suivis apportés aux évaluations antérieures ainsi que les résultats découlant de l’application des politiques institutionnelles, notamment la PIEA et la PIEP, sont autant d’éléments qui devraient être pris en compte dans le cadre de l’évaluation institutionnelle.
2.6 : Les secteurs de la formation continue et de l’enseignement à distance doivent-ils être pris en compte?
R. : Ces secteurs s’inscrivent dans la poursuite de la mission éducative du collège. Ils peuvent être examinés distinctement, mais ils devraient être analysés dans une perspective d’ensemble. Pour la formation continue, les critères 2, 4 et 5 sont particulièrement pertinents.
2.7 : La formation non créditée, les volets complémentaires et les centres de transfert technologique doivent-ils être pris en compte?
R. : Oui, dans la mesure où ces activités ont un impact sur la mission éducative d’un collège.
2.8 : L’opération peut-elle être segmentée et donner lieu à la remise de rapports d’étape?
R. : Non. La Commission s’attend à recevoir un rapport d’autoévaluation qui traite de chacun des critères définis dans le Guide. Un collège peut cependant réaliser l’évaluation par étapes. Il devra toutefois veiller à ce qu’il n’y ait pas d’écarts dans le traitement et l’analyse des parties réalisées au début de l’opération et celles effectuées à la fin.
2.9 : Les collèges doivent-ils produire un devis d’évaluation?
R. : Oui. Le devis permet de préciser les enjeux et les questions d’évaluation, d’encadrer la démarche, d’identifier le partage des responsabilités et d’établir un échéancier.
2.10 : Les collèges doivent-ils procéder à des enquêtes ou à des sondages?
R. : Ces outils peuvent s’avérer nécessaires pour étayer la démonstration de certains aspects; la Commission s’attend toutefois à ce que les collèges utilisent, dans la mesure du possible, les données et documents déjà disponibles.
2.11 : Les collèges regroupant différents centres d’études (ou campus ou collèges constituants) doivent-ils remettre plus d’un rapport à la Commission?
R. : Non. La Commission s’attend à recevoir un seul rapport par collège. Un collège pourra cependant tenir compte de ses spécificités locales s’il y a lieu.
3. Critères d’évaluation
3.1 Critère 1
3.1.1 Quels outils peuvent servir à mesurer le degré d’adhésion à la mission et aux objectifs institutionnels?
R. : Pour apprécier le degré d’adhésion à sa mission et à ses objectifs institutionnels, un collège peut recourir aux questionnaires et aux sondages, mais il peut aussi examiner les plans de cours et les politiques départementales.
3.2 Critère 2
3.2.1. Les relations avec l’association étudiante et les activités parascolaires doivent-elles être prises en compte?
R. : Oui. Ces questions peuvent être traitées au 3e thème (l’efficacité des services aux étudiants) de ce critère.
3.3 Critère 3
3.3.1 : Les indicateurs relatifs à la réussite des cours, à la persévérance scolaire ainsi qu’à l’atteinte des objectifs des programmes doivent-ils prendre en compte tous les programmes offerts par un collège?
R. : Le collège démontre que les processus qu’il a mis en place pour apprécier les résultats lui permettent d’évaluer l’atteinte des objectifs liés au rendement des élèves et à leur cheminement sur les plans scolaire et professionnel. À ce titre, le collège devrait procéder à l’analyse d’au moins un programme par secteur de formation et par famille de programmes conduisant à l’obtention d’un DEC. L’analyse devrait de plus tenir compte du cheminement de plusieurs cohortes. Les données ayant servi à l’élaboration des plans de réussite peuvent également être utilisées, de même que les résultats obtenus lors d’évaluations antérieures.
En ce qui concerne les programmes conduisant à l’obtention d’une AEC, le collège devrait tenir compte des programmes qui ont commencé durant une année.
3.3.2 Les taux de réussite doivent-ils être examinés programme par programme ou de façon globale ?
R. : Il est préférable de procéder programme par programme pour cerner les tendances qui se dégagent et identifier, au besoin, des actions appropriées à chaque programme.
3.3.3 Quels sont les indicateurs susceptibles de démontrer l’atteinte des objectifs de programme?
R. : La démonstration peut ici reposer sur la capacité de l’épreuve synthèse, pour les programmes ciblés par le collège, à mesurer l’atteinte des objectifs de programme. Le collège peut également utiliser les données obtenues lors d’un sondage auprès des diplômés, des employeurs et des universités, en vue d’apprécier le degré d’atteinte des objectifs de programme.
Pour les programmes conduisant à l’obtention d’une AEC, l’analyse peut reposer sur les stages réalisés par les étudiants. L’appréciation des diplômés et des employeurs permet également d’évaluer l’atteinte des objectifs de programme.
3.4 Critère 4
3.4.1 Ce critère porte sur le développement. Recouvre-t-il seulement les dimensions « innovation et recherche »?
R. : Non. Ce critère permet d’évaluer la capacité d’un collège de s’adapter à de nouveaux contextes, de s’inscrire dans une démarche d’amélioration continue, d’amorcer des projets de développement, ainsi que de développer de nouveaux créneaux.
3.4.2 : Le traitement de ce critère suppose la prise en compte de plusieurs éléments externes au collège. Quelle est l’importance à accorder au traitement de ce critère?
R. : Ce critère réfère davantage à la façon dont le collège compose avec les éléments externes.
3.5 Critère 5
3.5.1 Comment évaluer le volet des communications internes?
R. : Le collège peut examiner le climat de travail, les pratiques de communication entre les différents secteurs, et évaluer dans quelle mesure ces pratiques contribuent à la réalisation de la mission éducative.
4. Démarche de la Commission
4.1 Quelle est la démarche adoptée par la Commission ?
R. : Comme dans le cas de ses opérations antérieures, la Commission a d’abord publié un Guide précisant la nature, les objectifs et la portée de la présente opération, le processus d’évaluation, l’approche préconisée, ainsi que les critères retenus pour procéder à l’évaluation. Le Guide, élaboré avec le concours d’un comité consultatif, faisait suite à la publication d’un document d’orientation et de consultation.
La Commission a de plus procédé à une tournée d’information à l’automne 2000 au cours de laquelle elle a rencontré des représentants de la plupart des collèges touchés par la présente évaluation. Des explications additionnelles, notamment en ce qui concerne les orientations retenues par la Commission et l’importance à accorder aux critères, ont été données à cette occasion.
Enfin, la Commission procèdera sous peu à la constitution d’un nouveau comité consultatif afin, notamment, de préciser les modalités qui prévaudront pour l’analyse des rapports d’autoévaluation des collèges, de même que pour l’organisation des visites des établissements et la préparation d’un rapport synthèse.
4.2 : Quelle est l’importance à donner au plan d’action?
R. : Le plan d’action est un des éléments importants de cette évaluation, car il permet de juger de la capacité d’un collège de se prendre en charge.
Ainsi, à la lumière de son analyse, un collège évalue sa situation par rapport à chacun des critères, identifie ses points forts et ses points faibles, et propose des voies d’amélioration. Cette analyse doit amener le collège à produire un plan d’action dûment adopté qui identifie des priorités et spécifie les responsabilités et les échéances prévues pour assurer sa mise en œuvre.
4.3 : La Commission évaluera-t-elle les plans d’action?
R. : La Commission pourra commenter les plans d’action au regard des constats et des conclusions contenus dans le rapport d’autoévaluation d’un collège. Elle jugera de la pertinence des actions prévues et de leur état de réalisation.
4.4 : Les rapports d’autoévaluation, ainsi que les éléments qui y sont contenus, seront-ils rendus publics par la Commission?
R. : Non. La Commission rendra publics uniquement ses propres rapports d’évaluation, comme elle l’a fait jusqu’à présent.
4.5 : Lors des visites qu’elle effectuera dans les collèges, la Commission désirera-t-elle rencontrer différents groupes de personnes?
R. : Oui. L’organisation et le déroulement des visites ne sont toutefois pas encore déterminés.