Dans notre billet précédent nous écrivions : « Un tel contraste entre les évaluations du comité et celles des experts extérieurs indépendants semble difficile à justifier. Il semble ainsi exister une très nette différence d’appréciation de la notion d’excellence entre le comité de sélection local de l’UGA et les évaluateurs internationaux indépendants qu’il serait utile de pouvoir expliquer. »
Notre questionnement a donné l’idée à un collègue de produire une petite étude statistique sur le tableau présenté lors de la commission recherche. Elle confirme nos inquiétudes.
Pour réaliser cette étude il est nécessaire de convertir les appréciations des 2 comités en un score unique pour chaque projet. Plusieurs options ont été testées, des moyennes avec différentes pondérations, des classements hiérarchiques notamment.
Existe-t-il un lien entre les évaluations extérieures et celles du comité de sélection interne à l’UGA ?
Ce graphique représente le résultat du test statistique le plus favorable de toute l’étude. A leur lecture, le doute n’est plus permis : il n’y a aucune corrélation significative entre les évaluations des experts et le comité. Le cas qui présente la meilleure corrélation : 𝑟 ≈ 0.35 correspond à des variances expliquées de l’ordre de 𝑟2 ≈ 0.352 ≈ 10%.
Est-ce que les échantillons sélectionnés vs non-selectionés ont une distribution de notes des experts différente ?
Malheureusement, comme les trois valeurs de « p value » sont supérieures à 10%, il n’existe aucune différence notable entre les 2 échantillons.
Cela signifie une chose et une seule : le financement d’un projet n’est pas corrélé à la note attribuée part les experts.
Conculsion
Si cette étude statistique ne dit rien de la manière dont a travaillé le comité pour établir son classement final. Quels que soient les raisons et les critères et quand bien même cela serait raisonnable (e.g. poids de l’oral largement supérieur aux notes experts, similarité dans les disciplines des projets déposés, etc.) on peut conclure que les experts extérieurs ont perdu leur temps, leur évaluation n’a servi à rien.
Est-ce vraiment un problème ?
Après tout, le comité aurait parfaitement le droit d’avoir un avis différent de celui des expert extérieurs. Cependant, cette évaluation par des experts extérieurs, en double aveugle, est la seule garantie d’impartialité offerte par le processus de sélection.
Si cette évaluation n’a pas permis d’informer les choix du comité, il est alors légitime de questionner l’impartialité du processus de sélection, d’autant plus lorsqu’un projet bien évalué par les experts indépendants, mais non financé, était porté par des opposants politiques à la présidence.
Que faire maintenant ?
Si vous souhaitez nous soutenir pour faire respecter le moratoire qui à été demandé par les élus de la commission recherche, nous vous invitions à :
- Contribuer à cette cagnotte pour nous permettre d’introduire un recours en référé devant le tribunal administratif ;
- Vous indigner de cette situation auprès de la direction de votre laboratoire, et/ou pôle de recherche ;
- Envoyer un message au VP recherche pour lui demander de respecter le moratoire.