Cet article est disponible en ligne ladresse : http://www.cairn.info/article.php?

ID_REVUE=RFAP&ID_NUMPUBLIE=RFAP_104&ID_ARTICLE=RFAP_104_0649

Les difficults dune instance dvaluation : propos de lvaluation de la formation continue des agents de ltat et des hpitaux. Tmoignage du par Jean-Franois CUBY
| Ecole Nationale d'Administration | Revue franaise dadministration publique 2002/4 - n104
ISSN 0152-7401 | ISBN | pages 649 656

Pour citer cet article : Cuby J.-F., Les difficults dune instance dvaluation : propos de lvaluation de la formation continue des agents de ltat et des hpitaux. Tmoignage du prsident, Revue franaise dadministration publique 2002/4, n104, p. 649-656.

Distribution lectronique Cairn pour Ecole Nationale d'Administration. Ecole Nationale d'Administration. Tous droits rservs pour tous pays. La reproduction ou reprsentation de cet article, notamment par photocopie, n'est autorise que dans les limites des conditions gnrales d'utilisation du site ou, le cas chant, des conditions gnrales de la licence souscrite par votre tablissement. Toute autre reproduction ou reprsentation, en tout ou partie, sous quelque forme et de quelque manire que ce soit, est interdite sauf accord pralable et crit de l'diteur, en dehors des cas prvus par la lgislation en vigueur en France. Il est prcis que son stockage dans une base de donnes est galement interdit.

LES DIFFICULTS DUNE INSTANCE DVALUATION : PROPOS DE LVALUATION DE LA FORMATION CONTINUE DES AGENTS DE LTAT ET DES HPITAUX
Tmoignage du prsident

Jean-Franois CUBY
Inspecteur gnral de ladministration de lducation nationale et de la recherche

tat du 12 octobre 2000, la suite du Comit interministriel pour la rforme de lE et sous la houlette du conseil national de lvaluation des politiques publiques (CNE), une instance nationale dvaluation de la politique de formation continue des agents de ltat et des hpitaux tait installe au commissariat gnral au plan en mars 2001, la prsidence en tant cone Jacky Richard, alors chef du service de lInspection gnrale de ladministration de lducation nationale et de la recherche. Celui-ci ayant t nomm peu aprs directeur gnral de ladministration et de la fonction publique, jai t sollicit pour lui succder dans cette fonction en juin 2001. Linstance a rendu son rapport aux autorits ministrielles en fvrier 2003. Accompagn des ventuelles observations des services, il devrait tre publi dans les prochains mois. Dautres que moi ne manqueront pas den souligner les mrites et les faiblesses. Je me limiterai donc ici tmoigner trs librement des difficults 1 telles que je les ai vcues au cours de ces 20 mois de prsidence, quelles aient t institutionnelles et circonstancielles ou quelles aient port sur le fond.

LE FONCTIONNEMENT CIRCONSTANCES

INSTITUTIONNEL

ET

LES

Selon les textes et pratiques en vigueur, le dispositif institutionnel de ce type dvaluation est complexe. Jen tracerai schmatiquement les principales composantes.
1. Le lecteur voudra bien considrer que larticle est orient, par construction, sur les difficults plus que sur les satisfactions et se rappeler que toute valuation est spcique et largement empirique. Il ne sagit donc ici, lauteur tient le souligner, que dun tmoignage personnel li cette instance particulire.

Revue franaise dadministration publique no 104, 2002, pp. 649-656

650

JEAN-FRANOIS CUBY

Linstance tait constitue de fonctionnaires des principales administrations, duniversitaires et de personnes qualies, tous bnvoles et seulement dfrays de leurs dplacements. Elle a tenu 15 runions plnires, effectu un dplacement en province et sest rassemble dans un sminaire conclusif de deux jours en octobre 2002 2. Mais sur la priode, 14 personnes ont chang sur les 25 initialement runies, la suite de dmissions ou dabandons pour raisons diverses (essentiellement charges de travail ou changements de fonction). Jai t amen aussi dplorer le manque dassiduit et de abilit de certains. Le sujet tait a priori moins passionnel et ne comportait pas les mmes enjeux socitaux que dautres valuations menes dans la mme priode, par exemple celles de la politique de leau ou de la scurit routire. Un tutorat tait exerc des moments forts de la vie de linstance (installation, choix des tudes notamment) par le CNE, avec un suivi plus particulier assur par deux de ses membres, en quelque sorte conseillers-rfrents sur le sujet 3. Ce mode de relation, pour linstance que je prsidais, a fonctionn seulement pendant quelques mois, car le mandat du CNE nayant pas t formellement renouvel aprs le changement politique davril 2002, les articulations avec le conseil et ses membres ont cess. Ainsi, avons nous fait lconomie de quelques runions mais, dun autre ct, nous nous sommes trouvs un peu seuls au moment des choix et des synthses. Dans le mme esprit, il eut t souhaitable, je lavais envisag, dorganiser avec lensemble des directeurs de personnel une ou plusieurs runions dchanges, ce que les bouleversements davril 2002 nont pas permis. Les directeurs nanmoins ont t tenus collectivement informs des travaux de linstance 4. Pour leur logistique, les instances dvaluation sont rattaches au commissariat gnral au plan, avec un charg de mission qui assure convocations, compte-rendus, gestion des documents, courrier et messagerie. Elles disposent enn dun budget dtudes gr par les services du commissariat gnral au plan, selon les rgles des marchs publics, sur des crdits dlgus par les diverses administrations demanderesses, essentiellement, dans le cas despce, la fonction publique et le ministre des nances. Pour des raisons circonstancielles et de personnes 5, du retard avait t pris pour arrter le programme de ces tudes. Lurgence tait donc, en septembre 2001, doprer des choix et de prparer ledit programme dans les formes imposes par le code des marchs, sachant que les alas du tour de piste des administrations sollicites pour le nancement et les pratiques du plan ne nous permettaient pas de connatre prcisment cette poque lenveloppe des crdits dont nous pourrions disposer. Lautomne ft donc largement consacr, partir de nombreuses discussions, au sein et hors de linstance, monter les cahiers des charges des tudes soumises appel doffre ouvert : une tude sur la fonction publique hospitalire appuye sur 5 monographies de sites, une tude sur les plans de formation dans 4 administrations (administration pnitentiaire, police nationale, ministres de lagriculture et de lquipement), une enqute dopinion auprs dagents B
2. La pratique systmatique du tour de table introductif, instaure par le 2me rapporteur, a permis des prises de parole systmatiques et, la n des travaux, jai eu vraiment le sentiment que nous faisions quipe, avec les plus dles des membres de linstance. 3. C. Seibel, ex-directeur de la DARES, et J.-P. Bailly, alors PDG de la RATP. 4. Il a t inform par un 4 pages factuel dit par le plan et par la mise en ligne sur un site accs restreint (Vitamin) des compte-rendus et documents intercalaires. 5. Changement dattribution et indisponibilit du premier rapporteur, dpart du charg de mission, heureusement rapidement remplac.

Revue franaise dadministration publique no 104, 2002, pp. 649-656

LES DIFFICULTS DUNE INSTANCE DVALUATION : PROPOS DE LVALUATION...

651

et C de 4 administrations (les personnels administratifs, techniques, ouvriers, sant du ministre de lducation nationale, personnels des prfectures, agents des douanes, techniciens de lquipement), une tude sur les formations interministrielles (formations laccueil initialement). En mme temps quil convenait de bien prciser nos attentes sur ces tudes, il sagissait aussi pour nous, au travers de ces procdures, de faire notre premire formation sur lapplication du tout nouveau code des marchs publics, sorti pendant lt. Enn, avec laccord et laide nancire du plan, jobtenais en dcembre le renfort dun rapporteur consultant extrieur que javais mis trois mois trouver. Les formes ayant t scrupuleusement respectes, aprs dpouillement de 40 propositions et respect des circuits propres au commissariat gnral au plan 6, les choix taient notis aux 4 prestataires le 2 avril 2002, pour un rendu formel contractuel dans les 6 mois, soit au plus tard en septembre 2002. Javais, pour ma part, x janvier 2003 la remise du rapport et, dans cette perspective, la n doctobre la tenue dun sminaire de mise en commun de tous les travaux. Je ne mtendrai pas sur les problmes sordides de montage dauditions, de prise de rendez-vous pour entretiens, de recherche de documents qui font le quotidien de la vie des commissions ou instances de ce type, problmes largement partags avec le charg de mission et le rapporteur, et me contenterai dvoquer deux difficults inattendues rencontres en n de parcours. Nous avions souhait mener une enqute auprs des bnciaires de la formation. Pour ce faire, nous avions retenu lIFOP et mont avec cet institut un questionnaire lourd. Il sagissait alors de ladresser, si possible avant les vacances dt, 7 000 agents des 4 administrations retenues et dutiliser les chiers de personnels des dites administrations, ce an de leur faire parvenir directement leur domicile. Les ministres de lducation nationale et de lquipement donnrent trs rapidement et facilement les lments. En revanche, ladministration des douanes, trs militaire dans sa culture et son fonctionnement, exigea que les hirarchies soient informes et relaient lenvoi des questionnaires, ce quelle t dailleurs trs bien. Quant aux personnels de prfecture, rien ntant parvenu en juin, je d madresser au directeur des personnels pour quil veuille bien donner instruction au service informatique de faire le ncessaire 7. En n de compte, aprs avoir test le questionnaire auprs dun chantillon dagents, cest dbut septembre que lopration se droula dans toute son ampleur et quen octobre nous pouvions disposer des rsultats (avec dailleurs un excellent taux de rponse de plus de 30 %). Dans la dernire ligne droite, aprs le sminaire conclusif et un trs gros travail avec le rapporteur et le charg de mission, effectu partir de kilos de dossiers, des compte-rendus et des rsultats des tudes, un plan trs complet et trs ambitieux tait mont et le comit de rdaction pouvait enn satteler la tche proprement rdactionnelle du rapport nal. Or, comme chacun sait, cest au moment de rdiger que les manques, les incohrences, les dsquilibres apparaissent. Et cest ce moment que les circonstances rendirent le rapporteur trs peu disponible. Il fallut, partir de Nol, reprendre la quasi totalit du travail avec laide du charg de mission du commissariat gnral au plan.
6. Secrtariat gnral et contrle nancier des services du Premier ministre, ce dernier tant fort sollicit habituellement et plus encore lapproche de lchance prsidentielle. 7. Alors mme que le reprsentant du ministre dans linstance avait affirm depuis des mois quil en faisait son affaire.

Revue franaise dadministration publique no 104, 2002, pp. 649-656

652

JEAN-FRANOIS CUBY

Au-del de ces considrations trs lies aux circonstances particulires et au fonctionnement, des proccupations plus fondamentales ont constitu la toile de fond de cette valuation.

LA DMARCHE DVALUATION
La comprhension et lappropriation de la commande

Sen tenir strictement lintitul textuel du sujet, valuer la politique de formation continue signiait, au sens strict des dcrets de base, sintresser exclusivement la formation qui intervient aprs la titularisation dans le corps ; elle est aussi, dans son acception, plus large que la formation professionnelle stricto sensu. Or, comment et pourquoi, au regard de lapprciation de la cohrence dune politique, ne pas apprhender un continuum de formation dadultes, celle-ci commenant au concours dentre, se prolongeant parfois en cole et se poursuivant trs gnralement en formation dadaptation au premier emploi, considre comme une formation initiale ? Selon les ministres, les termes de formations de perfectionnement , formations statutaires , formations prise de poste , formations dadaptation ne semblent pas toujours avoir le mme sens. Les bilans sociaux des diffrents ministres ne sont ainsi pas homognes et les nomenclatures utilises sont gnralement diffrentes dune administration lautre. Par exemple, des stages non statutaires dadaptation lemploi sont classs en formation continue pour les besoins de la direction gnrale de ladministration et de la fonction publique et en formation initiale pour les besoins internes de certains ministres. Certains ministres peuvent avoir une comprhension plus extensive que dautres de la formation continue : ainsi la frontire entre formation et information est-elle parfois oue. Les dnitions et statistiques sen tiennent naturellement aux actions de formation qui sont budgtises et rglementes, alors mme que de nombreux autres lments, davantage informels, contribuent au dveloppement des comptences des individus et au changement des organisations. Trs rapidement, il est donc apparu quau-del de quelques grandes lignes et moments forts marquant une volont interministrielle (renouveau du service public, accords-cadres notamment), la tche revenait valuer non une politique mais des politiques, des dmarches et des efforts sur un champ extrmement divers et clat, chaque ministre et chaque direction gestionnaire de personnel ayant sa propre histoire, sa logique et ses contraintes, la formation continue suivant les alas des politiques de gestion et de dconcentration des ressources humaines.
Le choix des cibles

Le cahier des charges initial de lvaluation tait trs ambitieux, portant sur un questionnement quantitatif et qualitatif trs complet dune dizaine de pages autour de grandes entres : dnition et mise en uvre des actions, formation continue et dveloppement des carrires, formation continue, organisation et modernisation.

Revue franaise dadministration publique no 104, 2002, pp. 649-656

LES DIFFICULTS DUNE INSTANCE DVALUATION : PROPOS DE LVALUATION...

653

En mme temps, le cahier des charges manifestait des intentions trs prcises au regard de 8 catgories dagents, prioritairement B et C : personnel pnitentiaire, personnels de police, personnel hospitalier, techniciens de lquipement, de lagriculture, personnel des prfectures, personnels administratifs, techniques, ouvriers, sant de lducation nationale, agents des douanes. Il souhaitait aussi que lon observe les formations interministrielles dconcentres et que des comparaisons soient faites avec le secteur priv et si possible avec dautres pays. Le caractre trs riche des interrogations et laddition des attentes ainsi exprimes ne manqurent pas de susciter de vigoureux dbats et de nombreuses rexions au cours et hors des premires runions de linstance et cest seulement dans les derniers mois de 2002, une fois arrt le programme des runions et auditions, prcis les tudes et eu connaissance de ltat des donnes, quavec le comit de pilotage nous nous proposions, trs pragmatiquement, compte tenu de la force de travail disposition, de donner suite ou non telle ou telle ligne de requte. Cest ainsi que plusieurs dcisions furent prises. 1) Plutt que deffectuer des monographies sur chacune des catgories dagents, nous avons choisi de demander respectivement un cabinet et lIFOP, dans le cadre des axes denqute (voqus supra) de travailler sur les administrations correspondantes, de faon recouper par ce biais les donnes recueillies. Nous avons demand un autre consultant (un laboratoire de luniversit de St-Quentin-en-Yvelines) de mener une tude lourde sur le secteur hospitalier, dont nous pensions quil tait relativement original et avanc par rapport la fonction publique dtat permettant ainsi des comparaisons intressantes. 2) Nous avons demand au centre dtudes et de recherches sur les qualications, pour raliser la comparaison avec le secteur priv, de mener une tude complmentaire son rapport sur la formation professionnelle partir dune extraction des statistiques de lINSEE dun chantillon du secteur public. Si donc la rfrence au secteur priv est bien prsente dans lvaluation (dautant que les dispositifs de formation des agents de la fonction publique ont t largement inspirs de ceux noncs pour les salaris du priv), cest la comparaison des pratiques au sein de la fonction publique qui a t privilgie. 3) Nous avons choisi de ne pas nous en tenir strictement lexamen de la formation continue des agents de catgorie B et C. En effet, lencadrement joue un rle dterminant dans le bon fonctionnement de la formation continue, la qualit de la formation des agents de catgorie B et C dpendant elle-mme pour partie de la qualit de la formation la gestion des ressources humaines suivie par les agents de catgorie A. De plus, les dparts la retraite, massifs pour les catgories A et B invitent considrer simultanment les conditions de recrutement et de carrire de lensemble des agents. Les personnels de catgorie A ont donc fait lobjet dinvestigations, mme si elles sont restes priphriques. 4) Nous avons abandonn lide de faire des comparaisons internationales. En effet, en plus de la difficult que reprsente laccs des donnes internationales pertinentes et comparables sur un tel sujet, la comparaison internationale pose lpineux problme de la transfrabilit de modles et de pratiques ayant fait leur preuve dans des contextes diffrents. dfaut de moyens, et aussi compte tenu de la particulire originalit de la fonction publique franaise, nous nous sommes limits de fait une description rapide du dispositif allemand, protant de la prsence dans linstance dun ancien expert et responsable du pays.

Revue franaise dadministration publique no 104, 2002, pp. 649-656

654

JEAN-FRANOIS CUBY

Enn, la commande faisait trs largement limpasse sur lvaluation quantitative. Je le dplorais demble, doutant toutefois de pouvoir disposer des comptences et des moyens pour couvrir le volet statistique et nancier, ce au-del de la connaissance des donnes brutes collationnes et interprtes chaque anne par la DGAFP. Fort heureusement, linspection gnrale des nances, contacte au dbut de 2002, se montrait intresse par le thme, quelle navait jamais abord jusque-l, et linstance put alors bncier de sa collaboration spcique qui donne lieu un rapport annex, nourri particulirement de lexamen du ministre des nances, du ministre de lducation nationale et de la DGAFP.

Ltat des lieux

Un courrier avait t adress dans les premiers temps de la vie de linstance toutes les administrations pour les informer de lvaluation et leur demander de bien vouloir accueillir un enquteur (tudiant) qui avait t charg de dresser un panorama concret des services et de recueillir la documentation sur le thme. Les tagres du bureau du charg de mission du commissariat gnral au plan se remplirent donc de dossiers rtrospectifs plus ou moins nourris : statistiques, rapports, bilans sociaux, circulaires, plans de formation, compte-rendus de commission technique paritaire, etc. Sur ce registre, il est vite apparu, au fur et mesure des travaux et rexions de linstance, que les documents, au-del des chiffres et des propos officiels, savraient dun intrt ingal pour nous et que leur exploitation tait trs difficile. Les catalogues, descriptions, rtrospectives ou prospectives glorieuses lemportaient trs largement sur les rexions stratgiques, les tudes, les approches critiques ou dvaluation. Cette tape, incontournable et peu productive, permit nanmoins de mesurer le srieux et la ractivit des diffrentes administrations au regard du sujet et de recouper ensuite certaines des informations rassembles par le consultant choisi un peu plus tard pour travailler sur lentre des plans de formation. Lun des axes de lvaluation portait sur les formations interministrielles et javais pour ma part beaucoup insist pour que ltude sur ce domaine soit centre sur les formations laccueil, tout spcialement dans les services dconcentrs. En effet, il me semblait que ce thme avait gur depuis plus de dix ans parmi les priorits de la fonction publique et javais le souvenir dincitations fortes et de moyens pour des actions de formation laccueil, tant lducation nationale que dans les prfectures et sans doute ailleurs. Or, au bout de quelques semaines, le cabinet retenu sur ce sujet, aprs entretiens et recherches nous informait quil ntait pas possible, dfaut de matriaux et de tmoins suffisants, de dresser un bilan rtrospectif de ces formations ; notre grand regret, nous dcidions alors dlargir le champ de son intervention toutes les formations interministrielles, en privilgiant trois territoires (les dpartements du Cantal, de lEssonne et de la Haute-Garonne). Changements des responsables, priorits successives, absence doutils de suivi et dvaluation au moment du lancement dune politique, dconcentration importante des actions sans contrle de gestion, perte de mmoire : nous avions l une illustration trs parlante des insuffisances de certaines dmarches de ladministration, quand bien mme celles-ci sont ncessaires, apprcies et sans aucun doute porteuses de changement.

Revue franaise dadministration publique no 104, 2002, pp. 649-656

LES DIFFICULTS DUNE INSTANCE DVALUATION : PROPOS DE LVALUATION...

655

Le problme de limpact de la formation

valuer limpact de la formation continue sur lactivit professionnelle, surtout un niveau aussi global que celui de la fonction publique dans son ensemble, est pour le moins problmatique : sagissant des hommes au travail, les liens entre causes et effets, sils existent bien, sont difficiles mettre en vidence du fait de la diversit des variables contribuant au rsultat ainsi que de leur diversit daction dans le temps. En ce qui concerne la formation proprement dite, il est tout fait possible quaucune formation ne soit donne mais que les acteurs compensent ou se forment par eux-mmes, et linverse que beaucoup de formations soient effectues mme si elles ne se trouvent ni utilises ni utilisables. Enn, selon le moment, le contexte, la situation ou les individus, de mauvaises pratiques de formation peuvent produire de bons rsultats et de bonnes pratiques de mauvais. Pour valuer les effets de la formation, il faut tre en mesure de prendre en compte un certain nombre daspects dterminants trop souvent ngligs. Linstance a donc considr comme un enjeu important de cette valuation lanalyse de ces dimensions caches dans la mise en uvre de la politique de formation continue. On sait, par exemple, que ce qui conditionne les rsultats des hommes au travail dpend davantage des conditions de management (dimensions comportementales, relationnelles...) que des critres apparemment plus objectifs damlioration des rsultats (conditions de travail, organisation...). Une valuation globale de limpact de la formation aurait ncessit tout le moins de pouvoir disposer de remontes dvaluations locales de deux types : valuations des acquis dune part, et valuations de la mise en uvre des acquis dautre part. Or, linstance a constat que lvaluation des acquis des agents partis en formation ntait quasiment jamais effectue localement 8 et que les valuations diffres, qui en principe permettent de tester la mise en uvre effective des comptences acquises en formation, taient galement trs rares. De mme, lvaluation de limpact de la formation suppose la disponibilit de donnes longitudinales permettant dapprcier leffet du passage par une formation sur la trajectoire professionnelle de lagent concern. Or, pour la fonction publique comme pour le secteur priv, on manque dinformations de cette nature, les outils tant encore frustes ou peu adapts sur ce point (che individuelle de formation encore trop peu usite, logiciels en cours dlaboration...). Par ailleurs, valuer limpact de la formation continue dans le cadre de la fonction publique prsuppose de connatre les pratiques concrtes de formation et leurs modes dorganisation en lien avec les activits de travail. Si les politiques de formation des entreprises prives et leurs effets sur les carrires individuelles ont fait lobjet de nombreuses tudes, linstance dvaluation a t confronte une pnurie dinformations synthtiques dans la fonction publique. Dans ces conditions, elle sest donc davantage attache identier les conditions de possibilit dune valuation raisonne de limpact des formations.
* * *

8. Quand elle existe, cest dans le cadre des formations de prparation aux examens et concours ou de formations exigeant une habilitation.

Revue franaise dadministration publique no 104, 2002, pp. 649-656

656

JEAN-FRANOIS CUBY

Au terme de ce rapide retour sur le vcu dune dmarche longue et seme dembches, qui par bien des cts fut passionnante et dont jespre que la production pourra tre utile des dcideurs, des acteurs et peut-tre des chercheurs en sciences sociales, jinsisterai titre tout fait personnel sur le caractre trs largement illusoire dune approche qui se voudrait scientique de lvaluation dune politique aussi diffuse. Certes, nous avons tent avec le maximum dobjectivit et une totale indpendance de dresser un diagnostic et desquisser quelques perspectives partir des multiples lments runis au travers des auditions, des changes et des documents. Certes, nous avons eu lambition ou la prtention de prdnir une sorte de rfrentiel qui a servi de base et de l conducteur nos rexions, mais qui a mis progressivement en lumire plus les insuffisances de notre connaissance que les certitudes issues des investigations. Une politique, en thorie, devrait signier la dnition dobjectifs, lallocation de moyens adapts et lexistence doutils de suivi et dvaluation. Or, dans lattente de la mise en uvre des programmes de la loi organique relative la loi de nances, trop rares sont les politiques qui correspondent ce type de dmarche. Annonces, intentions, stop and go , modes, relativit de lengagement et turn over des responsables, alas budgtaires, dans lunivers la fois trs cadr et de fait trs dilu et multiforme des administrations, lemportent trs nettement sur stratgie, rationalit, contrle de gestion, valuation. Comment alors, au-del de la mesure dlicate et imparfaite des moyens allous la formation continue (le rapport annexe de linspection gnrale des nances atteste que globalement les objectifs quantitatifs de progression de masse salariale, affichs dans les accords-cadres, ont bien t respects), apprcier lchelon national les avances qualitatives dun ensemble aussi peu orient et dont seules les statistiques interministrielles difficilement collationnes chaque anne apportent une image de cohrence ? Comment valuer au plan national des efforts et des actions que lon mesure mal ou pas du tout au plan local (hormis les valuations chaud des stages) ? On peut mme se demander si, au sens strict du terme, une politique de formation continue des personnels de ltat a un sens. Pour ma part, je pense quelle ne doit tre quun moyen parmi dautres, dans des ensembles plus vastes (changement des organisations, comptences, GRH, actions lies des programmes) au service de nalits plus gnrales.

Revue franaise dadministration publique no 104, 2002, pp. 649-656