FR:

Cet article cherche à montrer que les relations entre théorie et pratique en matière d’évaluation en général (et d’évaluation de programme, en particulier) constituent, en réalité, une aporie opposant et reliant, à la fois, le « système technicien », privé de sens (Ellul, 2012) et la recherche permanente d’une théorie, génératrice de sens. Pour étayer cette aporie, l’auteur s’appuie notamment, sur un certain nombre de travaux, dont ceux récents, rassemblés par Mottier Lopez et Figari (2012), dressant un bilan épistémologique des recherches sur l’évaluation en éducation. L’auteur rappelle tout d’abord, les critiques apportées aux « évaluations techniciennes » remises en question par des chercheurs parce qu’insuffisamment théorisées. L’auteur fait le point, ensuite, sur l’avancée de la « pensée théorique » qui s’élabore autour de l’évaluation, en questionnant les écrits d’auteurs qui, faute de proposer une « théorie générale », construisent des « théorisations ». C’est pourquoi, dans les écrits analysés, les éléments constitutifs d’une théorisation émergente de l’évaluation sont classés selon trois niveaux : 1- un carrefour de disciplines de sciences sociales et humaines s’attachant à expliquer, de leur point de vue, les phénomènes liés à l’évaluation : 2- une méthodologie de la mesure en pleine évolution dans le sens d’une plus grande intégration de cadres théoriques à son développement; 3- l’émergence d’une configuration de paradigmes de l’évaluation de plus en plus restreints et fédérateurs. À défaut de résoudre l’aporie initiale, il est possible de disposer d’un aperçu : celui d’une préthéorie de l’évaluation qui serait en train de naître.

EN:

This article attempts to show that the relationships between theory and practice as far as evaluation is concerned constitutes, in fact, an aporia which opposes and connects at the same time the «technician system», devoided of meaning (Ellul, 2012), and the continuous research for a theory generating meaning. In support of this aporia, one relies, in particular, on a number of papers, some of which are recent, collected by Mottier Lopez and Figari (2012), and take an epistemological stock of research related to evaluation in education. First of all, one recalls the criticism of the «technician evaluations», questioned by researchers because of a lack of theorisation. One then takes stock of the progress made regarding the «theoretical thinking» built up around evaluation, by questioning the writings of authors who, because they are unable to propose a «general theory», construct «theorisations». To that end, in the papers analysed, the elements constituting an emerging evaluation theorisation have been classified in three constituent elements: 1- a crossroads of social sciences and humanities disciplines with a view to explaining, from their respective viewpoints, the phenomena related to evaluation; 2- a methodology for the rapidly evolving measurement, moving towards a greater integration of the theoretical frameworks for its development; 3- the emergence of a configuration of increasingly restricted and unifying evaluation paradigms. Even if one fails to solve the initial aporia, one thus gets a glimpse: a pretheory of the evaluation in the making.

PT:

Este artigo procura mostrar que as relações entre teoria e a prática em matéria de avaliação em geral (e de avaliação de programas, em particular) constituem, na verdade, uma aporia que opõe e associa, ao mesmo tempo, o “sistema técnico”, privado de sentido (Ellul, 2012), e a investigação permanente de uma teoria, geradora de sentido. Para sustentar esta aporia, apoiamo-nos, designadamente, sobre um certo número de trabalhos, cujos mais recentes, organizados por Mottier Lopez et Figari (2012), realizam um balanço epistemológico de investigações sobre avaliação em educação. Desde logo, convocamos as críticas dirigidas às “avaliações técnicas” colocadas em questão pelos investigadores devido ao facto de se apresentarem insuficientemente teorizadas. De seguida, fazemos o ponto da situação sobre o avanço do “pensamento teórico” em torno da avaliação, questionando os escritos de autores que, na ausência de uma proposta de uma “teoria geral”, constroem “teorizações”. É por isso que, nos escritos analisados, os elementos constitutivos de uma teorização emergente da avaliação são classificados em três elementos constitutivos: 1 – um cruzamento de disciplinas de ciências sociais e humanas que explicam, a partir do seu ponto de vista, os fenómenos ligados à avaliação; 2 – uma metodologia da medida em plena evolução no sentido de uma grande integração de quadros teóricos no seu desenvolvimento; 3 – a emergência de uma configuração de paradigmas de avaliação cada vez mais restritos e unificadores. Mesmo que não se resolva a aporia inicial, sinalizar-se-á, assim, uma pré-teoria da avaliação que está em vias de nascer.

FR:

Théories de l’évaluation, oui, mais de qui et sur quoi ? Les auteurs partiront de l’hypothèse de Shadish, Cook, et Leviton (1991) selon laquelle il existerait à la fois des « théories spontanées » de l’évaluation chez les praticiens, ainsi que des « théories académiques » de l’évaluation dans la littérature. Cet article vise à mieux décrire, comparer et discuter les différentes théories de l’évaluation sur la base de cette distinction. Seront examinées tout d’abord les « théories spontanées » de l’évaluation, à travers les traces décelées chez des évaluateurs rencontrés à l’occasion d’une thèse. Les théories (formes, contenus) des praticiens seront analysées pour tenter d’en comprendre l’origine et le développement. Par la suite, cet article montrera qu’il existe aussi des tentatives d’avancer sur des « théories académiques » de l’évaluation dans la littérature. La forme, le contenu et le mode de constitution de ces théories seront réexaminés. Enfin seront discutés les atouts et les limites de chaque forme de théorisation de l’évaluation pour aboutir sur les liens qui peuvent unir les théories spontanées et les théories académiques de l’évaluation, en tentant de comprendre comment elles circulent et peuvent potentiellement s’enrichir les unes et les autres.

EN:

Evaluation theories: from whom and about what? We will follow a hypothesis from Shadish, Cook and Leviton (1991). According to them, there are “spontaneous theories” of evaluation among practitioners and “academic theories” among the literature. In this paper, we will try to describe, compare and discuss these two kinds of theories. We will first examine the “spontaneous theories” of evaluation. Indeed, we found traces of them in the acts and discourses of a sample of professional evaluators that we met during a doctoral research. We will describe the form and content of these theories before examining their origin and development. We will then describe the “academic theories” of evaluation developed in the literature (form, content, origin and development). We will finally discuss the advantages and limits of each kind of theory and try to understand how they circulate and how they can enrich each other.

PT:

Teorias da avaliação, sim, mas de quê e sobre quê? Os autores partirão da hipótese de Shadish, Cook e Leviton (1991), segundo a qual haveria, ao mesmo tempo, “teorias espontâneas” de avaliação entre os práticos e “teorias académicas” de avaliação na literatura. Este artigo visa descrever, compara e discutir as diferentes teorias da avaliação a partir desta distinção. Serão examinadas, desde logo, as “teorias espontâneas” de avaliação através dos traços revelados por avaliadores no âmbito de uma tese de doutoramento. As teorias (formas, conteúdos) dos práticos serão analisadas para tentar compreender a sua origem e desenvolvimento. De seguida, o artigo mostrará que existem também tentativas de avançar sobre as “teorias académicas” de avaliação na literatura. A forma, o conteúdo e o modo de constituição destas teorias serão reexaminados. Finalmente, discutir-se-ão as vantagens e os limites de cada forma de teorização de avaliação para encontrar as ligações que podem unir as teorias espontâneas e as teorias académicas da avaliação, tentando compreender como circulam e como podem, potencialmente, enriquecer-se mutuamente.

FR:

Plusieurs formations en évaluation au deuxième cycle sont disponibles au Canada, sous forme de diplômes d’études supérieures spécialisés, de maîtrises ou de cours, avec des contenus théoriques et pratiques. Des formations en évaluation au niveau doctoral sont également disponibles en tant que concentrations ou cours, mais rarement en tant que discipline principale. Comment faire en sorte que ces formations de troisième cycle en évaluation arriment théorie et pratique ? Dans un premier temps, les auteurs présentent la pertinence d’offrir des formations de troisième cycle en évaluation. L’argumentaire se base sur les critères à remplir lors de la création d’un programme de doctorat, soit la pertinence scientifique, sociale, institutionnelle et systémique. Dans un second temps, ils présentent trois volets de l’arrimage théorie et pratique des formations de troisième cycle en évaluation. Les volets portent sur le but de la formation, la base disciplinaire et le niveau d’expérience antérieure en évaluation du public visé. Finalement, quelques modalités possibles d’intégration de la pratique dans les formations de troisième cycle en évaluation sont discutées.

EN:

In Canada, postsecondary training programs are available in evaluation. Masters, graduate diplomas and courses provide with theoretical and empirical content related to the field of evaluation. At the postsecondary level, some training is also available for PhD students. In that case, evaluation takes the form of a class, a major or a minor. How to get doctoral training programs in evaluation that combines conceptual as well as practical contents? First we develop upon the relevancy for doctoral programs in evaluation. Our points refer to the following criteria common to doctoral programs: scientific, social, institutional and systemic relevance. Second we propose three entrees to build bridges between empirical and conceptual knowledge for doctoral programs. The three arguments relate to the career objectives of students, basic disciplinary field of the incoming student and his/her level of experience with evaluation. At the end, few practical options are provided to integrate practice into postsecondary trainings.

PT:

Diversas formações universitárias ao nível do segundo ciclo em avaliação estão disponíveis no Canadá sob a forma de estudos superiores especializados, mestrados ou de cursos, com conteúdos teóricos e práticos. As formações ao nível do doutoramento estão igualmente disponíveis enquanto concentrações ou cursos, embora mais raramente enquanto disciplina principal. Como fazer para que estas formações do terceiro ciclo em avaliação possam combinar teoria e prática? Num primeiro momento, os autores apresentam a pertinência de oferecer formações de terceiro ciclo em avaliação. O argumentário baseia-se sobre os critérios a preencher na criação de um programa de doutoramento, seja a pertinência científica, social, institucional e sistémica. Num segundo momento, apresentam três argumentos para construir pontes entre a teoria e a prática nas formações de terceiro ciclo em avaliação. Os argumentos estão relacionados com a finalidade da formação, a base disciplinar e o nível de experiência anterior em avaliação «pelos estudiantes» público visado. Finalmente, discutem-se algumas modalidades possíveis de integração da prática nas formações de terceiro ciclo em avaliação.

FR:

L’approche réaliste gagne en popularité auprès des chercheurs en sciences sociales, notamment auprès de ceux dont les objets de recherche sont complexes : programmes, projets ou politiques publiques qui visent à améliorer une situation sociale. En effet, l’approche réaliste a été récemment adaptée à la pratique de l’évaluation de programmes et à celle de la revue systématique. Ces pratiques de recherche ancrées dans le réalisme critique semblent mieux adaptées aux exigences du mouvement de la prise de décision ou de l’action fondée sur les preuves scientifiques. Pourtant, l’approche réaliste est encore peu utilisée et connue, particulièrement parmi les étudiants et les chercheurs francophones en évaluation. Le premier objectif de cet article est donc de présenter, de manière didactique, les fondements épistémologiques et les concepts clés de l’approche réaliste pour l’évaluation de programmes et la revue systématique. Le deuxième objectif est d’illustrer, par une étude de cas – celui d’une revue réaliste –, les apprentissages conceptuels et méthodologiques pour la pratique de l’évaluation réaliste. Cette démarche réflexive s’inscrit dans un mouvement de partage de connaissances et de pratiques sur l’approche réaliste.

EN:

The realist approach is gaining popularity among social scientists, especially among those whose research objects are complex, such as programs, projects and public policies that seek to improve a social situation. Indeed, the realist approach has been adapted to the practice of program evaluation, and more recently of systematic review. Research methods rooted in critical realism seem better adapted to the demands of the movement for evidence-based decision- and policy-making. However, the realist approach is still rarely known and used, especially among francophone evaluation researchers and students. The first objective of this article is thus to introduce in a didactic way the epistemological foundations and key concepts of the realist approach to program evaluation and systematic review. The second objective is to illustrate, through a case study of a realistic review, the conceptual and methodological learning about the practice of realistic evaluation. This reflexive approach is part of a movement of sharing knowledge and best practices on the realist approach.

PT:

A abordagem realista está a ganhar popularidade entre os cientistas sociais, especialmente daqueles cujos objetos de investigação são complexos: programas, projetos e políticas públicas que visam a melhoria de uma situação social. Com efeito, a abordagem realista foi recentemente adaptada para a prática da avaliação de programas e da revisão sistemática. Estas práticas de investigação enraizadas no realismo crítico parecem mais adaptadas às exigências do movimento de tomada de decisão ou de ação baseada em evidências científicas. No entanto, a abordagem realista é ainda pouco utilizada e conhecida, especialmente entre estudantes e investigadores francófonos em avaliação. O primeiro objetivo deste artigo é apresentar, de forma didática, os fundamentos epistemológicos e os conceitos-chave da abordagem realista para a avaliação de programas e a revisão sistemática. O segundo objetivo é ilustrar, através de um estudo de caso - o de uma revisão realista –, as aprendizagens concetuais e metodológicas para a prática da avaliação realista. Esta abordagem reflexiva inscreve-se num movimento de partilha de conhecimentos e de práticas sobre a abordagem realista.

FR:

En Belgique francophone, les programmes d’études ont généralement été construits par des praticiens (enseignants) et supervisés par un inspecteur, du moins dans l’enseignement officiel. Dans le cadre d’une recherche commanditée par la Fédération Wallonie-Bruxelles, les auteurs ont analysé les programmes d’études en sciences. Sur cette base, ils mettent en évidence quelques-unes des difficultés liées à la conception des programmes d’études. Les auteurs mettent notamment ce constat en parallèle avec la complexité d’identifier un modèle cohérent capable de soutenir la conception des programmes. Ils plaident, par ailleurs, en faveur d’un pilotage du processus de rédaction et proposent quelques pistes pour opérationnaliser les apports théoriques et méthodologiques dans le processus de conception.

EN:

In French-speaking Belgium, most programs were usually designed by practitioners (teachers) and supervised by an inspector, at least in official education. As part of a research funded by the Wallonia-Brussels Federation network, authors analyzed the science programs. On this basis, they highlight some of the difficulties to link to the design of programs. Authors put this observation in conjunction with the complexity to identify a coherent model that can support the design of programs. Moreover, they argue in favor of a steering of the writing process and offer some approaches to operationalize the theoretical and methodological contributions in the process of designing a curriculum.

PT:

Na Bélgica francófona, os programas de estudos foram geralmente construídos por práticos (professores) e supervisionados por um inspetor, pelo menos no ensino oficial. No âmbito de uma investigação encomendada pela Federação Valónia-Bruxelas, os autores analisaram os programas de estudos de ciências. Nesta base, evidenciam algumas das dificuldades ligadas à conceção dos programas de estudos, o que colocam em paralelo, nomeadamente, com a complexidade de identificar um modelo coerente capaz de sustentar a conceção dos programas. Mais ainda, argumentam a favor de uma pilotagem do processo de redação e propõem algumas pistas para operacionalizar os contributos teóricos e metodológicos no processo de conceção.