Relatório foi publicado pela Academia
Britânica, a organização nacional de Ciências Humanas do Reino Unido.
Carlos OrsiTweet
O uso de rankings como
instrumento para aferição de qualidade e estímulo à competição e ao
aperfeiçoamento de instituições públicas em geral, e da educação superior em
particular, é problemático: a validade estatística de muitas dessas listas é
duvidosa, e não existem bons estudos demonstrando que os sistemas de
ranqueamento realmente estimulem melhorias reais nas instituições avaliadas. É
o que afirma um relatório publicado pela Academia Britânica, a organização
nacional de Ciências Humanas do Reino Unido.
O relatório, intitulado
Measuring Success (“Medindo Sucesso”), reconhece a crescente demanda do público
por informações que permitam avaliar o desempenho do setor público, e que os
rankings baseados em indicadores de performance vêm ocupando um espaço cada vez
maior no esforço para atender a essa demanda.
"Dada a onipresença e a
importância cada vez maior dos rankings, um relatório sobre suas origens,
forças e fraquezas é necessário" “Dada a onipresença e a importância cada
vez maior dos rankings, um relatório sobre suas origens, forças e fraquezas é
necessário”, diz o texto. “Um problema fundamental que cerca a discussão do desempenho
do setor público é a ausência de avaliações sistemáticas de seus efeitos. Essa
ausência de evidências claras torna a medição da performance uma área altamente
polêmica.”
Os rankings, de acordo com o
relatório, servem a três propósitos: prestação de contas, por meio da qual as
autoridades podem formar uma opinião sobre quais instituições precisam de mais
atenção ou onde medidas corretivas se fazem necessárias; informação aos
usuários, que assim podem escolher qual a melhor escola ou hospital a procurar;
e de controle, ao apontar o caminho para a conquista de metas de desempenho.
“Defensores dos rankings apelam
para a o caráter de abertura democrática, sugerindo que dar aos cidadãos acesso
a informação estatística levará a uma participação maior, e que o acesso à
informação oficial deve ser um direito democrático”, diz o trabalho da Academia
Britânica.
Seleção
de alunos
Críticos da ferramenta, por sua
vez, argumentam que o efeito social dos rankings muitas vezes leva os agentes
públicos a mudar seu comportamento de modo nocivo. “Há evidências de que
escolas [...] manipulam suas políticas de acesso, em detrimento da liberdade de
escolha dos estudantes e, até mesmo, excluem os menos capazes” a fim de
melhorar de posição das listas oficiais.
Além disso, duas questões técnicas poriam em
xeque a legitimidade da mera publicação dos rankings, sem interpretação ou
advertências, pela imprensa em geral: primeiro, a necessidade de
contextualização – rankings de ensino superior, por exemplo, deveriam ser ajustados
de acordo com a rigidez do critério de seleção de estudantes de cada
instituição, e as notas das diferentes universidades deveriam levar em conta o
conceito de “valor agregado”, onde se busca medir a diferença entre as
competências que o aluno tem ao completar o curso e as que tinha ao ingressar.
A segunda questão é de
imprecisão estatística: “a incerteza em torno de cada ranking é muito grande, e
em muitos casos importantes é tão grande que torna impossível qualquer
comparação significativa”, diz o texto.
"Há evidências de que
escolas [...] manipulam suas políticas de acesso, em detrimento da liberdade de
escolha dos estudantes e, até mesmo, excluem os menos capazes a fim de melhorar
de posição das listas oficiais" O relatório conclui que, embora os
rankings certamente afetem o comportamento dos responsáveis pelas instituições
avaliadas, esse efeito não é universalmente benéfico, e precisa ser melhor
estudado. Entre as recomendações gerais, os autores pedem que se analise a
possibilidade de alguns rankings não serem divulgados para o público, mas
fiquem restritos às instituições envolvidas. E que, quando publicados, os
rankings venham acompanhados de advertências quanto a suas limitações técnicas
e estatísticas. Também se recomenda o envolvimento de instituições
independentes do governo na criação de indicadores de performance a serem
avaliados.
No caso específico dos rankings
de instituições de ensino superior, o relatório adverte contra a tentação de se
basear as listas apenas nos dados mais disponíveis, e não nos que poderiam ser
os mais válidos, e também chama atenção para a importância de manter os
indicadores separados.
“Deve-se resistir à tentação de
agregar indicadores num só índice, ou mesmo num pequeno número de índices”,
recomendam os autores.
Reação
Em resposta ao relatório, o
editor do ranking de universidades do periódico Times Higher Education (THE),
Phil Baty, publicou artigo explicando que a revista já abandonara os rankings
“influentes, mas defeituosos” que vinha divulgando até 2009, em favor de um
sistema aperfeiçoado, em uso desde 2010.
Entre as recomendações feitas
pelo relatório e já adotadas pelo ranking do THE, Baty menciona a transparência
quanto à metodologia e às limitações estatísticas do processo, além da abertura
dos dados para que os interessados possam verificar quais os indicadores que
foram usados na composição da nota final do ranking.
“Times Higher Education tem o
compromisso de abrir nossos dados para dar ao usuário uma visão melhor dos
diferentes indicadores e como eles se combinam num único número composto”,
escreveu ele. “Os números são publicados num website interativo que permite
desagregar nossos 13 indicadores.”
O relatório conclui que, embora
os rankings certamente afetem o comportamento dos responsáveis pelas
instituições avaliadas, esse efeito não é universalmente benéfico, e precisa
ser melhor estudadoBrasil
No Brasil, os cursos de
educação superior recebem uma nota atribuída pelo Ministério da Educação (MEC),
o chamado Conceito Preliminar de Curso (CPC). Esta é uma nota única que varia
de 1 a 5, calculada a partir da síntese de oito indicadores. O principal deles
é o Indicador de Diferença entre o Desempenho Observado e o Esperado (IDD), que
busca ser um medidor de “valor agregado”, como o preconizado pelo relatório
britânico. O IDD tem por base o resultado do estudante no Exame Nacional de
Desempenho de Estudantes (Enade).
Recentemente, a imprensa divulgou que dezenas
de instituições privadas de educação superior viram-se sob suspeita de terem
manipulado o acesso de seus estudantes ao Enade, a fim de reforçar
artificialmente suas posições nos rankings elaborados a partir das notas
produzidas pelo MEC.
Fonte: Revista
Ensino Superior
Nenhum comentário:
Postar um comentário