PISA: os resultados são melhores do que a primeira análise mostra
Saíram os resultados do PISA2012. Não vale a pena fazer aqui o resumo dos dados mais importantes, que podem ser encontrados na imprensa ou na página da OCDE. Uma análise mais fina deve destacar:
1. Há 3 anos, foram inúmeras as vozes que levantaram dúvidas sobre a validade dos resultados de Portugal no PISA2009. A subida no desempenho seria, aparentemente, um “caso raríssimo entre países desenvolvidos” (como escrevia em setembro de 2011 o Alexandre Homem Cristo; a discussão original pode ser recuperada aqui); noutros comentários menos sérios cuja fonte me escuso de identificar, os dados seriam resultado de um enviezamento propositado da amostra (ou seja, "fabricados"), etc. etc.. Resumindo, a melhoria era boa demais para ser verdade e era preciso encontrar todas as formas para a desvalorizar.
Os resultados hoje divulgados representam a estabilização dos resultados de há 3 anos atrás, enquanto a media da OCDE continua a descer. Estes já "valem"? Ou são "falaciosos" de novo? O que vão invocar desta vez?
O Governo, pela sua parte, está a procurar desvalorizar ao máximo o desempenho do país, cuja trajetória de melhorias consistentes desde 2000 é alvo de elogio explícito pela OCDE. Claro que uma das explicações é esta. Quando a realidade destrói a nossa "teoria", o melhor é mesmo ignorar a primeira.
2. Os dados a que normalmente é atribuída toda a importância mediática dizem respeito às médias nacionais. Mas a OCDE faz um conjunto de exercícios muito interessantes que procuram ajustar esses resultados à acção de variáveis que se sabe serem (mais ou menos) importantes para a explicação de diferença de pontuação entre os alunos dos diferentes países.
Parece que a direita, a propósito da Suécia, descobriu que as variáveis demográficas e socioeconómicas são importantes para explicar os resultados. Sobre o caso sueco, guardo algumas notas mais sumarentas para o post seguinte (mas como a própria OCDE mostra, se o argumento é a imigração, vão ter que se esforçar um pouco mais).
Neste capítulo, a OCDE constrói um Índice de Estatuto Económico, Social e Cultural (IEESC) - a partir de outros índices* -, no qual Portugal está particularmente mal colocado: 39,8% dos estudantes está abaixo do nível -1 do índice (a média da OCDE assume valor 0), quando a percentagem média dos alunos na OCDE em condições socioeconómicas comparáveis é de 15,4%. Na Suécia, por exemplo, apenas 5,7% dos alunos estão neste nível.
Ora, como a condição socioeconómica é uma variável explicativa essencial do desempenho dos alunos (e países), quando os resultados são ajustados ao IEESC, os alunos portugueses passam, no domínio da matemática (o IEESC só é aplicado este ano aos resultados da matemática), do 23.º para o 5.º lugar da classificação. Já a Suécia reforça o resultado medíocre que obteve na média geral (não ajustada), afundando-se na cauda da OCDE (todos estes valores podem ser encontrados neste ficheiro excel).
Em 2009, embora nenhuma imprensa tivesse dado atenção, este efeito já era claríssimo (quando eram 'apenas' 33,5% dos alunos abaixo do nível -1 do IEESC). No domínio da leitura – o principal no relatório desse ano - os alunos portugueses passavam, quando o resultado era ajustado pelo IEESC, do 21.º para o 7.º lugar da classificação (resultados neste ficheiro excel).
Este tipo de análise é importante não apenas porque a imprensa normalmente não lhe dá o destaque que merece, mas também porque ela é sistematicamente sonegada pelas análises que, a partir da economia da educação, servem para concluir que o sistema português é particularmente ineficiente - uma vez que a única coisa para a qual olham é a relação entre despesa (pública) em educação e resultados. Por isso foi possível ao FMI, no relatório de janeiro passado, afirmar que há vários estudos que mostram a ineficiência do sistema educativo português:
Claro que a consideração “under efficient conditions” só é possível se abstrairmos a análise de todo um conjunto de variáveis que qualquer pessoa sabe serem essenciais para avaliar a capacidade um sistema ensinar com eficácia e eficiência - em particular a proximidade dos alunos em relação à cultura escolar, que depende fortemente do nível de escolaridade dos pais e, num sentido mais lado, das condições socioeconómicas da família (já tinha chamado a atenção para a enorme fragilidade da argumentação do FMI aqui).
Quando começamos a introduzir estas variáveis, vemos que o sistema português não só não se comporta pior do que muitos outros por esse mundo fora, como revela indiretamente a tremenda ineficiência de muitos países mais ricos e escolarizados que foram tornados, nos últimos anos, em “modelo”.