O que o TCU sabe sobre o sistema de avaliação da educação superior?

Há alguns meses o Tribunal de Contas da União emitiu relatório em auditoria destinada “…a avaliar a atuação [dos órgãos federais] nos processos de regulação, supervisão e avaliação dos cursos superiores de graduação no País“.

O documento, que circula pelas redes sociais, tem como referência os período de 2012 a 2017 e traz, também, a análise crítica dos procedimentos de registro de diplomas dos cursos superiores.

Na verdade, segundo o próprio texto, trata-se de uma extensão da Proposta de Fiscalização e Controle 64/2015 (PFC 64/2015), que objetivava apenas a fiscalização dos cursos de graduação em Direito. Porém, em virtude de situações como a Comissão Parlamentar de Inquérito dos Diplomas da Assembleia Legislativa de Pernambuco (CPI ALEPE), acabou sendo ampliada.

Apesar de concordar e apoiar fortemente os procedimentos de fiscalização, especialmente quanto ao uso de recursos públicos, estranhei esse caso. Primeiro porque o TCU não é o órgão competente para avaliar tecnicamente as políticas de avaliação do ensino, papel exercido pela CONAES, e em segundo lugar porque o tema se tornou difuso, senão confuso mesmo.

O documento contém omissões notáveis e alguns erros de análise típicos de quem não conhece todo o contexto. Dentre as omissões pode ser mencionado o fato de que não há menção ao projeto de lei do Instituto Nacional de Supervisão e Avaliação da Educação Superior (PL 4372/2012), essa proposta poderia ter aprimorado o sistema de avaliação, mas o Poder Legislativo deixou o projeto ser arquivado.

Por outro lado, o relatório propõe incluir o resultado do Exame Nacional de Desempenho dos Estudantes (ENADE) na nota do Conceito de Curso (CC) e cita a Lei 9.394/1996 (LDB) como fundamento para essa proposta. Todavia, além de citar apenas um pequeno trecho do Art. 43 da LDB, como suposto fundamento, esquece-se, momentaneamente, que há uma lei própria para avaliação da educação superior, a Lei 10.861/2004, conhecida como Lei do SINAES.

A Lei do SINAES atribui outra finalidade ao sistema de avaliação e, especificamente em relação aos cursos superiores, diz que a “avaliação dos cursos de graduação tem por objetivo identificar as condições de ensino oferecidas aos estudantes, em especial as relativas ao perfil do corpo docente, às instalações físicas e à organização didático-pedagógica” (Art. 4º), deixando claro que o desempenho dos estudantes não é objeto de análise quando o tema é avaliação de cursos superiores. De fato, considerados os termos da lei vigente, a “nova” proposta do TCU para a avaliação dos cursos superiores, nada mais é que uma reaproximação com o sistema do PROVÃO, algo já superado há quase quinze anos. Hoje, em suma, avaliação de curso é algo diferente da análise de desempenho dos alunos, por isso existe uma nota para o desempenho dos estudantes (ENADE) e um conceito para os cursos (CC).

O óbvio, entretanto, não foi vislumbrado pelo TCU: o Conceito Preliminar de Curso (CPC), que é usado como contraponto ao Conceito de Curso no relatório de auditoria, não está previsto na Lei do SINAES, sendo, portanto, “corpo estranho” no sistema de avaliação brasileiro.

Outra omissão relevante diz respeito ao fato de que o CPC teve sua fórmula profundamente modificada no mínimo três vezes. Adaptou-se aos reclames da sociedade e o fez por meio de notas técnicas anuais relativamente bem detalhadas e até por meio de nova metodologia em 2012. Entretanto, no documento de auditoria, com base em informação da atual gestão do INEP, consta que o cálculo do indicador teria por base um único documento de 2009.

O relatório de auditoria usa esse único documento para criticar um fator de ajuste de cálculo chamado “IDD”, ou Indicador de Diferença entre os Desempenhos Observado e Esperado. O IDD foi criado para corrigir um viés previsível de cunho econômico: o fato de que os melhores estudantes tendem a procurar cursos com qualidade, mas, preferencialmente, cursos que possam premiar sua capacidade oferecendo ensino gratuito. Essa conduta racional faz com que as instituições públicas tendam a ter em seus quadros os melhores alunos. Tal fato, porém, é negligenciado no relatório de auditoria, que trata o IDD como uma distorção estatística e o usa para criticar a forma de cálculo do CPC.

Ora, esse é um erro típico de quem, mesmo tendo qualidade técnica para estatística, desconhece  o histórico da avaliação de cursos superiores no Brasil. Em suma, de uma órgão não especializado.

Por fim, para me ater, nesse primeiro artigo, apenas a parte da auditoria que trata da avaliação, cabe dizer que o argumento final do relatório também é descontextualizado.

A questão posta ao final refere-se a padronização das notas do CPC. De inicio, ressalte-se que o assunto ainda fica preso a esse indicador, o “Conceito Preliminar”, como se ele, e não o Conceito de Curso, constasse da Lei do SINAES. Mas mesmo deixando de lado esse foco incorreto, seria possível observar que a padronização das notas, usando desvio padrão para desconsiderar resultados extremos, está de acordo com o critério do “o respeito à identidade e à diversidade de instituições e de cursos”, previsto na Lei do SINAES.

Ora, aplicar um exame padronizado em toda a extensão do território brasileiro sem usar um recurso que possa aproximar os resultados de localidades com menos recursos e oportunidades educacionais dos resultados de grandes centros e capitais de estado resultaria em uma avaliação  finalística, que desprezaria as condições de estudo no local e perpetuaria, ao menos em parte, as diferenças regionais.

Na verdade, esse último problema também é fruto da tentativa de revitalizar o sistema do PROVÃO, focado apenas no resultado final de cada aluno. Como se apenas os cursos superiores fossem responsáveis pelo desempenho final de cada aluno em testes padronizados.

Em resumo, nesse primeiro ponto, quanto a avaliação do ensino superior, o relatório de auditoria do TCU merece críticas e, principalmente, merece um olhar cuidadoso, pois parece querer reimplantar um sistema que foi afastado por meio da Lei do SINAES. Qual seria a justificativa para isso? Essa é a pergunta importante neste momento.

Nos próximos artigos analisarei os achados relativos aos cursos de Direito e sobre o registro de diplomas.