Paulo Renato Souza
Avaliar os alunos sempre fez parte do processo educativo. As escolas o fazem há séculos. Entretanto, nos últimos 15 ou 20 anos desenvolveu-se no mundo todo uma nova ciência: a avaliação educacional com o objetivo de analisar a evolução das escolas e dos sistemas educacionais. Esse é um passo gigantesco para a formulação e avaliação das políticas educativas. Passou a ser possível medir objetivamente a eficácia dos sistemas, das escolas, dos diretores e dos professores em relação ao que é um dos objetivos centrais da educação: a aprendizagem dos alunos(2). Através da avaliação do desempenho dos alunos se procura avaliar as próprias instituições educacionais e a eficácia de políticas nessa área.
Vários conceitos e técnicas tiveram de ser formulados e aperfeiçoados nas últimas décadas para permitir o nascimento dessa nova ciência. Em primeiro lugar, foi preciso adotar conceitos universais sobre a própria aprendizagem. Para esses efeitos, seria inútil medir a aprendizagem dos conteúdos escolares, uma vez que eles podem variar entre países e sistemas de ensino ou mesmo entre escolas. Adotaram-se aqui os conceitos que não são novos na educação, mas que foram aperfeiçoados e passaram a ser objetivamente medidos: as habilidades e competências cognitivas desenvolvidas pelos alunos como resultado do processo educativo. Em segundo lugar, foi necessário desenvolver teorias e técnicas de medição dessas habilidades e competências que permitissem comparações intertemporais e inter-espaciais. Nesse aspecto destacaram-se os esforços desenvolvidos sobretudo nos Estados Unidos, associados inicialmente aos testes dos indivíduos interessados em ter acesso a determinados níveis educativos, em especial ao Ensino Superior ou à pós-graduação. Esses esforços culminaram na chamada Teoria de Resposta ao Item – TRI – complexa num primeiro momento para neófitos, mas que possui uma simplicidade notável de interpretação uma vez que se alcança a sua compreensão. Em terceiro lugar, está a própria evolução dos computadores e da capacidade de processamento e armazenamento de dados. Sem isso, seria impossível reunir os elementos para o desenvolvimento dessa ciência: a formulação teórica associada à possibilidade de comprovação empírica.
Essa ciência foi desenvolvida também como parte do esforço para repensar a educação e os sistemas educacionais na chamada era do conhecimento. Já se foi o tempo em que as pessoas podiam estudar até os 20 ou 25 anos de idade e viver toda a vida com os conhecimentos adquiridos. Vivemos a era do conhecimento e nesse mundo é preciso aprender durante toda a vida. O conhecimento evolui numa velocidade sem precedentes, a tecnologia dá saltos cada vez mais freqüentes e é preciso acompanhar essas mudanças para estar inserido na sociedade. A sociedade exige dos sistemas educacionais o oferecimento de oportunidades de educação permanentes, ao longo da vida das pessoas. Trabalhar, consumir e participar da vida social exigem, agora, que a pessoa tenha acesso à educação ao longo da vida.
Nessa nova situação, o papel da escola de Educação Básica muda radicalmente em relação ao passado. É verdade que a escola básica deve continuar a cuidar da educação durante uma determinada etapa da vida das pessoas, mas sua função e seus objetivos são totalmente distintos dos que, erroneamente, prevaleciam no passado. Antes, a escola de Educação Básica podia pretender transmitir o conhecimento e até mesmo a “decoreba” era um instrumento freqüentemente utilizado. Hoje isso não é mais possível. Nessa etapa da vida, é essencial que a escola passe a ensinar as crianças e os jovens simplesmente a aprender. Desenvolver o raciocínio, o pensamento crítico, a capacidade de pensar, de analisar e criticar, tais devem ser os grandes objetivos pedagógicos da escola na era do conhecimento. A “interdisciplinaridade”, a contextualização do conhecimento e o desenvolvimento de habilidades e competências substituíram os velhos conteúdos de disciplinas estanques. Ler muito e escrever muito, essas são duas velhas práticas pedagógicas que têm uma atualidade cada vez maior e mais do que nunca devem estar presentes na escola.
nesse contexto amplo e universal que a OECD – a organização de cooperação e desenvolvimento que reúne os países mais desenvolvidos do mundo – decidiu lançar sua própria avaliação educacional: o Pisa. Chamam a atenção algumas características importantes desse sistema. Em primeiro lugar, o público alvo: testam-se jovens de 15 anos de idade, independentemente de sua escolaridade. Na verdade, procura-se determinar se os países estão preparando adequadamente a população para viver nessa nova era do conhecimento: o jovem nessa idade deve ter amadurecida sua capacidade de aprender ao longo da vida. Os resultados comparativos servem como alerta para os países sobre a eficácia de seus sistemas educativos. Em segundo lugar, o conteúdo dos testes. No primeiro, realizado no ano 2000, avaliou-se apenas um item: a compreensão leitora. No segundo, realizado em 2003, novamente a simplicidade do objetivo: avaliou-se o raciocínio matemático. No corrente ano, serão testados os fundamentos do pensamento científico. Ou seja, os organismos de coordenação dos países mais desenvolvidos estão sinalizando claramente ao mundo quais são os objetivos centrais dos processos educacionais no nível básico: o desenvolvimento de competências e habilidades básicas na área do raciocínio e da aprendizagem.
Nesse contexto, assume importância crucial a montagem de sistemas nacionais de avaliação e de informações educacionais para subsidiar a elaboração de diagnósticos sobre a realidade educacional do Brasil e orientar a formulação de políticas nacionais voltadas para a promoção da eqüidade e a melhoria da qualidade. Os objetivos da avaliação educacional no Ensino Básico devem ser: medir o desempenho dos alunos em relação ao desenvolvimento de suas habilidades e competências e aos níveis de aprendizagem esperados; relacionar o desempenho dos alunos com fatores sócio-econômicos, comportamentais, pedagógicos e de organização da escola; desenhar políticas educacionais para melhorar o desempenho dos alunos; subsidiar o trabalho de planejamento dos sistemas de ensino e subsidiar o trabalho de planejamento escolar.
A partir de 1995, o Brasil logrou criar um satisfatório sistema de avaliação e informação da educação por meio da reestruturação do Inep (Instituto Nacional de Pesquisas Educacionais Anísio Teixeira) e com a realização de censos variados e testes de desempenho em todos os níveis de ensino. Criou uma cultura de avaliação, absorvida pela sociedade e referência para os gestores e analistas da educação brasileira.
A avaliação do Ensino Básico no Brasil
O sistema de avaliação do Ensino Básico em nosso país contempla três instrumentos de âmbito nacional: o Saeb, o Enem e, desde 2005, também a chamada Prova Brasil. O Saeb e o Enem foram criados durante o período em que ocupei o Ministério da Educação e se destinam a avaliar habilidades e competências dos alunos. O primeiro é aplicado nos alunos de final dos ciclos educativos e o segundo é oferecido aos alunos que concluem o Ensino Médio. Em ambos, a concepção das provas guarda total relação com os mesmos princípios que nortearam a elaboração do Pisa: a aferição das habilidades e competências cognitivas desenvolvidas pelos alunos. No caso do Saeb, estão presentes também os conceitos básicos dos Parâmetros Curriculares Nacionais e, no do Enem, os princípios da reforma do Ensino Médio.
Para efeito de identificação de problemas e formulação de políticas, a avaliação no Ensino Básico não deve ser realizada em todas as séries, nem em todos os anos. Cada um dos ciclos que compõem o Ensino Básico - 1ª a 4ª séries e 5ª a 8ª do Ensino Fundamental mais o Ensino Médio - possui objetivos, conteúdos curriculares e práticas pedagógicas específicos e bem conhecidos. Dado o caráter descentralizado de nosso sistema de ensino, é possível que alguns conteúdos específicos sejam vistos em distintas séries dentro de um mesmo ciclo em diferentes estados ou mesmo municípios. O importante é que no conjunto de cada ciclo os objetivos educacionais sejam alcançados. Não foi por outra razão que o Saeb definiu como meta avaliar os alunos das séries finais desses ciclos: 4ª e 8ª séries do Ensino Fundamental e 3ª série do Ensino Médio. Com esses resultados, é perfeitamente possível identificar as deficiências e problemas de cada ciclo e desenhar as políticas para atacá-los.
Num país das dimensões do Brasil, a avaliação no Ensino Básico feita pelo governo federal não deve ser universal, escola por escola. Para o dirigente nacional, o importante é identificar os problemas e deficiências dos diferentes sistemas de ensino para que as autoridades responsáveis nas outras instâncias federativas programem as medidas cabíveis. No plano federal, é importante que a avaliação produza um diagnóstico preciso e rigoroso dos problemas para cada sistema de ensino - estadual ou municipal – e para cada unidade da federação. Para isso, o mais adequado é um sistema de amostragem que pode ser cientificamente definido e no qual questões como formulação dos itens de prova, sigilo da prova, homogeneidade da correção etc. podem ser rigorosamente controlados. Isso nem sempre é possível num exame que envolve centenas de milhares de escolas e dezenas de milhões de alunos. Num sistema de aplicação universal para um país das nossas dimensões é impossível evitar que falhas nesses aspectos levem a uma perda de precisão nos resultados obtidos, anulando os benefícios do processo de avaliação. Essa é precisamente minha dúvida principal em relação à chamada Prova Brasil, realizada pelo MEC pela primeira vez no ano passado. Além disso, em sua divulgação foram comparados os resultados por sistemas de ensino, o que é tecnicamenre errado, pois a adesão ao sistema foi voluntária por parte das escolas e sistemas educacionais.
Não obstante, é altamente desejável que os responsáveis diretos pelos sistemas de Ensino Básico - estados e municípios - realizem avaliações universais de suas escolas, aplicando testes em todos os alunos de 4ª e 8ª séries do Ensino Fundamental e 3ª do Médio, anualmente se possível. Os objetivos nesse caso são totalmente diversos dos que animam o governo federal na avaliação do Ensino Básico. Aos gestores desses sistemas cabe conhecer em detalhes os problemas e deficiências de cada uma de suas escolas e isso só pode ser identificado com uma aplicação universal a todos os alunos. Aqui a amostragem não cabe porque se quer conhecer cada escola e diferenciá-la das demais.
unânime o reconhecimento dos avanços de nosso país na inclusão de crianças e jovens na escola no período 1995-2002. Nesse curto período de tempo fomos capazes de universalizar o acesso à educação para as crianças de 7 a 14 anos, saltando de 87% para 97% a escolarização dessa faixa etária em apenas sete anos. A inclusão deu-se especialmente entre os mais pobres e as crianças das regiões mais carentes. De outro lado, as taxas de repetência e evasão escolar se reduziram, melhorando a distorção idade/série. Como conseqüência, mais estudantes estão concluindo o Ensino Fundamental e o Ensino Médio.
A experiência internacional ensina que em períodos de forte incorporação de novos segmentos populacionais à escola deve-se esperar uma queda apreciável nos índices de desempenho dos alunos do conjunto do sistema educacional. Isso não significa que o sistema tenha piorado em termos de qualidade com o ingresso de alunos provenientes de famílias mais humildes e menos instruídas. Desde logo, os novos integrantes do sistema estão muito melhor do que estavam antes de ingressarem na escola, pois estão aprendendo. Seu desempenho inicial, porém, é inferior em relação aos demais alunos que já estavam na escola e que provêm de famílias mais educadas. Como conseqüência, a média do novo conjunto de estudantes é menor do que a existente antes da incorporação maciça dos novos alunos. Esse efeito precisa ser compensado com melhorias nos demais fatores que influenciam o desempenho dos alunos vinculados ao funcionamento da escola, como a qualificação de professores, a qualidade do material didático ou os métodos de ensino.
Os dados do Saeb analisados em cada um dos anos em que se realizou o exame mostram uma situação lamentável e inaceitável dos índices de desempenho dos alunos medidos pelas habilidades e competências esperadas para cada nível de ensino. Em geral, nos testes de Português e Matemática nos anos finais dos ciclos educativos, somente cerca de 10% dos alunos apresentaram resultados satisfatórios em relação aos níveis esperados para sua série. Esse percentual é praticamente invariável em todas as regiões brasileiras. A diferença entre elas está na proporção em que se dividem os outros 90%: no Sul e Sudeste a participação dos alunos que apresentam nível intermediário é maior do que os do nível crítico, o contrário do que ocorre nas demais regiões do país.
Por outro lado, os indicadores de desempenho dos alunos mostrados pela série dos exames do Saeb tomados a cada dois anos entre 1995 e 2001 apresentaram uma evolução levemente negativa, apesar dos avanços notáveis que se verificaram nas condições de funcionamento das escolas no Brasil. Dado o ritmo de incorporação de novos segmentos à escola, a queda, contudo, foi muito menor do que se poderia esperar. Rigorosamente, naquele período, os níveis de proficiência dos alunos se mantiveram dentro dos mesmos intervalos de confiança da amostra, com uma ligeira tendência negativa. Os dados do Saeb 2003 revelam uma inversão dessa tendência, pois os indicadores de desempenho passaram a sinalizar uma leve tendência positiva. Esta é realmente uma boa notícia. Mais cedo do que poderíamos esperar, o desempenho médio dos alunos em Português e Matemática começa a melhorar.
Ao comentar os resultados ruins do exame de 1999 eu expressava, na ocasião, a certeza de que as futuras avaliações iriam mostrar uma evolução positiva. Essa convicção estava assentada no fato de estarmos implementando todas as medidas que o próprio Saeb identificava como importantes para melhorar o desempenho dos alunos. Através do Saeb ficou claro que o nível de formação de professores influenciava diretamente na aprendizagem dos alunos e por isso implementamos políticas que praticamente eliminaram os professores leigos de nossos sistemas de ensino e elevaram a proporção dos professores com nível superior de 43% para 62% do total. Observamos que a leitura tinha enorme impacto no desempenho dos alunos e distribuímos coleções de livros para todos os alunos de 4ª e 5ª séries do Ensino Fundamental. Além disso, desenvolvemos programas de treinamento usando os Parâmetros Curriculares Nacionais para que 600 mil professores aprendessem a usar a leitura como parte do processo de ensino e aprendizagem. Revelou-se que um dos mais graves problemas da aprendizagem é a repetência e a defasagem idade/série e foram definidos os programas de aceleração escolar. Pelo Saeb pudemos avaliar a importância da participação dos pais na escola e estimulamos a criação das Associações de Pais e Mestres e promovemos o Dia Nacional da Família na Escola.
O Exame Nacional do Ensino Médio (Enem) tem como ênfase a avaliação do perfil de saída dos egressos desse nível de ensino. Ele tem um duplo objetivo. O principal é proporcionar uma avaliação do desempenho dos alunos, ao término da escolaridade básica, segundo uma estrutura de competências associadas aos conteúdos disciplinares que se espera tenha sido incorporada pelo aluno para fazer frente aos crescentes desafios da vida moderna. Ao mesmo tempo em que serve como auto-avaliação para milhares de jovens estudantes, o Enem permite ao poder público dimensionar e localizar as lacunas que debilitam o processo de formação dos jovens e dificultam sua realização pessoal e sua inserção no processo de produção da sociedade. O outro objetivo declarado do exame é sinalizar para todas as escolas de Ensino Médio do país o conteúdo da reforma do Ensino Médio e as habilidades e competências que, na visão do ministério, deveriam estar desenvolvidas nos alunos ao final do Ensino Básico.
Na última edição do Enem, em 2005, cometeram-se dois grandes equívocos: um na prova, outro na divulgação dos resultados. Na prova, abandonou-se o conceito de avaliação de habilidades e competências básicas, aumentando a avaliação de conteúdos esperados no Ensino Médio(3). Por outro lado, na divulgação dos resultados, cometeu-se um grave erro metodológico ao comparar escolas e mesmo sistemas de ensino a partir dos resultados do Enem. Esse exame é individual e facultativo e não há nenhuma base científica para a comparação entre escolas ou sistemas de ensino. Caiu-se na tentação do sensacionalismo tão ao gosto de determinados segmentos da imprensa e tão prejudicial ao verdadeiro aprimoramento da educação em nosso país, que exige em primeiro lugar rigor científico nas análises, especialmente por parte da autoridade pública.
O Brasil decidiu voluntariamente participar no Pisa. A participação brasileira tem vários significados importantes, além daqueles gerados pelos números e resultados. Em primeiro lugar, a própria decisão de entrar num estudo onde estão os países avançados. Ao decidir participar de tal empreitada, há que se considerar a maturidade do país em cumprir rigorosamente os roteiros metodológicos, em analisar profissionalmente as informações obtidas e em produzir um documento realista e competente. Não são poucos os países que decidem não divulgar dados de pesquisa considerados como desfavoráveis. Revela ainda um grau de maturidade das autoridades educacionais, cujo desempenho não pode ser medido pela expectativa de resolver todos os problemas da Educação Básica em um país federativo. Mostra também sua honestidade intelectual, realismo e competência para gerar dados de qualidade, analisar serenamente o estado da nossa educação e tirar lições e implicações para políticas procedentes.
Os resultados do Pisa permitirão que as instâncias encarregadas de formular e tomar decisões sobre políticas educacionais em todos os níveis de governo possam comparar o desempenho do seu sistema educacional com os demais países participantes. Nesse sentido, os resultados do Pisa servirão como base para o aperfeiçoamento da avaliação e monitoramento da efetividade dos sistemas educacionais, tendo como parâmetro os padrões internacionais e, a partir daí, traçar horizontes ambiciosos de como deve ser a formulação de políticas públicas em todas as áreas em nosso país.
A montagem desse sistema, em nosso País, produziu significativa mudança no eixo do debate educacional e na própria orientação das políticas públicas para o setor. Colocou em evidência temas prioritários como a questão da eqüidade na distribuição dos recursos públicos e nas condições de oferta, a qualidade do ensino, a formação inicial e continuada de professores, a autonomia da escola e o modelo de gestão, entre outros. Serviu ainda para atender à exigência da sociedade de mais transparência das instituições públicas e, em particular, dos estabelecimentos de ensino.
A simples observação do recente debate sobre indicadores educacionais, que passa a destacar cada vez mais os indicadores de qualidade, mostra as transformações por que vêm passando a produção de informações a respeito da situação dos diferentes níveis dos sistemas de ensino. Esses resultados vêm sendo obtidos a partir de pesquisas empíricas extremamente sofisticadas e que exploram bases quantitativas extensas para desenvolver análises qualitativas sobre o desempenho dos alunos. Ultrapassada a etapa de desenvolver diagnósticos considerando apenas os indicadores de acesso, a grande preocupação dos sistemas de produção de informações educacionais relaciona-se ao desenvolvimento de indicadores que informem sobre a eficiência dos sistemas e seu grau de efetividade, ou seja:
1. Quais as características do percurso escolar dos alunos? Quanto tempo levam em média para concluir a escolaridade obrigatória? Quais os fatores que explicam as altas taxas de repetência e de abandono escolar? Como se comporta o fluxo do sistema?
2. O que os alunos são capazes de fazer? Quais os padrões desejáveis deveriam ser atingidos para que os alunos desenvolvam as competências e habilidades básicas exigidas para o exercício da plena cidadania? O que caracteriza a escola efetiva?
3. Como anda o desempenho dos sistemas de ensino? Quais as lições extraídas dos resultados das avaliações que permitem reorientar ações e políticas dirigidas à promoção da eqüidade e da contínua melhoria da qualidade dos diferentes níveis de ensino?
A tendência ao aprimoramento dos mecanismos de avaliação concomitante aos processos de reforma no campo educacional está claramente associada ao novo papel da educação na formação do cidadão do próximo milênio.
A avaliação no Ensino Superior de graduação no Brasil
A avaliação do Ensino Superior é complexa, difícil e cara. Envolve aspectos institucionais; a qualidade e a quantidade dos livros, equipamentos e materiais; a qualificação e dedicação de seus professores; a eficiência no uso dos recursos públicos; a produção acadêmica e científica; a contribuição para a reflexão crítica do desenvolvimento da sociedade; a qualidade dos cursos de graduação e dos profissionais que forma; a qualidade dos cursos de pós-graduação; a produção de teses e sua contribuição ao desenvolvimento científico e tecnológico do país; e a contribuição da extensão universitária para o desenvolvimento e o bem-estar da sociedade.
O sistema de avaliação do Ensino Superior no âmbito dos cursos de graduação é relativamente novo em nosso país. Foi criado nos últimos dez anos inspirado claramente no modelo de avaliação da pós-graduação, que existe há quase 30 anos. A avaliação na graduação é muito complicada pela dificuldade de construir indicadores objetivos sobre a qualidade do ensino que resistam a interpretações subjetivas. Alguns indicadores indiretos - a relação professor/aluno, o tempo médio de graduação, a freqüência dos alunos, as taxas de evasão escolar etc. - podem e devem ser utilizados. Outros, entretanto, como a produção científica da instituição, têm relação muito indireta com a qualidade dos cursos de graduação. O que interessa saber é o resultado do processo de ensino e pesquisa no Ensino Superior. O resultado da pós-graduação pode ser avaliado objetivamente pela produção cientifica. Na graduação é preciso avaliar a aprendizagem dos alunos.
Não há como negar que o Exame Nacional de Cursos, o Provão, teve um impacto revolucionário no sistema de Ensino Superior de nosso país, assegurando que sua expansão se desse também com um apreciável aumento na qualidade do conjunto do sistema. A partir do exame, passamos a dispor de mecanismos muito transparentes de informação à sociedade que se constituíram em poderoso sinalizador sobre a qualidade de cada um dos cursos superiores de nosso país.
Alguns debates surgidos durante a implantação e divulgação dos resultados do Provão tiveram um interesse técnico importante. Muitos, e principalmente os meios de comunicação, demandavam insistentemente que divulgássemos os valores absolutos das notas dos alunos e não os cinco conceitos relativos (de A a E). A razão para usar os conceitos relativos estava ligada à origem da própria concepção do exame: seu objetivo não era a elevação geral da qualidade do Ensino Superior, mas a redução de sua heterogeneidade. Tínhamos boas instituições e elas deviam servir de referência para as demais. Outro tema recorrente em todos os anúncios de resultados para a imprensa eram as médias nacionais em geral baixas obtidas nas várias carreiras. Não me cansava de explicar que as notas médias nacionais dependiam da dificuldade da prova e que não havia critério para uma calibragem adequada que viesse a permitir uma comparação entre os resultados das diferentes carreiras ou mesmo a comparação de resultados de um ano para o outro.
Um debate importante se deu em torno da questão do valor agregado. Muitas instituições privadas alegavam que suas diferenças com as que obtinham os conceitos A ou B não se devia à qualidade de seus cursos, mas às diferenças iniciais na qualidade de preparação de seus alunos antes de ingressarem na faculdade. As boas instituições recrutam os melhores alunos e isso explicaria as diferenças registradas. É um argumento importante e que poderia ser objetivamente testado usando hoje os resultados obtidos no Enem há quatro ou cinco anos pelos mesmos alunos que estão concluindo o Ensino Superior em cada faculdade. Como sabemos, a esmagadora maioria dos alunos que cursam o Ensino Superior prestaram em seu momento o Enem.
Além do exame propriamente dito, os mesmos alunos deviam responder a um questionário no qual informavam tanto seus dados pessoais e familiares, inclusive de caráter sócio-econômico, quanto expressavam suas opiniões sobre o curso feito: a infra-estrutura acadêmica, a qualidade dos professores, o nível de exigência a que foram submetidos. Por outro lado, estabeleceu-se a segunda parte da avaliação por meio de um sistema mais tradicional. Criou-se, também para os cursos de graduação, um sistema de peer reviews, muito semelhante ao vigente na pós-graduação e inspirado nas experiências internacionais de avaliação por meio de comissões de professores pertencentes a outras instituições e que possuam um alto nível de formação.
No passado, fiscais burocratas do Ministério da Educação davam a opinião técnica para a abertura de uma instituição ou o reconhecimento de um curso; essas tarefas passaram a ser cumpridas por professores doutores de nossas melhores instituições, que têm independência até para dizer que um curso de uma instituição pública precisa melhorar. Por meio das visitas in loco, analisam-se todas as condições acadêmicas de funcionamento da instituição: a qualificação docente, a infra-estrutura e a organização didático-pedagógica. Esse segundo componente tinha um peso igual ao do exame no processo e seus resultados eram analisados conjuntamente para subsidiar as decisões de governo, em especial durante o processo de renovação da acreditação das instituições. Os resultados dos pareceres das comissões de professores que avaliam as condições de ensino tinham em geral uma alta correlação com os resultados do Provão. Isso demonstra a pertinência do exame e comprova o acerto da sociedade em geral ao tomar os resultados do exame como um indicador da qualidade dos cursos superiores.
Entre 1994 e 2003, a matrícula nos cursos superiores cresceu 135% e o número de cursos oferecidos passou de 6 mil para 17 mil. Seria normal esperar que essa rápida expansão provocasse desarranjos no sistema. Que a qualificação média dos professores caísse; que a infra-estrutura física das instituições (laboratórios e bibliotecas principalmente) não acompanhasse a expansão; que as avaliações periódicas mostrassem deterioração nos itens avaliados. O contrário foi observado. No seu conjunto, as novas faculdades criadas a partir do Provão tiveram melhor desempenho que as antigas nos resultados do exame. Houve uma apreciável melhoria em vários itens de qualidade dos cursos (professores, bibliotecas, laboratórios, tecnologia etc.), segundo a opinião dos alunos medida pelas pesquisas aplicadas junto com o Provão entre 1996 e 2002. O mesmo pode ser comprovado pela leitura dos relatórios das comissões que analisaram as condições de ensino nas instituições ao longo de todo o período. A qualificação dos docentes melhorou significativamente em todos os segmentos do Ensino Superior. No ensino particular, onde seu número quase triplicou, a proporção de mestres e doutores passou de 25% para 51%. Esse aumento deveu-se, entre outras coisas, à divulgação anual dos dados colhidos junto com o Provão sobre esse aspecto em particular. Por outro lado, não há sequer um indicador de qualidade de nosso Ensino Superior que tenha mostrado evolução negativa nesse período.
Na minha visão, a reação e mobilização da sociedade a partir dos resultados tornados públicos anualmente e disponibilizados na internet explica toda essa evolução positiva. Observamos um sem-número de casos de instituições em que, por pressão de alunos e professores, desencadearam-se processos de revisão curricular, de modernização de métodos de ensino, de ampliação de bibliotecas, de reequipamento de laboratórios e de renovação do corpo docente. As empresas, por outro lado, passaram a considerar o resultado da avaliação nos processos de seleção de pessoal. De sua parte, os alunos que buscavam ingressar no Ensino Superior passaram a levar em conta os resultados do Provão na escolha da faculdade a cursar: a procura nos vestibulares, medida pela relação candidato/vaga, caiu 40% nos cursos com pior avaliação, enquanto aumentou 20% nos que obtiveram os melhores conceitos.
Infelizmente isso tudo se perdeu nos dois últimos anos, pois seu sucedâneo – o Enade - não cumpre nenhuma das funções do antigo exame. Três são as diferenças cruciais:
1) O Provão era obrigatório e aplicado a todos os alunos que concluíam o Ensino Superior. Eles recebiam um certificado privado com seu resultado, comparando-o com o da média de sua turma e a média geral do país em sua carreira. Toda a sociedade, portanto, sabia que os profissionais formados a partir de determinado ano eram possuidores desse certificado. Isso garantia que todos fizessem a prova com o máximo empenho, seja porque eles poderiam querer exibir esse documento como parte de seu currículo seja porque ele podia ser solicitado no futuro em algum processo seletivo. A certeza de que todos os alunos de cada instituição fazem a prova com o mesmo empenho é condição essencial para que qualquer exame tenha qualquer validade como elemento de avaliação comparativa de cursos. O Enade faz uma amostra dos alunos aos quais se aplica o exame. Assim, não é mais possível saber se qualquer profissional prestou ou não o exame. Assim sendo, o aluno não tem mais estímulo para empenhar-se a fundo na prova e os resultados carecem, portanto, de qualquer poder de avaliação comparativa entre instituições.
2) O Provão era aplicado aos alunos dos últimos anos e, portanto, dava uma indicação da qualidade do conjunto do curso. Agora, no Enade, se aplica exatamente o mesmo exame aos alunos do primeiro e do último ano de cada curso. No primeiro ano de realização do exame, se divulgou a média das duas notas. Dessa forma, o resultado do Enade não representa nem a qualidade dos alunos que entram nem dos que saem das faculdades e, portanto, o resultado do exame não tem qualquer significado estatístico ou avaliativo. Para fazer frente a essa crítica, no corrente ano calculou-se um suposto “valor agregado” medido pela diferença entre as médias dos alunos do primeiro e do último ano. Cientificamente essa comparação carece de todo significado interpretativo. Nada assegura que os alunos que estão hoje ingressando numa determinada instituição representam o mesmo segmento de alunos que ingressaram quatro ou cinco anos antes. A pretendida medição do valor agregado por cada instituição deveria ser feita pela comparação dos resultados do Provão com os obtidos no Enem pelos mesmos alunos na época de seu ingresso na faculdade. O exame para os alunos do primeiro ano é, assim, totalmente desnecessário.
3) O Provão era anual e o Enade é trienal. Um aumento na periodicidade do Exame seria justificável se nosso sistema de ensino superior fosse estável, apresentando uma baixa taxa de expansão. Sabemos que não é esse o caso. Os cursos novos podem demorar um tempo muito grande para serem avaliados no sistema de triênios.
Avaliar para quê?
A palavra avaliação talvez esconda mais significados do que revela. Uma manifestação da falta de familiaridade da nossa sociedade com a avaliação do ensino é a falta de percepção acerca de seus múltiplos usos. Os progressos em usar tais resultados de forma mais criativa não acompanharam o esforço de criar sistemas de avaliação. O uso dos resultados ainda deixa muito a desejar. Aqui estamos falando tanto de um uso técnico por parte das Secretarias de Educação como de um uso político, em que a sociedade civil usa os resultados para pressionar por mudanças. E que ambos levem à implantação de medidas que tornem a escola brasileira capaz de oferecer a cada criança que a ela chega um bom ensino.
Indicadores relativos à efetividade das ações governamentais constituem hoje instrumento fundamental para mensurar a qualidade e o alcance das políticas públicas e contribuem para a tomada de decisões. São ainda mais relevantes tendo em vista o necessário debate e busca de soluções para a questão da qualidade da educação. O desafio é a melhoria da qualidade da Educação Básica, em especial no sistema público. As avaliações de desempenho dos alunos do Ensino Básico em todo o Brasil apontam nessa direção.
A grande novidade do nosso tempo é que foram desenvolvidos instrumentos de medição que criaram métricas universais para avaliar objetivamente a qualidade do ensino. Hoje é possível saber se os alunos de uma pequena escola pública do nosso interior estão atingindo os objetivos de aprendizagem que se espera nos sistemas educativos dos países mais avançados do mundo. A formação do cidadão capaz de viver num mundo global foi um dos objetivos acrescentados recentemente pela sociedade aos sistemas educacionais.
Entretanto, avaliação não é panacéia. É um instrumento caro que precisa ser corretamente aplicado e interpretado. Duas perguntas devem ser respondidas antes de aplicar qualquer processo educativo: O que avaliar? E para que avaliar? As respostas a essas questões devem indicar o método avaliativo: o instrumento a ser utilizado, o caráter amostral ou censitário do processo e os alcances das interpretações dos resultados obtidos. Penso ter deixado claro que muitas vezes as autoridades educacionais caem na tentação da simplificação e do sensacionalismo ao divulgar interpretações dos dados de avaliações que superam largamente o conteúdo efetivo dos instrumentos e metodologias que se utilizaram no processo. Por outro lado, é preciso ter em mente que o desempenho dos alunos é um dos aspectos do processo educacional, mas não é o único, como se mencionou mais acima.
Fonte: http://www.reescrevendoaeducacao.com.br/2006/pages.php?recid=44
