Notas e acertos na prova do ENEM

A nota do ENEM depende unicamente do número de acertos na prova? Quantas questões eu tenho que acertar na prova para atingir uma boa nota?

194643

TEORIA CLÁSSICA DOS TESTES (TCT) 

Esta teoria leva em conta apenas o resultado bruto do candidato, isto é, a nota final é proporcional ao número de acertos, ou ainda, pode ser calculada de forma padronizada, usando o auxílio de desvio padrão.

Este processo considera a prova na sua totalidade e não tem a perspectiva de comparar resultados em provas diferentes.  Na prova de qualificação da UERJ, um examinando que acertou mais que 42 questões das 60 aplicadas e obteve  conceito A, não pode ser comparado a um outro que em outra prova de qualificação também tenha obtido  um A porque as provas são diferentes.   O índice de dificuldade da prova está diretamente ligado ao resultado final.

Para exemplificar esta  afirmação, no quadro abaixo apresento a porcentagem por conceitos na 1ª prova de qualificação da UERJ 2016, realizada em junho de 2015.  Apenas 5,28% dos 39558 alunos acertaram mais que 42 questões e ainda 22,33%  dos candidatos estariam eliminados por tirarem conceito E, pois acertaram menos que 24 questões. Só para lembrar apenas está definitivamente eliminado do concurso o candidato que nos dois exames de qualificação acertar menos que 24 questões em cada etapa.

ALUNOS PERCENTUAL
INSCRITOS 39558
CONCEITO A 2008 5,28%
CONCEITO B 5389 14,17%
CONCEITO C 10239 26,92%
CONCEITO D 11902 31,30%
CONCEITO E 8492 22,33%

 

Em seguida o resultado da 1ª prova de qualificação de 2015, realizada em 2014.  Nesta avaliação 12% dos 39669 haviam acertado mais que 42 questões, ou seja, esta prova apresentou um nível de dificuldade menor que a do ano seguinte.  Isto também fica claro quando percebemos que 15,67% dos candidatos receberam o conceito E.

ALUNOS PERCENTUAL
INSCRITOS 39669
CONCEITO A 4660 12,19%
CONCEITO B 7640 19,98%
CONCEITO C 10391 27,18%
CONCEITO D 9549 24,98%
CONCEITO E 5991 15,67%

Apesar de praticamente o mesmo número de candidatos nas duas edições, o número de conceitos A no exame de qualificação da UERJ 2015 foi maior que o dobro do obtido no ano seguinte. Por este motivo não é possível comparar alunos com a mesma nota bruta, ou mesmo com o mesmo número de acertos em exames diferentes.  Este é um exemplo clássico da TCT.

TEORIA DE RESPOSTA AO ITEM

O INEP utiliza a Teoria da Resposta ao Item (TRI) com a proposta de poder comparar estudantes que fazem o ENEM em diferentes edições.

A TRI leva em consideração cada item, que é testado anteriormente e recebe uma chancela que leva em conta seu grau de dificuldade, o seu grau de discriminação e ainda o parâmetro de acertos ao acaso.

Portanto, é possível equilibrar uma prova considerando esses três parâmetros. O conteúdo do ENEM é construído a partir de matrizes de referência nas quadro áreas do conhecimento:

  • Linguagens, códigos e suas tecnologias, que abrange o conteúdo de Língua Portuguesa (Gramática e Interpretação de Texto), Língua Estrangeira Moderna, Literatura, Artes, Educação Física e Tecnologias da Informação.
  • Matemática e suas tecnologias.
  • Ciências da Natureza e suas tecnologias, que abrange os conteúdos de Química, Física e Biologia.
  • Ciências Humanas e suas tecnologias, que abrange os conteúdos de Geografia e História,

Matriz de Referência

O INEP discrimina em sua Matriz de Referência os cinco Eixos Cognitivos que devem ser de conhecimento dos alunos que chegam nesta etapa:

1 – Dominar Linguagens – Dominar a norma culta da língua portuguesa e fazer uso das linguagens matemática, artística e científica e das línguas inglesa e espanhola.

2 – Compreender fenômenos – Construir e aplicar conceitos das várias áreas do conhecimento para a compreensão de fenômenos naturais, de processos histórico-geográficos, da produção tecnológica e das manifestações artísticas.

3 – Entender situações-problema – Selecionar, organizar, relacionar, interpretar dados e informações, representados de diferentes formas, para tomar decisões e enfrentar situações-problemas.

4 – Construir Argumentações – Relacionar informações, representadas em diferentes formas, e conhecimentos disponíveis em situações concretas, para construir argumentação consistente.

5 – Elaborar propostas éticas – Recorrer aos conhecimentos desenvolvidos na escola para elaboração de propostas de intervenção solidária na realidade, respeitando os valores humanos e considerando a diversidade sociocultural

  • Competências e Habilidades

Cada item do exame está ligado a uma habilidade, que faz parte de um grupo denominado competência e que está descrita na Matriz de Referência do INEP em cada área do conhecimento.  Os quadros abaixo apresentam as relações de competência e habilidade em cada área do Conhecimento.

 

Ciências Humanas e suas Tecnologias
Competências Habilidades por competência
C1 H1 H2 H3 H4 H5
C2 H6 H7 H8 H9 H10
C3 H11 H12 H13 H14 H15
C4 H16 H17 H18 H19 H20
C5 H21 H22 H23 H24 H25
C6 H26 H27 H28 H29 H30
Matemática e suas Tecnologias
Competências Habilidades por competência
C1 H1 H2 H3 H4 H5
C2 H6 H7 H8 H9
C3 H10 H11 H12 H13 H14
C4 H15 H16 H17 H18
C5 H19 H20 H21 H22 H23
C6 H24 H25 H26
C7 H27 H28 H29 H30
Ciências da Natureza e suas Tecnologias
Competências Habilidades por competência
C1 H1 H2 H3 H4
C2 H5 H6 H7
C3 H8 H9 H10 H11 H12
C4 H13 H14 H15 H16
C5 H17 H18 H19
C6 H20 H21 H22 H23
C7 H24 H25 H26 H27
C8 H28 H29 H30
Linguagens, Códigos e suas Tecnologias
Competências Habilidades por competência
C1 H1 H2 H3 H4
C2 H5 H6 H7 H8
C3 H9 H10 H11
C4 H12 H13 H14
C5 H15 H16 H17
C6 H18 H19 H20
C7 H21 H22 H23 H24
C8 H25 H26 H27
C9 H28 H29 H30

Cada item da prova está relacionada a uma habilidade, como a prova é constituída de 45 itens uma habilidade pode não aparecer ou aparecer mais de uma vez.

Os gráficos abaixo apresentam a incidência de cada habilidade no exame de 2013 em cada prova.  Em cada quadro abaixo o eixo horizontal refere-se às habilidades, sempre num total de 30, e o eixo vertical a incidência da habilidade na prova.  O Inep ao divulgar os microdados dos alunos também divulga, num arquivo denominado itens do ENEM o código da questão no banco de dados do ENEM, a habilidade referente ao item e a posição na prova, que varia de acordo com a cor da prova.

incidência de habilidade ch incidência de habilidade cn1 incidência de habilidade linguagens incidência de habilidade matemática

  • Distribuição dos alunos por acertos no ENEM 2013 no Rio de Janeiro.

Os alunos sempre especulam a respeito do seu resultado de acordo com o seu número de acertos, em regra geral estão baseados nos seus conhecidos, mas afinal como comparar se eles não conhecem todos os alunos. Os gráficos a seguir apresentam, no exame de 2013, no estado do Rio de Janeiro, os alunos distribuídos, de acordo com o nº de acertos, em cada área de conhecimento.

No eixo horizontal o número de acertos e no eixo vertical o número de examinandos das escolas do Estado do Rio de Janeiro.

acertos X ch

acertos X cn

acertos X português

acertos Xmat

É interessante verificar como os alunos se comportam em cada área.  Em Ciências Natureza grande parte dos alunos apresentam entre 10 e 20 acertos, em Ciências Humanas este número já seria entre 11 e 18, em Linguagens e códigos, entre 12 e 24 e em Matemática entre 7 e 15.

A TRI valoriza a coerência nas respostas dos alunos e neste caso quanto maior o número de alunos por acertos maior a variabilidade de respostas, por isso, também existe uma variação muito grande nas notas dos alunos. Analisando as diferentes notas dos alunos do Estado do Rio de janeiro em relação ao número de acertos podemos perceber em muitos casos a grande variação de nota para o mesmo escore. Da mesma forma, surpreende a muitos a mesma nota para uma variação grande do número de acertos.

  • Pontuação mínima e máxima em cada área do conhecimento

Os gráficos abaixo apresentam em cada área do conhecimento em relação ao número de acertos dos alunos do Estado do Rio de Janeiro a maior e a menor notas atribuídas no exame do ENEM 2013.

max min ch max min cn max min ling max min mat

O INEP espera coerência nas respostas, isto é, o aluno deve acertar as fáceis e as médias e se possível as difíceis, se um aluno acerta questões consideradas difíceis e erra as fáceis, segundo a TRI, não está sendo coerente, é o mesmo que conseguir pular um obstáculo de 1 metro e não pular obstáculos de 10 centímetros.

Em cada um dos gráficos acima sinalizo a maior e a menor nota de um aluno com 13 acertos, a diferença em matemática, por exemplo, chega a quase 300 pontos o que num vestibular é muito significativo. Da mesma forma observe que muitos alunos que acertaram até 10 acertos tiraram a mesma nota que os que erraram toda a prova.

Respondendo a pergunta do início, a sua nota no ENEM não depende exclusivamente do seu número de acertos, mas da sua coerência nas respostas, portanto, se dois candidatos acertam o mesmo número de questões o que for mais coerente nas suas respostas terá a maior nota.  Quanto maior for o número de acertos menor será a variabilidade de respostas e assim menor será a variação da nota.

A sua nota corresponderá ao seu Traço Latente ou à sua Proficiência, que significa o quanto, segundo a métrica do INEP ao utilizar a TRI, o aluno apresenta de conhecimento.

Este valor intrínseco  pode ser comparado, independente do grupo, do exame e até destes dos dois fatores, se for equilibrado adequadamente.  Mas este é um assunto para outra postagem.