Confiabilidade e comportamento avaliativo na prova oral do exame Celpe-Bras: um estudo longitudinal
Carregando...
Data
2018-08-10
Autores
Título da Revista
ISSN da Revista
Título de Volume
Editor
Centro Federal de Educação Tecnológica de Minas Gerais
Resumo
As avaliações em larga escala desempenham papel importante na sociedade, pois servem para identificação de saberes de determinados grupos, (re)direcionamento de políticas públicas e tomada de decisões. Devido a isso, é necessário que apresentem resultados consistentes e que reflitam o construto que objetivam avaliar. Nesse cenário de avaliação, esta tese trata do exame que confere o Certificado de Proficiência em Língua Portuguesa para Estrangeiros (Celpe-Bras), que é composto por duas provas, uma escrita e outra oral. A prova oral, foco deste trabalho, é uma interação face a face em que participam o examinando e dois avaliadores: o avaliador-interlocutor (AI) e o valiador-observador (AO), sendo que ambos fazem a avaliação do desempenho oral do examinando, a partir de descritores constantes de duas grades distintas. A avaliação é feita em primeira instância (imediatamente após a aplicação da prova) e, havendo discrepância significativa entre as notas atribuídas pelos dois avaliadores, a interação é reavaliada em segunda e/ou terceira instância. O objetivo geral desta tese é analisar de que maneira a confiabilidade dos resultados do exame tem relação com o comportamento avaliativo de AI e AO. A confiabilidade é uma das qualidades desejáveis de todo teste e diz respeito à consistência da avaliação, ou seja, quanto mais os resultados forem livres de erro, mais confiáveis eles serão. Já o comportamento avaliativo é entendido na pesquisa como a maneira como os avaliadores atribuem notas ao desempenho oral dos examinandos, nas diferentes instâncias. Foi empregada uma metodologia quantitativa de análise de dados, que levou em conta dados de sete edições consecutivas do exame Celpe-Bras, envolvendo notas de 29.831 examinandos, sendo que o marco teórico considerou estudos da Psicometria (como Murphy e Davidshofer, 2005; Urbina, 2007), da Estatística (como Marôco e Garcia Marques, 2006; Marôco, 2014) e da Linguística Aplicada (como Bachman, 1990; 2004). Descrições e análise dos níveis de proficiência atribuídos aos examinandos e de informações estatísticas das notas, como medidas de tendência central e de dispersão, serviram de base para constatar a existência de variabilidade de comportamento avaliativo. A pergunta de pesquisa: o comportamento avaliativo pode ser considerado uma fonte de erro de mensuração que interfere na confiabilidade dos resultados do teste?, foi respondida com base em três técnicas. São elas: (i) uma análise preliminar ao estudo da confiabilidade, via Análise dos Componentes Principais, para verificar a dimensionalidade da escala de avaliação; (ii) cálculo do coeficiente Alfa de Cronbach, para verificar a consistência interna dos itens da escala e (iii) cálculo do coeficiente Kappa, para identificar o nível de concordância entre os avaliadores. Os resultados permitem responder positivamente à pergunta de pesquisa, na medida em que: (i) a escala de avaliação apresenta-se unidimensional, ou seja, avalia um único construto, na avaliação realizada em primeira instância; na segunda instância, ela é bidimensional; (ii) as sete edições apresentam valores altos do coeficiente de confiabilidade na avaliação feita em primeira instância, o que significa que os itens da escala possuem elevada consistência interna; já na avaliação realizada em segunda instância, a confiabilidade revela-se moderada e (iii) as sete edições, na avaliação em primeira instância, apresentam valores satisfatórios de concordância entre os avaliadores, ainda que baixos; a avaliação realizada em segunda instância apresenta valor pobre de concordância. Isso significa que a segunda instância, que é a responsável por dirimir os problemas avaliativos que surgem na primeira, é marcada por comportamento diferenciado dos sujeitos avaliadores, diminuindo, portanto, a confiabilidade dos resultados. Os resultados desta tese sinalizam para a necessidade de algumas ações, das quais destacamos: 1) revisão dos descritores da grade avaliativa, de forma que seja possível diminuir os níveis de subjetividade inerente à própria atividade de avaliar; 2) intensificar as capacitações dos envolvidos no processo avaliativo. Essas ações são necessárias para melhorar o grau de confiabilidade dos resultados do Celpe-Bras
Descrição
Palavras-chave
Certificado de proficiência em língua portuguesa para estrangeiros, Confiabilidade, Avaliação educacional - Metodologia - Análises