Doutorado em Estudos de Linguagens

URI Permanente para esta coleção

https://repositorio.cefetmg.br//handle/123456789/639

Navegar

Navegando Doutorado em Estudos de Linguagens por Assunto "Análise fatorial"

Agora exibindo 1 - 1 de 1
  • Imagem de Miniatura
    Item
    Avaliação da proficiência oral: uma análise fatorial e de discriminação dos itens do exame Celpe-Bras
    (Centro Federal de Educação Tecnológica de Minas Gerais, 2018-04-02) Ferreira, Laura Márcia Luiza; Coura-Sobrinho, Jerônimo; http://lattes.cnpq.br/2193441534340393; http://lattes.cnpq.br/0030172084604212; Coura-Sobrinho, Jerônimo; Gomes, Cristiano Mauro Assis; Condé, Frederico Neves; Prazeres, Luiz Antônio dos; Silva, Renato Caixeta da; Parreiras, Vicente Aguimar; Villela, Ana Maria Nápoles
    Como as avaliações podem admitir erros sistemáticos, os escores podem ser afetados,por isso é preciso validá-las por meio da análise de evidências variadas. Na perspectiva deMessick (1987), a validade é um conceito único, que consiste em avaliar evidências empíricas eteóricas sobre a pertinência das inferências feitas a partir da nota de um teste. O objetivo dopresente trabalho é analisar as escalas de avaliação da prova oral do exame Celpe-Bras forma acoletar evidências da validade interna dos instrumentos. Inicialmente, argumento que a prova oralé uma tarefa cuja situação é a entrevista de proficiência oral. Em seguida, apresento a Teoria deValidade proposta por Messick (1987) e a relaciono com a maneira como o conceito tem sidodefinido por especialistas em avaliação de línguas. Para analisar os sete itens que compõem asduas escalas de avaliação da prova oral, quanto à sua dimensionalidade, apresento uma análisefatorial exploratória. Quanto ao ajuste e à quantidade de informação de cada item, apresento umaanálise de discriminação de itens, por meio do modelo Rasch básico na extensão Partial CreditModel. A escala do avaliador-intelocutor é composta por um item e a escala do avaliadorobservadorcontém seis itens, a saber: compreensão, competência interacional, fluência,adequação lexical, adequação gramatical e pronúncia. O conjunto de dados analisados nestapesquisa é composto por notas atribuídas para 1.000 participantes que se submeteram ao examena primeira edição de 2016. O resultado da análise fatorial sugere que a nota da prova oral sejauma medida unidimensional. Os valores de peso dos itens da escala, do maior para o menor, sãode 0.36 para nota do avaliador-interlocutor, 0.19 para adequação lexical, 0.18 para fluência, 0.13para adequação gramatical, seguidas dos itens competência interacional, pronúncia ecompreensão com os valores de 0.09, 0.06 e 0.04, respectivamente. A partir da análise dediscriminação de itens, os valores da média quadrada de infit variou de 0.431 a 1.386, sugerindobom ajuste dos itens. Porém, quanto ao valor da média quadrada de outfit, o item compreensãoapresentou um valor acima de 2.0, apontando necessidade de revisão do item na escala. Aoconsiderar intervalos entre os valores de threshold dos sete itens das escalas, posso afirmar queuma mesma faixa de nota em cada um dos itens pode não discriminar da mesma forma o mesmoperfil de examinandos. Com base na análise fatorial e na análise de discriminação de itens,discuto uma proposta de mudança de peso dos itens na composição da nota oral, especialmentequanto ao item compreensão, bem como a necessidade de investimento na revisão dosdescritores das escalas, da tarefa e da situação de entrevista de proficiência oral