Avaliação da proficiência oral: uma análise fatorial e de discriminação dos itens do exame Celpe-Bras
| dc.contributor.advisor | Coura-Sobrinho, Jerônimo | |
| dc.contributor.advisorLattes | http://lattes.cnpq.br/2193441534340393 | |
| dc.contributor.author | Ferreira, Laura Márcia Luiza | |
| dc.contributor.authorLattes | http://lattes.cnpq.br/0030172084604212 | |
| dc.contributor.referee | Coura-Sobrinho, Jerônimo | |
| dc.contributor.referee | Gomes, Cristiano Mauro Assis | |
| dc.contributor.referee | Condé, Frederico Neves | |
| dc.contributor.referee | Prazeres, Luiz Antônio dos | |
| dc.contributor.referee | Silva, Renato Caixeta da | |
| dc.contributor.referee | Parreiras, Vicente Aguimar | |
| dc.contributor.referee | Villela, Ana Maria Nápoles | |
| dc.date.accessioned | 2025-05-15T22:44:26Z | |
| dc.date.available | 2025-05-15T22:44:26Z | |
| dc.date.issued | 2018-04-02 | |
| dc.description.abstract | Como as avaliações podem admitir erros sistemáticos, os escores podem ser afetados,por isso é preciso validá-las por meio da análise de evidências variadas. Na perspectiva deMessick (1987), a validade é um conceito único, que consiste em avaliar evidências empíricas eteóricas sobre a pertinência das inferências feitas a partir da nota de um teste. O objetivo dopresente trabalho é analisar as escalas de avaliação da prova oral do exame Celpe-Bras forma acoletar evidências da validade interna dos instrumentos. Inicialmente, argumento que a prova oralé uma tarefa cuja situação é a entrevista de proficiência oral. Em seguida, apresento a Teoria deValidade proposta por Messick (1987) e a relaciono com a maneira como o conceito tem sidodefinido por especialistas em avaliação de línguas. Para analisar os sete itens que compõem asduas escalas de avaliação da prova oral, quanto à sua dimensionalidade, apresento uma análisefatorial exploratória. Quanto ao ajuste e à quantidade de informação de cada item, apresento umaanálise de discriminação de itens, por meio do modelo Rasch básico na extensão Partial CreditModel. A escala do avaliador-intelocutor é composta por um item e a escala do avaliadorobservadorcontém seis itens, a saber: compreensão, competência interacional, fluência,adequação lexical, adequação gramatical e pronúncia. O conjunto de dados analisados nestapesquisa é composto por notas atribuídas para 1.000 participantes que se submeteram ao examena primeira edição de 2016. O resultado da análise fatorial sugere que a nota da prova oral sejauma medida unidimensional. Os valores de peso dos itens da escala, do maior para o menor, sãode 0.36 para nota do avaliador-interlocutor, 0.19 para adequação lexical, 0.18 para fluência, 0.13para adequação gramatical, seguidas dos itens competência interacional, pronúncia ecompreensão com os valores de 0.09, 0.06 e 0.04, respectivamente. A partir da análise dediscriminação de itens, os valores da média quadrada de infit variou de 0.431 a 1.386, sugerindobom ajuste dos itens. Porém, quanto ao valor da média quadrada de outfit, o item compreensãoapresentou um valor acima de 2.0, apontando necessidade de revisão do item na escala. Aoconsiderar intervalos entre os valores de threshold dos sete itens das escalas, posso afirmar queuma mesma faixa de nota em cada um dos itens pode não discriminar da mesma forma o mesmoperfil de examinandos. Com base na análise fatorial e na análise de discriminação de itens,discuto uma proposta de mudança de peso dos itens na composição da nota oral, especialmentequanto ao item compreensão, bem como a necessidade de investimento na revisão dosdescritores das escalas, da tarefa e da situação de entrevista de proficiência oral | |
| dc.description.abstractother | Since sistematic errors may affect scores, assessments are imperfect samples ofconstructs to be validated. According to Messick’s Validation Theory (1987), assessment validationis a matter of gathering multiple sources of empirical evidence and theoretical rationales to supportthe inferences that will be made from the tests results. In order to gather evidences to discussdimensionality, item fit and information on the oral Celpe-Bras exam scales, I perform aexploratory factor analysis and an item discrimination analyses, using Rasch’s Partial CreditModel. First, I describe the oral exam task as an oral proficiency interview. Then I discuss theMessick’s Validation Theory and it’s influence on applied linguistics and on second languageassessment theoretical works. It was analysed 1.000 examinee’s scores from the first exam editionof 2016. The oral Celpe-Bras‘s score model is organized in seven itens in two scales: one rated bythe interviewer and six itens by the rater itself. The interviewer scores one single note for theperformance while the rater scores one note for the following itens comprehension,interactional competence, fluency, lexical adequacy, grammatical adequacy and pronunciation.After running the exploratory factor analysis, we concluded that the test score is an onedimensionalmeasure. According to the weight values, the itens that weighed the most on the fatororal proficiency were the interviewer's score (0.36), followed by lexical adequacy (0.19), fluency(0.18) and grammatical adequacy (0.13). Interactional competence, pronunciation andcomprehension weighted 0.09, 0.06 and 0.04, respectively. According to Rasch’s analyses, the infitmsq values for the itens was reasonable (0.431 to 1.386). However, outfit msq value for the itemcomprehension was >2.0, sugesting poor fit. Since the threshold’s value categories were nothomogeneous through the scales, the itens may not distinguish in the same way examinees fromthe same profile ability. Finally, I discuss a score’s composite proposal, the relevance of itencomprehension in this oral situation as well as the investment on descriptor’s and task’s review. | |
| dc.identifier.uri | https://repositorio.cefetmg.br//handle/123456789/1486 | |
| dc.language.iso | pt | |
| dc.publisher | Centro Federal de Educação Tecnológica de Minas Gerais | |
| dc.publisher.country | Brasil | |
| dc.publisher.initials | CEFET-MG | |
| dc.publisher.program | Programa de Pós-Graduação em Estudos de Linguagens | |
| dc.subject | Língua portuguesa - Testes de aptidão | |
| dc.subject | Proficiência oral - Avaliação | |
| dc.subject | Análise fatorial | |
| dc.subject | Teoria de resposta ao item | |
| dc.title | Avaliação da proficiência oral: uma análise fatorial e de discriminação dos itens do exame Celpe-Bras | |
| dc.type | Dissertação |