Confiabilidade e comportamento avaliativo na prova oral do exame Celpe-Bras: um estudo longitudinal
| dc.contributor.advisor | Coura-Sobrinho, Jerônimo | |
| dc.contributor.advisor-co | Paiva, Felipe Dias | |
| dc.contributor.advisor-coLattes | http://lattes.cnpq.br/1422795875369677 | |
| dc.contributor.advisorLattes | http://lattes.cnpq.br/2193441534340393 | |
| dc.contributor.author | Neves, Liliane de Oliveira | |
| dc.contributor.authorLattes | http://lattes.cnpq.br/85686322771990852 | |
| dc.contributor.referee | Coura-Sobrinho, Jerônimo | |
| dc.contributor.referee | Paiva, Felipe Dias | |
| dc.contributor.referee | Silva, Rui Brites Correia da | |
| dc.contributor.referee | Lima, Ronaldo Amorim Ozório da Matta | |
| dc.contributor.referee | Nascimento, Elizabeth do | |
| dc.contributor.referee | Silva, Renato Caixeta da | |
| dc.date.accessioned | 2025-03-27T18:28:26Z | |
| dc.date.available | 2025-03-27T18:28:26Z | |
| dc.date.issued | 2018-08-10 | |
| dc.description.abstract | As avaliações em larga escala desempenham papel importante na sociedade, pois servem para identificação de saberes de determinados grupos, (re)direcionamento de políticas públicas e tomada de decisões. Devido a isso, é necessário que apresentem resultados consistentes e que reflitam o construto que objetivam avaliar. Nesse cenário de avaliação, esta tese trata do exame que confere o Certificado de Proficiência em Língua Portuguesa para Estrangeiros (Celpe-Bras), que é composto por duas provas, uma escrita e outra oral. A prova oral, foco deste trabalho, é uma interação face a face em que participam o examinando e dois avaliadores: o avaliador-interlocutor (AI) e o valiador-observador (AO), sendo que ambos fazem a avaliação do desempenho oral do examinando, a partir de descritores constantes de duas grades distintas. A avaliação é feita em primeira instância (imediatamente após a aplicação da prova) e, havendo discrepância significativa entre as notas atribuídas pelos dois avaliadores, a interação é reavaliada em segunda e/ou terceira instância. O objetivo geral desta tese é analisar de que maneira a confiabilidade dos resultados do exame tem relação com o comportamento avaliativo de AI e AO. A confiabilidade é uma das qualidades desejáveis de todo teste e diz respeito à consistência da avaliação, ou seja, quanto mais os resultados forem livres de erro, mais confiáveis eles serão. Já o comportamento avaliativo é entendido na pesquisa como a maneira como os avaliadores atribuem notas ao desempenho oral dos examinandos, nas diferentes instâncias. Foi empregada uma metodologia quantitativa de análise de dados, que levou em conta dados de sete edições consecutivas do exame Celpe-Bras, envolvendo notas de 29.831 examinandos, sendo que o marco teórico considerou estudos da Psicometria (como Murphy e Davidshofer, 2005; Urbina, 2007), da Estatística (como Marôco e Garcia Marques, 2006; Marôco, 2014) e da Linguística Aplicada (como Bachman, 1990; 2004). Descrições e análise dos níveis de proficiência atribuídos aos examinandos e de informações estatísticas das notas, como medidas de tendência central e de dispersão, serviram de base para constatar a existência de variabilidade de comportamento avaliativo. A pergunta de pesquisa: o comportamento avaliativo pode ser considerado uma fonte de erro de mensuração que interfere na confiabilidade dos resultados do teste?, foi respondida com base em três técnicas. São elas: (i) uma análise preliminar ao estudo da confiabilidade, via Análise dos Componentes Principais, para verificar a dimensionalidade da escala de avaliação; (ii) cálculo do coeficiente Alfa de Cronbach, para verificar a consistência interna dos itens da escala e (iii) cálculo do coeficiente Kappa, para identificar o nível de concordância entre os avaliadores. Os resultados permitem responder positivamente à pergunta de pesquisa, na medida em que: (i) a escala de avaliação apresenta-se unidimensional, ou seja, avalia um único construto, na avaliação realizada em primeira instância; na segunda instância, ela é bidimensional; (ii) as sete edições apresentam valores altos do coeficiente de confiabilidade na avaliação feita em primeira instância, o que significa que os itens da escala possuem elevada consistência interna; já na avaliação realizada em segunda instância, a confiabilidade revela-se moderada e (iii) as sete edições, na avaliação em primeira instância, apresentam valores satisfatórios de concordância entre os avaliadores, ainda que baixos; a avaliação realizada em segunda instância apresenta valor pobre de concordância. Isso significa que a segunda instância, que é a responsável por dirimir os problemas avaliativos que surgem na primeira, é marcada por comportamento diferenciado dos sujeitos avaliadores, diminuindo, portanto, a confiabilidade dos resultados. Os resultados desta tese sinalizam para a necessidade de algumas ações, das quais destacamos: 1) revisão dos descritores da grade avaliativa, de forma que seja possível diminuir os níveis de subjetividade inerente à própria atividade de avaliar; 2) intensificar as capacitações dos envolvidos no processo avaliativo. Essas ações são necessárias para melhorar o grau de confiabilidade dos resultados do Celpe-Bras | |
| dc.description.abstractother | Large-scale assessments play an important role in society, since they aid the identification of theknowledges of particular groups, the (re)directing of public policy and the process of decisionmaking. Therefore, they must present consistent results that reflect the construct to be evaluated. In this scenario, this thesis focuses on the test to Certificate of Proficiency in Portuguese for Foreigners (Celpe-Bras), which is composed of two parts, one written and the other oral. The oral part of the test, focus of this thesis, is a face-to-face interaction between the examinee and two evaluators: the evaluator-interlocutor (AI), who conducts the interaction, and the evaluator-observer (AO), both responsible to rate the oral performance of the examinee, based on descriptors of two distinct grids. The evaluation is done in the first instance (immediately after the test has been applied) and, if there is a significant discrepancy between the scores assigned by the two evaluators, the interaction is reevaluated in the second and / or third instances. The general objective of this thesis is to analyze how the reliability of the test results is related to the rater's behavior of AI and AO. Reliability is one of the desirable qualities of tests and it is related to the consistency of evaluation, i.e., the more results are error-free, the more reliable they will be. Raters' behavior is considered in this research as the way in which the evaluators attribute grades to the oral performance of the examinees, in different instances. A quantitative methodology was used, which took into account data from seven consecutive editions of the Celpe-Bras exam, involving 29,831 examinees, and the theoretical framework was based on studies of Psychometrics (such as Murphy and Davidshofer, 2005), Statistics (such as Marôco and Garcia Marques, 2006; Marôco, 2014) and Applied Linguistics (such as Bachman, 1990, 2004). Descriptions and analyses of the levels of proficiency attributed to the examinees and statistical information of the grades, such as measures of central tendency and dispersion, served as basis to verify the existence of variability of raters' behavior. The research question: can evaluative behavior be considered a source of measurement error that interferes with the reliability of the test results?, was answered based on three techniques. They are: (i) a preliminary analysis to the reliability's study, via Principal Component Analysis, to verify the dimensionality of the evaluation scale; (ii) calculation of Cronbach's alpha coefficient to verify the internal consistency of the scale items and (iii) calculation of the Kappa coefficient to identify the level of agreement among the raters. The results allow us to respond positively to the research question, since: (i) the scale of evaluation is unidimensional, i. e., it evaluates a single construct, in the evaluation performed in the first instance; in the second instance, it is two-dimensional; (ii) the seven editions present high values of reliability coefficient in the first instance of evaluation, which means that the scale items have high internal consistency; in the evaluation carried out in the second instance, the reliability is moderate and (iii) the seven editions, in the first instance of evaluation, present satisfactory values of agreement among the evaluators, albeit low; the evaluation carried out in the second instance presents a poor value. This means that the second instance, which is responsible for solving the evaluative problems that arise in the first one, is marked by a different behavior of the raters, thus reducing the reliability of the results. The results of this thesis point to the need to take actions, which are worth highlighting: 1) review of the descriptors of the evaluation grid, so that to possibly reduce the levels of subjectivity inherent to the evaluation activity itself; 2) to intensify the training of those involved in the evaluation process. These actions are necessary to improve the reliability of Celpe-Bras's results. | |
| dc.description.sponsorship | Coordenação de Aperfeiçoamento de Pessoal de Nível superior (CAPES) | |
| dc.identifier.uri | https://repositorio.cefetmg.br//handle/123456789/991 | |
| dc.language.iso | pt | |
| dc.publisher | Centro Federal de Educação Tecnológica de Minas Gerais | |
| dc.publisher.country | Brasil | |
| dc.publisher.initials | CEFET-MG | |
| dc.publisher.program | Programa de Pós-Graduação em Estudos de Linguagens | |
| dc.subject | Certificado de proficiência em língua portuguesa para estrangeiros | |
| dc.subject | Confiabilidade | |
| dc.subject | Avaliação educacional - Metodologia - Análises | |
| dc.title | Confiabilidade e comportamento avaliativo na prova oral do exame Celpe-Bras: um estudo longitudinal | |
| dc.type | Tese |
Arquivos
Pacote Original
1 - 1 de 1
Carregando...
- Nome:
- Confiabilidade e comportamento avaliativo na prova oral do exame Celpe-Bras.pdf
- Tamanho:
- 5.51 MB
- Formato:
- Adobe Portable Document Format
Licença do Pacote
1 - 1 de 1
Nenhuma Miniatura disponível
- Nome:
- license.txt
- Tamanho:
- 1.39 KB
- Formato:
- Item-specific license agreed to upon submission
- Descrição: