SUBJECTIVITY CHALLENGES IN EVALUATING OBSERVABLE BEHAVIORS IN CBTA DESAFIOS DA SUBJETIVIDADE NA AVALIAÇÃO DE COMPORTAMENTOS OBSERVÁVEIS NO CBTA

Resumo

This study investigates the challenges of subjectivity in the evaluation of observable behaviors (OBs) within the Competency-Based Training and Assessment (CBTA) framework applied to civil aviation. The assessment of competencies through OBs is a fundamental pillar of CBTA, allowing the measurement of pilots' knowledge, skills, and attitudes in real or simulated operational scenarios. However, subjectivity in evaluators' judgments can compromise the standardization and reliability of results, leading to interpretative variations that affect crew training and certification. This research analyzes the main factors influencing this variability, including evaluators' experience, clarity of assessment criteria, and task complexity. Additionally, different competency assessment models and their limitations in mitigating subjectivity are discussed. Finally, a new theoretical framework is proposed to enhance OB evaluation, reducing interpretative discrepancies among evaluators and ensuring greater consistency in the assessment process.

Keywords: CBTA; Observable Behaviors; Competency Assessment; Subjectivity; Operational Safety.

RESUMO

Este estudo investiga os desafios da subjetividade na avaliação de comportamentos observáveis (OBs) no Treinamento e Avaliação Baseados em Competências (CBTA) aplicado à aviação civil. A avaliação de competências por meio de OBs é um dos principais pilares do CBTA, permitindo medir conhecimentos, habilidades e atitudes dos pilotos em cenários operacionais reais ou simulados. No entanto, a subjetividade no julgamento dos avaliadores pode comprometer a padronização e a confiabilidade dos resultados, gerando variações interpretativas que impactam a formação e certificação dos tripulantes. A pesquisa analisa os principais fatores que influenciam essa variabilidade, incluindo a experiência dos avaliadores, a clareza dos critérios avaliativos e a complexidade das tarefas observadas. Além disso, são discutidos diferentes modelos de medição de competências e suas limitações na mitigação da subjetividade. Por fim, propõe-se um novo referencial teórico para aprimorar a avaliação dos OBs, reduzindo as diferenças interpretativas entre avaliadores e garantindo maior consistência no processo avaliativo.

Palavras-chave: CBTA; Comportamentos Observáveis; Avaliação de Competências; Subjetividade; Segurança Operacional.