XobinProcurando software de avaliação de talentos e contratação com IA?Confira a Xobin
← Artigos§ Documentação técnica

Teste Psicométrico Xobin: Evidências de Fiabilidade e Validação

A documentação técnica completa por trás do teste de julgamento situacional (SJT) da Xobin: o modelo comportamental, como o teste foi construído e os estudos de confiabilidade, validade e equidade realizados entre 2021 e 2024.

Xobin Research/2025/Documentação técnica/Versão 2.9.1

Autor

Guruprakash Sivabalan

Fundador, Xobin. Lidera o programa de pesquisa da Xobin sobre ciência da avaliação, validação psicométrica e o Xobin Capability Graph.

LinkedIn →

Este artigo resume o Relatório de Documentação Técnica do Teste Psicométrico da Xobin (SJT), Versão 2.9.1, cobrindo estudos de confiabilidade e validade realizados entre 2021 e 2024. O conteúdo dos itens, chaves de pontuação e os conjuntos de dados subjacentes ao nível do candidato permanecem proprietários e confidenciais; as estatísticas aqui relatadas são extraídas do manual técnico.

01 ·

Resumo executivo

A equipe de psicólogos organizacionais (I/O) e psicometristas da Xobin projetou uma avaliação psicométrica de base ampla para uso em escala empresarial em recrutamento de alto volume, avaliação profissional e desenvolvimento de liderança.

O desenvolvimento seguiu duas trilhas. A primeira construiu um modelo comportamental integrado baseado em pesquisas atuais em psicologia da personalidade, ciência da liderança, inteligência emocional e pensamento crítico. A segunda projetou e validou um teste de julgamento situacional (SJT) que mede essas competências comportamentais de forma precisa e eficiente, com relevância, justiça e precisão preditiva em funções de trabalho globais.

O teste oferece às equipes de RH corporativas uma avaliação confiável e abrangente do comportamento dos candidatos em contextos de contratação e desenvolvimento. Pesquisas publicadas mostram que organizações que utilizam testes psicométricos podem melhorar o sucesso na contratação em até 40% e aumentar a retenção de funcionários em 24%. Esses ganhos se traduzem em redução de custos de rotatividade, equipes mais eficazes e melhor desempenho.

A integridade da avaliação está no cerne do design. O teste integra estruturas estabelecidas em personalidade, agilidade de aprendizado, liderança, inteligência emocional (EQ) e pensamento crítico, e apresenta cenários de trabalho realistas nos quais os julgamentos de um candidato revelam traços subjacentes e estilo de tomada de decisão. A consistência interna das escalas de competência varia de boa a excelente (α de Cronbach ≈ 0.6–0.8), estudos de teste-reteste mostram resultados estáveis ao longo do tempo, e o formato SJT de escolha forçada é marcadamente menos propenso a fraudes do que questionários tradicionais de auto-relato.

02 ·

Aplicabilidade global e versatilidade setorial

O teste foi projetado e validado para aplicabilidade global e relevância entre indústrias. Ele foi localizado e padronizado nos Estados Unidos, Europa, Oriente Médio, Sul da Ásia e Ásia-Pacífico. A localização abrange não apenas a tradução para mais de 15 idiomas, mas também a adaptação cultural dos cenários para preservar a adequação contextual e a equivalência interpretativa entre as populações.

A avaliação demonstrou eficácia operacional em:

  • ·Tecnologia da Informação e Desenvolvimento de Software
  • ·Farmacêutica e Ciências da Vida
  • ·Bancos, Serviços Financeiros e Seguros (BFSI)
  • ·Bens de Consumo de Rápido Movimento (FMCG)
  • ·Varejo
  • ·Engenharia, Manufatura e setores industriais principais
  • ·Energia e Utilidades
  • ·Serviços Profissionais e de Consultoria
  • ·Administração de Saúde e Hospitalar

Dentro desses verticais, é utilizado para triagem de alto volume de funções de nível inicial, perfilamento comportamental para posições profissionais e de nível médio, e avaliação de potencial de liderança para trilhas de desenvolvimento gerencial e executivo. Referências específicas da indústria e dados normativos permitem que pontuações individuais sejam interpretadas em relação ao padrão setorial relevante, em vez de uma única média global.

03 ·

Alinhamento com padrões psicométricos

A metodologia de desenvolvimento da Xobin adere aos padrões da British Psychological Society (BPS) e da International Test Commission (ITC) para avaliação ocupacional. O ciclo de vida de desenvolvimento de itens incorporou:

  • ·Modelagem abrangente de competências e análise de trabalho
  • ·Desenvolvimento de mais de 2.000 itens piloto, estratificados por níveis de trabalho
  • ·Piloto em múltiplas fases, incluindo análise clássica de itens e calibração da teoria de resposta ao item (IRT)
  • ·Exame de viés em nível de item, índices de dificuldade e parâmetros de discriminação
  • ·Simulação de Monte Carlo para otimizar o comprimento do teste e a eficiência psicométrica
  • ·Validação da equidade de subgrupos, neutralidade linguística e generalização de pontuações entre demografias

Essa abordagem garante que cada estímulo situacional e opção de resposta reflitam um constructo comportamental relevante para o trabalho, funcionem de maneira consistente entre as populações e contribuam de forma significativa para a estimativa de traços. Os itens de julgamento situacional passaram por um rigoroso teste e análise para confirmar que funcionam conforme o esperado em dificuldade, discriminação e ausência de viés, produzindo uma ferramenta estatisticamente robusta e válida em constructo, alinhada com as melhores práticas internacionais em seleção de pessoal.

04 ·

Modelo e estrutura comportamental

O modelo é fundamentado na estrutura dos Cinco Grandes (OCEAN) da personalidade: Abertura, Conscienciosidade, Extroversão, Amabilidade e Estabilidade Emocional (Neuroticismo invertido). Ele é enriquecido com construtos de liderança, inteligência emocional e pesquisa de pensamento crítico, de modo que capture o comportamento no local de trabalho de forma mais completa do que um teste de personalidade tradicional.

Agilidade de Aprendizagem (Lombardo & Eichinger)

A agilidade de aprendizagem é a disposição e a capacidade de aprender novas competências para atuar sob condições difíceis, diferentes ou pela primeira vez. Na prática, isso se torna Adaptabilidade, Abertura ao Feedback, Inovação e Aprendizagem Rápida, qualidades que indicam se uma pessoa prosperará em ambientes dinâmicos e um indicador chave do potencial de liderança em contextos voláteis.

Liderança (Três Níveis de Scouller)

Scouller (2011) afirma que a liderança opera em níveis pessoal, privado e público: autoconsciência e autodomínio, habilidade interpessoal um a um e liderança de equipe ou organizacional. Traços como Autoconfiança, Integridade, Habilidade de Coaching, Influência e Visão se mapeiam nesses níveis, portanto, o teste abrange as competências necessárias tanto para colaboradores individuais quanto para futuros líderes.

Inteligência emocional (Goleman)

A estrutura de EQ de Goleman, cobrindo Autoconsciência, Autorregulação, Motivação, Empatia e Habilidades Sociais, é explorada através de cenários sobre como gerenciar emoções sob estresse, demonstrar empatia a colegas ou clientes e navegar em conflitos. Esses comportamentos são importantes para trabalho em equipe, trabalho voltado para o cliente e liderança, e ampliam a medição além do raciocínio puro para a eficácia interpessoal e autogerenciamento emocional.

Disposições de pensamento crítico (Facione)

Facione et al. (1995) descrevem a disposição para o pensamento crítico como curiosidade intelectual, mente aberta e o hábito de refletir sobre problemas de forma racional. Isso aparece como Pensamento Analítico, Qualidade de Decisão, Resolução de Problemas e Gestão de Risco: cenários revelam se um candidato decide com base em evidências e lógica ou por impulso e viés, medindo como as pessoas pensam sobre dilemas, não apenas como se comportam com os outros.

Competências adicionais no local de trabalho

A revisão da literatura e a contribuição da indústria identificaram traços que os Big Five não cobrem completamente. Humildade e Integridade, significando honestidade, modéstia e admitir erros em vez de transferir a culpa, alinham-se com o fator Honestidade-Humildade do HEXACO (Ashton & Lee, 2007). Resiliência e determinação, extraídas de Duckworth et al. (2007), complementam a Estabilidade Emocional ao focar em esforço sustentado e recuperação de contratempos. No total, o modelo abrange mais de 50 competências específicas, desde Construir Confiança e Colaboração até Inovação e Pensamento Estratégico, cada uma ligada conceitualmente a um ou mais dos frameworks acima.

05 ·

Os seis domínios de competência

As competências de 50+ estão organizadas em seis domínios amplos para pontuação e interpretação. As pontuações são relatadas no nível de faceta e agregadas ao nível de domínio.

Motivação & Execução

Confiabilidade · Iniciativa · Persistência · Foco na Qualidade · Ambição

Traços orientados para a realização estão amplamente relacionados à Conscienciosidade, além dos aspectos de ambição e poder da motivação de liderança. Aqueles que obtêm altas pontuações são confiáveis, focados em resultados e persistentes; os de pontuação mais baixa são mais relaxados ou flexíveis em relação a metas. Isso se alinha ao que outros modelos chamam de estilo de tarefa: ser planejado e disciplinado.

Adaptabilidade & Aprendizado

Flexibilidade · Pensamento Criativo · Abertura à Experiência · Aprendizado Contínuo

Traços relacionados à Abertura e agilidade de aprendizado. Aqueles com altas pontuações são mente aberta e rápidos para adquirir novas habilidades ou se ajustar a mudanças; aqueles com pontuações mais baixas preferem abordagens familiares, mas oferecem consistência e foco prático. O domínio combina a curiosidade analítica de Facione com a agilidade de aprendizado de Lombardo e Eichinger.

Influência & Liderança

Assertividade · Persuasão · Delegação · Visão Estratégica · Ambição

Os aspectos relacionados à extroversão e a vontade de liderar. Os que pontuam alto emergem como líderes, confortáveis em tomar decisões e direcionar a equipe. Os que pontuam baixo tendem a ser jogadores de equipe ou contribuintes individuais que evitam os holofotes. Este domínio sinaliza potencial de liderança gerencial e de vendas, correspondendo ao nível de liderança pública de Scouller.

Interpessoal & Trabalho em Equipe

Empatia · Construindo Confiança · Resolução de Conflitos · Comunicação · Humildade · Diplomacia · Diversidade & Inclusão

Centrado em Agradabilidade e inteligência socioemocional. Aqueles com altas pontuações são cooperativos, empáticos e orientados para o trabalho em equipe, construindo relacionamentos positivos e colocando os objetivos do grupo antes do ego. Aqueles com baixas pontuações podem ser mais focados em tarefas ou independentes, às vezes à custa de tato. Isso indica adequação para colaboração, atendimento ao cliente e liderança em nível privado e interpessoal.

Resiliência Emocional & Autogerenciamento

Tolerância ao Estresse · Positividade e Otimismo · Autoconsciência · Controle de Impulsos

Corresponde à Estabilidade Emocional e ao lado da autorregulação da inteligência emocional. Aqueles com altas pontuações permanecem calmos sob pressão, se recuperam de contratempos e permanecem otimistas. Aqueles com pontuações mais baixas podem sentir ansiedade sob estresse, mas podem ser mais transparentes com suas emoções. Particularmente importante para funções de alta pressão e para liderança em nível pessoal.

Pensamento Crítico & Tomada de Decisão

Qualidade da Decisão · Julgamento · Abertura à Evidência · Gestão de Risco · Raciocínio Ético

Incomum entre avaliações de personalidade, este domínio avalia tendências cognitivo-comportamentais na resolução de problemas sem ser um teste de habilidade puro. Aqueles com altas pontuações ponderam as compensações, consideram as consequências a longo prazo e decidem com base em evidências; aqueles com pontuações mais baixas decidem de forma intuitiva ou rápida, o que é eficiente em tarefas simples e arriscado em tarefas complexas.

O modelo foi construído de forma iterativa: os psicólogos I/O da Xobin começaram a partir da estrutura dos Cinco Grandes, depois mapearam ou agruparam construtos de inteligência emocional, agilidade de aprendizado e liderança autêntica, para que nada importante estivesse faltando: humildade e empatia agrupadas em Interpessoal, ambição e poder em Influência & Liderança. O julgamento de especialistas mais a pesquisa de análise fatorial produziu um modelo que abrange áreas cognitivas, interpessoais, de liderança, adaptabilidade e motivação pessoal que preveem desempenho e potencial no trabalho.

06 ·

Metodologia de Avaliação

O teste utiliza um formato de julgamento situacional com um design de resposta ipsativo e de escolha forçada, escolhido para maximizar a precisão, resistência à simulação e adequação para uso global em situações de alto risco.

Formato de julgamento situacional. Cada item apresenta um breve cenário realista de trabalho descrevendo um desafio, conflito ou tarefa, construído a partir de incidentes críticos e contribuições de especialistas em conteúdo de diversas indústrias. Um conjunto de ações possíveis segue. Por exemplo, um revés em um projeto onde as opções variam de assumir o controle e realocar o trabalho, a solucionar problemas discretamente, a consultar a equipe. Não há respostas absolutamente certas ou erradas; cada opção expressa uma competência diferente. Os candidatos classificam as opções da mais provável à menos provável, ou escolhem sua ação mais e menos preferida. O formato oferece alta validade de face e engajamento, e forte validade de critério: décadas de pesquisa colocam as validades médias do SJT em torno de 0,20–0,30. Crucialmente, os SJTs que medem a personalidade correlacionam-se com traços e resultados de trabalho, sendo muito menos suscetíveis a simulações deliberadas, porque ancoram traços em contexto em vez de perguntar diretamente sobre eles.

Comprimento e formato. O teste padrão consiste em aproximadamente 40 itens baseados em cenários cobrindo mais de 50 competências. Cada cenário oferece de três a quatro opções e leva de um a dois minutos, totalizando um tempo de teste de aproximadamente 45–50 minutos. O comprimento foi definido por simulação de Monte Carlo: a consistência interna de escalas amplas ultrapassa níveis aceitáveis (α > 0,70) em cerca de 20 cenários e se aproxima de seu máximo em 40.

Figura 1. Simulação de Monte Carlo: comprimento do teste vs confiabilidade
Número de itens SJTConfiabilidade simulada (α)
50.28
100.46
150.59
200.68
250.73
300.77
350.80
400.82
450.83
500.84

A confiabilidade aumenta com mais cenários e se estabiliza perto de 0,82–0,85 com cerca de 40 itens. A Xobin escolheu ~40 itens para garantir alta confiabilidade enquanto mantém o teste eficiente.

Administração e segurança. O teste é administrado online e sem supervisão, em reconhecimento à moderna recrutamento remoto. A ordem das perguntas e opções é randomizada por candidato; um grande banco de itens impede o compartilhamento de respostas; e os timestamps e a telemetria são analisados por IA para detectar padrões aberrantes, como trapaça ou pré-conhecimento de itens. A seleção adaptativa de itens significa que dois candidatos raramente veem o mesmo conjunto de cenários. A plataforma é amigável para dispositivos móveis e acessível, com verificações que desencorajam palpites rápidos.

Relatório de pontuação. Os relatórios perfilam o candidato em cada domínio amplo e destacam pontos fortes e preocupações potenciais entre as 50 facetas, em um formato orientado para negócios que combina gráficos com narrativa. Um candidato pode ser avaliado como alto em Adaptabilidade & Aprendizado e Interpessoal, moderado em Pensamento Crítico e baixo em Motivação & Execução, com texto interpretativo explicando como esse perfil se manifesta no trabalho. As pontuações podem ser comparadas a normas relevantes (globais, do setor ou nível de trabalho), e o sistema sinaliza pontuações em risco onde verificações de consistência sugerem baixa confiabilidade nas respostas daquele candidato.

Cada decisão de design, desde cenários de trabalho até escolha forçada e pontuação por IA, serve a quatro princípios orientadores estabelecidos no início do projeto: a avaliação deve ser confiável e válida, resistente a simulações e gestão de impressões, aplicável globalmente e eficiente e segura online.

07 ·

Processo de desenvolvimento de teste

O desenvolvimento foi desde a definição de competências até a redação de itens, pilotagem e análise de itens, guiado pelas diretrizes da BPS/ITC e pelos padrões da APA.

  1. Passo 01Definindo o modelo de competências. An extensive literature review of personality and competency models, covering Big Five taxonomies, emotional intelligence models and others, was combined with interviews of corporate HR partners, leadership coaches and hiring managers across industries. Hundreds of candidate behavioural descriptors were distilled, using theory (mapping to models such as DeYoung's ten aspects of the Five Factor Model) and expert sorting, into the final six domains and roughly 50 competencies. Each was defined with behavioural examples for item writers: "Builds Trust", for instance, was defined as being honest, keeping commitments and fostering psychological safety.
  2. Passo 02Redação de itens. Psicólogos I/O e especialistas em assuntos usaram a técnica de incidentes críticos, coletando anedotas reais de comportamentos eficazes e ineficazes para cada competência. Para Qualidade de Decisão, um incidente pode envolver uma equipe escolhendo entre duas estratégias com dados limitados, com quatro ações plausíveis, cada uma refletindo um traço diferente: deliberação analítica, impulsividade, deferência a outros, e assim por diante. As opções foram revisadas para que a desejabilidade social fosse equilibrada, uma vez que cada uma tem prós e contras que uma pessoa razoável poderia favorecer, e os itens foram escritos em níveis de dificuldade desde a entrada até a liderança. Mais de 2.000 itens iniciais foram gerados, com pelo menos três a cinco cenários por competência em cada nível. O conteúdo foi analisado quanto a viés, usando linguagem inclusiva e contextos genéricos (uma "ACME Corp." fictícia em vez de nomes culturalmente específicos), e depois traduzido por especialistas bilíngues com tradução direta e reversa para confirmar a equivalência de significado.
  3. Passo 03Teste piloto. Um piloto foi realizado com N = 400 participantes, 100 em cada um dos quatro níveis de trabalho: nível inicial, júnior (um a três anos), intermediário e sênior. A amostra era diversificada, composta por candidatos voluntários e funcionários de diferentes indústrias. Os participantes realizaram uma forma mais longa do SJT, cerca de 1,5 horas, juntamente com medidas externas, incluindo um inventário dos Cinco Grandes e um teste cognitivo para verificações de validade convergente posteriores. Os psicometristas então analisaram a dificuldade dos itens, a discriminação dos itens e o funcionamento diferencial dos itens (DIF) por gênero e cultura usando a teoria clássica dos testes e IRT. Itens que eram muito fáceis, não conseguiam discriminar ou mostravam diferenças demográficas inexplicadas foram revisados ou removidos. Um item sobre um social de trabalho fora do horário, respondido de forma diferente por trabalhadores mais velhos e mais jovens por razões de fase da vida em vez de traço, é o tipo de item cortado para evitar viés etário. Cerca de 50% dos itens foram retidos ou modificados, deixando um banco refinado de aproximadamente 1.000 cenários de alta qualidade, visando de oito a dez itens sólidos por competência por nível.
  4. Passo 04Calibração do modelo de pontuação. Cada opção foi codificada para os traços que indica: escolher uma opção que reflete alta Adaptabilidade como "mais provável" aumenta essa pontuação, enquanto escolher uma opção de baixa Adaptabilidade a diminui. A estrutura de escolha forçada exigiu um modelo IRT multidimensional no qual cada opção carrega parâmetros de dificuldade e discriminação nas dimensões relevantes, estimados com abordagens do estilo de Thurstone e Bradley-Terry para dados comparativos. O algoritmo resultante converte um padrão de escolhas em estimativas de traços e foi validado em relação às pontuações dos Big Five coletadas externamente: a pontuação Interpessoal do SJT correlacionou-se em torno de r = 0,5 com um questionário de Agradabilidade no piloto, com pequenos ajustes de ponderação de itens feitos para maximizar a validade convergente.
  5. Passo 05Análise de confiabilidade. A consistência interna foi calculada para cada escala, usando um alfa de Cronbach análogo agregado sobre respostas pareadas, conforme exigido por formatos de escolha forçada. O piloto mostrou uma mediana α de cerca de 0,78, com a maioria das escalas acima de 0,75. Algumas escalas mais fracas, como a faceta Criatividade, que inicialmente estava perto de 0,65, foram fortalecidas com itens adicionais ou refinados. O alvo era α ≥ 0,70 para todos os domínios amplos e a maioria das facetas estreitas.
  6. Passo 06Montagem final e padronização. Operational forms were assembled from the refined bank, with multiple forms allowing rotation and job-level tailoring. Each form covers all six domains and their facets across several items, balancing shorter and longer scenarios and mixing cognitively heavy items with straightforward ones to limit fatigue. Parallel forms were equated through common items so scoring is consistent regardless of the form received; adaptive selection effectively chooses among these equated forms based on inputs such as job level. A normative sample of more than 5,000 test takers, collected across regions and industries during the first year of operation, supports percentile ranks, stanines and stens for global and industry-specific interpretation. An independent panel of psychometric experts audited content for bias and reviewed the validity evidence for sufficiency; their feedback was incorporated into the final technical manual.
Tabela 1. Consistência interna (α de Cronbach) por domínio, amostra piloto, N = 400
Domínio de competênciaα de Cronbach
Motivação & Execução0.84
Adaptabilidade & Aprendizado0.80
Influência & Liderança0.78
Interpessoal & Trabalho em Equipe0.81
Resiliência Emocional0.76
Pensamento Crítico0.75

Todos os domínios excedem o limite comum de 0,70. Os alfas em nível de faceta são um pouco mais baixos (0,6–0,7 para os traços mais estreitos com menos itens), o que é esperado e aceitável porque as facetas se agregam nos domínios mais amplos para uso primário.

O uso ético e justo foi um compromisso ao longo de todo o processo: os candidatos do piloto foram informados, o teste ao vivo inclui consentimento informado e avisos de privacidade de dados, e as equipes de RH dos clientes recebem treinamento sobre a interpretação correta para que nenhuma pontuação única seja sobrecarregada em uma decisão.

08 ·

Evidência de confiabilidade

As evidências abaixo são extraídas da amostra de validação inicial (piloto e acompanhamento, N ≈ 400), dados operacionais agregados (N ≈ 5.000+) e estudos de validade direcionados com organizações clientes.

Consistência interna. Em uma amostra de 5.000 candidatos, o coeficiente alfa para os seis domínios amplos varia de 0,75 a 0,88, com uma mediana próxima de 0,82, confirmando que os itens dentro de cada domínio são homogêneos. Candidatos que mostram alta Motivação em um cenário tendem a fazê-lo em outros. Esses alfas correspondem ou superam aqueles normalmente relatados para medidas de personalidade em escala Likert (~0,75–0,85), notável dado que o SJT é multidimensional.

Tabela 2. Erro padrão de medição (SEM) por domínio, escala de pontuação de 0–100
Domínio de competênciaSEM (pontos)
Motivação & Execução6.0
Adaptabilidade & Aprendizado6.7
Influência & Liderança7.0
Interpessoal & Trabalho em Equipe6.5
Resiliência Emocional7.3
Pensamento Crítico7.5

Os SEMs correspondem a aproximadamente um terço a metade de um desvio padrão de pontuação. Uma pontuação de Resiliência Emocional de 70 tem 68% de chance de uma pontuação verdadeira entre cerca de 63 e 77. Um SEM ligeiramente mais alto em Pensamento Crítico reflete menos itens e conteúdo mais variado; os relatórios apresentam bandas de confiança para uso em situações de alto risco.

Confiabilidade do teste-reteste. Uma amostra de 120 funcionários em uma organização cliente fez o teste duas vezes, com seis meses de intervalo. A correlação do reteste para o composto geral foi r = 0,81; as confiabilidades de reteste em nível de domínio variaram de 0,72 a 0,79. Um reteste de curto intervalo de duas a três semanas com 50 participantes deu r ≈ 0,85, indicando muito pouco erro transitório. A ordem de classificação dos indivíduos, portanto, permanece consistente, e as mudanças na pontuação são mais propensas a refletir um desenvolvimento genuíno do que ruído, o que é importante quando o teste é usado antes e depois do desenvolvimento.

Consistência na pontuação. A pontuação é totalmente automatizada, portanto, a discordância entre avaliadores não é um fator. Como verificação, dois psicólogos avaliaram independentemente os níveis de traço implícitos para 50 protocolos de resposta; seus julgamentos correlacionaram-se acima de 0,9 com as pontuações automatizadas, confirmando que as regras de pontuação são conceitualmente sólidas e reproduzíveis pelo raciocínio humano.

Composto versus perfil. Uma pontuação somativa "Ajuste Comportamental Geral", a média dos domínios ou o primeiro componente principal, é altamente confiável em α ≈ 0,90 e captura um fator geral de eficácia comportamental. No entanto, a Xobin incentiva os usuários a lerem o perfil das pontuações dos domínios em vez de um único número simplificado; cada domínio é confiável o suficiente para ser interpretado por conta própria.

Banco de itens e formas paralelas. As funções de informação da IRT confirmam que o comprimento de 40 itens fornece ampla precisão em toda a faixa de traços. Uma versão de 20 itens pode ser usada para triagem rápida com menor confiabilidade (≈ 0,65–0,70); uma versão de 60 itens aumenta a confiabilidade apenas marginalmente (≈ 0,87) antes de retornos decrescentes. As pontuações em duas metades atribuídas aleatoriamente do banco de itens correlacionam-se em cerca de 0,9 após correção, então qualquer forma dada é representativa do banco completo.

Juntas, a consistência interna e a estabilidade de reteste atendem ou superam os padrões da indústria. Pesquisas sobre SJTs baseados em personalidade relatam coeficientes de reteste de duas a três semanas na faixa de 0,6–0,7; os números de seis meses da Xobin em torno de 0,75 são fortes. Como o formato minimiza respostas socialmente desejáveis, essas estimativas são, sem dúvida, conservadoras.

09 ·

Evidência de validade

Validade de conteúdo. As competências foram identificadas a partir da literatura e da contribuição dos empregadores como críticas para o sucesso no trabalho em muitos papéis, e cada cenário é fundamentado em uma situação realista com validade de face para candidatos e PME. Psicólogos organizacionais e gerentes de contratação revisaram cada item para confirmar que os cenários são plausíveis e importantes, e que as opções de resposta abrangem uma gama de ações eficazes e ineficazes ligadas às competências-alvo. Como o modelo integra os Cinco Grandes, EQ e pensamento crítico, nenhuma área principal (tarefa, pessoas, cognitiva, adaptabilidade) é omitida: cada fator dos Cinco Grandes mapeia para múltiplos itens, e cada componente de EQ de Goleman tem cenários que o evocam. O feedback dos clientes de que os cenários "refletem realidades diárias" e que os relatórios "usam uma linguagem que corresponde aos nossos modelos de liderança" apoia a mesma conclusão.

Validade de construto: estrutura fatorial. Exploratory factor analysis on a large sample extracted six factors explaining a substantial share of variance, with loadings matching the intended design.

Tabela 3. Exemplo de cargas fatoriais, EFA rotacionada por varimax (N = 2.000)
Competência (facet)MotivaçãoAdaptar.InfluênciaInterp.ResiliênciaPens. crít.
Iniciativa (Drive)0.790.100.150.050.020.08
Foco na Qualidade (Impulso)0.750.080.050.100.090.12
Flexibilidade (Adaptabilidade)0.050.770.100.060.040.20
Pensamento Criativo0.040.730.080.000.050.25
Persuasão (Influência)0.100.060.760.120.000.05
Liderando Outros (Liderança)0.180.050.820.090.030.02
Empatia (Interpessoal)0.000.020.100.740.150.05
Constrói Confiança (Interpessoal)0.110.000.050.720.100.03
Tolerância ao Estresse (Resiliência)0.090.050.000.100.690.20
Otimismo (Resiliência)0.060.100.000.080.710.00
Pensamento Analítico (Pens. Crít.)0.050.220.000.000.100.80
Qualidade da Decisão (Pens. crít.)0.100.180.050.000.050.78

Cada competência carrega mais alto em seu fator teórico, com cargas cruzadas geralmente baixas; o Pensamento Analítico mostra uma carga secundária esperada em Adaptabilidade, uma vez que a abertura a novas ideias se sobrepõe a uma mentalidade analítica. Uma análise fatorial confirmatória mostrou um bom ajuste para o modelo de seis fatores, e um fator geral de ordem superior emerge com cargas de domínio em torno de 0,6–0,7, consistente com um fator geral de adequação comportamental, enquanto os fatores distintos permanecem robustos.

Validade convergente. Contra um inventário padrão dos Big Five administrado em um subconjunto piloto: Interpessoal & Trabalho em Equipe correlacionou r = 0,65 com Amabilidade; Resiliência Emocional r = 0,70 com Neuroticismo invertido; Motivação & Execução r = 0,55 com Conscienciosidade; Adaptabilidade & Aprendizado r = 0,60 com Abertura; Influência & Liderança r = 0,50 com Extroversão, todos significativos em p < .001. O Pensamento Crítico correlacionou moderadamente (r ≈ 0,30) com um teste de habilidade cognitiva: significativo, mas não tão alto a ponto de sugerir que o teste mede habilidade pura em vez de disposição. Em amostras organizacionais, as pontuações de Influência do SJT correlacionaram cerca de 0,4 com avaliações de supervisores sobre potencial de liderança, e a Adaptabilidade do SJT cerca de 0,45 com avaliações de colegas sobre abertura à mudança.

Validade discriminante. Domínios que deveriam diferir realmente diferem: Interpessoal versus Pensamento Crítico correlacionaram em torno de 0,2, Motivação versus Interpessoal em torno de 0,1. O teste diferencia traços em vez de produzir uma medida boa/ruim não diferenciada. As pontuações correlacionaram-se perto de zero (r ≈ 0,05) com uma escala de desejabilidade social, evidência direta de que o design de escolha forçada resiste à gestão de impressões, ao contrário dos relatórios típicos de autoavaliação.

Validade relacionada ao critério. Xobin compilou estudos de validação com mais de uma dúzia de organizações clientes relacionando pontuações de SJT pré-contratação ao desempenho no trabalho, sucesso em treinamentos e outros resultados. Dez estão resumidos abaixo.

Tabela 4. Validade de critério: correlação da pontuação SJT com o desempenho no trabalho (N ≈ 100 por função)
FunçãoCoeficiente de validade (r)
Engenheiro de Software (TI)0.23
Líder de Equipe (TI)0.30
Caixa de Banco (BFSI)0.20
Consultor Financeiro (BFSI)0.28
Representante de Vendas (FMCG)0.25
Gerente de Vendas (FMCG)0.35
Técnico de Laboratório (Farmacêutico)0.22
Gerente de Produto (Farmacêutica)0.31
Supervisor de Planta (Energia)0.27
Enfermeiro (Saúde)0.24

Os coeficientes variam de cerca de 0,20 a 0,35, típico para preditores relacionados à personalidade e todos significativos em p < .05 ou melhor, em TI, BFSI, FMCG, Farmacêutico, Energia e Saúde.

Esses coeficientes significam que o teste sozinho explica aproximadamente 6–12% da variância no desempenho no trabalho, uma contribuição significativa para uma única avaliação comportamental. O Gerente de Vendas (FMCG) alcançou r = 0,35 em relação ao cumprimento da meta trimestral, com pontuações mais altas de Influência e Motivação prevendo melhores resultados de vendas. O Líder de Equipe (TI) alcançou r = 0,30 em relação a uma avaliação de desempenho supervisório. Mesmo o coeficiente mais baixo, 0,20 para Caixa de Banco, tem valor: o desempenho dessa função foi medido em grande parte com base nas taxas de erro e na adesão, que a consciência dentro do SJT prevê parcialmente. Combinar o SJT com testes cognitivos ou entrevistas estruturadas aumenta ainda mais o poder preditivo geral, e as validades se mantiveram sem evidência de viés entre grupos demográficos.

Vínculos de competência para resultado. Em um call center internacional, as pontuações de Interpessoal &amp; Trabalho em Equipe previram a satisfação do cliente para representantes de serviço em r ≈ 0,30. Em uma empresa de consultoria, Pensamento Crítico e Adaptabilidade previram cada um a qualidade de conclusão de projeto avaliada por pares em r ≈ 0,25. Em um programa de trainee de gestão, aqueles que foram promovidos eventualmente tiveram pontuações iniciais de Drive &amp; Execução e Liderança significativamente mais altas (d ≈ 0,5), evidência de que o teste pode identificar futuros líderes precocemente.

Validade concorrente. Com uma equipe de vendas farmacêuticas (N = 80), a pontuação total do SJT correlacionou r = 0.29 com a avaliação geral de desempenho do supervisor, e Influência &amp; Liderança correlacionou r = 0.40 com a avaliação específica do trabalho para persuadir médicos e alcançar a cota. Em uma fábrica (N = 60 supervisores), Resiliência Emocional correlacionou inversamente com dias de licença relacionados ao estresse (r = −0.25).

Validade incremental. Em uma amostra de associados de varejo, um teste cognitivo previu o desempenho de vendas em r ≈ 0,20 e o SJT em r ≈ 0,22; combinados em regressão, eles alcançaram R ≈ 0,30, com o SJT adicionando cerca de 0,10 de incremento único. O SJT também adiciona a um inventário de personalidade genérico, uma vez que duas pessoas com pontuações de traços semelhantes podem diferir em quão efetivamente aplicam esses traços em situações, o que é conhecimento de julgamento situacional. Os clientes relatam que combinar o SJT com outras avaliações melhora a qualidade da contratação de forma mensurável em relação ao teste cognitivo isoladamente.

10 ·

Análise de justiça e viés

Diferenças entre subgrupos. As distribuições de pontuação foram comparadas por gênero e por grupo étnico majoritário na grande amostra. As diferenças foram negligenciáveis: candidatos masculinos e femininos tiveram médias praticamente iguais na pontuação geral (menos de 0,1 DP de diferença). Algumas facetas mostraram pequenas diferenças, com mulheres ligeiramente mais altas em Interpessoal e homens ligeiramente mais altos em Pensamento Crítico, mas os efeitos foram d ≈ 0,2 ou menos e inconsistentes entre as amostras, portanto, não indicam viés no teste. A análise DIF em nível de item não encontrou nenhum item respondido de forma diferente por um grupo demográfico uma vez que o nível de traço foi controlado. As diferenças entre países também foram pequenas e amplamente explicadas por diferenças de traços conhecidas a nível cultural, e cada versão de idioma localizada foi verificada quanto à equivalência semântica.

Conformidade com os padrões. O teste foi desenvolvido em conformidade com os princípios de EEO e ISO 10667. As taxas de impacto adverso são monitoradas; em grandes implementações, as taxas de seleção por gênero e raça quando o SJT é usado como um obstáculo permaneceram dentro da regra de quatro quintos em todos os casos até agora. Um cliente substituiu uma entrevista não estruturada pelo SJT e descobriu que isso reduziu o viés subjetivo e melhorou a diversidade dos candidatos que avançaram.

Reações dos candidatos. Pesquisas com os candidatos relatam reações positivas: a maioria achou os cenários relevantes para o trabalho e sentiu-se capaz de mostrar seus pontos fortes. Candidatos que acham questionários de escolha forçada estranhos tendem a achá-los envolventes dentro de um cenário. As taxas de conclusão superam 95%, indicando que a duração e o conteúdo são aceitáveis em um ambiente não supervisionado.

11 ·

Resultados e utilidade

Organizações clientes documentaram redução de turnover, com uma delas vendo uma redução de 30% no turnover de novas contratações após adicionar o SJT ao processo de contratação, juntamente com um desempenho mais alto entre os selecionados e economias de tempo significativas na triagem. Uma empresa usou o SJT para reduzir sua base de candidatos pela metade no início do funil, no entanto, 95% dos convidados para a entrevista final foram avaliados como adequados ou altamente adequados pelos gerentes de contratação, indicando que o teste filtrou candidatos mais fracos de forma eficaz em vez de arbitrária.

12 ·

Conclusão

O Teste Psicométrico da Xobin mede o que pretende medir, seu conteúdo representa fielmente os comportamentos de trabalho exigidos e prevê critérios de desempenho significativos em diferentes funções e indústrias. A consistência interna é boa a excelente, a estabilidade de reteste é alta, a estrutura de seis fatores se mantém sob análises exploratórias e confirmatórias, e o design de escolha forçada mantém as pontuações essencialmente não correlacionadas com a desejabilidade social. As análises de equidade não mostram impacto adverso e nenhum viés de item sinalizado.

This is the evidence base behind every behavioural score Xobin reports, the same standard of validation Xobin Research applies to the Xobin Capability Graph and to the wider skills work. Teams that want the same rigour in their own hiring can use it directly through Xobin.

13 ·

Referências

  • ·Ashton, M. C., & Lee, K. (2007). Empirical, theoretical, and practical advantages of the HEXACO model of personality structure.
  • ·Duckworth, A. L., Peterson, C., Matthews, M. D., & Kelly, D. R. (2007). Grit: Perseverance and passion for long-term goals.
  • ·Facione, P. A., Sánchez, C. A., Facione, N. C., & Gainen, J. (1995). The disposition toward critical thinking.
  • ·Goleman, D. (1998). Working with Emotional Intelligence.
  • ·Lombardo, M. M., & Eichinger, R. W. (2000). High potentials as high learners.
  • ·Scouller, J. (2011). The Three Levels of Leadership: How to Develop Your Leadership Presence, Knowhow and Skill.
  • ·DeYoung, C. G., Quilty, L. C., & Peterson, J. B. (2007). Between facets and domains: Ten aspects of the Big Five.
  • ·Situational judgment test literature on criterion validity and resistance to faking, which informed the design of Xobin's SJT format.
  • ·British Psychological Society (BPS) and International Test Commission (ITC) guidelines for occupational test development; APA Standards for Educational and Psychological Testing; ISO 10667.

Quer o manual técnico completo, normas ou um estudo de validação específico para o papel?

Xobin Research compartilha documentação detalhada com equipes de RH, jurídico e compras que avaliam a avaliação.

Entre em contato →
§ Perguntas frequentes

Perguntas frequentes

What kind of test is the Xobin psychometric assessment?

It is a situational judgment test (SJT). Each item presents a realistic workplace scenario with several plausible actions, and candidates rank those actions, which lets the test infer behavioural traits in context rather than asking about them directly.

How reliable is the test?

Internal consistency for the six broad domains runs from 0.75 to 0.88 with a median near 0.82, and the overall composite shows a six-month test-retest correlation of r = 0.81. Full figures, including standard errors of measurement, are documented in this article.

Is the test checked for bias?

Yes. Items are screened for differential item functioning by gender and culture during piloting and in production, and subgroup score differences are monitored. Items that show consistent bias are revised or retired.
§ Do laboratório

Entre em contato com a equipe de pesquisa.

A metodologia descrita aqui é o que opera dentro de cada avaliação da Xobin e entrevista de IA, para que as equipes de contratação possam tomar decisões sobre talentos com base em evidências, não em instintos. Veja Xobin.