Xobin Psychometrischer Test: Nachweis von Reliabilität und Validität

Das Team von Xobin aus Industrie-Organisationspsychologen (I/O) und Psychometristen entwarf eine breit angelegte psychometrische Bewertung für den Einsatz im Unternehmensmaßstab in der Hochvolumeneinstellung, professionellen Bewertung und Führungskräfteentwicklung.

Die Entwicklung folgte zwei Spuren. Die erste baute ein integriertes Verhaltensmodell auf, das auf aktuellen Forschungen in der Persönlichkeitspsychologie, Führungswissenschaft, emotionaler Intelligenz und kritischem Denken basiert. Die zweite entwarf und validierte einen Situational Judgment Test (SJT), der diese Verhaltenskompetenzen genau und effizient misst, mit Relevanz, Fairness und prädiktiver Genauigkeit über globale Jobrollen hinweg.

Der Test bietet HR-Teams in Unternehmen eine zuverlässige, umfassende Bewertung des Verhaltens von Kandidaten in Einstellungs- und Entwicklungskontexten. Veröffentlichten Forschungen zufolge können Organisationen, die psychometrische Tests verwenden, den Einstellungserfolg um bis zu 40 % steigern und die Mitarbeiterbindung um 24 % erhöhen. Diese Gewinne führen zu reduzierten Fluktuationskosten, effektiveren Teams und besserer Leistung.

Die Integrität der Bewertung steht im Mittelpunkt des Designs. Der Test integriert etablierte Rahmenbedingungen in Persönlichkeit, Lernagilität, Führung, emotionale Intelligenz (EQ) und kritisches Denken und präsentiert realistische Arbeitsszenarien, in denen die Urteile eines Kandidaten zugrunde liegende Eigenschaften und Entscheidungsstile offenbaren. Die interne Konsistenz der Kompetenzskalen reicht von gut bis ausgezeichnet (Cronbach's α ≈ 0.6–0.8), Test-Retest-Studien zeigen über die Zeit stabile Ergebnisse, und das Forced-Choice-SJT-Format ist deutlich weniger anfällig für Fälschungen als traditionelle Selbstberichtsfragebögen.

Der Test wurde für globale Anwendbarkeit und branchenübergreifende Relevanz entwickelt und validiert. Er wurde in den Vereinigten Staaten, Europa, dem Nahen Osten, Südasien und dem asiatisch-pazifischen Raum lokalisiert und standardisiert. Die Lokalisierung umfasst nicht nur die Übersetzung in über 15 Sprachen, sondern auch die kulturelle Anpassung der Szenarien, um die kontextuelle Angemessenheit und die interpretative Äquivalenz über verschiedene Bevölkerungsgruppen hinweg zu bewahren.

Die Bewertung hat die operationale Effektivität in folgenden Bereichen gezeigt:

• ·Informationstechnologie und Softwareentwicklung
• ·Pharmazeutische und Lebenswissenschaften
• ·Bankwesen, Finanzdienstleistungen und Versicherungen (BFSI)
• ·Schnelldrehende Konsumgüter (FMCG)
• ·Einzelhandel
• ·Ingenieurwesen, Fertigung und zentrale Industriesektoren
• ·Energie und Versorgungsunternehmen
• ·Professionelle und Beratungsdienste
• ·Gesundheitswesen und Krankenhausverwaltung

Innerhalb dieser Vertikalen wird es für das Screening von Einstiegspositionen in großem Umfang, das Verhaltensprofiling für Fach- und mittlere Positionen sowie die Bewertung des Führungspotenzials für Management- und Führungskräfteentwicklungsprogramme eingesetzt. Branchenspezifische Benchmarks und Normdaten ermöglichen es, individuelle Scores im Vergleich zum relevanten sektoralen Standard und nicht zu einem einzigen globalen Durchschnitt zu interpretieren.

Die Entwicklungsmethodik von Xobin entspricht den Standards der British Psychological Society (BPS) und der International Test Commission (ITC) für berufliche Bewertungen. Der Lebenszyklus der Artikelentwicklung umfasste:

• ·Umfassende Kompetenzmodellierung und Stellenanalyse
• ·Entwicklung von über 2.000 Pilotartikeln, stratifiziert nach Jobebenen
• ·Mehrphasige Pilotierung, einschließlich klassischer Item-Analyse und Kalibrierung der Item-Response-Theorie (IRT)
• ·Untersuchung von Item-basiertem Bias, Schwierigkeitsindizes und Diskriminierungsparametern
• ·Monte-Carlo-Simulation zur Optimierung der Testlänge und psychometrischen Effizienz
• ·Validierung der Fairness von Untergruppen, sprachlicher Neutralität und der Generalisierbarkeit von Ergebnissen über Demografien hinweg

Dieser Ansatz stellt sicher, dass jeder situative Hinweis und jede Antwortoption ein berufsrelevantes Verhaltenskonstrukt widerspiegelt, konsistent über verschiedene Bevölkerungsgruppen hinweg funktioniert und sinnvoll zur Schätzung von Eigenschaften beiträgt. Situative Urteilsfragen durchliefen sorgfältige Erprobungen und Analysen, um zu bestätigen, dass sie wie beabsichtigt in Bezug auf Schwierigkeit, Diskriminierung und Abwesenheit von Vorurteilen funktionieren, und ein statistisch robustes, konstruktvalides Werkzeug hervorbringen, das mit den internationalen Best Practices in der Personalauswahl übereinstimmt.

Das Modell basiert auf der Big Five (OCEAN)-Struktur der Persönlichkeit: Offenheit, Gewissenhaftigkeit, Extraversion, Verträglichkeit und emotionale Stabilität (umgekehrte Neurotizismus). Es ist angereichert mit Konstrukten aus der Führungs-, emotionalen Intelligenz- und kritischen Denkforschung, sodass es das Verhalten am Arbeitsplatz vollständiger erfasst als ein traditioneller Persönlichkeitstest.

Die 50+ Kompetenzen sind in sechs breite Bereiche für die Bewertung und Interpretation organisiert. Die Ergebnisse werden auf Facettenebene berichtet und auf Bereiche aggregiert.

Das Modell wurde iterativ erstellt: Die I/O-Psychologen von Xobin begannen mit der Big Five-Struktur und kartierten oder gruppierten dann Konstrukte aus emotionaler Intelligenz, Lernagilität und authentischer Führung darauf, sodass nichts Wichtiges fehlte: Demut und Empathie wurden in zwischenmenschliche Beziehungen gruppiert, Ambition und Macht in Einfluss & Führung. Expertenurteile plus faktoranalytische Forschung produzierten ein Modell, das kognitive, zwischenmenschliche, Führungs-, Anpassungs- und persönliche Antriebselemente abdeckt, die die Arbeitsleistung und das Potenzial vorhersagen.

Der Test verwendet ein Format für situative Urteile mit einem ipsativen, zwangsweisen Antwortdesign, das gewählt wurde, um Genauigkeit, Widerstandsfähigkeit gegen Fälschungen und Eignung für globale, risikobehaftete Anwendungen zu maximieren.

Format für situative Urteile. Jeder Artikel präsentiert ein kurzes, realistisches Arbeitsplatzszenario, das eine Herausforderung, einen Konflikt oder eine Aufgabe beschreibt, basierend auf kritischen Vorfällen und dem Input von Fachexperten aus verschiedenen Branchen. Eine Reihe möglicher Handlungen folgt. Zum Beispiel ein Projekt-Rückschlag, bei dem die Optionen von der Übernahme der Verantwortung und der Neuzuweisung von Arbeit bis hin zu stillem Troubleshooting und dem Abfragen des Teams reichen. Es gibt keine eindeutigen richtigen oder falschen Antworten; jede Option drückt eine andere Kompetenz aus. Die Kandidaten bewerten die Optionen von am wahrscheinlichsten bis am wenigsten wahrscheinlich oder wählen ihre bevorzugte und am wenigsten bevorzugte Handlung aus. Das Format bietet eine hohe Gesichtswahrheit und Engagement sowie eine starke Kriteriumsvalidität: Jahrzehnte der Forschung haben die mittleren SJT-Validitäten auf etwa 0,20–0,30 festgelegt. Entscheidend ist, dass persönlichkeitsmessende SJTs mit Eigenschaften und Berufsergebnissen korrelieren, während sie weit weniger anfällig für absichtliches Fälschen sind, da sie Eigenschaften im Kontext verankern, anstatt direkt danach zu fragen.

Länge und Format. Der Standardtest besteht aus etwa 40 szenariobasierten Fragen, die die 50+ Kompetenzen abdecken. Jedes Szenario bietet drei bis vier Optionen und dauert ein bis zwei Minuten, was eine Gesamttestzeit von ungefähr 45–50 Minuten ergibt. Die Länge wurde durch Monte-Carlo-Simulation festgelegt: Die interne Konsistenz breiter Skalen überschreitet akzeptable Werte (α > 0,70) bei etwa 20 Szenarien und erreicht ihr Maximum bei 40.

Verwaltung und Sicherheit. Der Test wird online und unüberwacht durchgeführt, um der modernen Fernrekrutierung Rechnung zu tragen. Die Reihenfolge der Fragen und Optionen wird pro Kandidat randomisiert; ein großer Fragenpool verhindert das Teilen von Antworten; und Zeitstempel sowie Telemetrie werden von KI analysiert, um abweichende Muster wie Betrug oder Vorwissen über Fragen zu erkennen. Adaptive Item-Auswahl bedeutet, dass zwei Kandidaten selten dasselbe Set von Szenarien sehen. Die Plattform ist mobilfreundlich und zugänglich, mit Prüfungen, die schnelles Raten entmutigen.

Punktzahlberichterstattung. Berichte profilieren den Kandidaten in jedem breiten Bereich und heben Stärken und potenzielle Bedenken unter den 50 Facetten hervor, in einem geschäftsorientierten Format, das Grafiken mit Erzählungen kombiniert. Ein Kandidat könnte in Anpassungsfähigkeit & Lernen und zwischenmenschlichen Fähigkeiten hoch eingestuft werden, moderat in kritischem Denken und niedriger in Antrieb & Ausführung, mit interpretativem Text, der erklärt, wie dieses Profil bei der Arbeit sichtbar wird. Die Ergebnisse können mit relevanten Normen (global, branchen- oder berufsspezifisch) verglichen werden, und das System kennzeichnet Risikopunkte, bei denen Konsistenzprüfungen auf eine niedrige Zuverlässigkeit der Antworten dieses Kandidaten hindeuten.

Jede Designentscheidung, von Arbeitsszenarien über Zwangsauswahl bis hin zur KI-Bewertung, dient vier Leitprinzipien, die zu Beginn des Projekts festgelegt wurden: Die Bewertung muss zuverlässig und gültig, fälschungssicher und impression management-resistent, global anwendbar sowie effizient und sicher online sein.

Die Entwicklung erstreckte sich von der Definition der Kompetenzen über das Schreiben der Artikel, das Pilotieren und die Artikelanalyse, geleitet von den BPS/ITC-Richtlinien und den APA-Standards.

1. Schritt 01Das Kompetenzmodell definieren. An extensive literature review of personality and competency models, covering Big Five taxonomies, emotional intelligence models and others, was combined with interviews of corporate HR partners, leadership coaches and hiring managers across industries. Hundreds of candidate behavioural descriptors were distilled, using theory (mapping to models such as DeYoung's ten aspects of the Five Factor Model) and expert sorting, into the final six domains and roughly 50 competencies. Each was defined with behavioural examples for item writers: "Builds Trust", for instance, was defined as being honest, keeping commitments and fostering psychological safety.
2. Schritt 02Item-Schreibung. I/O-Psychologen und Fachexperten verwendeten die Technik kritischer Vorfälle, um echte Anekdoten über effektives und ineffektives Verhalten für jede Kompetenz zu sammeln. Bei der Entscheidungsqualität könnte ein Vorfall ein Team betreffen, das zwischen zwei Strategien bei begrenzten Daten wählt, mit vier plausiblen Handlungen, die jeweils ein anderes Merkmal widerspiegeln: analytische Überlegung, Impulsivität, sich auf andere verlassen usw. Optionen wurden überprüft, damit die soziale Erwünschtheit ausgewogen ist, da jede Vor- und Nachteile hat, die eine vernünftige Person bevorzugen könnte, und die Elemente wurden auf verschiedenen Schwierigkeitsgraden von Führungsebene verfasst. Über 2.000 ursprüngliche Elemente wurden generiert, mit mindestens drei bis fünf Szenarien pro Kompetenz auf jeder Ebene. Der Inhalt wurde auf Vorurteile überprüft, unter Verwendung inklusiver Sprache und allgemeiner Kontexte (eine fiktive "ACME Corp." anstelle kulturell spezifischer Namen), und dann von zweisprachigen Experten mit Vorwärts- und Rückübersetzung übersetzt, um die Gleichwertigkeit der Bedeutung zu bestätigen.
3. Schritt 03Pilotversuche. Ein Pilotversuch wurde mit N = 400 Teilnehmern durchgeführt, 100 auf jeder von vier Jobebenen: Einstiegslevel, Junior (ein bis drei Jahre), Mittelstufe und Senior. Die Stichprobe war vielfältig und setzte sich aus freiwilligen Bewerbern und Mitarbeitern aus verschiedenen Branchen zusammen. Die Teilnehmer absolvierten eine längere Form des SJT, etwa 1,5 Stunden, zusammen mit externen Maßnahmen, einschließlich eines Big-Five-Inventars und eines kognitiven Tests für spätere konvergente Validitätsprüfungen. Psychometriker analysierten dann die Itemschwierigkeit, die Itemdiskriminierung und die differenzielle Itemfunktion (DIF) nach Geschlecht und Kultur unter Verwendung der klassischen Testtheorie und IRT. Items, die zu einfach waren, nicht diskriminierten oder unerklärte demografische Unterschiede zeigten, wurden überarbeitet oder entfernt. Ein Item über eine After-Work-Veranstaltung, das von älteren und jüngeren Arbeitnehmern aufgrund von Lebensphasen und nicht von Eigenschaften unterschiedlich beantwortet wurde, ist die Art von Item, die entfernt wurde, um Altersvorurteile zu vermeiden. Etwa 50% der Items wurden beibehalten oder modifiziert, was zu einem verfeinerten Pool von etwa 1.000 hochwertigen Szenarien führte, die acht bis zehn solide Items pro Kompetenz und Ebene anvisieren.
4. Schritt 04Kalibrierung des Bewertungsmodells. Jede Option wurde für die Eigenschaften, die sie anzeigt, codiert: Die Wahl einer Option, die hohe Anpassungsfähigkeit als "am wahrscheinlichsten" widerspiegelt, erhöht diese Punktzahl, während die Wahl einer Option mit niedriger Anpassungsfähigkeit sie senkt. Die Forced-Choice-Struktur erforderte ein multidimensionales IRT-Modell, in dem jede Option Schwierigkeits- und Diskriminierungsparameter auf den relevanten Dimensionen trägt, geschätzt mit Thurstone- und Bradley-Terry-Stilansätzen für vergleichende Daten. Der resultierende Algorithmus wandelt ein Muster von Entscheidungen in Schätzungen von Eigenschaften um und wurde gegen die extern gesammelten Big Five-Punktzahlen validiert: Die SJT Interpersonal-Punktzahl korrelierte bei r = 0,5 mit einem Fragebogen zur Verträglichkeit im Pilotversuch, wobei geringfügige Anpassungen des Artikelgewichts vorgenommen wurden, um die konvergente Validität zu maximieren.
5. Schritt 05Zuverlässigkeitsanalyse. Die interne Konsistenz wurde für jede Skala berechnet, wobei das analoge Cronbach's Alpha über paarweise Antworten aggregiert wurde, wie es bei Zwangswahlformaten erforderlich ist. Der Pilot zeigte einen Median-α von etwa 0,78, wobei die meisten Skalen über 0,75 lagen. Einige schwächere Skalen, wie die Kreativitätsfacette, die anfänglich bei etwa 0,65 lag, wurden mit zusätzlichen oder verfeinerten Items gestärkt. Das Ziel war α ≥ 0,70 für alle breiten Bereiche und die meisten engen Facetten.
6. Schritt 06Endmontage und Standardisierung. Operational forms were assembled from the refined bank, with multiple forms allowing rotation and job-level tailoring. Each form covers all six domains and their facets across several items, balancing shorter and longer scenarios and mixing cognitively heavy items with straightforward ones to limit fatigue. Parallel forms were equated through common items so scoring is consistent regardless of the form received; adaptive selection effectively chooses among these equated forms based on inputs such as job level. A normative sample of more than 5,000 test takers, collected across regions and industries during the first year of operation, supports percentile ranks, stanines and stens for global and industry-specific interpretation. An independent panel of psychometric experts audited content for bias and reviewed the validity evidence for sufficiency; their feedback was incorporated into the final technical manual.

Ethische und faire Nutzung war von Anfang an ein Engagement: Pilotkandidaten wurden informiert, der Live-Test beinhaltet informierte Zustimmung und Datenschutzhinweise, und die HR-Teams der Kunden erhalten Schulungen zur korrekten Interpretation, damit kein einzelner Score in einer Entscheidung überbewertet wird.

Die nachstehenden Beweise stammen aus der ursprünglichen Validierungsstichprobe (Pilot und Nachverfolgung, N ≈ 400), aggregierten Betriebsdaten (N ≈ 5.000+) und gezielten Validitätsstudien mit Kundenorganisationen.

Interne Konsistenz. In einer Stichprobe von 5.000 Testteilnehmern reicht der Koeffizient Alpha für die sechs breiten Bereiche von 0,75 bis 0,88 mit einem Median von etwa 0,82, was bestätigt, dass die Elemente innerhalb jedes Bereichs homogen sind. Kandidaten, die in einem Szenario hohe Motivation zeigen, tun dies tendenziell auch in anderen. Diese Alphas entsprechen oder übertreffen die typischerweise für Likert-Skalen-Persönlichkeitsmessungen berichteten Werte (~0,75–0,85), was bemerkenswert ist, da der SJT multidimensional ist.

Test-Retest-Zuverlässigkeit. Eine Stichprobe von 120 Mitarbeitern in einer Kundenorganisation legte den Test zweimal, mit einem Abstand von sechs Monaten, ab. Die Retest-Korrelation für das gesamte Kompositum betrug r = 0,81; die Retest-Zuverlässigkeiten auf Domainebene lagen zwischen 0,72 und 0,79. Ein Retest mit kurzem Intervall von zwei bis drei Wochen mit 50 Teilnehmern ergab r ≈ 0,85, was auf sehr wenig vorübergehenden Fehler hinweist. Die Rangordnung der Individuen bleibt daher konsistent, und Veränderungen im Ergebnis spiegeln eher echte Entwicklungen als Rauschen wider, was wichtig ist, wenn der Test vor und nach der Entwicklung verwendet wird.

Punktzahlkonsistenz. Die Bewertung ist vollständig automatisiert, sodass Meinungsverschiedenheiten der Bewerter kein Faktor sind. Zur Überprüfung bewerteten zwei Psychologen unabhängig die implizierten Trait-Niveaus für 50 Antwortprotokolle; ihre Urteile korrelierten über 0,9 mit den automatisierten Punktzahlen, was bestätigt, dass die Bewertungsregeln konzeptionell solide und durch menschliches Denken reproduzierbar sind.

Zusammensetzung versus Profil. Ein summativer "Overall Behavioural Fit"-Score, der Durchschnitt der Bereiche oder die erste Hauptkomponente, ist mit α ≈ 0,90 hoch zuverlässig und erfasst einen allgemeinen Faktor der Verhaltenswirksamkeit. Xobin ermutigt die Benutzer jedoch, das Profil der Bereichswerte zu lesen, anstatt eine vereinfachte Einzelzahl; jeder Bereich ist ausreichend zuverlässig, um ihn für sich selbst zu interpretieren.

Item-Pool und parallele Formen. IRT-Informationsfunktionen bestätigen, dass die Länge von 40 Items ausreichend Präzision über den Trait-Bereich bietet. Eine 20-Item-Version kann für eine schnelle Überprüfung mit geringerer Zuverlässigkeit (≈ 0,65–0,70) verwendet werden; eine 60-Item-Version erhöht die Zuverlässigkeit nur geringfügig (≈ 0,87), bevor die Erträge abnehmen. Die Punktzahlen auf zwei zufällig zugewiesenen Hälften des Item-Pools korrelieren nach Korrektur bei etwa 0,9, sodass jede gegebene Form repräsentativ für den gesamten Pool ist.

Insgesamt erfüllen oder übertreffen interne Konsistenz und Retest-Stabilität die Branchenbenchmarks. Forschungen zu persönlichkeitsbasierten SJTs berichten von Retest-Koeffizienten im Bereich von 0,6–0,7 über einen Zeitraum von zwei bis drei Wochen; Xobins sechsmonatige Werte von etwa 0,75 sind stark. Da das Format sozial wünschenswertes Antworten minimiert, sind diese Schätzungen möglicherweise konservativ.

Inhaltsvalidität. Kompetenzen wurden aus der Literatur und dem Input von Arbeitgebern als entscheidend für den beruflichen Erfolg in vielen Rollen identifiziert, und jedes Szenario ist in einer realistischen Situation mit Gesichtswahrnehmung für Kandidaten und SMEs verankert. I/O-Psychologen und Einstellungsmanager überprüften jedes Element, um zu bestätigen, dass die Szenarien plausibel und wichtig sind und dass die Antwortoptionen eine Reihe von effektiven und ineffektiven Handlungen abdecken, die mit den Zielkompetenzen verbunden sind. Da das Modell die Big Five, EQ und kritisches Denken integriert, wird kein wichtiger Bereich (Aufgabe, Menschen, Kognition, Anpassungsfähigkeit) ausgelassen: jeder Big Five-Faktor entspricht mehreren Elementen, und jede Goleman EQ-Komponente hat Szenarien, die sie hervorrufen. Das Feedback der Kunden, dass die Szenarien "die täglichen Realitäten widerspiegeln" und dass Berichte "eine Sprache verwenden, die mit unseren Führungsmodellen übereinstimmt", unterstützt dieselbe Schlussfolgerung.

Konstruktvalidität: Faktorstruktur. Exploratory factor analysis on a large sample extracted six factors explaining a substantial share of variance, with loadings matching the intended design.

Konvergente Validität. Gegenüber einem standardisierten Big-Five-Inventar, das in einer Pilotstichprobe durchgeführt wurde: Interpersonal & Teamwork korrelierte r = 0,65 mit Verträglichkeit; Emotionale Resilienz r = 0,70 mit umgekehrtem Neurotizismus; Antrieb & Ausführung r = 0,55 mit Gewissenhaftigkeit; Anpassungsfähigkeit & Lernen r = 0,60 mit Offenheit; Einfluss & Führung r = 0,50 mit Extraversion, alle signifikant bei p < .001. Kritisches Denken korrelierte moderat (r ≈ 0,30) mit einem Test zur kognitiven Fähigkeit: signifikant, aber nicht so hoch, dass der Test reine Fähigkeit statt Disposition misst. In organisatorischen Stichproben korrelierten SJT Einflusswerte etwa 0,4 mit den Bewertungen von Vorgesetzten zum Führungspotenzial, und SJT Anpassungsfähigkeit etwa 0,45 mit den Bewertungen von Kollegen zur Offenheit für Veränderungen.

Diskriminante Validität. Bereiche, die sich unterscheiden sollten, tun dies: Interpersonal versus Kritisches Denken korrelierte bei etwa 0,2, Antrieb versus Interpersonal bei etwa 0,1. Der Test differenziert Eigenschaften, anstatt eine undifferenzierte gute/schlechte Messung zu produzieren. Die Punktzahlen korrelierten nahe null (r ≈ 0,05) mit einer Skala zur sozialen Erwünschtheit, ein direkter Beweis dafür, dass das Forced-Choice-Design Impression Management widersteht, im Gegensatz zu typischen Selbstberichten.

Kriteriumsbezogene Validität. Xobin hat Validierungsstudien mit mehr als einem Dutzend Kundenorganisationen zusammengestellt, die die SJT-Werte vor der Einstellung mit späterer Arbeitsleistung, Trainingserfolg und anderen Ergebnissen in Beziehung setzen. Zehn sind unten zusammengefasst.

Diese Koeffizienten bedeuten, dass der Test allein etwa 6–12 % der Varianz in der Arbeitsleistung erklärt, was einen bedeutenden Beitrag zu einer einzelnen Verhaltensbewertung darstellt. Der Sales Manager (FMCG) erreichte r = 0,35 im Vergleich zur vierteljährlichen Zielerreichung, wobei höhere Einfluss- und Antriebspunkte bessere Verkaufsergebnisse vorhersagten. Der Team Lead (IT) erreichte r = 0,30 im Vergleich zu einer Leistungsbewertung der Aufsicht. Selbst der niedrigste Koeffizient, 0,20 für Bank Teller, hat Wert: Die Leistung dieser Rolle wurde weitgehend anhand von Fehlerquoten und Einhaltung gemessen, was Gewissenhaftigkeit innerhalb des SJT teilweise vorhersagt. Die Kombination des SJT mit kognitiven Tests oder strukturierten Interviews erhöht die gesamte prädiktive Kraft weiter, und die Validitäten blieben ohne Beweise für Vorurteile über demografische Gruppen hinweg.

Verbindungen zwischen Kompetenz und Ergebnis. In einem internationalen Callcenter sagten die Punktzahlen für Interpersonal &amp; Teamarbeit die Kundenzufriedenheit für Servicemitarbeiter mit r ≈ 0,30 voraus. In einer Beratungsfirma sagten Kritisches Denken und Anpassungsfähigkeit jeweils die von Kollegen bewertete Qualität des Projektabschlusses mit r ≈ 0,25 voraus. In einem Management-Trainee-Programm hatten diejenigen, die schließlich befördert wurden, signifikant höhere anfängliche Punktzahlen für Antrieb &amp; Ausführung und Führung (d ≈ 0,5), ein Beweis dafür, dass der Test zukünftige Führungskräfte frühzeitig identifizieren kann.

Gleichzeitige Validität. Mit einem pharmazeutischen Verkaufsteam (N = 80) korrelierte der Gesamtscore der SJT r = 0.29 mit der Gesamtbewertung der Leistung des Vorgesetzten, und Einfluss &amp; Führung korrelierte r = 0.40 mit der jobspezifischen Bewertung für die Überzeugung von Ärzten und das Erreichen von Quoten. In einem Produktionswerk (N = 60 Vorgesetzte) korrelierte emotionale Resilienz umgekehrt mit stressbedingten Fehltagen (r = −0.25).

Inkrementelle Validität. In einer Stichprobe von Einzelhandelsmitarbeitern sagte ein kognitiver Test die Verkaufsleistung mit r ≈ 0,20 und der SJT mit r ≈ 0,22 voraus; in der Regression kombiniert erreichten sie R ≈ 0,30, wobei der SJT etwa 0,10 an einzigartigem Zuwachs hinzufügte. Der SJT trägt auch zu einem allgemeinen Persönlichkeitsinventar bei, da zwei Personen mit ähnlichen Trait-Punktzahlen sich darin unterscheiden können, wie effektiv sie diese Traits in Situationen anwenden, was situatives Urteilswissen ist. Kunden berichten, dass die Kombination des SJT mit anderen Bewertungen die Qualität der Einstellungen messbar im Vergleich zu kognitiven Tests allein verbessert.

Unterschiede zwischen Untergruppen. Die Punktzahlverteilungen wurden nach Geschlecht und nach großen ethnischen Gruppen in der großen Stichprobe verglichen. Die Unterschiede waren vernachlässigbar: männliche und weibliche Kandidaten hatten praktisch gleiche Mittelwerte bei der Gesamtnote (weniger als 0,1 SD auseinander). Einige Facetten zeigten kleine Unterschiede, wobei Frauen geringfügig höher bei Interpersonal und Männer geringfügig höher bei Critical Thinking lagen, aber die Effekte waren d ≈ 0,2 oder weniger und inkonsistent über die Stichproben, sodass sie keine Testverzerrung anzeigen. Die DIF-Analyse auf Elementebene ergab, dass kein Element von einer demografischen Gruppe anders beantwortet wurde, sobald das Trait-Niveau kontrolliert wurde. Die länderspezifischen Unterschiede waren ebenfalls gering und größtenteils durch bekannte kulturelle Trait-Unterschiede erklärt, und jede lokalisierten Sprachversion wurde auf semantische Äquivalenz überprüft.

Einhaltung von Standards. Der Test wurde gemäß den EEO-Prinzipien und ISO 10667 entwickelt. Die ungünstigen Auswirkungen werden überwacht; bei großen Einsätzen sind die Auswahlquoten nach Geschlecht und Rasse, wenn der SJT als Hürde verwendet wird, in jedem Fall bis heute innerhalb der Vier-Fünftel-Regel geblieben. Ein Kunde ersetzte ein unstrukturiertes Interview durch den SJT und stellte fest, dass es subjektive Vorurteile reduzierte und die Vielfalt der fortschreitenden Kandidaten verbesserte.

Kandidatenreaktionen. Umfragen unter Testteilnehmern berichten von positiven Reaktionen: Die meisten fanden die Szenarien berufsrelevant und fühlten sich in der Lage, ihre Stärken zu zeigen. Kandidaten, die einfache Zwangsfragen seltsam finden, empfinden sie in einem Szenario als ansprechend. Die Abschlussquoten übersteigen 95 %, was darauf hinweist, dass die Länge und der Inhalt in einem unüberwachten Umfeld akzeptabel sind.

Kundenorganisationen haben dokumentierte reduzierte Fluktuation, wobei eine eine Reduzierung der Fluktuation neuer Mitarbeiter um 30 % verzeichnete, nachdem der SJT in den Einstellungsprozess integriert wurde, zusammen mit höherer Leistung der ausgewählten Kandidaten und erheblichen Zeitersparnissen bei der Vorauswahl. Ein Unternehmen nutzte den SJT, um seinen Bewerberpool früh im Prozess um die Hälfte zu reduzieren, dennoch wurden 95 % derjenigen, die zum finalen Interview eingeladen wurden, von den Einstellungsmanagern als geeignet oder hoch geeignet bewertet, was darauf hindeutet, dass der Test schwächere Kandidaten effektiv und nicht willkürlich herausfilterte.

Der Xobin Psychometrische Test misst, was er zu messen beabsichtigt, sein Inhalt repräsentiert treu die erforderlichen Arbeitsverhalten und er sagt bedeutende Leistungsmerkmale über Rollen und Branchen hinweg voraus. Die interne Konsistenz ist gut bis ausgezeichnet, die Stabilität bei Wiederholungen ist hoch, die sechs-Faktoren-Struktur hält sowohl bei explorativer als auch bei konfirmatorischer Analyse, und das Zwangswahl-Design hält die Ergebnisse im Wesentlichen unkorreliert mit sozialer Erwünschtheit. Fairness-Analysen zeigen keine nachteiligen Auswirkungen und keine markierten Item-Bias.

This is the evidence base behind every behavioural score Xobin reports, the same standard of validation Xobin Research applies to the Xobin Capability Graph and to the wider skills work. Teams that want the same rigour in their own hiring can use it directly through Xobin.

• ·Ashton, M. C., & Lee, K. (2007). Empirical, theoretical, and practical advantages of the HEXACO model of personality structure.
• ·Duckworth, A. L., Peterson, C., Matthews, M. D., & Kelly, D. R. (2007). Grit: Perseverance and passion for long-term goals.
• ·Facione, P. A., Sánchez, C. A., Facione, N. C., & Gainen, J. (1995). The disposition toward critical thinking.
• ·Goleman, D. (1998). Working with Emotional Intelligence.
• ·Lombardo, M. M., & Eichinger, R. W. (2000). High potentials as high learners.
• ·Scouller, J. (2011). The Three Levels of Leadership: How to Develop Your Leadership Presence, Knowhow and Skill.
• ·DeYoung, C. G., Quilty, L. C., & Peterson, J. B. (2007). Between facets and domains: Ten aspects of the Big Five.
• ·Situational judgment test literature on criterion validity and resistance to faking, which informed the design of Xobin's SJT format.
• ·British Psychological Society (BPS) and International Test Commission (ITC) guidelines for occupational test development; APA Standards for Educational and Psychological Testing; ISO 10667.