1
Probleem 3 – What on Earth is the Use? Artikelen
1. In what different ways is utility expressed by the two utility models, namely the
Taylor-Russell model and the Brogden-Cronbach-Gleser model?
- Taylor-Russell utility in proportie Succes ratio (dus de hoeveelheid mensen die je
aanneemt die ook daarwerkelijk goed zullen presteren)
- BCG-Model In dit model wordt de bruikbaarheid van een test uitgedrukt in geld
(euro’s/dollars). Hoeveel zal een test opleveren t.o.v. de kosten, maar ook hoeveel meer
winst zal een bepaalde test opleveren ten opzichte van een andere test
2. Describe the pro's and con's of the two models of utility analysis.
- Taylor-Russell
o Pro’s:
Geeft info over hoe goed de test is in het selecteren van de juiste
kandidaten en het onterrecht afwijzen van de juiste kandidaten etc.
o Con’s:
Sommige tests zullen in praktijk wel beter meten, maar te duur zijn voor
wat ze opleveren. DAAROM:
- BCG-model
o Pro’s
Maakt het voor managers inzichtelijk wat de kosten en baten van een test
zal zijn. En je kunt managers hiermee overtuigen dat het slimmer is om
een andere test te geven, wanneer deze er accurater voor zorgt dat het de
juiste mensen selecteert en waardoor de winst zal stijgen t.o.v. de kosten
van de test.
o Con’s
De Standaard Deviatie (Sd) is een schatting van de werkelijkheid het
geeft aan hoeveel een persoon meer opleverd wanneer deze een
presteert in een standaard boven het gemiddelde dus stel je wil de top
5% werknemers selecteren, dan bepaald de grote van de Sd hoeveel meer
een persoon uit deze top 5 zal opleveren voor de organisatie. (NIET
HELEMAAL DE JUISTE UITLEG, MAAR ZELF VERZONNEN DUS CHAPEAU)
Maar doordat het een schatting is van de werkelijkheid kun je dus
heel lastig onderbouwen dat de uitgerekende utility in euro’s ook
daadwerkelijk de winst zal zijn in de praktijk.
BCG gaat ervan uit dat performance ratings continue variabelen zijn,
maar zijn vaker categorische variabelen (i.e. op een 1-5 schaal) (Cabrera
& Raju, 2001)
3. Why would managers not believe the results of utility estimates, as expressed in
euro- or dollar-value? Provide arguments.
,2
a. Toch gewoon omdat die SD gebaseerd is op een schatting?? (Daarom wordt de Sd
ook wel beschreven als de achilles pees van het BCG-model) en dus niet bedrijf
specifiek is. (ZELF BEDACHT/ZEI ZE IN COLLEGE 3 NIET GEBASEERD OP EEN
ARTIKEL)
4. Carson et al. (1998) were not able to replicate the findings of Latham and Whyte
(1994) regarding the influence of utility analysis on managerial decision making.
What were Carson et al.’s results? And how do they explain their disparate results?
Do you agree with their explanation? (zie comment bij artikel)
5. Describe the trends in utility analysis research according to Cabrera and Raju
(2001). (zie comment bij artikel)
6.
a. Explain on what reasoning the following rule of thumb is based: 'the value
of a good employee minus the value of a poor employee is roughly equal to
the salary paid for the job'.
b. Explain several ways that researchers suggested to determine the standard
deviation of job performance in terms of euro's or dollars?
c. Are some ways better than others?: Which way would you advise an
organization to use?
7. What is your opinion on the following issue raised by Cook: Is improving selection
practices at the same time creating a steadily growing underclass of unselected
disillusioned and unemployed people?
8. Name several important factors that may affect the economic payoffs from
selection programs. Explain for each factor in what way it affects the economic
payoff.
-
9. Name several reasons that applicants' perspectives on selection methods matter.
a. Face validity beïnvloed de scores op tests zoals ook al kort besproken in
probleem 2 (Cook (2016) H13 & Ployhart (2…)) echter hier werden methoden
besproken om de invloed te verminderen maar zonder succes (ZELF BEDACHT
NIET GEBASEERD OP EEN ARTIKEL)
NOOT: BELANGRIJKSTE IN THEMA 3:
- Pro’s en cons van de modellen
- Het onderscheid tussen de modellen
,3
Artikel 1 – Cabrera & Raju (2001) – Utility Analysis: Current Trends
and Future Directions
Vraag OWG:
1. Describe the trends in utility analysis research according to Cabrera and Raju
(2001).
Waar gaat het artikel over?
Artikel bespreekt de verschillende Utility analyse (UA) modellen + Uitbreidingen ervan.
Ook concerns/issues worden besproken:
- Acceptatie: Utility Analyses worden in de praktijk vaak niet geaccepteerd. Veel
onderzoekers buigen zich over de manieren om deze acceptatie te verhogen.
- Multi-Attribute Utility Models: Complex om selectieprocedures met meerdere
predictoren samen te voegen en de bruikbaarheid van een composiet weer te
geven in cijfers.
Introductie
UA-modellen zijn ontworpen om besluitvormers te helpen kiezen tussen verschillende
interventies. Echter, het is lange tijd niet gebruikt door de issue met de schatting van de
standaarddeviatie van baanprestatie uitgedrukt in geld (i.e. Sd Y (e.g. SDY = €10.000)).
Deze interesse kwam weer terug toen er een methode bedacht werd om deze te kunnen
schatten (Schmidt, Hunter, McKenzie, & Muldrow, 1979). Echter, managers willen de
methoden toch nog niet accepteren, dus moet er iets bedacht worden.
Brogden-Cronbach-Gleser Model
Ontwikkeling van model:
- Brogden verzon een formule waarmee de validiteit coëfficiënt van een
selectieprogramma kon worden vertaald in een schatting van monetaire
waarde. Zijn formule is gebaseerd op de assumptie van een lineaire relatie
tussen de testscore en de monetaire waarde van prestatie.
- Cronbach en Gleser voegde de kosten van het testen van kandidaten hieraan
toe.
Het resultaat is het BCG-model welke laat zien wat de incrementele
bruikbaarheid/production gain is va een predictor-based selectieprocedure boven
random selection, wanneer een bepaalt aantal, N, kandidaten wordt aangenomen.
, 4
Legenda:
- N = aantal kandidaten
- SDY = Standaarddeviatie van baanprestatie uitgedrukt in geld (Y)
- rXY = Correlatie tussen predictor (X) en YXS (i.e. mean predictor score van de
geselecteerde kandidaten o.b.v. de test)
- C = Gemiddelde kosten per kandidaat die de test uitvoert
Gegeven de assumpties (zie comment (vorige pagina aan de rechterkant), wordt
toename in bruikbaarheid uitgedrukt als:
Legenda (toevoegingen):
- p = Selectie ratio (i.e. de proportie van geselecteerde kandidaten (top-down))
- = de normale ordinate geassocieerd met p
Kritiek/Bewijs:
- Empirisch bewijs laat zien dat deze assumpties niet altijd kloppen, want: de top-
kandidaten accepteren niet altijd het baanaanbod. als dit gebeurt zal de true
selectie ratio anders zijn, omdat degene die geselecteerd worden niet meer
degene zijn met de hoogste predictor scores X.
- De meer kritische assumptie van een lineaire relatie tussen X en Y wordt wel
empirisch ondersteund.
Maar omdat BCG een hulpmiddel is voor besluitvormers om te kiezen tussen
alternatieven. Volgt hier de formule voor de gain in utility van een nieuwe
selectiemethode over een oude over random selectie:
Probleem 3 – What on Earth is the Use? Artikelen
1. In what different ways is utility expressed by the two utility models, namely the
Taylor-Russell model and the Brogden-Cronbach-Gleser model?
- Taylor-Russell utility in proportie Succes ratio (dus de hoeveelheid mensen die je
aanneemt die ook daarwerkelijk goed zullen presteren)
- BCG-Model In dit model wordt de bruikbaarheid van een test uitgedrukt in geld
(euro’s/dollars). Hoeveel zal een test opleveren t.o.v. de kosten, maar ook hoeveel meer
winst zal een bepaalde test opleveren ten opzichte van een andere test
2. Describe the pro's and con's of the two models of utility analysis.
- Taylor-Russell
o Pro’s:
Geeft info over hoe goed de test is in het selecteren van de juiste
kandidaten en het onterrecht afwijzen van de juiste kandidaten etc.
o Con’s:
Sommige tests zullen in praktijk wel beter meten, maar te duur zijn voor
wat ze opleveren. DAAROM:
- BCG-model
o Pro’s
Maakt het voor managers inzichtelijk wat de kosten en baten van een test
zal zijn. En je kunt managers hiermee overtuigen dat het slimmer is om
een andere test te geven, wanneer deze er accurater voor zorgt dat het de
juiste mensen selecteert en waardoor de winst zal stijgen t.o.v. de kosten
van de test.
o Con’s
De Standaard Deviatie (Sd) is een schatting van de werkelijkheid het
geeft aan hoeveel een persoon meer opleverd wanneer deze een
presteert in een standaard boven het gemiddelde dus stel je wil de top
5% werknemers selecteren, dan bepaald de grote van de Sd hoeveel meer
een persoon uit deze top 5 zal opleveren voor de organisatie. (NIET
HELEMAAL DE JUISTE UITLEG, MAAR ZELF VERZONNEN DUS CHAPEAU)
Maar doordat het een schatting is van de werkelijkheid kun je dus
heel lastig onderbouwen dat de uitgerekende utility in euro’s ook
daadwerkelijk de winst zal zijn in de praktijk.
BCG gaat ervan uit dat performance ratings continue variabelen zijn,
maar zijn vaker categorische variabelen (i.e. op een 1-5 schaal) (Cabrera
& Raju, 2001)
3. Why would managers not believe the results of utility estimates, as expressed in
euro- or dollar-value? Provide arguments.
,2
a. Toch gewoon omdat die SD gebaseerd is op een schatting?? (Daarom wordt de Sd
ook wel beschreven als de achilles pees van het BCG-model) en dus niet bedrijf
specifiek is. (ZELF BEDACHT/ZEI ZE IN COLLEGE 3 NIET GEBASEERD OP EEN
ARTIKEL)
4. Carson et al. (1998) were not able to replicate the findings of Latham and Whyte
(1994) regarding the influence of utility analysis on managerial decision making.
What were Carson et al.’s results? And how do they explain their disparate results?
Do you agree with their explanation? (zie comment bij artikel)
5. Describe the trends in utility analysis research according to Cabrera and Raju
(2001). (zie comment bij artikel)
6.
a. Explain on what reasoning the following rule of thumb is based: 'the value
of a good employee minus the value of a poor employee is roughly equal to
the salary paid for the job'.
b. Explain several ways that researchers suggested to determine the standard
deviation of job performance in terms of euro's or dollars?
c. Are some ways better than others?: Which way would you advise an
organization to use?
7. What is your opinion on the following issue raised by Cook: Is improving selection
practices at the same time creating a steadily growing underclass of unselected
disillusioned and unemployed people?
8. Name several important factors that may affect the economic payoffs from
selection programs. Explain for each factor in what way it affects the economic
payoff.
-
9. Name several reasons that applicants' perspectives on selection methods matter.
a. Face validity beïnvloed de scores op tests zoals ook al kort besproken in
probleem 2 (Cook (2016) H13 & Ployhart (2…)) echter hier werden methoden
besproken om de invloed te verminderen maar zonder succes (ZELF BEDACHT
NIET GEBASEERD OP EEN ARTIKEL)
NOOT: BELANGRIJKSTE IN THEMA 3:
- Pro’s en cons van de modellen
- Het onderscheid tussen de modellen
,3
Artikel 1 – Cabrera & Raju (2001) – Utility Analysis: Current Trends
and Future Directions
Vraag OWG:
1. Describe the trends in utility analysis research according to Cabrera and Raju
(2001).
Waar gaat het artikel over?
Artikel bespreekt de verschillende Utility analyse (UA) modellen + Uitbreidingen ervan.
Ook concerns/issues worden besproken:
- Acceptatie: Utility Analyses worden in de praktijk vaak niet geaccepteerd. Veel
onderzoekers buigen zich over de manieren om deze acceptatie te verhogen.
- Multi-Attribute Utility Models: Complex om selectieprocedures met meerdere
predictoren samen te voegen en de bruikbaarheid van een composiet weer te
geven in cijfers.
Introductie
UA-modellen zijn ontworpen om besluitvormers te helpen kiezen tussen verschillende
interventies. Echter, het is lange tijd niet gebruikt door de issue met de schatting van de
standaarddeviatie van baanprestatie uitgedrukt in geld (i.e. Sd Y (e.g. SDY = €10.000)).
Deze interesse kwam weer terug toen er een methode bedacht werd om deze te kunnen
schatten (Schmidt, Hunter, McKenzie, & Muldrow, 1979). Echter, managers willen de
methoden toch nog niet accepteren, dus moet er iets bedacht worden.
Brogden-Cronbach-Gleser Model
Ontwikkeling van model:
- Brogden verzon een formule waarmee de validiteit coëfficiënt van een
selectieprogramma kon worden vertaald in een schatting van monetaire
waarde. Zijn formule is gebaseerd op de assumptie van een lineaire relatie
tussen de testscore en de monetaire waarde van prestatie.
- Cronbach en Gleser voegde de kosten van het testen van kandidaten hieraan
toe.
Het resultaat is het BCG-model welke laat zien wat de incrementele
bruikbaarheid/production gain is va een predictor-based selectieprocedure boven
random selection, wanneer een bepaalt aantal, N, kandidaten wordt aangenomen.
, 4
Legenda:
- N = aantal kandidaten
- SDY = Standaarddeviatie van baanprestatie uitgedrukt in geld (Y)
- rXY = Correlatie tussen predictor (X) en YXS (i.e. mean predictor score van de
geselecteerde kandidaten o.b.v. de test)
- C = Gemiddelde kosten per kandidaat die de test uitvoert
Gegeven de assumpties (zie comment (vorige pagina aan de rechterkant), wordt
toename in bruikbaarheid uitgedrukt als:
Legenda (toevoegingen):
- p = Selectie ratio (i.e. de proportie van geselecteerde kandidaten (top-down))
- = de normale ordinate geassocieerd met p
Kritiek/Bewijs:
- Empirisch bewijs laat zien dat deze assumpties niet altijd kloppen, want: de top-
kandidaten accepteren niet altijd het baanaanbod. als dit gebeurt zal de true
selectie ratio anders zijn, omdat degene die geselecteerd worden niet meer
degene zijn met de hoogste predictor scores X.
- De meer kritische assumptie van een lineaire relatie tussen X en Y wordt wel
empirisch ondersteund.
Maar omdat BCG een hulpmiddel is voor besluitvormers om te kiezen tussen
alternatieven. Volgt hier de formule voor de gain in utility van een nieuwe
selectiemethode over een oude over random selectie:
