Latent class (LC) analysis
Algemeen idee: de populatie bestaat uit verschillende subgroepen (classes), maar deze
subgroepen zijn niet te observeren (latent).
Deze verschillende subgroepen (latent classes) variëren in de waarde op de parameters van
een specifiek model.
LC wordt ookwel mixture model genoemd.
Drie stappen/doelen van een LC analyse
1. Bouw een clustering model gebaseerd op een set geobserveerde variabelen:
Hoeveel classes hebben we nodig?
Hoe moet je de classes/clusters die je heb geïdentificeerd interpreteren/labelen?
2. Classificatie:
Tot welk cluster behoort men gezien de waarden op de waargenomen variabelen?
3. Relatie tussen classes en externe/andere variabele:
Wat is de relatie tussen classes en andere variabelen?
Kunnen we class lidmaatschap voorspellen aan de hand van andere variabelen?
Voorspelt/beïnvloed class lidmaatschap de uitkomst op andere variabelen?
Assumpties van een 2-class model voor y1, y2 en y3
We definiëren een model voor P(y1,y2,y3), dit is de joint probability van een gegeven reactie
patroon (bv. de kans dat iemand als respons (1,1,2) heeft).
Two key model assumptions:
o De joint probability/distribution P(y1,y2,y3), is een mixture van 2 class-specific
distributions (sommige personen met dit responspatroon behoren tot class 1 en
andere tot class 2).
o Binnen class X = 1 en X = 2 zijn responsen onafhankelijk (local independence), dus
weten wat iemands respons is op y1 vertelt me niets over y2 of over het class
membership).
Formules voor een 2-class model voor y1, y2 en y3
1. Joint probability is a mixture of 2 class-specific distributions
P ( y 1 , y 2 , y3 ) =P ( X=1 ) × P ( y 1 , y 2 , y 3|X=1 ) + P ( X=2 ) × P ( y 1 , y 2 , y3| X=2 )
2. Binnen classes responsen zijn onafhankelijk (local independence)
P ( y 1 , y 2 , y3| X=1 ) =P ( y 1| X=1 ) × P ( y 2|X =1 ) × P ( y 3| X=1 )
P ( y 1 , y 2 , y3| X=2 ) =P ( y 1| X=2 ) × P ( y 2|X =2 ) × P ( y 3|X =2 )
Het algemene geval: een C-class LC model voor J indicatoren
C
1. Mixture of C classes: P ( y 1 , … , y J ) =∑ P ( X=c ) × P ( y 1 , … , y J|X =c )
c=1
J
2. Local independence voor J indicatoren: P ( y 1 , … , y J| X=c ) =∏ P ( y J| X=c )
j=1
C J
1 en 2 gecombineerd: P ( y 1 , … , y J ) =∑ P ( X=c ) ∏ P ( y J|X =c )
c=1 j=1
Maximum likelihood (ML) estimation
Vinden van de parameter waarde welke de likelihood maximaliseren, de probability van het
observeren van de gegevens die je hebt.
Likelihood: product over observaties van de probability van het hebben van het
waargenomen responspatroon.
1
, Log-likelihood (LL): som over observaties of de logaritme (ln) van de probability van het
hebben van het geobserveerde responspatroon.
N
o ¿=∑ ln P ( y i )= ∑ n p ln P ( y p )
i=1 all pattern p
2
,Vier types van statistiek voor model selectie
Belangrijk: er is geen eenduidig antwoord over het aantal classes dat je het best kan
gebruiken (dit hangt af van welke methode voor model selectie je gebruikt).
Informatie criteria (BIC, AIC, AIC3):
o Weight model fit (log-likelihood value: LL) and model complexity (number of
parameters: Npar).
o −2≪+w × Npar
o De voorkeur gaat uit naar het model met de laagste BIC, AIC of AIC3.
o De BIC, AIC en AIC3 verschillen in de w uit de formule.
Goodness-of-fit test (L-squared, X-squared): including bootstrap p-values.
o Test met de volgende hypothese:
H0: het model met C classes
H1: het “saturated” model dit is het model dat perfect past bij de data.
o De chi-squared statistiek vergelijkt de geschatten met de geobserveerde frequenties.
o H0 wordt geaccepteerd als p > .05.
o In het geval van schaarste: p-waarde berekend via parametrische bootstrap
Bivariate residuals (BVRs):
o Goodness-of-fit in two-way tables.
o Geeft aan of er wordt voldaan aan de assumptie van local independence.
o Geeft aan of er resterende afhankelijkheden zijn tussen bepaalde paren variabelen.
o Vuistregel: waardes moeten kleiner zijn dan 3 of 4.
Likelihood-ratio (-2LLdiff) tests: including bootstrap p-values.
o Test met de volgende hypothese:
H0: het model met C classes
H1: het model met C+1 classes
o Statistics is het verschil in -2LL tussen deze twee modellen.
o Maar: we kunnen niet de asymptotic/standaard p-waarde gebruiken.
o Vuong-Lo-Mendell-Rubin p-waarde is robuust voor de LR test.
o Beter: bootstrap p-waarde.
Hoe worden de verschillende methodes van model selectie toegepast
Information criteria: er wordt een balans gezocht tussen model fit (-2LL value) en model
complexity (Npar).
o De formules voor BIC, AIC en AIC3 zijn:
BIC=−2≪+ ln( N )× Npar
AIC=−2≪+ 2× Npar
AIC 3=−2≪+3 × Npar
j
o Hierin geldt: Npar=( C−1 ) +C × ∑ ( M j−1 ) , waarin: M j =¿ aantal categorieën van
j=1
item j.
o BIC, AIC en AIC3 verschillen dus in de lading (ook wel penalty genoemd) die ze geven
aan het aantal parameter (Npar).
Let op: ln(N) is (bijna) altijd groter dan 3.
o Soms wordt het informatie criteria ook wel berekend als: L2−w× df
Goodness-of-fit test: test het model met C classes (H0) tegen het model met “saturated”
classes (H1). Hierbij zijn de geobserveerde frequenties voor een antwoordpatroon en de
geschatte frequenties van een antwoordpatroon in het model met C classes van belang.
3
, o Observed frequency for pattern p: n p
o Estimated frequency for pattern p under model with C classes: μ p=N × P ( y p)
o Zowel de geobserveerde als de geschatte frequentie van een pattern vind je in
LatentGOLD onder Freq/Residuals door bij output te vragen naar frequencies/residuals.
o Likelihood-ratio chi-squared: L =2 ∑ n p ln
2
p
( )
np
μp
2
o Pearson chi-squared: X 2 =∑
( n p−π p )
p μp
o Let op dat in de tabel Freq/Residuals van LatentGold de
antwoordpartonen met een frequentie van 0 niet meegenomen
worden. Bij de likelihood-ratio chi-squared maakt dit niet uit
omdat er dan sprake is van een n p van 0 waardoor het ook geen
invloed heeft op de som. Bij de pearson chi-squared is het wel
belangrijk om hier rekening mee te houden. Dit doe je door het
totaal van de estimated frequenties af te halen van het totaal
van de observed frequenties en dit getal op te tellen bij de som van de X 2.
o Om vervolgens aan de hand van de L 2 of X2 een p-waarde te kunnen bepalen heb je de
degrees of freedom (df) nodig, deze bereken je met:
( )
J
df =number of patterns−1−Npar= ∏ M j −1−Npar
j=1
j
Hierin wordt Npar weer berekend met: Npar=( C−1 ) +C × ∑ ( M j−1 )
j=1
o Kijk uit met sparseness, L2 en X2 geven dan een zeer verschillede p-waarde, je kan dan
beter gebruik maken van bootstrap p-waardes.
Bivariate residuals (BVRs):
o Estimated frequenties in a two table can be obtained by applying the LC model
equation to the pair concerned:
C
N × P ( y j , y j ' )=N × ∑ P ( X=c ) × P ( y j| X=c ) × P( y j ∨X=c)
'
c=1
o Maak eerst in LatentGOLD een model aan
met 1 cluster en met alleen de twee
variabele waartussen je de BVR wilt
berekenen. Vraag hierbij de Freqs/Residuals
op via output en kopieer de kolom observed
naar Excel (dit is de n per mogelijk pattern).
Ga vervolgens naar het model waarbij je de
BVR wilt bereken (in dit voorbeeld het 3
cluster model) en kopieer hiervan de profile
output over de betreffende variabele naar Excel (hier de rechter
tabel). Bereken voor ieder patroon P(y) met de formule die hoort bij
LC (hier te zien in de equation line). Vermenigvuldig deze getallen
met de bijbehorende n (dit wordt je mu). Vervolgens bereken je de BVR door voor elk
( n−mu )2
pattern de formule toe te passen en deze uitkomsten bij elkaar op te tellen.
mu
4
Algemeen idee: de populatie bestaat uit verschillende subgroepen (classes), maar deze
subgroepen zijn niet te observeren (latent).
Deze verschillende subgroepen (latent classes) variëren in de waarde op de parameters van
een specifiek model.
LC wordt ookwel mixture model genoemd.
Drie stappen/doelen van een LC analyse
1. Bouw een clustering model gebaseerd op een set geobserveerde variabelen:
Hoeveel classes hebben we nodig?
Hoe moet je de classes/clusters die je heb geïdentificeerd interpreteren/labelen?
2. Classificatie:
Tot welk cluster behoort men gezien de waarden op de waargenomen variabelen?
3. Relatie tussen classes en externe/andere variabele:
Wat is de relatie tussen classes en andere variabelen?
Kunnen we class lidmaatschap voorspellen aan de hand van andere variabelen?
Voorspelt/beïnvloed class lidmaatschap de uitkomst op andere variabelen?
Assumpties van een 2-class model voor y1, y2 en y3
We definiëren een model voor P(y1,y2,y3), dit is de joint probability van een gegeven reactie
patroon (bv. de kans dat iemand als respons (1,1,2) heeft).
Two key model assumptions:
o De joint probability/distribution P(y1,y2,y3), is een mixture van 2 class-specific
distributions (sommige personen met dit responspatroon behoren tot class 1 en
andere tot class 2).
o Binnen class X = 1 en X = 2 zijn responsen onafhankelijk (local independence), dus
weten wat iemands respons is op y1 vertelt me niets over y2 of over het class
membership).
Formules voor een 2-class model voor y1, y2 en y3
1. Joint probability is a mixture of 2 class-specific distributions
P ( y 1 , y 2 , y3 ) =P ( X=1 ) × P ( y 1 , y 2 , y 3|X=1 ) + P ( X=2 ) × P ( y 1 , y 2 , y3| X=2 )
2. Binnen classes responsen zijn onafhankelijk (local independence)
P ( y 1 , y 2 , y3| X=1 ) =P ( y 1| X=1 ) × P ( y 2|X =1 ) × P ( y 3| X=1 )
P ( y 1 , y 2 , y3| X=2 ) =P ( y 1| X=2 ) × P ( y 2|X =2 ) × P ( y 3|X =2 )
Het algemene geval: een C-class LC model voor J indicatoren
C
1. Mixture of C classes: P ( y 1 , … , y J ) =∑ P ( X=c ) × P ( y 1 , … , y J|X =c )
c=1
J
2. Local independence voor J indicatoren: P ( y 1 , … , y J| X=c ) =∏ P ( y J| X=c )
j=1
C J
1 en 2 gecombineerd: P ( y 1 , … , y J ) =∑ P ( X=c ) ∏ P ( y J|X =c )
c=1 j=1
Maximum likelihood (ML) estimation
Vinden van de parameter waarde welke de likelihood maximaliseren, de probability van het
observeren van de gegevens die je hebt.
Likelihood: product over observaties van de probability van het hebben van het
waargenomen responspatroon.
1
, Log-likelihood (LL): som over observaties of de logaritme (ln) van de probability van het
hebben van het geobserveerde responspatroon.
N
o ¿=∑ ln P ( y i )= ∑ n p ln P ( y p )
i=1 all pattern p
2
,Vier types van statistiek voor model selectie
Belangrijk: er is geen eenduidig antwoord over het aantal classes dat je het best kan
gebruiken (dit hangt af van welke methode voor model selectie je gebruikt).
Informatie criteria (BIC, AIC, AIC3):
o Weight model fit (log-likelihood value: LL) and model complexity (number of
parameters: Npar).
o −2≪+w × Npar
o De voorkeur gaat uit naar het model met de laagste BIC, AIC of AIC3.
o De BIC, AIC en AIC3 verschillen in de w uit de formule.
Goodness-of-fit test (L-squared, X-squared): including bootstrap p-values.
o Test met de volgende hypothese:
H0: het model met C classes
H1: het “saturated” model dit is het model dat perfect past bij de data.
o De chi-squared statistiek vergelijkt de geschatten met de geobserveerde frequenties.
o H0 wordt geaccepteerd als p > .05.
o In het geval van schaarste: p-waarde berekend via parametrische bootstrap
Bivariate residuals (BVRs):
o Goodness-of-fit in two-way tables.
o Geeft aan of er wordt voldaan aan de assumptie van local independence.
o Geeft aan of er resterende afhankelijkheden zijn tussen bepaalde paren variabelen.
o Vuistregel: waardes moeten kleiner zijn dan 3 of 4.
Likelihood-ratio (-2LLdiff) tests: including bootstrap p-values.
o Test met de volgende hypothese:
H0: het model met C classes
H1: het model met C+1 classes
o Statistics is het verschil in -2LL tussen deze twee modellen.
o Maar: we kunnen niet de asymptotic/standaard p-waarde gebruiken.
o Vuong-Lo-Mendell-Rubin p-waarde is robuust voor de LR test.
o Beter: bootstrap p-waarde.
Hoe worden de verschillende methodes van model selectie toegepast
Information criteria: er wordt een balans gezocht tussen model fit (-2LL value) en model
complexity (Npar).
o De formules voor BIC, AIC en AIC3 zijn:
BIC=−2≪+ ln( N )× Npar
AIC=−2≪+ 2× Npar
AIC 3=−2≪+3 × Npar
j
o Hierin geldt: Npar=( C−1 ) +C × ∑ ( M j−1 ) , waarin: M j =¿ aantal categorieën van
j=1
item j.
o BIC, AIC en AIC3 verschillen dus in de lading (ook wel penalty genoemd) die ze geven
aan het aantal parameter (Npar).
Let op: ln(N) is (bijna) altijd groter dan 3.
o Soms wordt het informatie criteria ook wel berekend als: L2−w× df
Goodness-of-fit test: test het model met C classes (H0) tegen het model met “saturated”
classes (H1). Hierbij zijn de geobserveerde frequenties voor een antwoordpatroon en de
geschatte frequenties van een antwoordpatroon in het model met C classes van belang.
3
, o Observed frequency for pattern p: n p
o Estimated frequency for pattern p under model with C classes: μ p=N × P ( y p)
o Zowel de geobserveerde als de geschatte frequentie van een pattern vind je in
LatentGOLD onder Freq/Residuals door bij output te vragen naar frequencies/residuals.
o Likelihood-ratio chi-squared: L =2 ∑ n p ln
2
p
( )
np
μp
2
o Pearson chi-squared: X 2 =∑
( n p−π p )
p μp
o Let op dat in de tabel Freq/Residuals van LatentGold de
antwoordpartonen met een frequentie van 0 niet meegenomen
worden. Bij de likelihood-ratio chi-squared maakt dit niet uit
omdat er dan sprake is van een n p van 0 waardoor het ook geen
invloed heeft op de som. Bij de pearson chi-squared is het wel
belangrijk om hier rekening mee te houden. Dit doe je door het
totaal van de estimated frequenties af te halen van het totaal
van de observed frequenties en dit getal op te tellen bij de som van de X 2.
o Om vervolgens aan de hand van de L 2 of X2 een p-waarde te kunnen bepalen heb je de
degrees of freedom (df) nodig, deze bereken je met:
( )
J
df =number of patterns−1−Npar= ∏ M j −1−Npar
j=1
j
Hierin wordt Npar weer berekend met: Npar=( C−1 ) +C × ∑ ( M j−1 )
j=1
o Kijk uit met sparseness, L2 en X2 geven dan een zeer verschillede p-waarde, je kan dan
beter gebruik maken van bootstrap p-waardes.
Bivariate residuals (BVRs):
o Estimated frequenties in a two table can be obtained by applying the LC model
equation to the pair concerned:
C
N × P ( y j , y j ' )=N × ∑ P ( X=c ) × P ( y j| X=c ) × P( y j ∨X=c)
'
c=1
o Maak eerst in LatentGOLD een model aan
met 1 cluster en met alleen de twee
variabele waartussen je de BVR wilt
berekenen. Vraag hierbij de Freqs/Residuals
op via output en kopieer de kolom observed
naar Excel (dit is de n per mogelijk pattern).
Ga vervolgens naar het model waarbij je de
BVR wilt bereken (in dit voorbeeld het 3
cluster model) en kopieer hiervan de profile
output over de betreffende variabele naar Excel (hier de rechter
tabel). Bereken voor ieder patroon P(y) met de formule die hoort bij
LC (hier te zien in de equation line). Vermenigvuldig deze getallen
met de bijbehorende n (dit wordt je mu). Vervolgens bereken je de BVR door voor elk
( n−mu )2
pattern de formule toe te passen en deze uitkomsten bij elkaar op te tellen.
mu
4
