Samenvatting
Onderzoekspracticum Data-Analyse
Onderwijswetenschappen
Thema 1: Inleiding
Thema 2: Variabelen beschrijven en data-integriteit verifiëren
Univariate analyse
Thema 3: Relaties tussen twee variabelen - Bivariate analyse
Thema 4: Correlatie
Thema 5: Regressie
Thema 6: Cohen’s d en t-toetsen
Thema 7: ω², η² en ANOVA
,THEMA 1
1.1 Inleiding en ethiek
.
Leerdoelen:
̵ Beschrijven waarom wetenschap wordt beoefend
̵ Beschrijven wat de empirische onderzoekscyclus is en uit welke fasen het bestaat
̵ Beschrijven wat de achtergrond en rol van ethiek is bij wetenschappelijk onderzoek bij
mensen
̵ Beschrijven hoe ethische toetsing in Nederland en bij de OU in zijn werk gaat
̵ Beschrijven wat het belang, de rol en aard van een informed consent is en welke
onderdelen het bevat
̵ Beschrijven wat full disclosure is en waarom het belangrijk is
̵ Beschrijven wat datamanagement is en waarom het belangrijk is
̵ Beschrijven hoe uitkomsten van onderzoek worden verspreid onder wetenschappers
Wetenschap = een methode om te leren over de realiteit.
Mensen hebben verstoringen in geheugen en informatieverwerking zodat onze ideeën over
de realiteit niet zomaar te vertrouwen zijn. Daarom systematische methoden van
informatieverzameling en -verwerking nodig om realiteit in kaart te brengen >> wetenschap
biedt die.
Leren over de realiteit is vooral wenselijk omdat we deze naar onze hand kunnen zetten als
we haar begrijpen. Naast deze directe toepassingen levert wetenschappelijk onderzoek
informatie waar beleid op gebaseerd kan worden, zoals richtlijnen voor voldoende
lichaamsbeweging, adviezen voor gezond ontbijt of diagnostische en behandelstandaarden.
Empirische onderzoekscyclus = onderzoek waarbij data worden verzameld
In de onderzoekscyclus zijn vijf fasen te onderscheiden:
1. Onderzoeksvraag formuleren
2. Studie ontwerpen
3. Data verzamelen
4. Data analyseren
5. Rapporteren
- Het systematisch proces is iteratief/herhalend
- Uit het onderzoek kunnen weer nieuwe onderzoeksvragen voortkomen
Ethiek en integriteit zijn heel belangrijk omdat de objecten van onderzoek meestal mensen zijn.
Deelnemers steken tijd en moeite in de deelname + mogelijk risico. Wetenschappelijk
onderzoek wordt meestal uitgevoerd met publieksgeld. Dat geeft onderzoekers de zware
verantwoordelijkheid om hun uiterste best te doen te zorgen dat het onderzoek de moeite van
de investering en kosten waard is, repliceerbaar is, en dat alle stappen transparant&
herleidbaar zijn.
Ethische commissies maken o.a. een afweging van: de kosten van een studie (dus zowel
mogelijke negatieve gevolgen voor deelnemers als financiële kosten), de mogelijke
opbrengsten, bescherming van de deelnemers (bv door nazorg te borgen indien nodig),
beoordeelt ook of anonimiteit van deelnemers is gewaarborgd en of er goed met de data wordt
omgegaan tijdens en na het onderzoek.
Wat doen WMO METC en cETO?
,Wet Medisch Onderzoek: deze gaat over medisch wetenschappelijk onderzoek waarbij
personen aan handelingen onderworpen worden of gedragswijze opgelegd krijgen. Deze wet
zegt dat onderzoek pas mag worden uitgevoerd als de Medisch Ethische Toetsings Commissie
akkoord geeft.
Omdat psychologische en onderwijswetenschappelijke onderzoek niet medisch-
wetenschappelijk is, valt dit niet onder WMO. Bij OU is commissie Ethische Toetsing
Onderzoek opgericht om de gedragscode na te leven.
Bij de Open Universiteit wordt deze gedragscode toegepast door de commissie Ethische
Toetsing Onderzoek (cETO). Al het mensgebonden onderzoek bij de Open Universiteit wordt
door de cETO getoetst. METC is voor medische onderzoeken (niet veel in onderwijskunde)
Ethische commissie beoordeelt:
1. Informed Consent (=geïnformeerde toestemming)
2. Full Disclosure (=openbaarmaking)
3. Datamanagement
1. Informed Consent = is een garantie dat deelnemers vrijwillig meewerken en niets doen wat
ze niet willen. Ook moet het onderzoek de data volledig anonimiseren. In een overeenkomst
staat dat deelnemers de ruimte hebben gehad om de achtergrondinformatie te lezen + de
gelegenheid hebben gehad om vragen te stellen + hebben kunnen nadenken over deelname
aan het onderzoek + weten dat ze op elk moment kunnen stoppen zonder gevolgen of opgaaf
van reden.
2. Full Disclosure = dan wordt er volledige openheid gegeven over het onderzoeksproces. Dit
betekent dat het zoveel mogelijk toegankelijk moet zijn voor een internationaal publiek.
3. Datamanagementplan = gaat over hoe data tijdens onderzoek wordt opgeslagen + hoe deze
worden geanonimiseerd + wie toegang houden tot de niet-geanonimiseerde (versleutelde)
data + hoe deze na afloop van het project langdurig worden opgeslagen.
Naast data zelf (reeksen letters en cijfers, bijv. leeftijd en IQ-score) beschrijft datamanagement
plan ook hoe met de metadata worden omgegaan.
Metadata = data over de data, ofwel data die er voor zorgt dat een databestand begrijpelijk
wordt (= alle producten van een onderzoek) > ingevulde Informed Consents, gebruikte materialen,
zoals vragenlijsten, de ruwe data, bijvoorbeeld de scores op de vragenlijsten, de analysescripts waarmee
de data zijn geanalyseerd, de uitkomsten van die analyses.
Verspreiding van uitkomsten van wetenschappelijk onderzoek
- Artikelen in Wetenschappelijke Journals
- Open Acces Journals
Wetenschappers communiceren op congressen, maar nog meer in de vorm van artikelen,
dienaar een journal worden gestuurd en dan worden beoordeeld door andere wetenschappers,
zogenaamde peer reviewers, voordat ze worden geaccepteerd en gepubliceerd. Dit kan
tegenwoordig digitaal, dat is goedkoop en biedt ook veel ruimte voor alle metadata.
, 1.2 Validiteit en betrouwbaarheid
Leerdoelen:
̵ Beschrijven wat betrouwbaarheid is
̵ Beschrijven wat de meetfout is
̵ Uitleggen hoe de meetfout zich verhoudt tot betrouwbaarheid
̵ Beschrijven wat validiteit is
̵ Uitleggen hoe validiteit zich verhoudt tot betrouwbaarheid
Betrouwbaarheid = dat je meetinstrument bij herhaling steeds dezelfde uitkomst heeft.
De aanname is: dat wat wordt gemeten stabiel is. Als je iemands humeur over de tijd meet en je
krijgt steeds verschillende uitkomsten, dan is dat een indicatie dat het meetinstrument goed meet en
het zegt niets over de betrouwbaarheid.
sommige meetinstrumenten zijn accurater dan anderen > Denk aan lengte meten voorbeeld
tal van mogelijke verstorende factoren die de zuiverheid van de meting beïnvloeden >
moment van testafname
Meetfout
= soorten invloeden (moment van de dag, stressniveau, weer) ook wel ruis of measurement error
Naarmate er minder meetfout is (minder verstorende invloeden) dan is de meting meer
betrouwbaar.
Validiteit = is of het meetinstrument meet wat het moet meten, ofwel de eigenschap
Validiteit heeft betrekking op de vraag of de representatie van een stukje realiteit binnen een
onderzoek wel overeenkomt met het stukje realiteit in de echte wereld.
Hoe meer valide een meetinstrument is (dus hoe gevoeliger voor subtiele verschillen), hoe
minder betrouwbaar. Betrouwbaarheid wordt bepaald door een meting bijv. ook een week
later te doen en als de uitkomst stabiel is, kun je zeggen dat het meetinstrument betrouwbaar
is. Je krijgt een indruk van validiteit door andere meetinstrumenten te gebruiken om dezelfde
of gerelateerde dingen te meten. Als dan de uitkomst hetzelfde is, is het instrument valide.
Onderzoekspracticum Data-Analyse
Onderwijswetenschappen
Thema 1: Inleiding
Thema 2: Variabelen beschrijven en data-integriteit verifiëren
Univariate analyse
Thema 3: Relaties tussen twee variabelen - Bivariate analyse
Thema 4: Correlatie
Thema 5: Regressie
Thema 6: Cohen’s d en t-toetsen
Thema 7: ω², η² en ANOVA
,THEMA 1
1.1 Inleiding en ethiek
.
Leerdoelen:
̵ Beschrijven waarom wetenschap wordt beoefend
̵ Beschrijven wat de empirische onderzoekscyclus is en uit welke fasen het bestaat
̵ Beschrijven wat de achtergrond en rol van ethiek is bij wetenschappelijk onderzoek bij
mensen
̵ Beschrijven hoe ethische toetsing in Nederland en bij de OU in zijn werk gaat
̵ Beschrijven wat het belang, de rol en aard van een informed consent is en welke
onderdelen het bevat
̵ Beschrijven wat full disclosure is en waarom het belangrijk is
̵ Beschrijven wat datamanagement is en waarom het belangrijk is
̵ Beschrijven hoe uitkomsten van onderzoek worden verspreid onder wetenschappers
Wetenschap = een methode om te leren over de realiteit.
Mensen hebben verstoringen in geheugen en informatieverwerking zodat onze ideeën over
de realiteit niet zomaar te vertrouwen zijn. Daarom systematische methoden van
informatieverzameling en -verwerking nodig om realiteit in kaart te brengen >> wetenschap
biedt die.
Leren over de realiteit is vooral wenselijk omdat we deze naar onze hand kunnen zetten als
we haar begrijpen. Naast deze directe toepassingen levert wetenschappelijk onderzoek
informatie waar beleid op gebaseerd kan worden, zoals richtlijnen voor voldoende
lichaamsbeweging, adviezen voor gezond ontbijt of diagnostische en behandelstandaarden.
Empirische onderzoekscyclus = onderzoek waarbij data worden verzameld
In de onderzoekscyclus zijn vijf fasen te onderscheiden:
1. Onderzoeksvraag formuleren
2. Studie ontwerpen
3. Data verzamelen
4. Data analyseren
5. Rapporteren
- Het systematisch proces is iteratief/herhalend
- Uit het onderzoek kunnen weer nieuwe onderzoeksvragen voortkomen
Ethiek en integriteit zijn heel belangrijk omdat de objecten van onderzoek meestal mensen zijn.
Deelnemers steken tijd en moeite in de deelname + mogelijk risico. Wetenschappelijk
onderzoek wordt meestal uitgevoerd met publieksgeld. Dat geeft onderzoekers de zware
verantwoordelijkheid om hun uiterste best te doen te zorgen dat het onderzoek de moeite van
de investering en kosten waard is, repliceerbaar is, en dat alle stappen transparant&
herleidbaar zijn.
Ethische commissies maken o.a. een afweging van: de kosten van een studie (dus zowel
mogelijke negatieve gevolgen voor deelnemers als financiële kosten), de mogelijke
opbrengsten, bescherming van de deelnemers (bv door nazorg te borgen indien nodig),
beoordeelt ook of anonimiteit van deelnemers is gewaarborgd en of er goed met de data wordt
omgegaan tijdens en na het onderzoek.
Wat doen WMO METC en cETO?
,Wet Medisch Onderzoek: deze gaat over medisch wetenschappelijk onderzoek waarbij
personen aan handelingen onderworpen worden of gedragswijze opgelegd krijgen. Deze wet
zegt dat onderzoek pas mag worden uitgevoerd als de Medisch Ethische Toetsings Commissie
akkoord geeft.
Omdat psychologische en onderwijswetenschappelijke onderzoek niet medisch-
wetenschappelijk is, valt dit niet onder WMO. Bij OU is commissie Ethische Toetsing
Onderzoek opgericht om de gedragscode na te leven.
Bij de Open Universiteit wordt deze gedragscode toegepast door de commissie Ethische
Toetsing Onderzoek (cETO). Al het mensgebonden onderzoek bij de Open Universiteit wordt
door de cETO getoetst. METC is voor medische onderzoeken (niet veel in onderwijskunde)
Ethische commissie beoordeelt:
1. Informed Consent (=geïnformeerde toestemming)
2. Full Disclosure (=openbaarmaking)
3. Datamanagement
1. Informed Consent = is een garantie dat deelnemers vrijwillig meewerken en niets doen wat
ze niet willen. Ook moet het onderzoek de data volledig anonimiseren. In een overeenkomst
staat dat deelnemers de ruimte hebben gehad om de achtergrondinformatie te lezen + de
gelegenheid hebben gehad om vragen te stellen + hebben kunnen nadenken over deelname
aan het onderzoek + weten dat ze op elk moment kunnen stoppen zonder gevolgen of opgaaf
van reden.
2. Full Disclosure = dan wordt er volledige openheid gegeven over het onderzoeksproces. Dit
betekent dat het zoveel mogelijk toegankelijk moet zijn voor een internationaal publiek.
3. Datamanagementplan = gaat over hoe data tijdens onderzoek wordt opgeslagen + hoe deze
worden geanonimiseerd + wie toegang houden tot de niet-geanonimiseerde (versleutelde)
data + hoe deze na afloop van het project langdurig worden opgeslagen.
Naast data zelf (reeksen letters en cijfers, bijv. leeftijd en IQ-score) beschrijft datamanagement
plan ook hoe met de metadata worden omgegaan.
Metadata = data over de data, ofwel data die er voor zorgt dat een databestand begrijpelijk
wordt (= alle producten van een onderzoek) > ingevulde Informed Consents, gebruikte materialen,
zoals vragenlijsten, de ruwe data, bijvoorbeeld de scores op de vragenlijsten, de analysescripts waarmee
de data zijn geanalyseerd, de uitkomsten van die analyses.
Verspreiding van uitkomsten van wetenschappelijk onderzoek
- Artikelen in Wetenschappelijke Journals
- Open Acces Journals
Wetenschappers communiceren op congressen, maar nog meer in de vorm van artikelen,
dienaar een journal worden gestuurd en dan worden beoordeeld door andere wetenschappers,
zogenaamde peer reviewers, voordat ze worden geaccepteerd en gepubliceerd. Dit kan
tegenwoordig digitaal, dat is goedkoop en biedt ook veel ruimte voor alle metadata.
, 1.2 Validiteit en betrouwbaarheid
Leerdoelen:
̵ Beschrijven wat betrouwbaarheid is
̵ Beschrijven wat de meetfout is
̵ Uitleggen hoe de meetfout zich verhoudt tot betrouwbaarheid
̵ Beschrijven wat validiteit is
̵ Uitleggen hoe validiteit zich verhoudt tot betrouwbaarheid
Betrouwbaarheid = dat je meetinstrument bij herhaling steeds dezelfde uitkomst heeft.
De aanname is: dat wat wordt gemeten stabiel is. Als je iemands humeur over de tijd meet en je
krijgt steeds verschillende uitkomsten, dan is dat een indicatie dat het meetinstrument goed meet en
het zegt niets over de betrouwbaarheid.
sommige meetinstrumenten zijn accurater dan anderen > Denk aan lengte meten voorbeeld
tal van mogelijke verstorende factoren die de zuiverheid van de meting beïnvloeden >
moment van testafname
Meetfout
= soorten invloeden (moment van de dag, stressniveau, weer) ook wel ruis of measurement error
Naarmate er minder meetfout is (minder verstorende invloeden) dan is de meting meer
betrouwbaar.
Validiteit = is of het meetinstrument meet wat het moet meten, ofwel de eigenschap
Validiteit heeft betrekking op de vraag of de representatie van een stukje realiteit binnen een
onderzoek wel overeenkomt met het stukje realiteit in de echte wereld.
Hoe meer valide een meetinstrument is (dus hoe gevoeliger voor subtiele verschillen), hoe
minder betrouwbaar. Betrouwbaarheid wordt bepaald door een meting bijv. ook een week
later te doen en als de uitkomst stabiel is, kun je zeggen dat het meetinstrument betrouwbaar
is. Je krijgt een indruk van validiteit door andere meetinstrumenten te gebruiken om dezelfde
of gerelateerde dingen te meten. Als dan de uitkomst hetzelfde is, is het instrument valide.
