HUMAN AND AUTOMATIC TEXT
ANALYSIS
Inhoud
DEEL 1 - Handmatige Tekstanalyse
Hoorcollege 1 - Tekstanalyse.............................................................................................................. 4
Analyse............................................................................................................................................... 4
Hoorcollege 2 – Functionele analyse.................................................................................................. 5
Functionele analyse............................................................................................................................ 5
Wat zijn de theorieën die ten grondslag liggen aan de FA?................................................................5
Doelen herkennen............................................................................................................................... 7
Taalhandelingstheorie: Instrument voor lokale doelen........................................................................9
Theory of Planned Behavior (Ajzen, 1991).......................................................................................13
Procedure bij Functionele analyse.................................................................................................... 15
Hoorcollege 3 – Genre-analyse......................................................................................................... 15
Genre theorie.................................................................................................................................... 15
Biber (1989)...................................................................................................................................... 16
Model voor Genres: 3 ingebedde frames (Sinding, 2016).................................................................17
Stereotypie........................................................................................................................................ 17
Hoorcollege 4 – Lexicale Analyse..................................................................................................... 18
Semantische eigenschappen............................................................................................................ 18
Decompositie van woordbetekenis.................................................................................................... 19
Typen woordrelaties.......................................................................................................................... 20
Ketens............................................................................................................................................... 21
LA-instrument in stappen.................................................................................................................. 22
Lexicale analyse................................................................................................................................ 22
Tekstuele analyse 5 – Zonder & Met................................................................................................. 23
Referentie......................................................................................................................................... 23
Informatiestatus................................................................................................................................. 23
Anaforen........................................................................................................................................... 25
Centering.......................................................................................................................................... 26
Referentiële coherentie..................................................................................................................... 29
Lexicale analyse................................................................................................................................ 30
Hoorcollege 6...................................................................................................................................... 31
Accessibility theory............................................................................................................................ 31
Hoorcollege 1 – Computationele Lexicale Analyse (WordNet).......................................................32
, Relatedness, similarity, distance....................................................................................................... 33
Roget’s thesaurus............................................................................................................................. 33
Path-based similarity......................................................................................................................... 35
Leacoock & Chodorow’s normalized path length..............................................................................36
Wu & Palmer’s conceptual similarity................................................................................................. 37
Resnik’s information-based approach............................................................................................... 38
Jiang & Conraths’s combined approach............................................................................................ 39
Lin’s universal similarity measure...................................................................................................... 39
Lesk’s gloss-based similarity............................................................................................................. 39
Overzicht maten in B&H.................................................................................................................... 40
Evaluatie van similarity metrics......................................................................................................... 40
Budanitski & Hirst: Malapropismedetectie......................................................................................... 41
Samenvatting.................................................................................................................................... 44
Hoorcollege 2 – Leesbaarheidsanalyse (Deel 1)..............................................................................45
Leesbaarheidsformules..................................................................................................................... 45
Flesch-Kincaid grade level................................................................................................................ 45
Tekstbegrip....................................................................................................................................... 45
Gebruikte kenmerken voor leesbaarheidsanalyse in T-Scan...........................................................46
Type-Token Ratio (TTR)................................................................................................................... 47
Measure of Textual Lexical Diversity (MTLD)....................................................................................47
Cloze-test.......................................................................................................................................... 48
1. Individuele tekstkenmerken........................................................................................................... 49
2. Model als geheel........................................................................................................................... 50
Is tekstelement X veranderbaar?...................................................................................................... 50
Conclusies......................................................................................................................................... 50
Hoorcollege 3 – Leesbaarheidsanalyse (deel 2)..............................................................................51
Leesbaarheidsscores........................................................................................................................ 52
CAREC en CARES........................................................................................................................... 52
Coh-metrix......................................................................................................................................... 53
Situatiemodel.................................................................................................................................... 53
Temporele cohesie............................................................................................................................ 54
Intentionaliteit en causaliteit.............................................................................................................. 54
Corpusonderzoek Graesser et al...................................................................................................... 55
Conclusies......................................................................................................................................... 56
Hoorcollege 4 – Text Mining.............................................................................................................. 58
Woordfrequenties.............................................................................................................................. 58
Het Google Books-corpus................................................................................................................. 58
Onderzoeksvragen............................................................................................................................ 59
,Beperkingen van het corpus.............................................................................................................. 60
Casus 1: Belang van een goed verzorgd en gecontroleerd corpus...................................................61
Casus 2: Vergelijking en voorspelling van twee tekstuele ‘genres’...................................................62
, Deel 1 – Handmatige tekstanalyse
HOORCOLLEGE 1 - TEKSTANALYSE
Cursusdoelen:
Theoretische concepten beschrijven die ten grondslag liggen aan verschillende
analysemethoden.
De analysemethoden uitleggen in termen van de onderliggende theoretische concepten.
Diverse soorten professionele teksten handmatig/computationeel analyseren, evalueren en -
waar nodig – verbeteren.
Sterke en zwakke aspecten identificeren van handmatige tekstanalyse en van computationele
tekstanalyse.
Gegeven een onderzoeksvraag, een beargumenteerde keuze maken tussen handmatige
tekstanalyse en computationele tekstanalyse.
ANALYSE
Analyse = Een systematisch onderzoek waarbij een probleem ontleed wordt. Alle elementen waaruit
dit probleem bestaat moeten in een analyse worden beschreven en uiteengezet.
Kunnen plaatsvinden op alle mogelijke niveaus, binnen elke denkbare discipline.
‘Probleem’ in deze context verwijst daarom naar: Alle mogelijke situaties die om nader
onderzoek vragen.
- Centraal bij een analyse staat altijd het opdelen van het ‘probleem’ in kleinere elementen,
die gezamenlijk het probleem vormen. Deze kunnen vervolgens afzonderlijk en in relatie
tot elkaar worden onderzocht.
Het onderwerp van zo’n situatie kan concreet of abstract zijn.
- Analyses van concrete problemen zijn bijvoorbeeld genees- en scheikundige analyses.
VB: Analyseren van het menselijk lichaam of het ontleden van stoffen
- Analyses van meer abstracte problemen zijn communicatieanalyses (onderzoek naar
miscommunicatie) of psychoanalyses.
Je kunt één en dezelfde stof/problemen met verschillende oogmerken analyseren, welke
bestanddelen van de stof/probleem relevant zijn voor de analyse is dan ook verschillend.
Oogmerken tekstanalyse:
Tekstkwaliteit (samenhang, schoonheid, amusement) Gegeven een bepaald publiek,
Begrijpelijkheid gegeven een bepaalde context
Doelmatigheid
Tekst samenvatten
Identificatie spam
Idiocyncrasie: Herkenning schrijver
…
ANALYSIS
Inhoud
DEEL 1 - Handmatige Tekstanalyse
Hoorcollege 1 - Tekstanalyse.............................................................................................................. 4
Analyse............................................................................................................................................... 4
Hoorcollege 2 – Functionele analyse.................................................................................................. 5
Functionele analyse............................................................................................................................ 5
Wat zijn de theorieën die ten grondslag liggen aan de FA?................................................................5
Doelen herkennen............................................................................................................................... 7
Taalhandelingstheorie: Instrument voor lokale doelen........................................................................9
Theory of Planned Behavior (Ajzen, 1991).......................................................................................13
Procedure bij Functionele analyse.................................................................................................... 15
Hoorcollege 3 – Genre-analyse......................................................................................................... 15
Genre theorie.................................................................................................................................... 15
Biber (1989)...................................................................................................................................... 16
Model voor Genres: 3 ingebedde frames (Sinding, 2016).................................................................17
Stereotypie........................................................................................................................................ 17
Hoorcollege 4 – Lexicale Analyse..................................................................................................... 18
Semantische eigenschappen............................................................................................................ 18
Decompositie van woordbetekenis.................................................................................................... 19
Typen woordrelaties.......................................................................................................................... 20
Ketens............................................................................................................................................... 21
LA-instrument in stappen.................................................................................................................. 22
Lexicale analyse................................................................................................................................ 22
Tekstuele analyse 5 – Zonder & Met................................................................................................. 23
Referentie......................................................................................................................................... 23
Informatiestatus................................................................................................................................. 23
Anaforen........................................................................................................................................... 25
Centering.......................................................................................................................................... 26
Referentiële coherentie..................................................................................................................... 29
Lexicale analyse................................................................................................................................ 30
Hoorcollege 6...................................................................................................................................... 31
Accessibility theory............................................................................................................................ 31
Hoorcollege 1 – Computationele Lexicale Analyse (WordNet).......................................................32
, Relatedness, similarity, distance....................................................................................................... 33
Roget’s thesaurus............................................................................................................................. 33
Path-based similarity......................................................................................................................... 35
Leacoock & Chodorow’s normalized path length..............................................................................36
Wu & Palmer’s conceptual similarity................................................................................................. 37
Resnik’s information-based approach............................................................................................... 38
Jiang & Conraths’s combined approach............................................................................................ 39
Lin’s universal similarity measure...................................................................................................... 39
Lesk’s gloss-based similarity............................................................................................................. 39
Overzicht maten in B&H.................................................................................................................... 40
Evaluatie van similarity metrics......................................................................................................... 40
Budanitski & Hirst: Malapropismedetectie......................................................................................... 41
Samenvatting.................................................................................................................................... 44
Hoorcollege 2 – Leesbaarheidsanalyse (Deel 1)..............................................................................45
Leesbaarheidsformules..................................................................................................................... 45
Flesch-Kincaid grade level................................................................................................................ 45
Tekstbegrip....................................................................................................................................... 45
Gebruikte kenmerken voor leesbaarheidsanalyse in T-Scan...........................................................46
Type-Token Ratio (TTR)................................................................................................................... 47
Measure of Textual Lexical Diversity (MTLD)....................................................................................47
Cloze-test.......................................................................................................................................... 48
1. Individuele tekstkenmerken........................................................................................................... 49
2. Model als geheel........................................................................................................................... 50
Is tekstelement X veranderbaar?...................................................................................................... 50
Conclusies......................................................................................................................................... 50
Hoorcollege 3 – Leesbaarheidsanalyse (deel 2)..............................................................................51
Leesbaarheidsscores........................................................................................................................ 52
CAREC en CARES........................................................................................................................... 52
Coh-metrix......................................................................................................................................... 53
Situatiemodel.................................................................................................................................... 53
Temporele cohesie............................................................................................................................ 54
Intentionaliteit en causaliteit.............................................................................................................. 54
Corpusonderzoek Graesser et al...................................................................................................... 55
Conclusies......................................................................................................................................... 56
Hoorcollege 4 – Text Mining.............................................................................................................. 58
Woordfrequenties.............................................................................................................................. 58
Het Google Books-corpus................................................................................................................. 58
Onderzoeksvragen............................................................................................................................ 59
,Beperkingen van het corpus.............................................................................................................. 60
Casus 1: Belang van een goed verzorgd en gecontroleerd corpus...................................................61
Casus 2: Vergelijking en voorspelling van twee tekstuele ‘genres’...................................................62
, Deel 1 – Handmatige tekstanalyse
HOORCOLLEGE 1 - TEKSTANALYSE
Cursusdoelen:
Theoretische concepten beschrijven die ten grondslag liggen aan verschillende
analysemethoden.
De analysemethoden uitleggen in termen van de onderliggende theoretische concepten.
Diverse soorten professionele teksten handmatig/computationeel analyseren, evalueren en -
waar nodig – verbeteren.
Sterke en zwakke aspecten identificeren van handmatige tekstanalyse en van computationele
tekstanalyse.
Gegeven een onderzoeksvraag, een beargumenteerde keuze maken tussen handmatige
tekstanalyse en computationele tekstanalyse.
ANALYSE
Analyse = Een systematisch onderzoek waarbij een probleem ontleed wordt. Alle elementen waaruit
dit probleem bestaat moeten in een analyse worden beschreven en uiteengezet.
Kunnen plaatsvinden op alle mogelijke niveaus, binnen elke denkbare discipline.
‘Probleem’ in deze context verwijst daarom naar: Alle mogelijke situaties die om nader
onderzoek vragen.
- Centraal bij een analyse staat altijd het opdelen van het ‘probleem’ in kleinere elementen,
die gezamenlijk het probleem vormen. Deze kunnen vervolgens afzonderlijk en in relatie
tot elkaar worden onderzocht.
Het onderwerp van zo’n situatie kan concreet of abstract zijn.
- Analyses van concrete problemen zijn bijvoorbeeld genees- en scheikundige analyses.
VB: Analyseren van het menselijk lichaam of het ontleden van stoffen
- Analyses van meer abstracte problemen zijn communicatieanalyses (onderzoek naar
miscommunicatie) of psychoanalyses.
Je kunt één en dezelfde stof/problemen met verschillende oogmerken analyseren, welke
bestanddelen van de stof/probleem relevant zijn voor de analyse is dan ook verschillend.
Oogmerken tekstanalyse:
Tekstkwaliteit (samenhang, schoonheid, amusement) Gegeven een bepaald publiek,
Begrijpelijkheid gegeven een bepaalde context
Doelmatigheid
Tekst samenvatten
Identificatie spam
Idiocyncrasie: Herkenning schrijver
…
