Taal en AI: grote samenvatting
Table of Contents
Inleiding tot de computationele taalkunde .......................................................... 5
Inleiding ................................................................................................................................................. 5
Wat is computationele taalkunde? .............................................................................................. 5
Is het AI of niet? ............................................................................................................................... 5
Taal en AI? ........................................................................................................................................ 6
Geschiedenis AI ............................................................................................................................... 6
Computationele taalkunde vs. natuurlijketaalverwerking ......................................................... 7
Computationele taalkunde ........................................................................................................... 7
Natuurlijke taalverwerking .............................................................................................................. 7
Taaltechnologische toepassingen: voorbeelden ....................................................................... 7
Wat is er zo moeilijk aan taal? ....................................................................................................... 8
Computationele syntaxis .................................................................................................................... 8
Inleiding ............................................................................................................................................ 8
Oneindige taal................................................................................................................................. 8
Woordenboek en grammatica ..................................................................................................... 9
Samenvattend overzicht .............................................................................................................. 13
Voorbeeldvragen .......................................................................................................................... 13
Computationele fonetiek en fonologie .......................................................................................... 13
Inleiding .......................................................................................................................................... 13
Terminologie ................................................................................................................................... 14
Spraak- articulatorische fonetiek ................................................................................................. 14
Spraak – akoestische fonetiek ..................................................................................................... 20
Spraak – auditieve fonetiek.......................................................................................................... 31
Voorbeeldvragen .......................................................................................................................... 33
Computationele distributionele semantiek .................................................................................... 33
Inleiding .......................................................................................................................................... 33
De distributionele hypothese ....................................................................................................... 34
De distributionele methode ......................................................................................................... 34
Compositionaliteit en adequaatheid voor redeneren ............................................................. 39
Samenvattend overzicht .............................................................................................................. 40
, Voorbeeldvragen .......................................................................................................................... 40
Wat is taaltechnologie? ........................................................................................ 41
Wat is taaltechnologie? .................................................................................................................... 41
Waarom is taal zo moeilijk? .................................................................................. 41
Watervalmodel .................................................................................................................................. 42
Taalkundige kennis ontrafeld: de essentiële bouwstenen ............................................................ 42
Voorbereidende stappen ............................................................................................................ 42
Morfologische analyse: de kunst van woordvorming ............................................................... 42
Syntactische analyse: de architectuur van taal ............................................................................ 43
Semantische analyse: de kracht van betekenis ............................................................................ 43
Discoursanalyse: taal in dialoog ...................................................................................................... 44
Pragmatiek en wereldkennis: wijsheid in woorden ........................................................................ 44
Pragmatiek ..................................................................................................................................... 44
Wereldkennis .................................................................................................................................. 45
Hoe leert een computer taal? .............................................................................. 45
Van regels tot taalbegrip: een regelgebaseerde aanpak .......................................................... 45
Een corpus vol kennis: leren uit data ............................................................................................... 45
1. Data: het belang van geschikte corpora ......................................................................... 46
Taak: verschillende benaderingen voor machinelearning ...................................................... 47
Automatische vertaling ......................................................................................... 50
Regelgebaseerde taalsystemen...................................................................................................... 51
Syntactische analyse .................................................................................................................... 51
Vauquois triangle........................................................................................................................... 51
Datagebaseerde systemen.............................................................................................................. 52
Netwerken met duizenden verbindingen ....................................................................................... 53
Verbanden tussen woorden ............................................................................................................. 54
Van spraak naar spraak.................................................................................................................... 54
Automatische spraakherkenning ................................................................................................ 55
Spraaksynthese .............................................................................................................................. 55
Chatbots ................................................................................................................. 55
Digitale assistenten: architectuur ................................................................................................ 56
Het prille begin: Turing en weizenbaum .......................................................................................... 57
Turning: turningtest ........................................................................................................................ 57
Weizenbaum: ELIZA ....................................................................................................................... 57
Parry-Chatbot ................................................................................................................................ 57
, ELIZA-effect..................................................................................................................................... 57
Chitchat .......................................................................................................................................... 57
Patronen of data ............................................................................................................................... 58
Je chatbot als compagnon de route ............................................................................................. 59
Automatische tekstgeneratie ............................................................................... 59
Een generiek taalmodel bouwen .................................................................................................... 60
Large Language Models .............................................................................................................. 60
Generative pre-trained transformer (GPT) ................................................................................. 61
Woordvectoren ............................................................................................................................. 64
Aandachtsmechanisme ............................................................................................................... 64
Van taalmodel naar tekstgenerator ............................................................................................... 65
Finetuning ....................................................................................................................................... 65
Taalmodellen straffen en belonen .................................................................................................. 66
Beperkingen en uitdagingen ........................................................................................................... 66
Wat is goed en slecht gebruik? ................................................................................................... 67
Ethiek ....................................................................................................................... 68
Data..................................................................................................................................................... 69
Bias .................................................................................................................................................. 69
Statistische discriminatie.................................................................................................................... 69
Bias overkomen ............................................................................................................................. 70
Hoe komen bedrijven aan data? .................................................................................................... 70
Privacybewaking ............................................................................................................................... 70
Aanbevelingsalgorithmes ................................................................................................................. 70
Fake news ........................................................................................................................................... 71
AI-technologie inclusiever maken ................................................................................................... 71
Ook kansen met taaltechnologie ............................................................................................... 71
Rechtvaardigheid en transparantie ................................................................................................ 71
Verantwoordelijkheid .................................................................................................................... 71
Transparantie ................................................................................................................................. 71
Richtlijnen UNESCO 2021 ................................................................................................................... 71
Respect voor milieu ........................................................................................................................... 72
Oefeningen computationele syntaxis ................................................................. 72
Identificeren van constituenten ....................................................................................................... 72
Herkennen van zinnen gegeven een lexicon en grammatica.................................................... 73
Genereren van zinnen gegeven een lexicon en grammatica ................................................... 76
, Schrijven van een lexicon en grammatica .................................................................................... 77
Oefeningen computationele fonetiek en fonologie .......................................... 79
Analyseer de gegeven spectrogrammen en golfvormrepresentaties ....................................... 79
Analyseren van klanken .................................................................................................................... 79
Analyseren van woorden.................................................................................................................. 84
Oefeningen semantiek ..................................................................................................................... 95
Bepaal de semantische gelijkenis van woorden gegeven een co-occurrentiematrix ............ 95
Bepaal de semantische gelijkenis van enkele woorden gegeven een co-occurrentiematrix 95
Oefeningen taaltechnologie ................................................................................ 96
Neurale netwerken ............................................................................................................................ 96
Zelfstudie oefeningen .......................................................................................... 101
Table of Contents
Inleiding tot de computationele taalkunde .......................................................... 5
Inleiding ................................................................................................................................................. 5
Wat is computationele taalkunde? .............................................................................................. 5
Is het AI of niet? ............................................................................................................................... 5
Taal en AI? ........................................................................................................................................ 6
Geschiedenis AI ............................................................................................................................... 6
Computationele taalkunde vs. natuurlijketaalverwerking ......................................................... 7
Computationele taalkunde ........................................................................................................... 7
Natuurlijke taalverwerking .............................................................................................................. 7
Taaltechnologische toepassingen: voorbeelden ....................................................................... 7
Wat is er zo moeilijk aan taal? ....................................................................................................... 8
Computationele syntaxis .................................................................................................................... 8
Inleiding ............................................................................................................................................ 8
Oneindige taal................................................................................................................................. 8
Woordenboek en grammatica ..................................................................................................... 9
Samenvattend overzicht .............................................................................................................. 13
Voorbeeldvragen .......................................................................................................................... 13
Computationele fonetiek en fonologie .......................................................................................... 13
Inleiding .......................................................................................................................................... 13
Terminologie ................................................................................................................................... 14
Spraak- articulatorische fonetiek ................................................................................................. 14
Spraak – akoestische fonetiek ..................................................................................................... 20
Spraak – auditieve fonetiek.......................................................................................................... 31
Voorbeeldvragen .......................................................................................................................... 33
Computationele distributionele semantiek .................................................................................... 33
Inleiding .......................................................................................................................................... 33
De distributionele hypothese ....................................................................................................... 34
De distributionele methode ......................................................................................................... 34
Compositionaliteit en adequaatheid voor redeneren ............................................................. 39
Samenvattend overzicht .............................................................................................................. 40
, Voorbeeldvragen .......................................................................................................................... 40
Wat is taaltechnologie? ........................................................................................ 41
Wat is taaltechnologie? .................................................................................................................... 41
Waarom is taal zo moeilijk? .................................................................................. 41
Watervalmodel .................................................................................................................................. 42
Taalkundige kennis ontrafeld: de essentiële bouwstenen ............................................................ 42
Voorbereidende stappen ............................................................................................................ 42
Morfologische analyse: de kunst van woordvorming ............................................................... 42
Syntactische analyse: de architectuur van taal ............................................................................ 43
Semantische analyse: de kracht van betekenis ............................................................................ 43
Discoursanalyse: taal in dialoog ...................................................................................................... 44
Pragmatiek en wereldkennis: wijsheid in woorden ........................................................................ 44
Pragmatiek ..................................................................................................................................... 44
Wereldkennis .................................................................................................................................. 45
Hoe leert een computer taal? .............................................................................. 45
Van regels tot taalbegrip: een regelgebaseerde aanpak .......................................................... 45
Een corpus vol kennis: leren uit data ............................................................................................... 45
1. Data: het belang van geschikte corpora ......................................................................... 46
Taak: verschillende benaderingen voor machinelearning ...................................................... 47
Automatische vertaling ......................................................................................... 50
Regelgebaseerde taalsystemen...................................................................................................... 51
Syntactische analyse .................................................................................................................... 51
Vauquois triangle........................................................................................................................... 51
Datagebaseerde systemen.............................................................................................................. 52
Netwerken met duizenden verbindingen ....................................................................................... 53
Verbanden tussen woorden ............................................................................................................. 54
Van spraak naar spraak.................................................................................................................... 54
Automatische spraakherkenning ................................................................................................ 55
Spraaksynthese .............................................................................................................................. 55
Chatbots ................................................................................................................. 55
Digitale assistenten: architectuur ................................................................................................ 56
Het prille begin: Turing en weizenbaum .......................................................................................... 57
Turning: turningtest ........................................................................................................................ 57
Weizenbaum: ELIZA ....................................................................................................................... 57
Parry-Chatbot ................................................................................................................................ 57
, ELIZA-effect..................................................................................................................................... 57
Chitchat .......................................................................................................................................... 57
Patronen of data ............................................................................................................................... 58
Je chatbot als compagnon de route ............................................................................................. 59
Automatische tekstgeneratie ............................................................................... 59
Een generiek taalmodel bouwen .................................................................................................... 60
Large Language Models .............................................................................................................. 60
Generative pre-trained transformer (GPT) ................................................................................. 61
Woordvectoren ............................................................................................................................. 64
Aandachtsmechanisme ............................................................................................................... 64
Van taalmodel naar tekstgenerator ............................................................................................... 65
Finetuning ....................................................................................................................................... 65
Taalmodellen straffen en belonen .................................................................................................. 66
Beperkingen en uitdagingen ........................................................................................................... 66
Wat is goed en slecht gebruik? ................................................................................................... 67
Ethiek ....................................................................................................................... 68
Data..................................................................................................................................................... 69
Bias .................................................................................................................................................. 69
Statistische discriminatie.................................................................................................................... 69
Bias overkomen ............................................................................................................................. 70
Hoe komen bedrijven aan data? .................................................................................................... 70
Privacybewaking ............................................................................................................................... 70
Aanbevelingsalgorithmes ................................................................................................................. 70
Fake news ........................................................................................................................................... 71
AI-technologie inclusiever maken ................................................................................................... 71
Ook kansen met taaltechnologie ............................................................................................... 71
Rechtvaardigheid en transparantie ................................................................................................ 71
Verantwoordelijkheid .................................................................................................................... 71
Transparantie ................................................................................................................................. 71
Richtlijnen UNESCO 2021 ................................................................................................................... 71
Respect voor milieu ........................................................................................................................... 72
Oefeningen computationele syntaxis ................................................................. 72
Identificeren van constituenten ....................................................................................................... 72
Herkennen van zinnen gegeven een lexicon en grammatica.................................................... 73
Genereren van zinnen gegeven een lexicon en grammatica ................................................... 76
, Schrijven van een lexicon en grammatica .................................................................................... 77
Oefeningen computationele fonetiek en fonologie .......................................... 79
Analyseer de gegeven spectrogrammen en golfvormrepresentaties ....................................... 79
Analyseren van klanken .................................................................................................................... 79
Analyseren van woorden.................................................................................................................. 84
Oefeningen semantiek ..................................................................................................................... 95
Bepaal de semantische gelijkenis van woorden gegeven een co-occurrentiematrix ............ 95
Bepaal de semantische gelijkenis van enkele woorden gegeven een co-occurrentiematrix 95
Oefeningen taaltechnologie ................................................................................ 96
Neurale netwerken ............................................................................................................................ 96
Zelfstudie oefeningen .......................................................................................... 101
