CADC samenvatting van de lectures mét oefentoets

Uitgebreide Samenvatting over Geautomatiseerde Tekstanalyse obv de
hoorcolleges

Woordenboekbenaderingen

 Woordenboekbenaderingen classificeren tekst door te zoeken naar specifieke woorden of
woordgroepen die geassocieerd worden met een bepaald concept of sentiment.
 Een veelgebruikt voorbeeld is sentimentanalyse, waarbij positieve en negatieve woorden
worden geteld om het algemene sentiment van een tekst te bepalen.
 De bronnen benadrukken het belang van validatie bij het gebruik van
woordenboekbenaderingen. Dit houdt in dat de resultaten van de geautomatiseerde analyse
worden vergeleken met handmatig gecodeerde gegevens (de 'gouden standaard') om de
nauwkeurigheid en betrouwbaarheid te beoordelen.

Voordelen van Woordenboekbenaderingen:

 Eenvoudig te implementeren en te repliceren.
 Transparant, vooral wanneer het woordenboek wordt gedeeld.
 Efficiënt, met weinig middelen nodig.

Nadelen van Woordenboekbenaderingen:

 Lage validiteit voor complexe concepten, omdat ze gebaseerd zijn op eenvoudige
woordenlijsten.
 Vereisen mogelijk aanzienlijke voorbewerking van de tekst om ambiguïteit te verminderen.
 Moeilijk om grote woordenboeken te maken en te onderhouden.
 Kunnen vooroordelen coderen die aanwezig zijn in de gebruikte gegevens.

Machine learning-technieken:

 Machine learning-algoritmen, zoals neurale netwerken en support vector machines (SVMs),
kunnen worden getraind om tekst te classificeren op basis van een reeks gelabelde
voorbeelden.
 Deze algoritmen leren patronen in de gegevens om voorspellingen te doen over nieuwe,
ongeziene teksten.
 Word embeddings, zoals GloVe, worden gebruikt om woorden te representeren als vectoren
in een multidimensionale ruimte, waarbij woorden met vergelijkbare betekenissen dicht bij
elkaar liggen.
 Het gebruik van word embeddings kan de snelheid en prestaties van machine learning-
modellen verbeteren.

Voordelen van Machine Learning Technieken:

 Generalisatie: Machine learning modellen kunnen generaliseren naar nieuwe, ongeziene
data. Dit betekent dat ze patronen kunnen herkennen in de trainingsdata en deze kennis
kunnen toepassen op nieuwe teksten.

,  Aanpassingsvermogen: Machine learning modellen kunnen worden aangepast aan
specifieke taken en datasets. Door de parameters van het model te optimaliseren, kan de
prestatie voor een bepaalde taak worden verbeterd.
 Schaalbaarheid: Machine learning modellen kunnen worden gebruikt om zeer grote
datasets te analyseren, wat met handmatige codering onmogelijk zou zijn.

Nadelen van Machine Learning Technieken:
 Data-afhankelijkheid: De prestatie van machine learning modellen is sterk afhankelijk van
de kwaliteit en kwantiteit van de trainingsdata. Onvoldoende of vertekende trainingsdata
kan leiden tot onnauwkeurige of bevooroordeelde modellen.
 Zwarte doos: Sommige machine learning modellen, zoals neurale netwerken, zijn complexe
'zwarte dozen'. Het is moeilijk om te begrijpen hoe deze modellen tot hun voorspellingen
komen, wat de interpretatie van de resultaten kan bemoeilijken.
 Computationele kosten: Het trainen van machine learning modellen kan computationeel
duur zijn, vooral voor complexe modellen en grote datasets.

Large Language Models (LLMs):

 LLMs, zoals GPT en Llama, zijn getraind op enorme datasets en kunnen taken uitvoeren zoals
tekstgeneratie, vertaling en vraagbeantwoording.
 Ze kunnen ook worden gebruikt voor tekstanalyse, inclusief zero-shot classificatie, waarbij
het model een taak kan uitvoeren zonder specifieke training op die taak.

Belangrijke Overwegingen:

 De bronnen benadrukken het belang van het kiezen van de juiste benadering voor de
specifieke onderzoeksvraag.
 Zowel woordenboekbenaderingen als machine learning-technieken hebben hun eigen voor-
en nadelen.
 Het is belangrijk om de validiteit van geautomatiseerde tekstanalyses te evalueren en de
ethische implicaties te overwegen.

Rol van Prompt Engineering bij LLMs:
 Zero-shot, one-shot en few-shot learning: De manier waarop een taak wordt geformuleerd
in de prompt heeft invloed op de prestatie van het LLM. Zero-shot classificatie werkt soms
goed omdat het model niet te sterk gebonden is aan specifieke voorbeelden.
 Belang van context: LLMs zijn gevoelig voor de context van de prompt. Het is belangrijk om
de taak duidelijk en ondubbelzinnig te beschrijven en eventueel voorbeelden te geven.

Validatie en Evaluatie:
 Vergelijking met gouden standaard: De validiteit van geautomatiseerde tekstanalyse moet
worden geëvalueerd door de resultaten te vergelijken met een gouden standaard van
handmatig gecodeerde data. Dit helpt om de nauwkeurigheid en betrouwbaarheid van de
gebruikte methode te beoordelen.
 Prestatiematen: Verschillende prestatiematen, zoals nauwkeurigheid, precisie, recall en F1-
score, kunnen worden gebruikt om de prestatie van geautomatiseerde tekstanalyse te
kwantificeren.

Uitdagingen en Beperkingen:
 Interpreteerbaarheid: Het interpreteren van de resultaten van geautomatiseerde
tekstanalyse kan een uitdaging zijn, vooral voor complexe modellen.