Machine Learning and Pattern Recognition - Full Course

Machine Learning and
Pattern Recognition


Course taught by Prof.

Sandro Cumani


Based on the notes of

Davide Carletto




Politecnico di Torino
MSc in Computer Engineering -
Artificial Intelligence and Data Analytics




Course ID: 01URTOV
A.Y. 2024-25

,2




2

,Contents 3




Contents

1 Dimensionality Reduction 5
1.1 PCA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2 LDA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3 PCA as a Preprocessing Step . . . . . . . . . . . . . . . . . . . . 12

2 Generative Gaussian Models 13
2.1 Multivariate Gaussian Classifier . . . . . . . . . . . . . . . . . . . 13
2.1.1 Model assumptions . . . . . . . . . . . . . . . . . . . . . . 13
2.1.2 Estimation of the model parameters . . . . . . . . . . . . 14
2.1.3 Classification . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.2 Naive Bayes Classifier . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2.1 Model assumptions . . . . . . . . . . . . . . . . . . . . . . 19
2.2.2 Estimation of the model parameters . . . . . . . . . . . . 20
2.2.3 Classification . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.3 Tied Gaussian Classifier . . . . . . . . . . . . . . . . . . . . . . . 21
2.3.1 Model assumptions . . . . . . . . . . . . . . . . . . . . . . 21
2.3.2 Estimation of the model marameters . . . . . . . . . . . . 22
2.3.3 Classification . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

3 Generative Multinomial Models 25
3.1 Model assumptions . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.2 Estimation of the model parameters . . . . . . . . . . . . . . . . 26
3.3 Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

4 Bayes Decision And Model Evaluation 29
4.1 Apply DCF for classification tasks . . . . . . . . . . . . . . . . . 33

5 Logistic Regression 35
5.1 Model assumptions . . . . . . . . . . . . . . . . . . . . . . . . . . 35
5.2 Estimation of the model parameters . . . . . . . . . . . . . . . . 36
5.3 Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
5.4 Limitations of LR . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

3

, 4 Contents


6 Support Vector Machine 47
6.1 Model assumptions . . . . . . . . . . . . . . . . . . . . . . . . . . 47
6.2 Estimation of model parameters . . . . . . . . . . . . . . . . . . . 47

7 GMM – Gaussian Mixture Model 57
7.1 Model assumptions . . . . . . . . . . . . . . . . . . . . . . . . . . 58
7.2 Estimation of model parameters . . . . . . . . . . . . . . . . . . . 58
7.3 Cluster Initialization for GMM . . . . . . . . . . . . . . . . . . . 63
7.4 GMMs for Open-Set Recognition . . . . . . . . . . . . . . . . . . 65

8 Score Calibration and Fusion 67
8.1 Calibration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
8.2 Fusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70




4