Applied Linear Algebra
Fall 2015 Edition
by
Jason Terry
17 August 2015
,
,Table of Contents
Preface vii
1 Preliminaries 1
1.1 Logic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.1.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.1.2 Answers for Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2 Set Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.2 Answers for Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3 Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3.2 Answers for Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2 Matrices 11
2.1 Gaussian Elimination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.1.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.1.2 Answers for Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.2 Matrix Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2.2 Answers for Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.3 Matrix Algebra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.3.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.3.2 Answers for Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.4 Inverse Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.4.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.4.2 Answers for Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.5 LU Factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.5.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.5.2 Answers for Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.6 Determinants and Their Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.6.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.6.2 Answers for Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
, iv Table of Contents
2.7 Adjoint Matrices and Cramer’s Rule . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.7.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.7.2 Answers for Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3 Vector Spaces 27
3.1 Vector Spaces and Their Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.1.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.1.2 Answers for Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.2 Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.2.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.2.2 Answers for Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.3 Spanning Sets and Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . 32
3.3.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.3.2 Answers for Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.4 Basis and Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.4.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.4.2 Answers for Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.5 Row Space, Column Space, and Null Space . . . . . . . . . . . . . . . . . . . . . . 36
3.5.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.5.2 Answers for Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.6 Change of Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.6.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.6.2 Answers for Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4 Inner Product Spaces 41
4.1 Inner Product Spaces and Their Properties . . . . . . . . . . . . . . . . . . . . . . 42
4.1.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
4.1.2 Answers for Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.2 Orthogonality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
4.2.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
4.2.2 Answers for Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.3 The Gram-Schmidt Process and QR Factorization . . . . . . . . . . . . . . . . . . 46
4.3.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
4.3.2 Answers for Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.4 Least-Squares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
4.4.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
4.4.2 Answers for Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
5 Eigenvalues and Eigenvectors 51
5.1 Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
5.1.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
5.1.2 Answers for Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
5.2 Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54