Notes on Mathematics - 1021
Peeyush Chandra, A. K. Lal, V. Raghavendra, G. Santhanam
1
Supported by a grant from MHRD
,2
,Contents
I Linear Algebra 7
1 Matrices 9
1.1 Definition of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.1.1 Special Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2 Operations on Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2.1 Multiplication of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.3 Some More Special Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.3.1 Submatrix of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.3.1 Block Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.4 Matrices over Complex Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2 Linear System of Equations 19
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2 Definition and a Solution Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.1 A Solution Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.3 Row Operations and Equivalent Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.3.1 Gauss Elimination Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.4 Row Reduced Echelon Form of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.4.1 Gauss-Jordan Elimination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.4.2 Elementary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.5 Rank of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.6 Existence of Solution of Ax = b . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.6.1 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.6.2 Main Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.6.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.7 Invertible Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.7.1 Inverse of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.7.2 Equivalent conditions for Invertibility . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.7.3 Inverse and Gauss-Jordan Method . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.8 Determinant . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
2.8.1 Adjoint of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
2.8.2 Cramer’s Rule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
2.9 Miscellaneous Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3 Finite Dimensional Vector Spaces 49
3.1 Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.1.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.1.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3
, 4 CONTENTS
3.1.3 Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.1.4 Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.2 Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.3 Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.3.1 Important Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.4 Ordered Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
4 Linear Transformations 69
4.1 Definitions and Basic Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
4.2 Matrix of a linear transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.3 Rank-Nullity Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.4 Similarity of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
5 Inner Product Spaces 87
5.1 Definition and Basic Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
5.2 Gram-Schmidt Orthogonalisation Process . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
5.3 Orthogonal Projections and Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
5.3.1 Matrix of the Orthogonal Projection . . . . . . . . . . . . . . . . . . . . . . . . . . 103
6 Eigenvalues, Eigenvectors and Diagonalization 107
6.1 Introduction and Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
6.2 diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
6.3 Diagonalizable matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
6.4 Sylvester’s Law of Inertia and Applications . . . . . . . . . . . . . . . . . . . . . . . . . . 121
II Ordinary Differential Equation 129
7 Differential Equations 131
7.1 Introduction and Preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
7.2 Separable Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
7.2.1 Equations Reducible to Separable Form . . . . . . . . . . . . . . . . . . . . . . . . 134
7.3 Exact Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
7.3.1 Integrating Factors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
7.4 Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
7.5 Miscellaneous Remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
7.6 Initial Value Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
7.6.1 Orthogonal Trajectories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
7.7 Numerical Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
8 Second Order and Higher Order Equations 153
8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
8.2 More on Second Order Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
8.2.1 Wronskian . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
8.2.2 Method of Reduction of Order . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
8.3 Second Order equations with Constant Coefficients . . . . . . . . . . . . . . . . . . . . . . 160
8.4 Non Homogeneous Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
8.5 Variation of Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
8.6 Higher Order Equations with Constant Coefficients . . . . . . . . . . . . . . . . . . . . . . 166
Peeyush Chandra, A. K. Lal, V. Raghavendra, G. Santhanam
1
Supported by a grant from MHRD
,2
,Contents
I Linear Algebra 7
1 Matrices 9
1.1 Definition of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.1.1 Special Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2 Operations on Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2.1 Multiplication of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.3 Some More Special Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.3.1 Submatrix of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.3.1 Block Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.4 Matrices over Complex Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2 Linear System of Equations 19
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2 Definition and a Solution Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.1 A Solution Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.3 Row Operations and Equivalent Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.3.1 Gauss Elimination Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.4 Row Reduced Echelon Form of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.4.1 Gauss-Jordan Elimination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.4.2 Elementary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.5 Rank of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.6 Existence of Solution of Ax = b . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.6.1 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.6.2 Main Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.6.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.7 Invertible Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.7.1 Inverse of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.7.2 Equivalent conditions for Invertibility . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.7.3 Inverse and Gauss-Jordan Method . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.8 Determinant . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
2.8.1 Adjoint of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
2.8.2 Cramer’s Rule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
2.9 Miscellaneous Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3 Finite Dimensional Vector Spaces 49
3.1 Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.1.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.1.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3
, 4 CONTENTS
3.1.3 Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.1.4 Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.2 Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.3 Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.3.1 Important Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.4 Ordered Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
4 Linear Transformations 69
4.1 Definitions and Basic Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
4.2 Matrix of a linear transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.3 Rank-Nullity Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.4 Similarity of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
5 Inner Product Spaces 87
5.1 Definition and Basic Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
5.2 Gram-Schmidt Orthogonalisation Process . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
5.3 Orthogonal Projections and Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
5.3.1 Matrix of the Orthogonal Projection . . . . . . . . . . . . . . . . . . . . . . . . . . 103
6 Eigenvalues, Eigenvectors and Diagonalization 107
6.1 Introduction and Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
6.2 diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
6.3 Diagonalizable matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
6.4 Sylvester’s Law of Inertia and Applications . . . . . . . . . . . . . . . . . . . . . . . . . . 121
II Ordinary Differential Equation 129
7 Differential Equations 131
7.1 Introduction and Preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
7.2 Separable Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
7.2.1 Equations Reducible to Separable Form . . . . . . . . . . . . . . . . . . . . . . . . 134
7.3 Exact Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
7.3.1 Integrating Factors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
7.4 Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
7.5 Miscellaneous Remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
7.6 Initial Value Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
7.6.1 Orthogonal Trajectories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
7.7 Numerical Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
8 Second Order and Higher Order Equations 153
8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
8.2 More on Second Order Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
8.2.1 Wronskian . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
8.2.2 Method of Reduction of Order . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
8.3 Second Order equations with Constant Coefficients . . . . . . . . . . . . . . . . . . . . . . 160
8.4 Non Homogeneous Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
8.5 Variation of Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
8.6 Higher Order Equations with Constant Coefficients . . . . . . . . . . . . . . . . . . . . . . 166
