Applied Multivariate Analysis

Contents 2.4 BasicMatrixOperations . . . . . . . . . . . . . . . . . . . . . . . . . . 25 a. Equality, Addition, and Multiplication of Matrices . . . . . . . . . . . 26 b. Matrix Transposition . . . . . . . . . . . . . . . . . . . . . . . . . . 28 c. Some Special Matrices . . . . . . . . . . . . . . . . . . . . . . . . . 29 d. Trace and the Euclidean Matrix Norm . . . . . . . . . . . . . . . . . 30 e. Kronecker and Hadamard Products . . . . . . . . . . . . . . . . . . . 32 f. DirectSums . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 g. The Vec(·) and Vech(·)Operators . . . . . . . . . . . . . . . . . . . . 35 2.5 Rank, Inverse, and Determinant . . . . . . . . . . . . . . . . . . . . . . . 41 a. Rank and Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 b. Generalized Inverses . . . . . . . . . . . . . . . . . . . . . . . . . . 47 c. Determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 2.6 Systems of Equations, Transformations, and Quadratic Forms . . . . . . . 55 a. Systems ofEquations . . . . . . . . . . . . . . . . . . . . . . . . . . 55 b. Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . 61 c. ProjectionTransformations . . . . . . . . . . . . . . . . . . . . . . . 63 d. Eigenvalues andEigenvectors . . . . . . . . . . . . . . . . . . . . . . 67 e. MatrixNorms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 f. Quadratic Forms and Extrema . . . . . . . . . . . . . . . . . . . . . 72 g. Generalized Projectors . . . . . . . . . . . . . . . . . . . . . . . . . 73 2.7 Limits andAsymptotics . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 3 Multivariate Distributions and the Linear Model 79 3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 3.2 Random Vectors and Matrices . . . . . . . . . . . . . . . . . . . . . . . 79 3.3 TheMultivariateNormal (MVN)Distribution . . . . . . . . . . . . . . . 84 a. Properties of the Multivariate Normal Distribution . . . . . . . . . . . 86 b. Estimating μ and  . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 c. TheMatrixNormalDistribution . . . . . . . . . . . . . . . . . . . . 90 3.4 The Chi-Square and Wishart Distributions . . . . . . . . . . . . . . . . . 93 a. Chi-Square Distribution . . . . . . . . . . . . . . . . . . . . . . . . . 93 b. TheWishartDistribution . . . . . . . . . . . . . . . . . . . . . . . . 96 3.5 OtherMultivariateDistributions . . . . . . . . . . . . . . . . . . . . . . 99 a. TheUnivariate t andFDistributions . . . . . . . . . . . . . . . . . . 99 b. Hotelling’s T 2Distribution . . . . . . . . . . . . . . . . . . . . . . . 99 c. TheBetaDistribution . . . . . . . . . . . . . . . . . . . . . . . . . . 101 d. Multivariate t, F, and χ2Distributions . . . . . . . . . . . . . . . . . 104 3.6 The General Linear Model . . . . . . . . . . . . . . . . . . . . . . . . . 106 a. Regression, ANOVA, and ANCOVA Models . . . . . . . . . . . . . . 107 b. Multivariate Regression, MANOVA, and MANCOVA Models . . . . 110 c. The Seemingly Unrelated Regression (SUR) Model . . . . . . . . . . 114 d. The General MANOVA Model (GMANOVA) . . . . . . . . . . . . . 115 3.7 Evaluating Normality . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118 3.8 Tests of Covariance Matrices . . . . . . . . . . . . . . . . . . . . . . . . 133 a. Tests of Covariance Matrices . . . . . . . . . . . . . . . . . . . . . . 133