Peter X.-K. Song----Correlated Data Analysis: Modeling, Analytics, and Applications
Peter X.-K. Song
Department of Statistics and Actuarial Science
University of Waterloo
200 University Avenue West
Waterloo, Ontario, Canada N2L 3G1
Contents
Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . vii
1 Introduction and Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 Correlated Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Longitudinal Data Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Data Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3.1 Indonesian Children’s Health Study. . . . . . . . . . . . . . . . . . 6
1.3.2 Epileptic Seizures Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.3 Retinal Surgery Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.3.4 Orientation of Sandhoppers . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3.5 Schizophrenia Clinical Trial . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.3.6 Multiple Sclerosis Trial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.3.7 Tretinoin Emollient Cream Trial . . . . . . . . . . . . . . . . . . . . 13
1.3.8 Polio Incidences in USA. . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.3.9 Tokyo Rainfall Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.3.10 Prince George Air Pollution Study. . . . . . . . . . . . . . . . . . . 16
1.4 Remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.5 Outline of Subsequent Chapters . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2 Dispersion Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.2 Dispersion Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.2.1 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.2.2 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.3 Exponential Dispersion Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.4 Residuals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.5 Tweedie Class . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.6 Maximum Likelihood Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.6.1 General Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.6.2 MLE in the ED Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.6.3 MLE in the Simplex GLM. . . . . . . . . . . . . . . . . . . . . . . . . . 42
xii Contents
2.6.4 MLE in the von Mises GLM . . . . . . . . . . . . . . . . . . . . . . . . 49
3 Inference Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.2 Quasi-Likelihood Inference in GLMs . . . . . . . . . . . . . . . . . . . . . . . 56
3.3 Preliminaries. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.4 Optimal Inference Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.5 Multi-Dimensional Inference Functions . . . . . . . . . . . . . . . . . . . . . 65
3.6 Generalized Method of Moments . . . . . . . . . . . . . . . . . . . . . . . . . . 68
4 Modeling Correlated Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
4.2 Quasi-Likelihood Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.3 Conditional Modeling Approaches . . . . . . . . . . . . . . . . . . . . . . . . . 80
4.3.1 Latent Variable Based Approach . . . . . . . . . . . . . . . . . . . . 80
4.3.2 Transitional Model Based Approach . . . . . . . . . . . . . . . . . 82
4.4 Joint Modeling Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
5 Marginal Generalized Linear Models . . . . . . . . . . . . . . . . . . . . . . . 87
5.1 Model Formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
5.2 GEE: Generalized Estimating Equations. . . . . . . . . . . . . . . . . . . . 89
5.2.1 General Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
5.2.2 Some Special Cases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
5.2.3 Wald Test for Nested Models . . . . . . . . . . . . . . . . . . . . . . . 95
5.3 GEE2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.3.1 Constant Dispersion Parameter . . . . . . . . . . . . . . . . . . . . . 96
5.3.2 Varying Dispersion Parameter . . . . . . . . . . . . . . . . . . . . . . 100
5.4 Residual Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
5.4.1 Checking Distributional Assumption . . . . . . . . . . . . . . . . . 102
5.4.2 Checking Constant Dispersion Assumption . . . . . . . . . . . 102
5.4.3 Checking Link Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
5.4.4 Checking Working Correlation . . . . . . . . . . . . . . . . . . . . . . 102
5.5 Quadratic Inference Functions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
5.6 Implementation and Softwares . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
5.6.1 Newton-Scoring Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . 106
5.6.2 SAS PROC GENMOD. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
5.6.3 SAS MACRO QIF. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
5.7 Examples. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
5.7.1 Longitudinal Binary Data . . . . . . . . . . . . . . . . . . . . . . . . . . 110
5.7.2 Longitudinal Count Data . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
5.7.3 Longitudinal Proportional Data . . . . . . . . . . . . . . . . . . . . . 116
Contents xiii
6 Vector Generalized Linear Models . . . . . . . . . . . . . . . . . . . . . . . . . 121
7 Mixed-Effects Models: Likelihood-Based Inference . . . . . . . . . 157
8 Mixed-Effects Models: Bayesian Inference . . . . . . . . . . . . . . . . . 195
9 LinearPredictors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
10 Generalized State Space Models . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
11 Generalized State Space Models for Longitudinal
Binomial Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
12 Generalized State Space Models for Longitudinal Count
Data. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
13 Missing Data in Longitudinal Studies . . . . . . . . . . . . . . . . . . . . . . 291
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343