1 Introduction 2
1.1 Motivating applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 A modern statistical perspective . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3 Organization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.4 What is not here and complementary readings . . . . . . . . . . . . . . . . . . . . . . . 9
1.5 Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2 Classical spectral analysis: `2 perturbation theory 11
2.1 Preliminaries: Distance and angles between subspaces . . . . . . . . . . . . . . . . . . . 11
2.2 Perturbation theory for eigenspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.3 Perturbation theory for singular subspaces . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.4 Eigenvector perturbation for probability transition matrices . . . . . . . . . . . . . . . . 20
2.5 Appendix A: Proofs of auxiliary lemmas in Section 2.1 . . . . . . . . . . . . . . . . . . 22
2.6 Appendix B: Basics of matrix analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.7 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3 Applications of `2 perturbation theory to data science 28
3.1 Preliminaries: Matrix tail bounds . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.2 Low-rank matrix denoising . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.3 Graph clustering and community recovery . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.4 Ranking from pairwise comparisons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.5 Principal component analysis and factor models . . . . . . . . . . . . . . . . . . . . . . 43
3.6 Clustering in Gaussian mixture models . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.7 Phase retrieval and solving quadratic systems of equations . . . . . . . . . . . . . . . . 58
3.8 Matrix completion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
3.9 Tensor completion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
3.10 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4 Fine-grained analysis: `1 and `2,1 perturbation theory 88
4.1 Leave-one-out-analysis: An illustrative example . . . . . . . . . . . . . . . . . . . . . . 89
4.2 `2,1 eigenspace perturbation under independent noise . . . . . . . . . . . . . . . . . . . 93
4.3 `2,1 singular subspace perturbation under independent noise . . . . . . . . . . . . . . . 97
4.4 Application: Entrywise guarantees for matrix completion . . . . . . . . . . . . . . . . . 98
4.5 Application: Exact community recovery . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
4.6 Appendix A: Proof of Theorem 4.2.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
4.7 Appendix B: Proof of Corollary 4.2.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
4.8 Appendix C: Proof of Theorem 4.3.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
4.9 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
5 Concluding remarks 123
Acknowledgements 125
References 126