Cochran's theorem

Cochran's theorem In statistics, Cochran's theorem, devised by William G. Cochran,[1] is a theorem used to justify results relating to the probability distributions of statistics that are used in the analysis of variance.[2] Conteúdo 1 Declaração 1.1 Prova 2 Exemplos 2.1 Sample mean and sample variance 2.2 Distributions 2.3 Estimation of variance 3 Alternative formulation 4 Veja também 5 References Statement Let U1, ..., UN be i.i.d. standard normally distributed random variables, e {estilo de exibição U=[VOCÊ_{1},...,VOCÊ_{N}]^{T}} . Deixar {estilo de exibição B^{(1)},B^{(2)},ldots ,B^{(k)}} be symmetric matrices. Define ri to be the rank of {estilo de exibição B^{(eu)}} . Definir {displaystyle Q_{eu}=U^{T}B^{(eu)}você} , so that the Qi are quadratic forms. Further assume {soma de estilo de exibição _{eu}Q_{eu}=U^{T}você} .

Cochran's theorem states that the following are equivalent: {estilo de exibição r_{1}+cdots +r_{k}=N} , the Qi are independent each Qi has a chi-squared distribution with ri degrees of freedom.[1][3] Often it's stated as {soma de estilo de exibição _{eu}UMA_{eu}=A} , Onde {estilo de exibição A} is idempotent, e {soma de estilo de exibição _{eu}r_{eu}=N} is replaced by {soma de estilo de exibição _{eu}r_{eu}=rank(UMA)} . But after an orthogonal transform, {displaystyle A=diag(EU_{M},0)} , and so we reduce to the above theorem.

Proof Claim: Deixar {estilo de exibição X} be a standard Gaussian in {estilo de exibição mathbb {R} ^{n}} , then for any symmetric matrices {estilo de exibição Q,Q'} , E se {estilo de exibição X^{T}QX} e {estilo de exibição X^{T}Q'X} have the same distribution, então {estilo de exibição Q,Q'} have the same eigenvalues (up to multiplicity).

Prova: Let the eigenvalues of {estilo de exibição Q} be {lambda de estilo de exibição _{1},...,lambda _{n}} , then calculate the characteristic function of {estilo de exibição X^{T}QX} . It comes out to be {estilo de exibição phi (t)= esquerda(prod _{j}(1-2ilambda _{j}t)certo)^{-1/2}} (To calculate it, first diagonalize {estilo de exibição Q} , change into that frame, then use the fact that the characteristic function of the sum of independent variables is the product of their characteristic functions.) Por {estilo de exibição X^{T}QX} e {estilo de exibição X^{T}Q'X} to be equal, their characteristic functions must be equal, assim {estilo de exibição Q,Q'} have the same eigenvalues (up to multiplicity).

Claim: {displaystyle I=sum _{eu}B_{eu}} .

Prova: {estilo de exibição U^{T}(I-sum _{eu}B_{eu})U=0} . Desde {estilo de exibição (I-sum _{eu}B_{eu})} is symmetric, e {estilo de exibição U^{T}(I-sum _{eu}B_{eu})U=^{d}U^{T}0você} , by the previous claim, {estilo de exibição (I-sum _{eu}B_{eu})} has the same eigenvalues as 0.

Lema: Se {soma de estilo de exibição _{eu}M_{eu}=eu} , all {estilo de exibição M_{eu}} symmetric, and have eigenvalues 0, 1, then they are simultaneously diagonalizable.

Fix i, and consider the eigenvectors v of {estilo de exibição M_{eu}} de tal modo que {estilo de exibição M_{eu}v=v} . Then we have {displaystyle v^{T}v=v^{T}Iv=v^{T}v+sum _{jneq i}v^{T}M_{j}v} , so all {displaystyle v^{T}M_{j}v=0} . Thus we obtain a split of {estilo de exibição mathbb {R} ^{N}} em {displaystyle Voplus V^{criminoso }} , such that V is the 1-eigenspace of {estilo de exibição M_{eu}} , and in the 0-eigenspaces of all other {estilo de exibição M_{j}} . Now induct by moving into {estilo de exibição V^{criminoso }} .

Caso: All {displaystyle Q_{eu}} are independent Fix some {estilo de exibição eu} , definir {estilo de exibição C_{eu}=I-B_{eu}=soma _{jneq i}B_{j}} , and diagonalize {estilo de exibição B_{eu}} by an orthogonal transform {estilo de exibição O} . Then consider {displaystyle OC_{eu}O^{T}=I-OB_{eu}O^{T}} . It is diagonalized as well.

Deixar {displaystyle W=OU} , then it is also standard Gaussian. Then we have {displaystyle Q_{eu}=W^{T}(OB_{eu}O^{T})C;quad sum _{jneq i}Q_{j}=W^{T}(I-OB_{eu}O^{T})C} Inspect their diagonal entries, to see that {displaystyle Q_{eu}perp sum _{jneq i}Q_{j}} implies that their nonzero diagonal entries are disjoint.

Thus all eigenvalues of {estilo de exibição B_{eu}} são 0, 1, assim {displaystyle Q_{eu}} é um {displaystyle chi ^{2}} dist with {estilo de exibição r_{eu}} degrees of freedom.

Caso: Cada {displaystyle Q_{eu}} é um {displaystyle chi ^{2}(r_{eu})} distribuição.

Fix any {estilo de exibição eu} , diagonalize it by orthogonal transform {estilo de exibição O} , and reindex, de modo a {displaystyle OB_{eu}O^{T}=diag(lambda _{1},...,lambda _{r_{eu}},0,...,0)} . Então {displaystyle Q_{eu}=soma _{j}lambda _{j}{U'}_{j}^{2}} para alguns {displaystyle U'_{j}} , a spherical rotation of {estilo de exibição U_{eu}} .

Desde {displaystyle Q_{eu}sim chi ^{2}(r_{eu})} , we get all {lambda de estilo de exibição _{j}=1} . So all {estilo de exibição B_{eu}succeq 0} , and have eigenvalues {estilo de exibição 0,1} .

So diagonalize them simultaneously, add them up, to find {soma de estilo de exibição _{eu}r_{eu}=N} .

Caso: {estilo de exibição r_{1}+cdots +r_{k}=N} We first show that the matrices B(eu) can be simultaneously diagonalized by an orthogonal matrix and that their non-zero eigenvalues are all equal to +1. Once that's shown, take this orthogonal transform to this simultaneous eigenbasis, in which the random vector {estilo de exibição [VOCÊ_{1},...,VOCÊ_{N}]^{T}} becomes {estilo de exibição [U'_{1},...,U'_{N}]^{T}} , but all {estilo de exibição U_{eu}'} are still independent and standard Gaussian. Then the result follows.

Each of the matrices B(eu) has rank ri and thus ri non-zero eigenvalues. For each i, a soma {estilo de exibição C^{(eu)}equiv sum _{jneq i}B^{(j)}} has at most rank {soma de estilo de exibição _{jneq i}r_{j}=N-r_{eu}} . Desde {estilo de exibição B^{(eu)}+C^{(eu)}=I_{Ntimes N}} , it follows that C(eu) has exactly rank N − ri.

Therefore B(eu) e C(eu) can be simultaneously diagonalized. This can be shown by first diagonalizing B(eu), by the spectral theorem. In this basis, it is of the form: {estilo de exibição {começar{bmatriz}lambda _{1}&0&0&cdots &cdots &&0\0&lambda _{2}&0&cdots &cdots &&0\0&0&ddots &&&&vdots \vdots &vdots &&lambda _{r_{eu}}&&\vdots &vdots &&&0&\0&vdots &&&&ddots \0&0&ldots &&&&0end{bmatriz}}.} Thus the lower {estilo de exibição (N-r_{eu})} rows are zero. Desde {estilo de exibição C^{(eu)}=I-B^{(eu)}} , it follows that these rows in C(eu) in this basis contain a right block which is a {estilo de exibição (N-r_{eu})vezes (N-r_{eu})} unit matrix, with zeros in the rest of these rows. But since C(eu) has rank N − ri, it must be zero elsewhere. Thus it is diagonal in this basis as well. It follows that all the non-zero eigenvalues of both B(eu) e C(eu) são +1. This argument applies for all i, thus all B(eu) are positive semidefinite.

Além disso, the above analysis can be repeated in the diagonal basis for {estilo de exibição C^{(1)}=B^{(2)}+soma _{j>2}B^{(j)}} . In this basis {estilo de exibição C^{(1)}} is the identity of an {estilo de exibição (N-r_{1})vezes (N-r_{1})} vector space, so it follows that both B(2) e {soma de estilo de exibição _{j>2}B^{(j)}} are simultaneously diagonalizable in this vector space (and hence also together with B(1)). By iteration it follows that all B-s are simultaneously diagonalizable.

Thus there exists an orthogonal matrix {estilo de exibição S} tal que para todos {estilo de exibição eu} , {estilo de exibição S^{matemática {T} }B^{(eu)}Sequiv B^{(eu)melhor }} is diagonal, where any entry {estilo de exibição B_{x,y}^{(eu)melhor }} with indices {estilo de exibição x=y} , {soma de estilo de exibição _{j=1}^{i-1}r_{j}

Se você quiser conhecer outros artigos semelhantes a Cochran's theorem você pode visitar a categoria Characterization of probability distributions.