Cochran's theorem

Cochran's theorem In statistics, Cochran's theorem, devised by William G. Cochran,[1] is a theorem used to justify results relating to the probability distributions of statistics that are used in the analysis of variance.[2] Contenuti 1 Dichiarazione 1.1 Prova 2 Esempi 2.1 Sample mean and sample variance 2.2 Distributions 2.3 Estimation of variance 3 Alternative formulation 4 Guarda anche 5 References Statement Let U1, ..., UN be i.i.d. standard normally distributed random variables, e {stile di visualizzazione U=[U_{1},...,U_{N}]^{T}} . Permettere {stile di visualizzazione B^{(1)},B^{(2)},ldot ,B^{(K)}} be symmetric matrices. Define ri to be the rank of {stile di visualizzazione B^{(io)}} . Definire {stile di visualizzazione Q_{io}=U^{T}B^{(io)}u} , so that the Qi are quadratic forms. Further assume {somma dello stile di visualizzazione _{io}Q_{io}=U^{T}u} .

Cochran's theorem states that the following are equivalent: {stile di visualizzazione r_{1}+cdots +r_{K}=N} , the Qi are independent each Qi has a chi-squared distribution with ri degrees of freedom.[1][3] Often it's stated as {somma dello stile di visualizzazione _{io}UN_{io}= A} , dove {stile di visualizzazione A} is idempotent, e {somma dello stile di visualizzazione _{io}r_{io}=N} is replaced by {somma dello stile di visualizzazione _{io}r_{io}=rank(UN)} . But after an orthogonal transform, {displaystyle A=diag(IO_{M},0)} , and so we reduce to the above theorem.

Proof Claim: Permettere {stile di visualizzazione X} be a standard Gaussian in {displaystyle mathbb {R} ^{n}} , then for any symmetric matrices {stile di visualizzazione Q,Q'} , Se {stile di visualizzazione X^{T}QX} e {stile di visualizzazione X^{T}Q'X} have the same distribution, poi {stile di visualizzazione Q,Q'} have the same eigenvalues (up to multiplicity).

Prova: Let the eigenvalues of {stile di visualizzazione Q} be {displaystyle lambda _{1},...,lambda _{n}} , then calculate the characteristic function of {stile di visualizzazione X^{T}QX} . It comes out to be {stile di visualizzazione phi (t)= sinistra(pungolo _{j}(1-2ilambda _{j}t)Giusto)^{-1/2}} (To calculate it, first diagonalize {stile di visualizzazione Q} , change into that frame, then use the fact that the characteristic function of the sum of independent variables is the product of their characteristic functions.) Per {stile di visualizzazione X^{T}QX} e {stile di visualizzazione X^{T}Q'X} to be equal, their characteristic functions must be equal, Così {stile di visualizzazione Q,Q'} have the same eigenvalues (up to multiplicity).

Claim: {displaystyle I=sum _{io}B_{io}} .

Prova: {stile di visualizzazione U^{T}(I-sum _{io}B_{io})U=0} . Da {stile di visualizzazione (I-sum _{io}B_{io})} is symmetric, e {stile di visualizzazione U^{T}(I-sum _{io}B_{io})U=^{d}U^{T}0u} , by the previous claim, {stile di visualizzazione (I-sum _{io}B_{io})} has the same eigenvalues as 0.

Lemma: Se {somma dello stile di visualizzazione _{io}M_{io}= io} , all {stile di visualizzazione M_{io}} symmetric, and have eigenvalues 0, 1, then they are simultaneously diagonalizable.

Fix i, and consider the eigenvectors v of {stile di visualizzazione M_{io}} tale che {stile di visualizzazione M_{io}v=v} . Then we have {displaystyle v^{T}v=v^{T}Iv=v^{T}v+sum _{jneq i}v^{T}M_{j}v} , so all {displaystyle v^{T}M_{j}v=0} . Thus we obtain a split of {displaystyle mathbb {R} ^{N}} in {displaystyle Voplus V^{perp }} , such that V is the 1-eigenspace of {stile di visualizzazione M_{io}} , and in the 0-eigenspaces of all other {stile di visualizzazione M_{j}} . Now induct by moving into {stile di visualizzazione V^{perp }} .

Caso: All {stile di visualizzazione Q_{io}} are independent Fix some {stile di visualizzazione i} , definire {stile di visualizzazione C_{io}=I-B_{io}=somma _{jneq i}B_{j}} , and diagonalize {stile di visualizzazione B_{io}} by an orthogonal transform {stile di visualizzazione O} . Then consider {displaystyle OC_{io}O^{T}=I-OB_{io}O^{T}} . It is diagonalized as well.

Permettere {displaystyle W=OU} , then it is also standard Gaussian. Then we have {stile di visualizzazione Q_{io}=W^{T}(OB_{io}O^{T})w;quad sum _{jneq i}Q_{j}=W^{T}(I-OB_{io}O^{T})w} Inspect their diagonal entries, to see that {stile di visualizzazione Q_{io}perp sum _{jneq i}Q_{j}} implies that their nonzero diagonal entries are disjoint.

Thus all eigenvalues of {stile di visualizzazione B_{io}} sono 0, 1, Così {stile di visualizzazione Q_{io}} è un {displaystyle chi ^{2}} dist with {stile di visualizzazione r_{io}} degrees of freedom.

Caso: A testa {stile di visualizzazione Q_{io}} è un {displaystyle chi ^{2}(r_{io})} distribution.

Fix any {stile di visualizzazione i} , diagonalize it by orthogonal transform {stile di visualizzazione O} , and reindex, affinché {displaystyle OB_{io}O^{T}=diag(lambda _{1},...,lambda _{r_{io}},0,...,0)} . Quindi {stile di visualizzazione Q_{io}=somma _{j}lambda _{j}{U'}_{j}^{2}} per alcuni {displaystyle U'_{j}} , a spherical rotation of {stile di visualizzazione U_{io}} .

Da {stile di visualizzazione Q_{io}sim chi ^{2}(r_{io})} , we get all {displaystyle lambda _{j}=1} . So all {stile di visualizzazione B_{io}succeq 0} , and have eigenvalues {stile di visualizzazione 0,1} .

So diagonalize them simultaneously, add them up, to find {somma dello stile di visualizzazione _{io}r_{io}=N} .

Caso: {stile di visualizzazione r_{1}+cdots +r_{K}=N} We first show that the matrices B(io) can be simultaneously diagonalized by an orthogonal matrix and that their non-zero eigenvalues are all equal to +1. Once that's shown, take this orthogonal transform to this simultaneous eigenbasis, in which the random vector {stile di visualizzazione [U_{1},...,U_{N}]^{T}} becomes {stile di visualizzazione [U'_{1},...,U'_{N}]^{T}} , but all {stile di visualizzazione U_{io}'} are still independent and standard Gaussian. Then the result follows.

Each of the matrices B(io) has rank ri and thus ri non-zero eigenvalues. For each i, the sum {stile di visualizzazione C^{(io)}equiv sum _{jneq i}B^{(j)}} has at most rank {somma dello stile di visualizzazione _{jneq i}r_{j}=N-r_{io}} . Da {stile di visualizzazione B^{(io)}+C^{(io)}=I_{Ntimes N}} , it follows that C(io) has exactly rank N − ri.

Therefore B(io) e C(io) can be simultaneously diagonalized. This can be shown by first diagonalizing B(io), by the spectral theorem. In this basis, it is of the form: {stile di visualizzazione {inizio{bmatrice}lambda _{1}&0&0&cdots &cdots &&0\0&lambda _{2}&0&cdots &cdots &&0\0&0&ddots &&&&vdots \vdots &vdots &&lambda _{r_{io}}&&\vdots &vdots &&&0&\0&vdots &&&&ddots \0&0&ldots &&&&0end{bmatrice}}.} Thus the lower {stile di visualizzazione (N-r_{io})} rows are zero. Da {stile di visualizzazione C^{(io)}=I-B^{(io)}} , it follows that these rows in C(io) in this basis contain a right block which is a {stile di visualizzazione (N-r_{io})volte (N-r_{io})} unit matrix, with zeros in the rest of these rows. But since C(io) has rank N − ri, it must be zero elsewhere. Thus it is diagonal in this basis as well. It follows that all the non-zero eigenvalues of both B(io) e C(io) sono +1. This argument applies for all i, thus all B(io) are positive semidefinite.

Inoltre, the above analysis can be repeated in the diagonal basis for {stile di visualizzazione C^{(1)}=B^{(2)}+somma _{j>2}B^{(j)}} . In this basis {stile di visualizzazione C^{(1)}} is the identity of an {stile di visualizzazione (N-r_{1})volte (N-r_{1})} vector space, so it follows that both B(2) e {somma dello stile di visualizzazione _{j>2}B^{(j)}} are simultaneously diagonalizable in this vector space (and hence also together with B(1)). By iteration it follows that all B-s are simultaneously diagonalizable.

Thus there exists an orthogonal matrix {stile di visualizzazione S} tale che per tutti {stile di visualizzazione i} , {stile di visualizzazione S^{matematica {T} }B^{(io)}Sequiv B^{(io)primo }} is diagonal, where any entry {stile di visualizzazione B_{X,y}^{(io)primo }} with indices {stile di visualizzazione x=y} , {somma dello stile di visualizzazione _{j=1}^{i-1}r_{j}

Se vuoi conoscere altri articoli simili a Cochran's theorem puoi visitare la categoria Characterization of probability distributions.