Théorème de Rao-Blackwell

Théorème de Rao-Blackwell Cet article nécessite des citations supplémentaires pour vérification. Aidez-nous à améliorer cet article en ajoutant des citations à des sources fiables. Le matériel non sourcé peut être contesté et supprimé. Trouver des sources: "Théorème de Rao-Blackwell" – actualités · journaux · livres · universitaires · JSTOR (Peut 2014) (Découvrez comment et quand supprimer ce modèle de message) Dans les statistiques, le théorème de Rao-Blackwell, parfois appelé théorème de Rao – Blackwell – Kolmogorov, est un résultat qui caractérise la transformation d'un estimateur arbitrairement grossier en un estimateur optimal par le critère de l'erreur quadratique moyenne ou l'un quelconque d'une variété de critères similaires.

Le théorème de Rao-Blackwell stipule que si g(X) est tout type d'estimateur d'un paramètre θ, alors l'espérance conditionnelle de g(X) donné T(X), où T est une statistique suffisante, est typiquement un meilleur estimateur de θ, et n'est jamais pire. Parfois, on peut très facilement construire un estimateur très grossier g(X), puis évaluez cette valeur attendue conditionnelle pour obtenir un estimateur qui est à divers égards optimal.

Le théorème porte le nom de Calyampudi Radhakrishna Rao et David Blackwell. Le processus de transformation d'un estimateur à l'aide du théorème de Rao – Blackwell est parfois appelé Rao – Blackwellization. L'estimateur transformé est appelé estimateur de Rao-Blackwell.[1][2][3] Contenu 1 Définitions 2 Le théorème 2.1 Version erreur quadratique moyenne 2.2 Généralisation des pertes convexes 3 Propriétés 4 Exemple 5 Idempotence 6 Complétude et variance minimale de Lehmann – Scheffé 7 Voir également 8 Références 9 Liens externes Définitions Un estimateur δ(X) est une variable aléatoire observable (c'est à dire. une statistique) utilisé pour estimer une quantité non observable. Par exemple, on peut être incapable d'observer la taille moyenne de tous les étudiants masculins à l'Université de X, mais on peut observer les hauteurs d'un échantillon aléatoire de 40 d'eux. La taille moyenne de ces 40-la "moyenne de l'échantillon"— peut être utilisé comme estimateur de l'inobservable "moyenne de la population". Une statistique T suffisante(X) est une statistique calculée à partir des données X pour estimer un paramètre θ pour lequel aucune autre statistique pouvant être calculée à partir des données X ne fournit d'informations supplémentaires sur θ. Il est défini comme une variable aléatoire observable telle que la distribution de probabilité conditionnelle de toutes les données observables X étant donné T(X) ne dépend pas du paramètre non observable θ, comme la moyenne ou l'écart-type de l'ensemble de la population à partir de laquelle les données X ont été extraites. Dans les exemples les plus fréquemment cités, la "inobservable" les grandeurs sont des paramètres qui paramétrisent une famille connue de distributions de probabilité selon lesquelles les données sont distribuées. Autrement dit, une statistique T suffisante(X) pour un paramètre θ est une statistique telle que la distribution conditionnelle des données X, donné T(X), ne dépend pas du paramètre θ. Un estimateur de Rao–Blackwell δ1(X) d'une quantité non observable θ est l'espérance conditionnelle E(ré(X) | J(X)) d'un estimateur δ(X) étant donné une statistique T suffisante(X). Appel d(X) la "estimateur d'origine" et δ1(X) la "estimateur amélioré". Il est important que l'estimateur amélioré soit observable, c'est à dire. qu'il ne dépend pas de θ. Généralement, la valeur attendue conditionnelle d'une fonction de ces données compte tenu d'une autre fonction de ces données dépend de θ, mais la définition même de la suffisance donnée ci-dessus implique que celle-ci ne. L'erreur quadratique moyenne d'un estimateur est la valeur attendue du carré de son écart par rapport à la quantité non observable estimée de θ. Le théorème Version erreur quadratique moyenne Un cas d'états du théorème de Rao – Blackwell: L'erreur quadratique moyenne de l'estimateur Rao – Blackwell ne dépasse pas celle de l'estimateur d'origine.

Autrement dit, {nom de l'opérateur de style d'affichage {E} ((delta _{1}(X)-thêta )^{2})leq nomopérateur {E} ((delta (X)-thêta )^{2}).} Les outils essentiels de la preuve en plus de la définition ci-dessus sont la loi de l'espérance totale et le fait que pour toute variable aléatoire Y, E(Y2) ne peut être inférieur à [E(Oui)]2. Cette inégalité est un cas de l'inégalité de Jensen, bien qu'il puisse également être démontré qu'il découle instantanément du fait fréquemment mentionné que {style d'affichage 0leq nom de l'opérateur {A été} (Oui)=nomopérateur {E} ((Y-nomopérateur {E} (Oui))^{2})=nomopérateur {E} (Oui ^{2})-(nom de l'opérateur {E} (Oui))^{2}.} Plus précisément, l'erreur quadratique moyenne de l'estimateur Rao-Blackwell a la décomposition suivante[4] {nom de l'opérateur de style d'affichage {E} [(delta _{1}(X)-thêta )^{2}]=nomopérateur {E} [(delta (X)-thêta )^{2}]-nom de l'opérateur {E} [nom de l'opérateur {A été} (delta (X)mi T(X))]} Depuis {nom de l'opérateur de style d'affichage {E} [nom de l'opérateur {A été} (delta (X)mi T(X))]gq 0} , le théorème de Rao-Blackwell suit immédiatement.

Généralisation de la perte convexe La version plus générale du théorème de Rao-Blackwell parle de la "perte attendue" ou fonction de risque: {nom de l'opérateur de style d'affichage {E} (L(delta _{1}(X)))leq nomopérateur {E} (L(delta (X)))} où le "fonction de perte" L peut être n'importe quelle fonction convexe. Si la fonction de perte est deux fois différentiable, comme dans le cas de l'erreur quadratique moyenne, alors on a l'inégalité la plus forte[4] {nom de l'opérateur de style d'affichage {E} (L(delta (X)))-nom de l'opérateur {E} (L(delta _{1}(X)))gq {frac {1}{2}}nom de l'opérateur {E} _{J}la gauche[inf _{X}L''(X)nom de l'opérateur {A été} (delta (X)mi T)droit].} Propriétés L'estimateur amélioré est sans biais si et seulement si l'estimateur d'origine est sans biais, comme on peut le voir immédiatement en utilisant la loi de l'espérance totale. Le théorème est valable, que des estimateurs biaisés ou non biaisés soient utilisés.

Le théorème semble très faible: il dit seulement que l'estimateur Rao – Blackwell n'est pas pire que l'estimateur d'origine. En pratique, toutefois, l'amélioration est souvent énorme.[5] Exemple Les appels téléphoniques arrivent à un standard selon un processus de Poisson à un débit moyen de λ par minute. Ce taux n'est pas observable, mais les nombres X1, ..., Xn d'appels téléphoniques arrivés pendant n périodes successives d'une minute sont observés. On souhaite estimer la probabilité e−λ que la prochaine période d'une minute passe sans appels téléphoniques.

Un estimateur extrêmement grossier de la probabilité souhaitée est {delta de style d'affichage _{0}=gauche{{commencer{matrice}1&{texte{si}} X_{1}=0,\0&{texte{Par ailleurs,}}fin{matrice}}droite.} c'est à dire., il estime cette probabilité à 1 si aucun appel téléphonique n'est arrivé dans la première minute et zéro sinon. Malgré les limites apparentes de cet estimateur, le résultat donné par son Rao–Blackwellisation est un très bon estimateur.

La somme {style d'affichage S_{n}=somme _{je=1}^{n}X_{je}=X_{1}+cdots +X_{n}} peut être facilement montré comme étant une statistique suffisante pour λ, c'est à dire., la distribution conditionnelle des données X1, ..., Xn, ne dépend de λ que par cette somme. Par conséquent, on trouve l'estimateur de Rao–Blackwell {delta de style d'affichage _{1}=nomopérateur {E} (delta _{0}milieu S_{n}=s_{n}).} Après avoir fait un peu d'algèbre, nous avons {style d'affichage {commencer{aligné}delta _{1}&=operatorname {E} la gauche(mathbf {1} _{{X_{1}=0}}{Bigg |}somme _{je=1}^{n}X_{je}=s_{n}droit)\&=Pleft(X_{1}=0{Bigg |}somme _{je=1}^{n}X_{je}=s_{n}droit)\&=Pleft(X_{1}=0,somme _{je=2}^{n}X_{je}=s_{n}droit)fois Pleft(somme _{je=1}^{n}X_{je}=s_{n}droit)^{-1}\&=e^{-lambda }{frac {la gauche((n-1)lambda droite)^{s_{n}}e ^{-(n-1)lambda }}{s_{n}!}}temps restant({frac {(nlambda )^{s_{n}}e ^{-nlambda }}{s_{n}!}}droit)^{-1}\&={frac {la gauche((n-1)lambda droite)^{s_{n}}e ^{-nlambda }}{s_{n}!}}fois {frac {s_{n}!}{(nlambda )^{s_{n}}e ^{-nlambda }}}\&=left(1-{frac {1}{n}}droit)^{s_{n}}fin{aligné}}} Comme le nombre moyen d'appels arrivant pendant les n premières minutes est nλ, on pourrait ne pas être surpris si cet estimateur a une probabilité assez élevée (si n est grand) d'être proche de {style d'affichage à gauche(1-{1 sur n}droit)^{nlambda }environ e ^{-lambda }.} Donc δ1 est clairement un estimateur très amélioré de cette dernière quantité. En réalité, puisque Sn est complet et δ0 est sans biais, δ1 est l'unique estimateur sans biais de la variance minimale par le théorème de Lehmann – Scheffé.

Idempotence Rao–Blackwellization est une opération idempotente. L'utiliser pour améliorer l'estimateur déjà amélioré n'obtient pas d'amélioration supplémentaire, mais renvoie simplement en sortie le même estimateur amélioré.

Complétude et variance minimale de Lehmann–Scheffé Si la statistique de conditionnement est à la fois complète et suffisante, et l'estimateur de départ est sans biais, alors l'estimateur Rao-Blackwell est l'unique "meilleur estimateur impartial": voir le théorème de Lehmann-Scheffé.

Un exemple d'amélioration Rao – Blackwell améliorable, lors de l'utilisation d'une statistique minimale suffisante qui n'est pas complète, a été fourni par Galili et Meilijson en 2016.[6] Laisser {style d'affichage X_{1},ldots ,X_{n}} être un échantillon aléatoire d'une distribution uniforme à l'échelle {style d'affichage Xsim Uleft((1-k)thêta ,(1+k)thêta droite),} de moyenne inconnue {style d'affichage E[X]=thêta } et paramètre de conception connu {parent de style d'affichage (0,1)} . A la recherche de "meilleur" estimateurs sans biais possibles pour {thêta de style d'affichage ,} il est naturel de considérer {style d'affichage X_{1}} comme initiale (brut) estimateur sans biais pour {thêta de style d'affichage } puis essayer de l'améliorer. Depuis {style d'affichage X_{1}} n'est pas une fonction de {style d'affichage T=gauche(X_{(1)},X_{(n)}droit)} , la statistique minimale suffisante pour {thêta de style d'affichage } (où {style d'affichage X_{(1)}=min(X_{je})} et {style d'affichage X_{(n)}=max(X_{je})} ), il peut être amélioré en utilisant le théorème de Rao – Blackwell comme suit: {style d'affichage {chapeau {thêta }}_{RB}=E_{thêta }la gauche[X_{1}|X_{(1)},X_{(n)}droit]={frac {X_{(1)}+X_{(n)}}{2}}.} Cependant, on peut montrer que l'estimateur sans biais suivant a une variance plus faible: {style d'affichage {chapeau {thêta }}_{BT}={frac {1}{2la gauche(k^{2}{frac {n-1}{n+1}}+1droit)}}la gauche[(1-k){{X}_{(1)}}+(1+k){{X}_{(n)}}droit].} Et en fait, il pourrait être encore amélioré en utilisant l'estimateur suivant: {style d'affichage {chapeau {thêta }}_{BAIES}={frac {n+1}{n}}la gauche[1-{frac {{frac {la gauche({frac {{X}_{(1)}}{1-k}}droit)}{la gauche({frac {{X}_{(n)}}{1+k}}droit)}}-1}{{{la gauche[{frac {la gauche({frac {{X}_{(1)}}{1-k}}droit)}{la gauche({frac {{X}_{(n)}}{1+k}}droit)}}droit]}^{n+1}}-1}}droit]{frac {X_{(n)}}{1+k}}} Le modèle est un modèle réduit. Des estimateurs équivariants optimaux peuvent alors être dérivés pour les fonctions de perte qui sont invariantes.[7] Voir aussi le théorème de Basu - Un autre résultat sur les statistiques complètes suffisantes et auxiliaires Références ^ Blackwell, ré. (1947). "Espérance conditionnelle et estimation séquentielle non biaisée". Annales de statistiques mathématiques. 18 (1): 105–110. est ce que je:10.1214/aoms/1177730497. M 0019903. Zbl 0033.07603. ^ Kolmogorov, UN. N. (1950). "Estimations impartiales". Izvestia Akad. Nauk SSSR. Être. Tapis. 14: 303–326. M 0036479. ^ Raô, C. Radhakrishna (1945). "Informations et précision pouvant être obtenues dans l'estimation des paramètres statistiques". Bulletin de la Société mathématique de Calcutta. 37 (3): 81–91. ^ Sauter à: un b J. g. Liao & A. Berg (22 Juin 2018). "Aiguiser l'inégalité de Jensen". Le statisticien américain: 1–4. arXiv:1707.08644. est ce que je:10.1080/00031305.2017.1419145. ^ Charpentier, Bob (Janvier 20, 2020). "Rao-Blackwellisation et paramètres discrets dans Stan". Modélisation statistique, Inférence causale, et sciences sociales. Récupéré en septembre 13, 2021. Le théorème de Rao-Blackwell stipule que l'approche de marginalisation a une variance inférieure ou égale à l'approche directe. En pratique, cette différence peut être énorme. ^ Tal Galili & Isaac Meilijson (31 Mar 2016). "Un exemple d'amélioration Rao-Blackwell améliorable, Estimateur du maximum de vraisemblance inefficace, et estimateur de Bayes généralisé sans biais". Le statisticien américain. 70 (1): 108–113. est ce que je:10.1080/00031305.2015.1100683. PMC 4960505. PMID 27499547. ^ Taraldsen, Gunnar (2020). "Michel Mandel (2020), "Le modèle uniforme à l'échelle revisité," Le statisticien américain, 74:1, 98–100: Commentaire". Le statisticien américain. 74 (3): 315–315. est ce que je:10.1080/00031305.2020.1769727. ISSN 0003-1305. Liens externes Nikouline, MME. (2001) [1994], "Théorème de Rao – Blackwell – Kolmogorov", Encyclopédie des mathématiques, EMS Press hide vte Statistics OutlineIndex show Statistiques descriptives show Collecte de données hide (monotone)Location–scale familyExponential familyCompletenessSufficiencyStatistical functional BootstrapUVOptimal decision loss functionEfficiencyStatistical distance divergenceAsymptoticsRobustness Frequentist inference Point estimation Estimating equations Maximum likelihoodMethod of momentsM-estimatorMinimum distanceUnbiased estimators Mean-unbiased minimum-variance Rao–BlackwellizationLehmann–Scheffé theoremMedian unbiasedPlug-in Interval estimation Confidence intervalPivotLikelihood intervalPrediction intervalTolerance intervalResampling BootstrapJackknife Testing hypothèses 1- & 2-tailsPower Uniformly most powerful testPermutation test Randomization testMultiple comparisons Parametric tests Likelihood-ratioScore/Lagrange multiplierWald Specific tests Z-test (Ordinaire)Test t de StudentF-test Qualité de l'ajustement Khi carréG-testKolmogorov–SmirnovAnderson–DarlingLillieforsJarque–BeraNormalité (Shapiro-Wilk)Test du rapport de vraisemblanceSélection du modèle Validation croiséeAICBIC Statistiques de classement Signe Médiane de l'échantillonRang signé (Wilcoxon) Estimateur de Hodges–LehmannSomme des rangs (Mann–Whitney)Anova non paramétrique unidirectionnelle (Kruskal-Valais)2-façon (Friedmann)Alternative commandée (Jonckheere–Terpstra)Test de Van der Waerden Inférence bayésienne Probabilité bayésienne a prioripostérieur Intervalle de crédibilité / Multivarié / Des séries chronologiques / Spectacle d'analyse de survie Catégories d'applications Portail mathématiqueCommons WikiCatégories de projets: Théorèmes en statistiqueThéorie de l'estimation