MATH206 : Probabilités et Statistiques

De Wiki du LAMA (UMR 5127)
Aller à : navigation, rechercher

Feuilles de TD : 1 2 3

Introduction

Statistique descriptive: décrire avec le moins possible de nombres (ou avec un graphique) des données constituées d'un (très) grand nombre de valeur.

Probabilité: prédire la description précédente sans faire de mesure (à l'aide d'hypothèses).

Statistique mathématique ou inférentielle: comparer la prédiction à la mesure et confirmer ou infirmer des hypothèses scientifiques.

Exemple du dé juste.

Vocabulaire de probabilité

  • Population  : Groupe d'objets étudiés. Elle peut-être :
    • "réelle" : les Français, les étudiants de ce cours...
    • "virtuelle" : l'ensemble des lancés de dés possibles...
  • Sous-population, échantillon
  • Expérience  : Choisir un élément dans une population.
  • Evénement : L'événement se produit lorsque l'élément appartient à la sous-population.
  • Partition  : Découpage d'un ensemble en plusieurs sous-ensembles disjoints.
  • Cardinal  : Nombre d'éléments d'un ensemble.
  • Fréquence d'un sous ensemble A ⊂ Ω :  F(A)=\frac{\displaystyle {card(A)}}{\displaystyle{card}(\Omega)}
  • Variable aléatoire et Série statistique  : Application d'une population Ω dans un ensemble G quelconque.

Estimateur ponctuel

  • Moyenne et espérance (rappel et "sens")

Formule de la moyenne (resp. espérance) d'une série statistique (resp. variable aléatore) X sur un population \Omega:

\displaystyle M(X) = E(X) = \frac{\sum_{i \in \Omega} X_i}{Card(\Omega)}

Remarque: pour avoir le droit d'écrire E(X) il faut que X soit une variable aléatoire numérique, c-à-d une application de \Omega dans \mathbb{R} (remarque hors programme : un espace vectoriel suffirait).

La moyenne est le nombre x qui remplace le mieux X_i pour l'ensemble de la population quand on regarde l' erreur quadratique donnée par la formule suivante (preuve facile en dérivant f): \displaystyle f(x) = \sum_{i \in \Omega} (X_i - x)^2

On définit deux types d'erreurs :

  1. l'erreur absolue  :  \sum_{i \in \Omega} \mid X_i -x \mid
  2. l'erreur quadratique  :  \sum_{i \in \Omega} (X_i -x)^2

On choisit la seconde car la première est plus compliquée.

L'erreur quadratique est aussi liée à la variance V(X) car:

\displaystyle V(X) = \frac{\sum_{i \in \Omega} (X_i - E(X))^2}{Card(\Omega)} = \frac{f(E(x))}{Card(\Omega)}

  • Propriété de la moyenne (linéarité) : E(X + Y) = E(X) + E(Y) et E(aX) = aE(X).
  • Propriété de la variance : V(X) = E(X^2) - E(X)^2 et V(aX) = a^2 V(X)

Notation:

  • i \mapsto ... désigne la fonction qui a i associe le contenu des trois petits points. Cela évite de donner des noms à toutes les fonctions (et donc toutes les variables alétoires) ou d'utiliser trop de notations ambigües.
Démonstration de V(X) = E(X^2) - E(X)^2
\begin{align}V(X) &= \frac{\sum_{i \in \Omega} (X_i - E(X))^2}{Card(\Omega)} \\
                         &= E(i \mapsto (X_i - E(X))^2) \\
                         &= E(i \mapsto X_i^2 - 2 X_i E(X) + E(X)^2) \\
                         &= E(i \mapsto X_i^2) - 2 E(X) E(i \mapsto X_i) + E(i \mapsto E(X)^2) \\
                         &= E(X^2) - 2 E(X)^2 + E(X)^2 \\
                         &= E(X^2) - E(X)^2
 \end{align}
  • Définition d'estimateur et de biais :

Un estimateur est une "formule" permettant de donner une bonne approximation d'un paramètre statistique à partir de la variable aléatoire restreinte à un échantillon.

Un estimateur estime un paramètre P(X) si il converge vers P(X) lorsque la taille de l'échantillon tend vers la taille de la population (cela n'a de sens que sur les populations infinies ...)

Un estimateur pour P(X) est sans biais, si son espérance est égale à P(X) lorsqu'on le considère comme une variable aléatoire sur la population des échantillons de taille n fabriquées à partir de \Omega (notée \Omega^{(n)} si il s'agit d'échantillon sans répétition (ou remise) et sans ordre et \Omega^{n} pour les échantillons avec répétitions (avec remise) et avec ordre).

Notation:

  • \hat{P}(X) désigne la valeur du paramètre statistique P sur un échantillon (ici implicite).

Estimateur de la moyenne : la moyenne sur l'échantillon est un estimateur sans biais de la moyenne sur la population entière.

Démonstration :
Soit (A_1;...;A_n) l'échantillon (avec ou sans répétition, la preuve est identique) et 
\hat{E}(X)=\frac{\sum_{i = 1}^n X_{A_i}}{n}  la moyenne sur l'échantillon. 
On a:
\begin{align}E(\hat{E}(X)) &= E\left(A \mapsto \frac{\sum_{i = 1}^n X_{A_i}}{n}\right) \\
                                           &= \frac{1}{n} \sum_{i = 1}^n E(A \mapsto X_{A_i}) \\  
                                           &= \frac{1}{n} n E(X) = E(X)\end{align}  
Explication:
- La première égalité est juste le remplacement de \hat{E}(X) par sa vraie définition, 
c'est à dire la variable aléatoire qui à l'échantillon A associe la moyenne de X
sur cet échantillon.
- La seconde égalité est juste la linéarité de l'espérance. On doit numéroter les éléments de l'échantillon
pour pouvoir faire cette étape sinon la preuve n'est pas tout à fait correcte. 
- La troisième égalité vient du fait que pour chaque i on a E(A \mapsto X_{A_i}) = E(X).
C'est intuitivement vrai, car prendre un échantillon de taille n pour ne retenir que sa i-ème valeur,
revient à juste prendre un individu. Si vous n'êtes pas convaincu, faite le calcul !
  • Estimateur de la variance (avec et sans remise) :

Si on note \hat{V}(X) la variance d'un échantillon de taille n dans une population de taille N, on obtient un estimateur sans biais de la variance avec les formules suivantes:

\displaystyle \frac{n}{n-1}\hat{V}(X) dans le cas de tirage avec remise de l'échantillon

\displaystyle \frac{N-1}{N} \frac{n}{n-1}\hat{V}(X) dans le cas de tirage sans remise (qui vaut bien \sigma^2 lorque n = N).

Démonstration :
 Calcul préalable :  Soit X une variable aléatoire sur Ω, On définit Y = (i,j) \mapsto X_i X_j la variable aléatoire sur 
\Omega \times \Omega (avec remise) ou sur \Omega \times \Omega \setminus \{(i,i) \mid i \in \Omega\} (sans remise).
* avec remise : 
\begin{align} E(Y) &= \frac{1}{N^2} \left( \sum_{i,j \in \Omega} X_iX_j \right) \\
                                                    &= \frac{1}{N^2} \left( \sum_{i \in \Omega} X_i \sum_{j \in \Omega} X_j \right) \\
                                                    &=E(X)^2 
                           \end{align} 
* sans remise : 
\begin{align} E(Y) 
                &=\frac{\sum_{i,j \in \Omega ; i \neq j }X_iX_j}{N^2 - N} \\
                &=\frac{\sum_{i,j \in \Omega}X_iX_j - \sum_{i \in \Omega}X_i^2}{N(N-1)} \\
                &=\frac{ \left( \sum_{i \in \Omega} X_i \right) ^2 - \sum_{i \in \Omega }X_i^2}{N(N-1)} \\
                &= E(X)^2 \frac{N}{N-1} - \frac{E(X^2)}{N-1}
          \end{align}
 Fin de la démonstration : Soit Ω une population de taille N, soit X une variable aléatoire sur Ω, on s'intéresse aux échantillons de taille n. 
On a V(X) variance de la population et \hat{V}(X) la variance d'un échantillon A = \{a_1,\dots,a_n\} de taille
n. Là encore, la notation \hat{V}(X) ne fait pas appraître le fait que cette quantité dépend de A. On a 
\begin{align}\hat{V}(X) &= \hat{E}(X^2) - \hat{E}(X)^2 \\
                               &= \frac{1}{n} \sum_{i = 1}^n X_{a_i}^2  - \frac{1}{n^2} \sum_{1 \leq i, j \leq n} X_{a_i}X_{a_j} \\
                               &= \frac{n-1}{n^2} \sum_{i = 1}^n X_{a_i}^2  - \frac{1}{n^2} \sum_{1 \leq i \neq j \leq n} X_{a_i}X_{a_j} 
          \end{align}
D'où
\begin{align} E(A \mapsto \hat{V}(X)) 
  &=\frac{n-1}{n^2} \sum_{i = 1}^n E(A \mapsto X_{a_i}^2) - \frac{1}{n^2} \sum_{1 \leq i \neq j \leq n} E(A \mapsto X_{a_i}X_{a_j}) \\
  &=\frac{n-1}{n} E(X^2) - \frac{n-1}{n} E(Y)
 \end{align} 
Pour finir, on utilise le résultat du calcul préalable.
* avec remise :  E(A \mapsto \hat{V}(X))= \frac{n-1}{n} (E(X^2) - E(X)^2)= \frac{n-1}{n} V(X) 
* sans remise :  E(A \mapsto \hat{V}(X))= \frac{n-1}{n} (E(X^2) - E(X)^2 \frac{N}{N-1} + \frac{E(X^2)}{N-1})= \frac{n-1}{n} \frac{N}{N-1}V(X) 

On prend donc en général, pour estimateur sans biais de V(X) sur un échantillon A \subset \Omega la valeur appelée variance empirique de Y : \displaystyle \sigma'^2 = \frac{1}{Card(A)-1}\sum_{i \in A} (y_i - \overline y)^2

Remarque: pour faire le calcul pour l'estimateur de variance, le point principal est de calculer l'espérance de X_1X_2X_1 et X_2 sont deux variables aléatoires obtenues à partir d'une variable aléatoire X en choisissant deux individus au hasard. On a besoin de faire ce calcul à la fois pour un choix de deux individus avec remise et sans remise.

Un peu de dénombrement

  • Cardinal du produit cartésien : le produit des cardinaux.
  • Tirage sans ordre et sans remise de p parmi n, c-à-d nombre de parties à p éléments d'un ensemble à n éléments :
\displaystyle C^p_n
         Démonstration :
         On veut choisir p+1 éléments parmi n+1, sans ordre, sans remise. Soit  E_n^p  l'ensemble des parties à p éléments de {1;...;n}.
          E_{n+1}^{p+1}= F_{n+1}^{p+1} \cup G_{n+1}^{p+1} de sorte que  F_{n+1}^{p+1}  est l'ensemble des p+1 éléments qui contiennent n+1,
         et  G_{n+1}^{p+1}  est l'ensemble des p+1 éléments qui ne contiennent pas n+1. On a  F_{n+1}^{p+1} \cap G_{n+1}^{p+1} = \emptyset. 
         D'autre part  G_{n+1}^{p+1}=E_{n}^{p+1} . Soit f:  E_n^p \rightarrow F_{n+1}^{p+1},  card(E_{n+1}^{p+1})=card(E_n^p) + card(E_n^{p+1})
         Remarque :  Deux ensembles en bijection ont le même cardinal.
  • Tirage avec ordre et sans remise de p parmi n, c-à-d nombre de p-uplets d'un ensemble à n éléments (nombre d'injections de {1;...;p} dans un ensemble à n éléments) :
\displaystyle A^p_n
         Démonstration:
         Soit  A_n^p  le nombre d'injection,  A_n^1=n  et  A_{n+1}^{p+1}=(n+1) \times A_n^p. 
         D'où  A_n^p= n A_{n-1}^{p-1}=n(n-1)(n-2) ... (n-p+1) 
  • Tirage avec ordre et avec remise de p parmi n, c-à-d nombre de tirage avec remise et avec ordre de p-élemnts parmis n (nombre d'applications de {1;...;p} dans un ensemble à n éléments) :
n^p
         Démonstration :
          card(E \times E \times E \times ... \times E)=(cardE)^p=n^p 
  • Tirage sans ordre et avec remise de p parmi n :
\displaystyle  C^{p}_{n+p-1} = C^{n-1}_{n+p-1}
         Démonstration : 
         On place n-1 jetons dans n+p-1 cases, il reste p cases libres. Il y a  C_{n+p-1}^{n-1}=C_{n-1+p}^{p} choix. 
         Soit f:  E \rightarrow \begin{Bmatrix}0;\dots;p\end{Bmatrix}  soit f associe à x le nombre de fois où x a été choisi. 
        On a  \sum_{x \in E} f(x)=p, ce qui revient à n-1 jetons et p cases vides.
Choix de p éléments parmi n
Ordre\Remise Sans (0≤p≤n) Avec (0≤p)
Sans \displaystyle C^p_n \displaystyle C^p_{n+p-1}
Avec \displaystyle A^p_n  n^p


Rappel des formules usuelles pour les coefficients binomiaux :

  • avec factorielle : \displaystyle C^p_n = \frac{A^p_n}{p!} = \frac{n!}{(n-p)!p!} = \frac{n(n-1)...(n-p+1)}{p!}
  • triangle de Pascal : \displaystyle C^0_n = C^n_n = 1,  C^{n-p}_n = C^p_n et \displaystyle C^{p+1}_{n+1} = C^p_n + C^{p+1}_n (0 \leq p \leq n - 1)
  • Formule du binôme de Newton et applications comme \displaystyle \sum_{p=0}^n C^p_n = 2^n.
         Démonstration : 
         Soit  f(x)=(x+1)^n ,  f(x)= \sum_{p=0}^n C_n^p x^p. En particulier, f(1)=2n.

Probabilité et lois usuelles

  • Probabilité (ou loi de probabilité) sur un ensemble \Omega: un nombre associé P(E) aux sous-ensembles E \subset \Omega d'un ensemble (pas toujours tous les sous-ensembles) tel que :
    • P(\emptyset) = 0
    • P(\Omega) = 1
    • P(E \cup F) = P(E) + P(F) si E \cap F = \emptyset
Conséquences :
μ (A C)=1- μ (A)
[(A \Rightarrow B) \Leftrightarrow (A \subset B)] \Rightarrow \mu (B) \geq \mu (A)
 \mu (A \cup B)= \mu (A) + \mu (B) - \mu (A \cap B) si A et B non disjoints.
  • Évènements = Sous-ensemble . Evénements certains, impossibles, incompatibles. Implication entre évènement et inégalité sur les probas.
  • Cas des ensembles finis et probabilité uniforme :
Pour définir une loi de probabilité sur un ensemble fini Ω, il suffit de donner la probabilité des singletons.
         Démonstration : 
         A={x1;...;xn} avec n=card(A). A={x1} ∪ {x2} ∪ ... ∪ {xn} où les singletons sont disjoints. 
         D'où μ (A)= μ (x1) + ... + μ (xn). Donner une loi sur Ω fini, c'est donner μ (x) pour tout x de Ω.
La loi de probabilité uniforme sur Ω fini est l'unique probabilité sur Ω telle que μ (x)=p pour tout x dans Ω avec p=\frac{1}{card(\Omega)} .
         Démonstration : 
         Ω = {x1;...;xN} avec N=card(Ω). D'où μ (Ω)= μ (x1) + ... + μ (xN)=Np. Or μ (Ω)=1. Donc p=1/N.
Si A ⊂ Ω et μ est une loi de probabilité uniforme sur Ω alors \mu (A)=\frac{ card(A) }{card( \Omega )} .
         Démonstration : 
         N=card(Ω) et n=card(A) où A={x1;...; xn</sub}. 
         On a  \mu (A)= \sum_{i=1}^n \mu (x_i)=\sum_{i=1}^n \frac{1}{N}=\frac{n}{N}.


  • Loi image (image réciproque d'un ensemble Ω dans Ω') :

Soit X une variable aléatoire sur Ω, à valeurs dans Ω' (X fonction de Ω dans Ω'). On a une loi μ sur Ω. On construit une loi sur Ω', image de μ par X et notée μX. On a pour A inclus dans Ω μ (A)=μ (X-1(A)).

Si Ω est un ensemble ordonné et μ une loi sur Ω, on définit F la fonction de répartition telle que  x \in \Omega , F(x)= \mu ( \{ a \in \Omega \mid a \leq x \} ). F est croissante et tend vers 1.

         Démonstration :
         Si x ≤ y ∈ Ω et  {a/ a ≤ x} ⊂ {a/a ≤ y } alors μ ({a/a ≤ x}) ≤ μ ({a/a ≤ y}); d'où F(x) ≤ F(y).
  • Variable aléatoire discrète
  • Lois discrètes usuelles
    • Loi indicatrice ou loi de Bernouilli (I(p)) :

Soit X une variable aléatoire sur Ω à valeurs dans {0;1}. X(x)=1 si et seulement si x ∈ E ⊂ Ω (E=X-1(1)).

Cette loi est déterminée par μ X (1)= μ (E)=p (d'où μ X (0)= μ (EC)=1-p).

Espérance : E(X)=p
Variance : V(X)=p(1-p)
Ecart-type : \sigma (X)=\sqrt{p(1-p)}
    • Loi de Pascal (Pa(p)) :

Ω est muni d'une loi uniforme, E ∈ Ω est un événement. On réalise plusieurs expériences indépendantes jusqu'à obtenir un succès. Soit X le nombre total d'expériences (succès inclus). X est à valeurs dans lN*.

Cette loi est déterminée par μ (E)=p ∈ ]0;1[; μ (X=k)=(1-p) k-1p ∈ ]0;1[.

Espérance : E(X)=1/p
Variance : V(X)=(1-p)/(p2)
Ecart-type : \sigma (X)=\sqrt{1-p}/p
    • Loi binomiale
    • Loi hypergéométrique
    • Loi de Poisson
  • Lois continues

Théorème de la limite centrale

Intervalle de confiance

Resumes