A Rappels de probabilités, statistiques et d’optimisation

A.1 Rappels sur les échantillons gaussiens

A.1.1 La loi normale

Definition A.1 On dit que la variable aléatoire $X$ suit une loi normale de paramètres $(m, \sigma^2)$, notée $\mathcal{N}(m, \sigma^2)$, si la loi de $X$ a pour densité $$f(x)=\frac{1}{\sigma \sqrt{2 \pi}}\exp \left[-\frac{1}{2\sigma^2}(x-m)^2\right].$$

Proposition A.1 Propriétés de la loi gaussienne

• Si $X$ suit une loi $\mathcal{N}(m, \sigma^2)$ alors $\mathbb{E}[X]=m$, $\mbox{Var}(X)=\sigma^2$ et $(X-m) / \sigma \mbox{ suit la loi } \mathcal{N}(0,1).$

De plus, la fonction caractéristique de la loi de $X$ est définie par $$\forall t\in\mathbb{R},\ \Phi_X(t)= \mathbb{E}\left[e^{itX}\right]=\exp\left( itm-\frac{\sigma^2 t^2}{2}\right).$$

• Si $X_1,\ldots,X_n$ sont des variables aléatoires gaussiennes indépendantes, telles que, pour $i=1,\cdots,n,\ X_i \mbox{ suit la loi } \mathcal{N}(m_i, \sigma_i^2)$, alors pour tout $(\alpha_1, \ldots, \alpha_n) \in \mathbb{R}^n,$ $$\begin{equation} \tag{A.1} \alpha_1 X_1 + \ldots +\alpha_n X_n \mbox{ suit la loi } \mathcal{N}(\alpha_1 m_1 + \ldots +\alpha_n m_n,\alpha_1^2 \sigma_1^2 + \ldots +\alpha_n^2 \sigma_n^2). \end{equation}$$

A.1.2 Vecteurs gaussiens

Definition A.2 Un vecteur aléatoire $X$ à valeurs dans $\mathbb{R}^d$ est dit gaussien si toute combinaison linéaire de ses composantes est une variable aléatoire gaussienne.

Si $X=(X_1,\cdots,X_d)'$ est un vecteur gaussien, on définit son vecteur moyenne $\mathbb{E}[X]$ par : $$\mathbb{E}[X]=(\mathbb{E}[X_1],\cdots,\mathbb{E}[X_d])'$$ et sa matrice de variance-covariance $\mbox{Var}(X)$ par $$\begin{eqnarray*} \mbox{Var}(X)&=&\mathbb{E}\left[\left(X-\mathbb{E}(X)\right)\left(X-\mathbb{E}(X)\right)'\right]\\ &=&\left(\begin{array}{cccc} \mbox{Var}(X_1) & \mbox{Cov}(X_1,X_2) & \cdots & \mbox{Cov}(X_1,X_d)\\ \mbox{Cov}(X_2,X_1) & \mbox{Var}(X_2) & \cdots & \mbox{Cov}(X_2,X_d)\\ \vdots & \ddots & \cdots & \vdots\\ \mbox{Cov}(X_d,X_1) & \mbox{Cov}(X_d,X_2) & \cdots & \mbox{Var}(X_d) \end{array}\right). \end{eqnarray*}$$

Remark. On peut noter que

• La matrice $\mbox{Var}(X)$ est symétrique puisque l’on a pour tout $i \neq j$ : $$\mbox{Var}(X)_{i,j}=\mbox{Cov}(X_i,X_j)=\mbox{Cov}(X_j,X_i)=\mbox{Var}(X)_{j,i}.$$

• Si $(X_1,\cdots,X_n)$ est un n-échantillon de loi gaussienne, i.e. $X_1,\cdots, X_n$ sont $n$ variables aléatoires indépendantes et identiquement distribuées selon une loi $\mathcal{N}(\mu,\sigma^2)$, alors on a évidemment que $X=(X_1,\cdots,X_n)'$ est un vecteur gaussien de vecteur moyenne $\mathbb{E}[X]=(\mu,\cdots,\mu)'$ et de matrice de variance-covariance $\mbox{Var}(X)=\sigma^2I_n$ où $I_n$ désigne la matrice identité.

On va s’intéresser à la fonction caractéristique d’un vecteur gaussien et aux conséquences importantes qui en découlent.

Theorem A.1 Soit $X=(X_1,\cdots,X_d)'$ un vecteur gaussien. On note $m=\mathbb{E}[X] \in \mathbb{R}^d$ et $\Sigma=\mbox{Var}(X) \in \mathcal{M}_d(\mathbb{R})$. On a que $X$ admet pour fonction caractéristique la fonction $$\forall u \in \mathbb{R}^d, \, \Phi_X(u)=\mathbb{E}\left[\mbox{exp}(iu'X)\right]=\mbox{exp}\left(iu'm-\frac{1}{2}u'\Sigma u\right).$$ La loi de $X$ est entièrement déterminée par la donnée de $m$ et de $\Sigma$. On note $X \sim \mathcal{N}_d(m,\Sigma)$.

Corollary A.1 (Propriété de linéarité) Soit $X=(X_1,\cdots,X_d)'\sim \mathcal{N}_d(m,\Sigma)$. On a pour toute matrice $A$ de $\mathcal{M}_{pd}(\mathbb{R})$ et pour tout vecteur $b$ de $\mathbb{R}^p$ $$AX+b \sim \mathcal{N}_p(Am+b,A\Sigma A').$$

Remark. Soient $(X_i)_{i=1,\cdots,n}$ des variables aléatoires indépendantes de loi $\mathcal{N}(m_i,\sigma^2_i)$. Alors on a $$X =(X_1,\cdots,X_n)'\sim \mathcal{N}_n(m,\Sigma) \mbox{ avec } m=(m_1,\cdots,m_n)' \mbox{ et } \Sigma=\left(\begin{array}{cccc} \sigma^2_1 & 0 & \cdots & 0\\ 0 & \sigma^2_2 & 0 & \vdots \\ \vdots & \ddots & \ddots & 0 \\ 0 & \cdots & 0 & \sigma^2_n \end{array} \right).$$ En prenant $A=(\alpha_1,\cdots,\alpha_n)$ et $b=0_{n}$, on retrouve la Proposition A.1, équation (A.1). En effet, on a $\displaystyle Am+b=\sum_{i=1}^n \alpha_i m_i$ et $\displaystyle A\Sigma A'=\sum_{i=1}^n \alpha_i^2 \sigma^2_i$.

Corollary A.2 (Propriété d'indépendance) Soit $X=(X_1,\cdots,X_d)'$ un vecteur gaussien. Alors les trois propriétés suivantes sont équivalentes :

1. Les composantes $X_1,\cdots, X_d$ sont mutuellement indépendantes.
2. Les composantes $X_1,\cdots, X_d$ sont deux à deux indépendantes.
3. La matrice de variance-covariance $\Sigma$ est diagonale, i.e. $\forall i\neq j, \, \mbox{Cov}(X_i,X_j)=0.$

Remark. Les composantes d’un vecteur gaussien sont des variables aléatoires gaussiennes mais la réciproque est fausse. En effet, on considère $X$ et $Y$ deux variables indépendantes telles que $X \sim \mathcal{N}(0,1)$ et $Y \sim \mathcal{B}(0.5)$. Alors $X_1=X$ et $X_2=(2Y-1)X$ sont des variables gaussiennes mais $(X_1,X_2)'$ n’est pas un vecteur gaussien. On note que dans cet exemple, $\mbox{Cov}(X_1,X_2)=0$ mais que $X_1$ et $X_2$ ne sont pas indépendantes.

A.1.3 Loi du khi-deux, loi de Student, loi de Fisher

Definition A.3 Soient $Y_1, \ldots,Y_n$ des variables aléatoires indépendantes et de même loi $\mathcal{N}(0,1).$ La loi de $Y_1^2+ \ldots + Y_n^2$ est appelée loi du khi-deux à $n$ degrés de liberté, et notée $\chi^2(n).$

Proposition A.2 Propriétés de la loi du khi-deux :

• Si $V \sim \chi^2(n)$ alors $\mathbb{E}[V]=n$ et $\mbox{Var}(V)=2n.$

• Si $V_1 \sim \chi^2(n_1)$, si $V_2 \sim \chi^2(n_2)$ et si $V_1$ et $V_2$ sont des variables aléatoires indépendantes, alors $V_1+V_2 \sim \chi^2(n_1+n_2)$.

Definition A.4 Soient $U$ et $V$ deux variables aléatoires telles que $U\sim \mathcal{N}(0,1)$, $V \sim \chi^2(n)$ et, $U$ et $V$ sont indépendantes. Alors la loi de $$\frac{U}{\sqrt{V/n}}=\sqrt{n}\frac{U}{\sqrt{V}}$$ est appelée loi de Student à $n$ degrés de liberté, notée $\mathcal{T}(n)$.

Definition A.5 Soient $V_1$ et $V_2$ deux variables aléatoires indépendantes, respectivement de loi $\chi^2(n_1)$ et $\chi^2(n_2)$. La loi de $$\frac{V_1/n_1}{V_2/n_2}$$ est appelée loi de Fisher de paramètres $(n_1, n_2)$. Elle est notée $\mathcal{F}(n_1,n_2)$.

A.1.4 Estimation de la moyenne et de la variance d’un échantillon gaussien

Soient $X_1, \ldots, X_n$ $n$ variables aléatoires indépendantes et de même loi (i.i.d.), de loi $\mathcal{N}(m, \sigma^2)$. À partir de l’observation d’une réalisation de l’échantillon $(X_1, \ldots, X_n)$, on souhaite estimer les paramètres inconnus $m$ et $\sigma^2$.

• Estimateur de $m$ : La moyenne empirique $$\bar{X}_n=\frac{1}{n} \sum_{i=1}^n X_i$$ est un estimateur de $m$.

  • $\bar{X}_n$ est un estimateur sans biais de $m$ : $\mathbb{E}[\bar{X}_n]= \frac{1}{n} \underset{i=1}{\stackrel{n}{\sum}} \mathbb{E}[X_i]=m$.

    $\mbox{Var}(\bar{X}_n)=\frac{1}{n^2} \underset{i=1}{\stackrel{n}{\sum}} \mbox{Var}(X_i)=\frac{\sigma^2}{n}\underset{n \rightarrow \infty}{\longrightarrow} 0.$

  • D’après l’inégalité de Bienaymé-Tchebytchev, $\bar{X}_n$ converge en probabilité quand $n$ tend vers $+\infty$ vers $m$, i.e. $$\bar{X}_n \underset{n\rightarrow \infty}{\stackrel{\mathbb{P}}{\longrightarrow}}m.$$

  • D’après la Proposition A.1, équation (A.1), $\bar{X}_n \sim \mathcal{N}\left(m, \frac{\sigma^2}{n}\right)$.

  • Il en résulte que la variable aléatoire $$\sqrt{n} \frac{( \bar{X}_n -m)}{\sigma} \sim \mathcal{N}(0,1).$$

• Estimateur de $\sigma^2$ $$S^2=\frac{1}{n-1} \sum_{i=1}^n (X_i-\bar{X}_n)^2=\frac{1}{n-1} \left\{ \sum_{i=1}^nX_i^2- n \bar{X}_n^2\right\}$$ est un estimateur sans biais de $\sigma^2$.

De plus par la loi des grands nombres, on peut démontrer que $S^2$ converge en probabilité quand $n$ tend vers $+\infty$ vers $\sigma ^2$, c’est-à-dire $$\begin{equation} \tag{A.2} S^2 \underset{n\rightarrow\infty}{\stackrel{\mathbb{P}}{\longrightarrow}}\sigma^2. \end{equation}$$

Theorem A.2 (Théorème de Cochran) Soient $X_1, \ldots, X_n$ i.i.d. de loi $\mathcal{N}(0,\sigma^2)$. On note $X$ le vecteur $(X_1, \ldots, X_n) \in \mathbb{R}^n$. Soit $E_1 \oplus E_2 \oplus \ldots \oplus E_p$ une décomposition de $\mathbb{R}^n$ en $p$ sous-espaces orthogonaux de dimensions respectives $r_1, \ldots, r_p$. On note $X_{E_i}$ la projection orthogonale de $X$ sur $E_i$. Alors les vecteurs $X_{E_1},X_{E_2},\ldots,X_{E_p}$ sont indépendants, de plus, pour tout $i$, la variable $\|X_{E_i}\|^2$ a pour loi $\sigma^2\chi^2(r_i)$.

Proposition A.3 Soient $X_1,\ldots,X_n$ i.i.d. de loi $\mathcal{N}(m,\sigma^2)$.

• Les variables aléatoires $$\begin{equation} \tag{A.3} \bar{X}_n=\frac{1}{n}\sum_{i=1}^n X_i {\mbox{ et }} S^2=\frac{1}{n-1}\sum_{i=1}^n (X_i-\bar{X}_n)^2 \end{equation}$$ sont indépendantes.

• $\bar{X}_n\sim \mathcal{N}(m,\sigma^2/n),$

• $S^2\sim \frac{\sigma^2}{n-1}\chi^2(n-1).$

• Il en résulte que la variable aléatoire $$\begin{equation} \tag{A.4} \sqrt{n}\ \frac{\bar{X}_n-m}{S} \sim \mathcal{T}(n-1). \end{equation}$$

A.1.5 Construction d’intervalles de confiance

Notons $t_{1-\alpha/2}$ le $(1-\alpha/2)$-quantile de la loi de Student à $n-1$ degrés de liberté.

Il résulte de la Proposition A.3, équation (A.4), que $$\mathbb{P}\left( - t_{1-\alpha/2} \leq \frac{\sqrt{n} (\bar{X}_n-m)}{S} \leq t_{1-\alpha/2}\right) =1-\alpha.$$ Ceci fournit l’intervalle de confiance pour $m$ avec coefficient de sécurité $1-\alpha$ :

$$\left[\bar{X}_n - t_{1-\alpha/2} \frac{S}{\sqrt{n}} \,; \, \bar{X}_n + t_{1-\alpha/2} \frac{S}{\sqrt{n}}\right].$$

Afin de construire un intervalle de confiance pour $\sigma^2$, nous introduisons les $\alpha/2$ et $1-\alpha/2$ quantiles de la loi du khi-deux à $n-1$ degrés de liberté, notés respectivement $u_{\alpha/2}$ et $u_{1-\alpha/2}$.

On obtient l’intervalle de confiance pour $\sigma^2$ avec coefficient de sécurité $1-\alpha$ : $$\left[\frac{(n-1)S^2}{u_{1-\alpha/2}} \, ; \, \frac{(n-1)S^2}{u_{\alpha/2}}\right] .$$

A.2 Estimation sans biais de variance minimale

Tous les résultats de cette section sont admis et nous renvoyons pour les détails à des ouvrages plus théoriques comme Saporta (2006) ou Castelle and Duflo (1994).

Definition A.6 Soit $U$ une statistique fonction de $X_1,\cdots,X_n$ de loi $g(u,\beta)$ (densité dans le cas continu ou $\mathbb{P}(U=u)$ dans le cas discret). $U$ est dite exhaustive si l’on a $L(X,\beta)=g(u,\beta)h(X)$ (principe de factorisation).

Cela signifie que la loi conditionnelle de l’échantillon est indépendante du paramètre. Par conséquent, une fois connue $U$, aucune valeur de l’échantillon, ni aucune autre statistique ne nous apportera de renseignements supplémentaires sur $\beta$.

Theorem A.3 S’il existe un estimateur de $\beta$ sans biais, de variance minimale, alors il est unique presque sûrement.

Theorem A.4 (Rao-Blackwell) Soit $T$ un estimateur quelconque sans biais de $\beta$ et soit $U$ une statistique exhaustive pour $\beta$. Alors $T^*=\mathbb{E}[T/\beta]$ est un estimateur sans biais de $\beta$ au moins aussi bon que $T$.

Theorem A.5 S’il existe une statistique exhaustive $U$, alors l’estimateur $T$ sans biais de $\beta$ de variance minimale (unique d’après le théorème A.3) ne dépend que de $U$.

Definition A.7 On dit qu’une statistique $U$ est complète pour une famille de lois de probabilités $f(x,\beta)$ si $\mathbb{E}\left[h(U)\right]=0, \forall \beta \Rightarrow h=0\ \mbox{ps.}$

Nous pouvons montrer que la statistique exhaustive des familles exponentielles est complète.

Theorem A.6 (Lehmann-Scheffé) Si $T^*$ est un estimateur sans biais de $\beta$ dépendant d’une statistique exhaustive complète $U$ alors $T^*$ est l’unique estimateur sans biais de variance minimale de $\beta$. En particulier si l’on dispose déjà de $T$, estimateur sans biais de $\beta$, alors $T^*=\mathbb{E}\left[T/U\right]$.

En conclusion, si on dispose d’un estimateur sans biais fonction d’une statistique exhaustive complète alors c’est le meilleur estimateur possible.

A.3 La méthode de Newton-Raphson

Soit $t:\mathbb{R}\rightarrow \mathbb{R}$ une fonction $\mathcal{C}^1$ donnée. La problématique consiste à trouver $Z^{\star}$ tel que $t(Z^{\star})=0$. Par définition de la dérivée, on a $$t'(Z^{\star}) = \lim_{h\rightarrow 0} \frac{t(Z^{\star}+h)-t(Z^{\star})}{h}.$$ La méthode de Newton est basée sur l’heuristique suivante. Si $x$ est suffisamment ‘proche’ de $Z^{\star}$, alors moralement $$t'(x) \simeq \frac{t(x) - t(Z^{\star})}{x-Z^{\star}} \ \Leftrightarrow \ x- Z^{\star} \simeq \frac{t(x)}{t'(x)},$$ par définition de $Z^{\star}$. On va utiliser cette méthode de manière itérative en initialisant un $x_0$ puis en posant, pour tout $n\in\mathbb{N}$, $$x_n = x_{n-1} - \frac{t(x_{n-1})}{t'(x_{n-1})}.$$ Sous des hypothèses assez souples (fonction $t$ deux fois différentiable au voisinage de $Z^{\star}$ par exemple), on peut démontrer que $x_n \rightarrow Z^{\star}$ quand $n\rightarrow +\infty$.

A.4 Théorème central limite: condition de Lindeberg

Le théorème suivant généralise le Théorème central limite à des suites de variables indépendantes mais non identiquement distribuées. Ce type de résultat est particulièrement intéressant pour le modèle linéaire généralisé.

Theorem A.7 Soient $X_1,\dots,X_n$ des variables aléatoires indépendantes d’espérances et de variances respectives $m_i$ et $\sigma_i^2$. Soient $S_n^2 = \sum_{i=1}^n \sigma_i^2$ et pour tout $i\in \lbrace 1,\dots,n \rbrace$, $F_i$ la fonction de répartition des variables $X_i-m_i$. Si $$\begin{equation} \forall \varepsilon>0, \ \lim_{n\to +\infty} \left[ \frac{1}{S_n^2} \sum_{i=1}^n \int _{|x|>\varepsilon S_n} x^2dF_i(x) \right] = 0, \tag{A.5} \end{equation}$$ alors, $$\frac{ \sum_{i=1}^n (X_i - m_i)}{\sqrt{S_n^2}} \stackrel{\mathcal{L}}{\longrightarrow} \mathcal{N}(0,1) \ \mathrm{quand} \ n\rightarrow + \infty.$$

References

Castelle, Didier Dacunha, and Marie Duflo. 1994. Probabilités et Statistiques: Tome 1: Problèmes à Temps Fixe. Masson.

Saporta, Gilbert. 2006. Probabilités, Analyse Des Données et Statistique. Editions Technip.