References

Exercise 2.1 Soit \(Y_i = \theta_0 + \theta_1 x^{(1)}_i+\cdots + \theta_p x^{(p)}_i+\varepsilon_i,\ \forall i=1,\ldots,n\) avec \(\varepsilon_1, \cdots, \varepsilon_n\) i.i.d de loi \(\mathcal{N}(0,\sigma^2)\).

  • Quelle est la loi de \(Y_i\) ?
  • Quelle est la loi de \(Y\) ?

Correction de #exoloiY

  • On a \(Y_i=\theta_0 + \theta_1 x^{(1)}_i+\cdots + \theta_p x^{(p)}_i+\varepsilon_i=X_i \theta + \varepsilon_i\) et \(\varepsilon_i\sim\mathcal{N}(0,\sigma^2)\) donc \(Y_i\sim \mathcal{N}(X_i\theta,\sigma^2)\).

  • \(\varepsilon_1, \cdots, \varepsilon_n\) i.i.d de loi \(\mathcal{N}(0,\sigma^2)\) donc \(\varepsilon=(\varepsilon_1, \cdots, \varepsilon_n)\sim\mathcal{N}_n(0_n,\sigma^2 I_n)\). Ainsi \(Y=X\theta+\varepsilon \sim\mathcal{N}_n(X\theta,\sigma^2 I_n)\).

Exercise 2.2 Afin d’écrire sous forme matricielle ce modèle, les observations sont rangées par modalité du facteur \[Y=(Y_{11}, \cdots, Y_{1,n_1}, Y_{2,1},\cdots ,Y_{2n_2}, \cdots,Y_{I1},\cdots, Y_{In_I})'.\] Soit \(\displaystyle n=\sum_{i=1}^In_i\). Ecrivez le modèle (2.2) sous la forme \(Y = X\theta + \varepsilon\) en précisant la matrice de design \(X\in\mathcal{M}_{nI}(\mathbb{R})\) et \(\theta\in\mathbb{R}^I\).

Quelle est la loi de \(Y_{ij}\), de \(Y_i=(Y_{i1},\ldots,Y_{in_i})'\) et de \(Y\) ?

Exercise 3.1 L’exercice suivant vous guide pour déontrer les points clés du théorème 3.2.

  • Montrez que \(\mathbb{E}\left [\widehat{\theta}\right]= \theta\) (rappel : \(\mathbb{E}\left [Y\right]= X \theta\))
  • Montrez que \(\mathrm{Var}\left(\widehat{\theta}\right)= \sigma^2 (X'X)^{-1}\) (rappel : \(\mathrm{Var}(AY) = A \mathrm{Var}(Y) A'\))
  • Pourquoi \(\widehat\theta\) est un vecteur gaussien ?

Agresti, Alan. 2003. Categorical Data Analysis. Vol. 482. John Wiley & Sons.

Akaike, Hirotogu. 1998. “Information Theory and an Extension of the Maximum Likelihood Principle.” In Selected Papers of Hirotugu Akaike, 199–213. Springer.

Akaike, Hirotugu. 1978. “A Bayesian Analysis of the Minimum Aic Procedure.” Annals of the Institute of Statistical Mathematics 30 (1): 9–14.

Antoniadis, Anestis, Jacques Berruyer, and René Carmona. 1992. Régression Non Linéaire et Applications. Economica.

Azaïs, Jean-Marc, and Jean-Marc Bardet. 2005. Le Modèle Linéaire Par L’exemple: Régression, Analyse de La Variance et Plans d’expériences Illustrés Avec R, Sas et Splus. Dunod.

Castelle, Didier Dacunha, and Marie Duflo. 1994. Probabilités et Statistiques: Tome 1: Problèmes à Temps Fixe. Masson.

Draper, Norman R, and Harry Smith. 1998. Applied Regression Analysis. Vol. 326. John Wiley & Sons.

Guyon, X. 2001. “Modele Linéaire et économétrie.” Ellipse, Paris.

Hoerl, Arthur E, Robert W Kannard, and Kent F Baldwin. 1975. “Ridge Regression: Some Simulations.” Communications in Statistics-Theory and Methods 4 (2): 105–23.

Hoerl, Arthur E, and Robert W Kennard. 1976. “Ridge Regression Iterative Estimation of the Biasing Parameter.” Communications in Statistics-Theory and Methods 5 (1): 77–88.

Husson, François, and Jérôme Pagès. 2013. Statistiques Générales Pour Utilisateurs: 2, Exercices et Corrigés. Presses universitaires de Rennes.

Mallows, Colin L. 2000. “Some Comments on Cp.” Technometrics 42 (1): 87–94.

McCullagh, Peter. 2018. Generalized Linear Models. Routledge.

McDonald, Gary C, and Diane I Galarneau. 1975. “A Monte Carlo Evaluation of Some Ridge-Type Estimators.” Journal of the American Statistical Association 70 (350): 407–16.

Pinheiro, José, and Douglas Bates. 2006. Mixed-Effects Models in S and S-Plus. Springer Science & Business Media.

Saporta, Gilbert. 2006. Probabilités, Analyse Des Données et Statistique. Editions Technip.

Schwarz, Gideon, and others. 1978. “Estimating the Dimension of a Model.” The Annals of Statistics 6 (2): 461–64.

Tibshirani, Robert. 1996. “Regression Shrinkage and Selection via the Lasso.” Journal of the Royal Statistical Society: Series B (Methodological) 58 (1): 267–88.

Zou, Hui, and Trevor Hastie. 2005. “Regularization and Variable Selection via the Elastic Net.” Journal of the Royal Statistical Society: Series B (Statistical Methodology) 67 (2): 301–20.