====== Prédiction par régression régularisée ======

**Sujet**: Montrer que la régression ridge et la régression lasso réalisent de "meilleures" prédictions que le modèle linéaire. 

Vous réaliserez une étude empirique ainsi qu'une étude théorique (uniquement avec la régression ridge pour la partie théorique). 

==== Etude empirique ====

Simuler des données sous hypothèse du modèle linéaire en faisant varier la difficulté du problème ainsi que la structure de corrélation de vos données.

Vous pourrez utiliser comme documentation les quelques pages rédigées par Julien Chiquet:

http://stat.genopole.cnrs.fr/_media/members/jchiquet/teachings/ridge.pdf
==== Etude théorique ====

Calculer le biais et la variance théorique des estimateurs de la régression ridge sous hypothèse de design orthogonal et comparer avec la régression linéaire classique. 

==== Rapport ====
Vous rédigerez un rapport (introduction, conclusion, figures choisies) d'une dizaine de pages relatant vos observations, critiques et calculs.