Comment calculer la régression linéaire avec les moindres carrés

Calculez la régression linéaire y = mx+b avec les moindres carrés. Pente, ordonnée, R², erreur standard résidus, prédiction. Pearson r. Gauss 1809, Legendre 1805.

Paramètres de calcul
Ce calculateur vous a-t-il été utile ?

Comment calculer la régression linéaire avec les moindres carrés: étant donnée une série de points (x_i, y_i), trouvez la pente m et l'ordonnée b de y = m·x + b minimisant Σ(y_i − m·x_i − b)². Forme fermée: m = [n·Σxy − Σx·Σy] / [n·Σx² − (Σx)²], b = (Σy − m·Σx)/n. Qualité R² = 1 − SS_res/SS_tot.

Formule et paramètres

Les moindres carrés sont la technique statistique fondamentale. SSR minimisée par dérivées partielles. R² mesure la variance expliquée. SE(m) pour les intervalles de confiance et tests t.

Histoire

Legendre (1805) publia. Gauss (1809) reformula. Galton (1886) inventa "régression". Pearson (1896) coefficient r. Fisher (1925) ANOVA. L'INSEE en France utilise la régression dans les statistiques officielles.

Tableau R²

  • R² = 1.0: ajustement parfait
  • R² > 0.95: excellent
  • R² 0.80-0.95: bon
  • R² 0.50-0.80: modéré
  • R² 0.25-0.50: faible
  • R² < 0.25: insuffisant

Exemples chiffrés

Exemple 1 — parfait y=2x. m=2, b=0, R²=1.

Exemple 2 — données bruitées. m≈1.99, R²≈0.998.

Exemple 3 — calibration spectrophotomètre. m=2.0 M⁻¹, R²=0.9998.

Exemple 4 — ventes vs marketing. m=9.1€/€, R²=0.998.

Exemple 5 — non linéaire. y=x² avec régression linéaire R²=0.93 mais erroné.

Limites

  1. Linéarité.
  2. Indépendance (Durbin-Watson).
  3. Homoscédasticité.
  4. Normalité des résidus.
  5. Sans outliers (Cook).
  6. Sans multicolinéarité (VIF).
  7. n ≥ 10·prédicteurs.
  8. Association ≠ causalité.

Erreurs courantes

  1. R² élevé = causalité.
  2. Extrapoler.
  3. Ne pas vérifier résidus.
  4. R² vs r.
  5. Linéaire sur non-linéaires.
  6. Ignorer outliers.
  7. SE(m) vs σ_y.
  8. Hors plage sans disclaimer.

Applications pratiques

  1. Calibration instruments.
  2. Économie CAPM.
  3. Épidémiologie dose-réponse.
  4. Ingénierie matériaux.
  5. Climatologie (IPCC, Météo-France).
  6. Psychométrie.
  7. Marketing ROI.
  8. Génomique GWAS.
  9. Astrophysique Hubble.
  10. Machine learning Lasso/Ridge.

Support

Questions: info@calcoi.com. Outil pédagogique.

Les moindres carres : la methode qui revolutionna la science

La regression lineaire repose sur la methode des moindres carres, l'une des idees les plus fecondes de l'histoire de la statistique. Elle consiste a choisir la droite qui rend minimale la somme des carres des distances verticales entre les points et la droite elle-meme. Publiee par Adrien-Marie Legendre en 1805 et fondee theoriquement par Carl Friedrich Gauss en 1809, la methode naquit d'un probleme astronomique concret : predire l'orbite de l'asteroide Ceres a partir de quelques observations eparses.

Son succes ne fut pas fortuit. Le theoreme de Gauss-Markov demontre que, sous des hypotheses raisonnables, la droite des moindres carres est le meilleur estimateur lineaire sans biais, celui de plus petite variance parmi tous les estimateurs lineaires sans biais. Le choix d'elever les erreurs au carre, plutot que de prendre des valeurs absolues, n'est pas arbitraire : il rend le probleme derivable et resoluble par des formules fermees, et donne un poids plus grand aux grands ecarts, penalisant les ajustements qui laissent des points tres loin de la droite.

Lire R2, la correlation et les limites d'une droite

Le coefficient de determination R2 mesure la fraction de la variabilite des donnees que la droite parvient a expliquer, sur une echelle de 0 a 1 : un R2 de 0,9 signifie que le modele rend compte de 90 pour cent de la variance. Il ne faut pas le confondre avec le coefficient de correlation r, qui est sa racine carree signee et mesure la force et la direction de la relation lineaire. Et aucun des deux ne prouve la causalite : une correlation elevee peut resulter d'une troisieme variable cachee ou d'une pure coincidence.

L'exemple le plus instructif est le quartette d'Anscombe : quatre jeux de donnees a moyenne, variance, droite de regression et R2 identiques, mais de formes completement differentes une fois traces, l'un lineaire, un autre courbe, un autre domine par une seule valeur aberrante. La lecon est claire : il ne faut jamais se fier aux seuls nombres sans representer graphiquement les donnees. Tout aussi important, il ne faut pas extrapoler la droite au-dela de la plage observee, ou la relation lineaire pourrait cesser completement de tenir.

Mis à jour en juillet 2026

Questions fréquentes

Qu'est-ce que la regression lineaire ?

C'est la methode qui trouve la droite y = m x + b approchant au mieux une serie de points (x, y), en minimisant la somme des carres des distances verticales entre les points et la droite. La pente m et l'ordonnee a l'origine b s'obtiennent par des formules fermees des moindres carres. C'est l'outil de base pour modeliser les relations lineaires entre deux variables.

Comment calcule-t-on la pente et l'ordonnee a l'origine ?

La pente est m = (n Sigma xy - Sigma x Sigma y) / (n Sigma x^2 - (Sigma x)^2), ou n est le nombre de points. L'ordonnee a l'origine est b = (Sigma y - m Sigma x)/n, soit b = moyenne y - m fois moyenne x. Ces formules minimisent la somme des carres des residus, les ecarts verticaux a la droite.

Qu'est-ce que le coefficient R deux ?

C'est le coefficient de determination, qui mesure la fraction de la variabilite des donnees expliquee par la droite, sur une echelle de 0 a 1. Il vaut R^2 = 1 - SS_res/SS_tot. Une valeur proche de 1 indique un excellent ajustement, une proche de 0 que la droite explique peu. C'est la mesure standard de la qualite de l'ajustement.

Quelle difference entre R deux et r ?

R^2 est le coefficient de determination (fraction de variance expliquee), r est le coefficient de correlation de Pearson, qui mesure la force et la direction de la relation lineaire entre -1 et +1. En regression simple r est la racine carree de R^2 avec le signe de la pente. R^2 n'a pas de signe, r en a un.

La correlation implique-t-elle la causalite ?

Non. Une correlation elevee entre deux variables ne signifie pas que l'une cause l'autre : il pourrait y avoir une troisieme variable cachee influencant les deux, ou une pure coincidence. La regression decrit une association statistique, non un lien causal, qui doit etre etabli par d'autres arguments experimentaux.

Qu'est-ce que l'erreur standard de la pente ?

C'est une mesure de l'incertitude sur l'estimation de la pente, SE(m) = s_e / racine(S_xx), ou s_e est l'erreur standard des residus. Elle sert a construire des intervalles de confiance et a effectuer des tests d'hypothese sur la pente, par exemple pour verifier si elle est significativement differente de zero.

Pourquoi faut-il toujours tracer les donnees ?

Parce que des statistiques identiques peuvent cacher des formes tres differentes. Le celebre quartette d'Anscombe montre quatre jeux de donnees a meme moyenne, variance, droite et R^2, mais aux motifs completement differents : un lineaire, un courbe, un domine par une valeur aberrante. Seul le graphique revele la vraie structure.

Peut-on extrapoler au-dela des donnees ?

C'est risque. La droite de regression n'est fiable que dans la plage des donnees observees ; en dehors, la relation lineaire pourrait cesser completement de tenir. Extrapoler signifie supposer que le modele reste valide la ou il n'a pas ete verifie, une hypothese souvent injustifiee et source d'erreurs graves.

Formule

m = \frac{n\sum xy - \sum x \sum y}{n\sum x^2 - (\sum x)^2}, \quad b = \bar{y} - m\bar{x}, \quad R^2 = 1 - \frac{SS_{res}}{SS_{tot}}

Commentaires (0)

Pas encore de commentaire. Soyez le premier !