Algèbre Linéaire

Sources

Linear Algebra and Its Applications, David C. Lay and Steven R. Lay.

Synthèse des notes du cours d’algèbre linéaire donné à l’EPFL pendant l’automne 2024.

Chap I — Équations linéaires

Systèmes linéaires

Équation linéaire : $a_1 x_1 + a_2 x_2 + \cdots + a_n x_n = b$ , avec $a_i, b \in \mathbb{R}$ et $n \in \mathbb{N}$ .
Solution : ensemble de valeurs qui respecte l’égalité après substitution.
Deux systèmes sont équivalents s’ils ont le même ensemble de solutions.
Inconsistant = aucune solution.
Consistant = une ou une infinité de solutions.
Matrice des coefficients : $[a_1 \; \cdots \; a_n]$ .
Matrice augmentée : $[a_1 \; \cdots \; a_n \mid b]$ .

Trois opérations élémentaires sur les rangées :

Multiplier une rangée par un scalaire non nul.
Interchanger deux rangées.
Remplacer une rangée par elle-même plus un multiple d’une autre.

Formes échelonnées

EF (matrice échelonnée) :

Toutes les rangées nulles sont en dessous des rangées non nulles.
Chaque pivot est à droite de celui de la rangée précédente.
Toutes les entrées sous un pivot valent $0$ .

REF (matrice échelonnée réduite) :

Chaque pivot vaut $1$ .
Chaque pivot est la seule entrée non nulle de sa colonne.

Chaque matrice est équivalente à une EF puis à une REF.

Position pivot = emplacement d’un pivot dans la REF.
Colonne pivot = colonne contenant une position pivot.
Pivot = valeur placée à cette position.

Algorithme de réduction

Pour obtenir une EF :

Prendre comme pivot la colonne non nulle la plus à gauche.
S’assurer que la position pivot contient une valeur non nulle.
Utiliser les opérations élémentaires pour annuler les entrées sous le pivot.
Ignorer la rangée du pivot et recommencer plus bas.

Pour obtenir une REF :

En partant du pivot le plus à droite, le ramener à $1$ puis annuler les termes situés au-dessus.

Lecture des solutions sur une matrice augmentée en REF

Une rangée de type $[0 \; \cdots \; 0 \mid a]$ avec $a \neq 0$ implique aucune solution.
S’il y a $c$ variables libres, il y a une infinité de solutions.
Sinon, la solution est unique.

Vecteurs et combinaisons linéaires

$\vec{v} = \begin{bmatrix} a_1 \\ \vdots \\ a_n \end{bmatrix} \in \mathbb{R}^n$

$\vec{u} + \vec{v}$ correspond géométriquement à la diagonale du parallélogramme.
Combinaison linéaire : $\vec{w} = \alpha \vec{v}_1 + \beta \vec{v}_2$ .
Un vecteur $\vec{v}$ peut s’écrire comme $a_1 x_1 + a_2 x_2 + \cdots + a_n x_n$ .
$b$ est une combinaison linéaire des colonnes de $A$ si et seulement si $Ax = b$ a une solution.
$\mathrm{Span}\{v_1, \ldots, v_k\}$ est l’ensemble de toutes les combinaisons linéaires de ces vecteurs.

Équation matricielle $Ax = b$

Si $A$ est de taille $m \times n$ et $\vec{v} \in \mathbb{R}^n$ , alors $A\vec{v}$ est défini si le nombre de colonnes de $A$ est $n$ .
$A\vec{v}$ est une combinaison linéaire des colonnes de $A$ avec les composantes de $\vec{v}$ comme coefficients.

Énoncés équivalents pour une matrice $A$ de taille $m \times n$ :

Pour tout $b \in \mathbb{R}^m$ , l’équation $Ax = b$ a une solution.
Chaque $b \in \mathbb{R}^m$ est une combinaison linéaire des colonnes de $A$ .
Les colonnes de $A$ engendrent $\mathbb{R}^m$ .
$A$ possède une position pivot dans chaque rangée de la matrice des coefficients.

Systèmes homogènes

$Ax = 0$ admet toujours la solution triviale $x = \vec{0}$ .
Il existe une solution non triviale si et seulement si le système possède au moins une variable libre.
Un système homogène passe toujours par l’origine.

Forme paramétrique :

$[\vec{x}] = s[\vec{u}] + t[\vec{v}], \quad s, t \in \mathbb{R}$

Cas non homogène :

$[\vec{x}] = [\vec{u}] + d[\vec{r}]$

où $A\vec{r} = 0$ . L’ensemble des solutions est alors une droite affine parallèle à $\mathrm{Nul}(A)$ .

Algorithme pour décrire l’ensemble des solutions

Réduire la matrice augmentée en REF.
Repérer les variables libres.
Écrire une solution typique en fonction de ces variables.
Réécrire cette solution comme combinaison linéaire de vecteurs paramétriques.

Indépendance linéaire

Un ensemble est linéairement indépendant si $Ax = 0$ n’admet que la solution triviale.
Un ensemble $S = \{v_1, \ldots, v_p\}$ est dépendant si l’un des vecteurs est combinaison linéaire des autres.
S’il y a plus de vecteurs que de composantes, l’ensemble est dépendant.
Un ensemble contenant $\vec{0}$ est dépendant.

Transformations linéaires

Une transformation $T$ associe à un vecteur de $\mathbb{R}^n$ un vecteur de $\mathbb{R}^m$ .
$\mathbb{R}^n$ est le domaine de $T$ et $\mathbb{R}^m$ son codomaine.

$T$ est linéaire si :

$T(\vec{u} + \vec{v}) = T(\vec{u}) + T(\vec{v})$ pour tous $\vec{u}, \vec{v}$ .
$T(c\vec{u}) = cT(\vec{u})$ pour tout scalaire $c$ .

Conséquences :

$T(\vec{0}) = \vec{0}$ .
Toute transformation linéaire $\mathbb{R}^n \to \mathbb{R}^m$ est représentable par une matrice.
Il existe une matrice unique $A$ telle que $T(\vec{x}) = A\vec{x}$ pour tout $\vec{x}$ .

Surjectivité :

Tout vecteur de $\mathbb{R}^m$ est l’image d’au moins un vecteur de $\mathbb{R}^n$ .
Les colonnes de $A$ engendrent $\mathbb{R}^m$ .

Injectivité :

Tout vecteur de $\mathbb{R}^m$ est l’image d’au plus un vecteur de $\mathbb{R}^n$ .
$T(\vec{x}) = \vec{0}$ n’admet que la solution triviale.
Les colonnes de $A$ sont linéairement indépendantes.

Transformations géométriques usuelles

Réflexions

Axe $x_1$ : $\begin{bmatrix} 1 & 0 \\ 0 & -1 \end{bmatrix}$
Axe $x_2$ : $\begin{bmatrix} -1 & 0 \\ 0 & 1 \end{bmatrix}$
Droite $x_2 = x_1$ : $\begin{bmatrix} 0 & 1 \\ 1 & 0 \end{bmatrix}$
Droite $x_2 = -x_1$ : $\begin{bmatrix} 0 & -1 \\ -1 & 0 \end{bmatrix}$
Origine : $\begin{bmatrix} -1 & 0 \\ 0 & -1 \end{bmatrix}$

Contractions et dilatations

Horizontale : $\begin{bmatrix} k & 0 \\ 0 & 1 \end{bmatrix}$ avec $0 < k < 1$ pour une contraction et $k > 1$ pour une dilatation.
Verticale : $\begin{bmatrix} 1 & 0 \\ 0 & k \end{bmatrix}$ .

Cisaillements

Horizontal : $\begin{bmatrix} 1 & k \\ 0 & 1 \end{bmatrix}$ , avec $k < 0$ vers la gauche et $k > 0$ vers la droite.
Vertical : $\begin{bmatrix} 1 & 0 \\ k & 1 \end{bmatrix}$ , avec $k < 0$ vers le bas et $k > 0$ vers le haut.

Rotation

$\begin{bmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{bmatrix}$

Chap II — Algèbre matricielle

Notation

L’entrée d’une matrice s’écrit $a_{ij}$ , avec $i$ pour la rangée et $j$ pour la colonne.
Une entrée diagonale vérifie $i = j$ .
Une matrice diagonale est carrée et toutes les entrées hors diagonale sont nulles.
La somme de deux matrices n’est définie que si elles ont la même taille.

Somme et multiplication par un scalaire

Soient $A$ , $B$ , $C$ des matrices de même taille et $\alpha$ , $\lambda$ des scalaires :

$A + B = B + A$
$(A + B) + C = A + (B + C)$
$A + 0 = A$
$\lambda(A + B) = \lambda A + \lambda B$
$(\alpha + \lambda)A = \alpha A + \lambda A$
$\lambda(sA) = s(\lambda A)$

Multiplication matricielle

Si $A$ est de taille $m \times n$ et $B$ de taille $n \times p$ , alors $AB$ est de taille $m \times p$ .
Le produit n’est défini que lorsque les dimensions intérieures coïncident.

Propriétés :

$A(BC) = (AB)C$ .
$A(B + C) = AB + AC$ .
$(B + C)A = BA + CA$ .
$\lambda(AB) = (\lambda A)B = A(\lambda B)$ .
$I_n A = A = A I_m$ .
La multiplication matricielle n’est pas commutative.

$A^k = \underbrace{A \cdot A \cdots A}_{k}, \quad A^0 = I$

Transposée

Si $A$ est de taille $n \times m$ , alors $A^T$ est de taille $m \times n$ et $a_{ij}^T = a_{ji}$ .

$(A^T)^T = A$
$(A + B)^T = A^T + B^T$
$(\lambda A)^T = \lambda(A^T)$
$(AB)^T = B^T A^T$

Inverse

Une matrice carrée $A$ est invertible s’il existe une matrice $C$ telle que $AC = CA = I$ .
Cette matrice est unique et s’écrit $A^{-1}$ .
Si $\det A = 0$ , alors $A$ n’est pas invertible.

Pour une matrice $2 \times 2$ ,

$A = \begin{bmatrix} a & b \\ c & d \end{bmatrix}, \quad ad - bc \neq 0$

on a :

$A^{-1} = \frac{1}{ad - bc} \begin{bmatrix} d & -b \\ -c & a \end{bmatrix}$

Si $A$ est inversible, alors pour tout $b \in \mathbb{R}^n$ :

$Ax = b \Rightarrow x = A^{-1}b$

Propriétés :

$(A^{-1})^{-1} = A$
Si $A$ et $B$ sont inversibles, alors $(AB)^{-1} = B^{-1}A^{-1}$
Si $A$ est inversible, alors $A^T$ l’est aussi et $(A^{-1})^T = (A^T)^{-1}$

Matrices élémentaires

Une matrice élémentaire s’obtient en appliquant une seule opération élémentaire à l’identité.
Si $A$ est inversible, on peut réduire $A$ à $I$ par multiplication par des matrices élémentaires.
Les opérations qui transforment $A$ en $I$ transforment aussi $I$ en $A^{-1}$ .

Pour calculer l’inverse :

$[A \mid I] \sim [I \mid A^{-1}]$

Théorème de la matrice inversible

Soit $A$ une matrice carrée de taille $n \times n$ . Les énoncés suivants sont équivalents :

$A$ est inversible.
$A \sim I_n$ .
$A$ possède $n$ positions pivots.
$Ax = 0$ n’a que la solution triviale.
Les colonnes de $A$ sont linéairement indépendantes.
L’application $x \mapsto Ax$ est injective.
Pour tout $b \in \mathbb{R}^n$ , l’équation $Ax = b$ admet au moins une solution.
Les colonnes de $A$ engendrent $\mathbb{R}^n$ .
L’application $x \mapsto Ax$ est surjective.
Il existe une matrice $C$ telle que $CA = I_n$ .
Il existe une matrice $D$ telle que $AD = I_n$ .
$A^T$ est inversible.
Les colonnes de $A$ forment une base de $\mathbb{R}^n$ .
$\mathrm{Col}(A) = \mathbb{R}^n$ .
$\dim \mathrm{Col}(A) = n$ .
$\mathrm{rang}(A) = n$ .
$\mathrm{Nul}(A) = \{\vec{0}\}$ .
$\dim \mathrm{Nul}(A) = 0$ .

Matrices par blocs

Une matrice peut être partitionnée en sous-matrices.
Une matrice block-diagonale est inversible si et seulement si chaque bloc diagonal est inversible.

Exemple :

$\begin{bmatrix} A_1 & A_2 \\ A_3 & A_4 \end{bmatrix} \begin{bmatrix} B_1 \\ B_2 \end{bmatrix} = \begin{bmatrix} A_1 B_1 + A_2 B_2 \\ A_3 B_1 + A_4 B_2 \end{bmatrix}$

Factorisation LU

Pour une matrice $A$ de taille $m \times n$ , on cherche :

$A = LU$

avec :

$L$ triangulaire inférieure unitaire.
$U$ la forme échelonnée de $A$ .

Si $A$ peut être réduite sans interchangeage de rangées, alors :

$E_p \cdots E_1 A = U \Rightarrow L = (E_p \cdots E_1)^{-1}$

Coordonnées homogènes

$(x, y) \in \mathbb{R}^2 \Rightarrow (x, y, 1) \in \mathbb{R}^3$

Elles permettent de représenter des transformations affines par des matrices.
En projection, un objet 3D est envoyé vers un plan 2D.
Les droites parallèles peuvent sembler converger vers un même point de fuite.

Chap III — Déterminants

Définition

Si $A_{ij}$ désigne la matrice obtenue en supprimant la rangée $i$ et la colonne $j$ , alors :

$\det A \triangleq \sum_{j=1}^{n} (-1)^{1+j} \, a_{1j} \det A_{1j}$

Si $A$ est triangulaire, $\det A$ est le produit des termes diagonaux.

Effets des opérations élémentaires

Pour une matrice carrée :

Un remplacement de rangée ne change pas le déterminant.
Une multiplication par un scalaire multiplie le déterminant par ce scalaire.
Un seul interchangeage de deux rangées change le signe du déterminant.
$\det(A^T) = \det(A)$ .
$\det(AB) = \det(A)\det(B)$ .

Calcul pratique

Si $A$ est réduite à une forme échelonnée $U$ sans mise à l’échelle et avec $r$ interchangeages, alors :

$\det A = (-1)^r \cdot (\text{produit des pivots})$

$A$ est inversible si et seulement si $\det A \neq 0$ .

Déterminant et volumes

Pour une matrice $2 \times 2$ ou $3 \times 3$ , la valeur $|\det A|$ représente l’aire ou le volume du parallélogramme ou parallélépipède formé par ses colonnes.
Si $T$ est la transformation associée à $A$ , alors l’aire ou le volume est multiplié par $|\det A|$ .

Règle de Cramer

Si $A_i(b)$ est la matrice obtenue en remplaçant la colonne $i$ de $A$ par $b$ , alors pour une matrice inversible $A$ :

$x_i = \frac{\det A_i(b)}{\det A}, \quad i = 1, 2, \ldots, n$

Cofacteur :

$C_{ij} = (-1)^{i+j}\det A_{ij}$

Matrice adjointe :

$\mathrm{adj}(A) = [C_{ji}]$

$A^{-1} = \frac{1}{\det A} \cdot \mathrm{adj}(A)$

Chap IV — Espaces vectoriels

Sous-espaces de $\mathbb{R}^n$

Un sous-espace $H \subseteq \mathbb{R}^n$ vérifie :

$\vec{0} \in H$
Si $\vec{u}, \vec{v} \in H$ , alors $\vec{u} + \vec{v} \in H$
Si $\vec{u} \in H$ et $c \in \mathbb{R}$ , alors $c\vec{u} \in H$

Espace colonne et espace nul

Espace colonne $\mathrm{Col}(A)$ : ensemble des vecteurs $b$ pour lesquels $Ax = b$ a une solution.
Espace nul $\mathrm{Nul}(A)$ : ensemble des solutions de $Ax = 0$ .

Pour $A$ de taille $m \times n$ :

$\mathrm{Nul}(A)$ est un sous-espace de $\mathbb{R}^n$ .
$\mathrm{Col}(A)$ est un sous-espace de $\mathbb{R}^m$ .

Repères utiles :

$\mathrm{Nul}(A)$ est décrit implicitement par la condition $Ax = 0$ .
$\mathrm{Col}(A)$ est décrit explicitement par les colonnes de $A$ .
$\mathrm{Nul}(A) = \{\vec{0}\}$ si et seulement si la transformation associée est injective.
$\mathrm{Col}(A) = \mathbb{R}^m$ si et seulement si la transformation associée est surjective.

Base

Une base d’un sous-espace $H$ est un ensemble linéairement indépendant qui engendre $H$ .
Une base de $\mathrm{Col}(A)$ est donnée par les colonnes pivots de $A$ .

Coordonnées relatives à une base

Soit $B = \{b_1, \ldots, b_p\}$ une base de $H$ . Pour tout $x \in H$ :

$x = c_1 b_1 + \cdots + c_p b_p$

$[x]_B = \begin{bmatrix} c_1 \\ \vdots \\ c_p \end{bmatrix} \in \mathbb{R}^p$

Dimension et rang

$\dim H$ est le nombre de vecteurs dans une base de $H$ .
$\dim \{\vec{0}\} = 0$ .
$\mathrm{rang}(A) = \dim(\mathrm{Col}(A))$ = nombre de colonnes pivots.
$\dim(\mathrm{Nul}(A))$ = nombre de variables libres dans $Ax = 0$ .

$\mathrm{rang}(A) + \dim(\mathrm{Nul}(A)) = n \quad \text{pour } A \text{ de taille } m \times n$

Espaces vectoriels généraux

Un espace vectoriel $V$ est un ensemble non vide muni d’une addition et d’une multiplication scalaire satisfaisant les axiomes usuels :

Fermeture pour l’addition
Commutativité de l’addition
Associativité de l’addition
Existence du vecteur nul
Existence de l’opposé
Fermeture pour la multiplication scalaire
Distributivité sur l’addition vectorielle
Distributivité sur l’addition scalaire
Compatibilité des produits de scalaires
Élément neutre scalaire : $1 \cdot u = u$

Si $v_1, \ldots, v_p \in V$ , alors $\mathrm{Span}\{v_1, \ldots, v_p\}$ est un sous-espace de $V$ .

Sous-espaces d’un espace vectoriel $V$

Un sous-ensemble $H$ de $V$ est un sous-espace si :

$\vec{0} \in H$
$\forall u, v \in H$ , on a $u + v \in H$
$\forall u \in H$ et $\forall c \in \mathbb{R}$ , on a $cu \in H$

Indépendance linéaire dans $V$

Un ensemble de vecteurs est linéairement indépendant si aucun vecteur n’est combinaison linéaire des autres.
Si $B$ est une base de $V$ , alors tout ensemble contenant plus de vecteurs que $B$ est dépendant.
La matrice de changement de base est construite à partir des vecteurs de base.

Changement de base

Si $B = \{b_1, \ldots, b_p\}$ et $C = \{c_1, \ldots, c_p\}$ sont deux bases de $V$ , alors :

$[x]_C = P_{C \leftarrow B}[x]_B$

$[B \mid C] \sim [I \mid P_{C \leftarrow B}]$

Noyau et étendue d’une transformation

Pour une transformation linéaire $T : V \to W$ :

Le noyau est l’ensemble des vecteurs $u$ tels que $T(u) = 0$ .
L’étendue est l’ensemble des vecteurs de $W$ atteints par $T$ .

Chap V — Valeurs propres et vecteurs propres

Définitions

Un scalaire $\lambda$ est une valeur propre de $A$ s’il existe un vecteur non nul $\vec{x}$ tel que $A\vec{x} = \lambda\vec{x}$ .
Un tel vecteur $\vec{x}$ est un vecteur propre associé à $\lambda$ .
L’espace propre associé à $\lambda$ est $\mathrm{Nul}(A - \lambda I)$ .

Trouver les valeurs propres

$\det(A - \lambda I) = 0$

Cette équation est l’équation caractéristique de $A$ .

Le polynôme caractéristique est $\det(A - \lambda I)$ .
Les valeurs propres sont ses racines.
La multiplicité algébrique est la multiplicité d’une racine.
La multiplicité géométrique est $\dim \mathrm{Nul}(A - \lambda I)$ .
On a toujours : multiplicité géométrique $\leq$ multiplicité algébrique.

Propriétés

Les valeurs propres d’une matrice triangulaire sont ses termes diagonaux.
$A$ est inversible si et seulement si $0$ n’est pas valeur propre.
Les valeurs propres de $A^k$ sont $\lambda^k$ .
Si $A$ est inversible, les valeurs propres de $A^{-1}$ sont $1/\lambda$ .
$\mathrm{tr}(A) = \sum \lambda_i$ et $\det(A) = \prod \lambda_i$ .

Diagonalisation

Une matrice $A$ est diagonalisable s’il existe une matrice inversible $P$ et une matrice diagonale $D$ telles que :

$A = PDP^{-1}$

Les colonnes de $P$ sont des vecteurs propres.
Les coefficients diagonaux de $D$ sont les valeurs propres correspondantes.

$A$ est diagonalisable si et seulement si elle possède $n$ vecteurs propres linéairement indépendants.

Algorithme :

Résoudre $\det(A - \lambda I) = 0$
Pour chaque valeur propre, calculer une base de $\mathrm{Nul}(A - \lambda I)$
Construire $P$ avec ces vecteurs propres et $D$ avec les valeurs propres

Si $A$ possède $n$ valeurs propres distinctes, alors elle est diagonalisable.

Valeurs propres complexes

Pour une matrice réelle $2 \times 2$ admettant des valeurs propres $\lambda = a \pm bi$ avec $b \neq 0$ :

$A = PCP^{-1}, \quad C = \begin{bmatrix} a & -b \\ b & a \end{bmatrix}$

Cela correspond à une rotation-dilatation dans $\mathbb{R}^2$ .

Chap VI — Orthogonalité et moindres carrés

Produit scalaire et norme

$\vec{u} \cdot \vec{v} = \vec{u}^T \vec{v} = u_1 v_1 + \cdots + u_n v_n$

$\|\vec{u}\| = \sqrt{\vec{u} \cdot \vec{u}}$
$\vec{u}$ est unitaire si $\|\vec{u}\| = 1$
Normalisation : $\hat{u} = \vec{u}/\|\vec{u}\|$
$\vec{u} \perp \vec{v}$ si $\vec{u} \cdot \vec{v} = 0$
Théorème de Pythagore : si $\vec{u} \perp \vec{v}$ , alors $\|\vec{u} + \vec{v}\|^2 = \|\vec{u}\|^2 + \|\vec{v}\|^2$
Inégalité de Cauchy-Schwarz : $|\vec{u} \cdot \vec{v}| \leq \|\vec{u}\| \|\vec{v}\|$

Compléments orthogonaux

$W^\perp = \{\vec{v} : \vec{v} \cdot \vec{w} = 0, \; \forall \vec{w} \in W\}$

$(\mathrm{Row}(A))^\perp = \mathrm{Nul}(A)$
$(\mathrm{Col}(A))^\perp = \mathrm{Nul}(A^T)$

Ensembles et bases orthogonaux

Un ensemble $\{u_1, \ldots, u_p\}$ est orthogonal si $u_i \cdot u_j = 0$ pour $i \neq j$
Tout ensemble orthogonal ne contenant pas $\vec{0}$ est linéairement indépendant
Une base orthonormale est une base orthogonale formée de vecteurs unitaires

Si $\{u_1, \ldots, u_p\}$ est une base orthogonale de $W$ , alors pour tout $y \in W$ :

$y = \frac{y \cdot u_1}{u_1 \cdot u_1}u_1 + \cdots + \frac{y \cdot u_p}{u_p \cdot u_p}u_p$

Projection orthogonale

Sur une droite :

$\hat{y} = \mathrm{proj}_L y = \frac{y \cdot u}{u \cdot u}u$

Sur un sous-espace $W$ :

$y = \hat{y} + (y - \hat{y}), \quad \hat{y} \in W, \; (y - \hat{y}) \in W^\perp$

$\hat{y}$ est la meilleure approximation de $y$ dans $W$ .

Procédé de Gram-Schmidt

À partir d’une base $\{x_1, \ldots, x_p\}$ de $W$ , on construit une base orthogonale $\{v_1, \ldots, v_p\}$ :

$v_1 = x_1$

$v_k = x_k - \sum_{j=1}^{k-1} \frac{x_k \cdot v_j}{v_j \cdot v_j}v_j$

Puis on normalise pour obtenir une base orthonormale :

$e_k = \frac{v_k}{\|v_k\|}$

Factorisation QR

Si les colonnes de $A$ sont linéairement indépendantes, alors :

$A = QR$

$Q$ a pour colonnes une base orthonormale de $\mathrm{Col}(A)$
$R$ est triangulaire supérieure, inversible, avec des coefficients diagonaux positifs

Moindres carrés

Quand $Ax = b$ est inconsistant, on cherche $\hat{x}$ minimisant $\|b - A\hat{x}\|$ .

L’équation normale est :

$A^T A \hat{x} = A^T b$

$\hat{b} = A\hat{x}$ est la projection orthogonale de $b$ sur $\mathrm{Col}(A)$
Si les colonnes de $A$ sont linéairement indépendantes, alors :

$\hat{x} = (A^T A)^{-1}A^T b$

Via la factorisation QR :

$R\hat{x} = Q^T b$

Chap VII — Matrices symétriques et formes quadratiques

Matrices symétriques

$A$ est symétrique si $A^T = A$
Les valeurs propres d’une matrice symétrique réelle sont réelles
Les vecteurs propres associés à des valeurs propres distinctes sont orthogonaux

Diagonalisation orthogonale

Une matrice $A$ est orthogonalement diagonalisable s’il existe une matrice orthogonale $P$ et une matrice diagonale $D$ telles que :

$A = PDP^T$

Une matrice $P$ est orthogonale si $P^{-1} = P^T$ .

Théorème spectral :

$A \text{ est symétrique} \Leftrightarrow A \text{ est orthogonalement diagonalisable}$

Décomposition spectrale :

$A = \lambda_1 u_1 u_1^T + \cdots + \lambda_n u_n u_n^T$

Formes quadratiques

$Q(x) = x^T A x, \quad A \text{ symétrique}$

Définie positive : $Q(x) > 0$ pour tout $x \neq 0$
Définie négative : $Q(x) < 0$ pour tout $x \neq 0$
Indéfinie : valeurs propres de signes différents
Semi-définie positive ou négative : $Q(x) \geq 0$ ou $Q(x) \leq 0$

Par changement de variable $x = Py$ avec $P$ orthogonale :

$Q(x) = y^T D y = \lambda_1 y_1^2 + \cdots + \lambda_n y_n^2$

On obtient ainsi la forme canonique sans termes croisés.

Décomposition en valeurs singulières (SVD)

Les valeurs singulières de $A$ sont les nombres :

$\sigma_i = \sqrt{\lambda_i}$

où $\lambda_i$ sont les valeurs propres de $A^T A$ , rangées par ordre décroissant.

La décomposition s’écrit :

$A = U \Sigma V^T$

$U$ est orthogonale et contient les vecteurs singuliers gauches
$V$ est orthogonale et contient les vecteurs singuliers droits
$\Sigma$ contient les valeurs singulières sur la diagonale

Pseudo-inverse :

$A^+ = V \Sigma^+ U^T$

Elle permet d’écrire la solution des moindres carrés :

$\hat{x} = A^+ b$

Chap VIII — Transformations affines

Transformations affines

$f(x) = Ax + b$

Une transformation affine n’est pas linéaire sauf si $b = 0$
Elle peut être représentée matriciellement grâce aux coordonnées homogènes

En 2D :

$\begin{bmatrix} x' \\ y' \\ 1 \end{bmatrix} = \begin{bmatrix} a & b & t_x \\ c & d & t_y \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} x \\ y \\ 1 \end{bmatrix}$

Composition

Si $f(x) = A_1x + b_1$ et $g(x) = A_2x + b_2$ , alors :

$f \circ g : x \mapsto A_1(A_2x + b_2) + b_1 = A_1A_2x + (A_1b_2 + b_1)$

En coordonnées homogènes, cela revient à un simple produit matriciel.

Courbes de Bézier

Pour des points de contrôle $p_0, \ldots, p_n$ :

$\vec{x}(t) = \sum_{k=0}^{n} \binom{n}{k} (1-t)^{n-k} t^k p_k, \quad t \in [0, 1]$

Cas quadratique : $n = 2$
Cas cubique : $n = 3$
$\vec{x}(0) = p_0$ et $\vec{x}(1) = p_n$

Projection perspective

Un objet 3D est projeté en 2D
L’œil est modélisé par un centre de projection $(0, 0, d)$

$\left(x, y, z\right) \mapsto \left(\frac{dx}{z}, \frac{dy}{z}, 0\right)$

Les droites parallèles semblent converger vers un même point de fuite

Handwritten Notes

Embedded PDF

Handwritten EPFL linear algebra notes

Open full PDF

You can scroll directly inside this viewer to read the handwritten notes without leaving the page.