Algorithme d'apprentissage du dictionnaire

Modélisation fragmentée L'algorithme d'apprentissage du dictionnaire du chapitre 12 a été implémenté dans jupyter notebook. Lien vers le notebook jupyter

résultat

Environ 25 000 patchs 8x8 ont été extraits de Barbara et l'apprentissage du dictionnaire a été effectué.

Dictionnaire DCT séparable bidimensionnel comme valeur initiale Dictionnaire appris des correctifs par la méthode K-SVD

L'apprentissage du dictionnaire a réduit l'erreur d'expression éparse.

Algorithme K-SVD

• Cas du signal $ Y: n \ fois M $ (n est la dimension du signal, M est le nombre de cas)
• Représentation creuse $ X: m \ fois M $ (m est la dimension du vecteur de représentation creuse)
• Dictionnaire $ A: n \ fois m $

Représenter de façon parcimonieuse $ y_i $ avec $ x_i $ où seuls les éléments $ k_0 $ sont non nuls.

tâche:

\min_{A,\{x_i\}^{M}_{1}} \Sigma_{i=1}^{M} ||y_i-Ax_i|| \text{ subject to } ||x_{i}||_0 \leq k_{0}, 1 \leq i \leq M

Initialisation:

Comme $ k = 0 $

• Dictionnaire initial: Tout d'abord, une matrice DCT unidimensionnelle 8 × 11 $ A_ {1D} $ a été créée. Le $ k $ e atome $ (k = 1,2, \ dots, 11) $ est

a^{1D}_{k}=\cos((i-1)(k-1)\pi/11),(i=1,2,\dots,8)

Est. À l'exception du premier atome, la moyenne est soustraite et le produit de Kronecker

A_{2D} = A_{1D} \otimes A_{1D}

Un dictionnaire initial a été généré à l'aide de.

• Normalisation: normaliser la colonne $ A $

Boucle principale:

Définissez $ k \ leftarrow k + 1 $ et effectuez les étapes suivantes.

• Codage parcimonieux: approximez la solution suivante à l'aide d'un algorithme de suivi.

\hat{x_{i}} = \arg \min_{x} ||y_{i} - Ax||_{2}^{2} \text{ subject to } ||x||_{0} \leq k_{0}

Ensuite, nous obtenons le vecteur de représentation éparse $ \ hat {x} _ {i} $ pour $ 1 \ leq i \ leq M $. Utilisez-les pour construire la matrice $ X $.

• Mettre à jour le dictionnaire K-SVD: Suivez les étapes ci-dessous pour mettre à jour les colonnes du dictionnaire et obtenir $ A $. Répétez pour $ j_0 = 1,2, \ dots, m $.

1. Définissez un ensemble de cas utilisant atom $ a_ {j_ {0}} . $ \ Omega_ {j_ {0}} = \ {i | 1 \ leq i \ leq M, X [j_ {0}, i] \ neq 0 \} $$

2. Calculez la matrice résiduelle. $ E_ {j_ {0}} = Y- \ Sigma_ {j \ neq j_ {0}} a_ {j} x_ {j} ^ {T} $

3. Extrayez uniquement la colonne correspondant à $ \ Omega_ {j_ {0}} $ de $ E_ {j_ {0}} $ et définissez-la comme $ E_ {j_ {0}} ^ {R} $.

4. Appliquez $ SVD $ et définissez $ E_ {j_ {0}} ^ {R} = U \ Delta V $. Et l'atome $ a_ {j_ {0}} = u_ {1} $ du dictionnaire, le vecteur d'expression est $ x_ {j_ {0}} ^ {R} = \ Delta [1, 1] v_ {1} ^ {T } Mettre à jour en tant que $.

*Condition d'arrêt: Si||Y - AX||^{2}_{F}Si le changement est assez petit, il se termine, sinon il se répète.

production:

Obtenez le résultat $ A $.

référence

• M. Elad, traduit par Toru Tamaki, Sparse Modeling, chapitre 12
• https://github.com/greyhill/pypbip/blob/master/ksvd.py