Machine Learning இல் Eigenvalues, SVD, மற்றும் High-Dimensional Vector Spaces

Machine Learning இல் Eigenvalues, SVD, மற்றும் High-Dimensional Vector Spaces

Singular Value Decomposition (SVD) ஆனது நவீன representation learning, latent semantic analysis, மற்றும் vector retrieval engines ஆகியவற்றின் கணித அடிப்படையாக உள்ளது.

Spectral Theorem & Low-Rank Approximation

எந்தவொரு தன்னிச்சையான அணி $A \in \mathbb{R}^{m \times n}$ க்கும், ஒரு orthogonal factorization உள்ளது:

$A = U \Sigma V^T = \sum_{i=1}^{r} \sigma_i u_i v_i^T$

இங்கு $U \in \mathbb{R}^{m \times m}$ மற்றும் $V \in \mathbb{R}^{n \times n}$ ஆகியவை இடது மற்றும் வலது singular vectors கொண்ட orthonormal matrices ஆகும், மேலும் $\Sigma$ என்பது singular values $\sigma_1 \ge \sigma_2 \ge \dots \ge \sigma_r > 0$ கொண்ட மூலைவிட்ட அணியாகும்.

Eckart-Young-Mirsky Theorem

Frobenius norm error ஐ குறைத்துக்கொண்டு செல்லும் உகந்த rank-$k$ approximation $A_k$:

$\min_{\text{rank}(B)=k} \|A - B\|_F = \|A - A_k\|_F = \sqrt{\sum_{i=k+1}^{\min(m,n)} \sigma_i^2}$

pythonCopy
import numpy as np

def truncated_svd_embedding(X: np.ndarray, k: int) -> np.ndarray:
    U, S, Vt = np.linalg.svd(X, full_matrices=False)
    # Project high-dimensional token co-occurrence matrix into k-dimensional space
    return U[:, :k] * np.sqrt(S[:k])

Dimensionality Reduction Dynamics

$d$-dimensional Euclidean space இல், ஆரை $r$ கொண்ட ஒரு hypersphere இன் கன அளவு பின்வருமாறு அளவிடப்படுகிறது:

$V_d(r) = \frac{\pi^{d/2}}{\Gamma\left(\frac{d}{2} + 1\right)} r^d$

$d \to \infty$ ஆகும்போது, ஒரு Gaussian distribution இல் உள்ள கிட்டத்தட்ட அனைத்து நிறையும் ஆரை $r \approx \sqrt{d}$ இல் ஒரு மெல்லிய கோள ஓட்டுக்குள் செறிவடைகிறது, இது vector search இல் curse of dimensionality ஐ உருவாக்குகிறது.