Machine Learning में Eigenvalues, SVD, और High-Dimensional Vector Spaces

Machine Learning में Eigenvalues, SVD, और High-Dimensional Vector Spaces

Singular Value Decomposition (SVD) आधुनिक representation learning, latent semantic analysis, और vector retrieval engines का गणितीय आधार बनता है।

Spectral Theorem और Low-Rank Approximation

किसी भी arbitrary matrix $A \in \mathbb{R}^{m \times n}$ के लिए, एक orthogonal factorization मौजूद है:

$A = U \Sigma V^T = \sum_{i=1}^{r} \sigma_i u_i v_i^T$

जहाँ $U \in \mathbb{R}^{m \times m}$ और $V \in \mathbb{R}^{n \times n}$ orthonormal matrices हैं जिनमें left और right singular vectors शामिल हैं, और $\Sigma$ diagonal है जिसमें singular values $\sigma_1 \ge \sigma_2 \ge \dots \ge \sigma_r > 0$ हैं।

Eckart-Young-Mirsky Theorem

Frobenius norm error को न्यूनतम करने वाला optimal rank-$k$ approximation $A_k$:

$\min_{\text{rank}(B)=k} \|A - B\|_F = \|A - A_k\|_F = \sqrt{\sum_{i=k+1}^{\min(m,n)} \sigma_i^2}$

pythonCopy
import numpy as np

def truncated_svd_embedding(X: np.ndarray, k: int) -> np.ndarray:
    U, S, Vt = np.linalg.svd(X, full_matrices=False)
    # Project high-dimensional token co-occurrence matrix into k-dimensional space
    return U[:, :k] * np.sqrt(S[:k])

Dimensionality Reduction Dynamics

$d$-dimensional Euclidean space में, radius $r$ वाले hypersphere का volume निम्नलिखित के अनुसार scale होता है:

$V_d(r) = \frac{\pi^{d/2}}{\Gamma\left(\frac{d}{2} + 1\right)} r^d$

जैसे-जैसे $d \to \infty$, Gaussian distribution में लगभग सभी mass radius $r \approx \sqrt{d}$ पर एक thin spherical shell के भीतर concentrated हो जाता है, जिससे vector search में curse of dimensionality उत्पन्न होती है।