Machine Learning मधील Eigenvalues, SVD, आणि High-Dimensional Vector Spaces

Machine Learning मधील Eigenvalues, SVD, आणि High-Dimensional Vector Spaces

Singular Value Decomposition (SVD) आधुनिक representation learning, latent semantic analysis, आणि vector retrieval engines चा गणितीय पाया तयार करते.

Spectral Theorem आणि Low-Rank Approximation

कोणत्याही अनियंत्रित matrix $A \in \mathbb{R}^{m \times n}$ साठी, एक orthogonal factorization अस्तित्वात आहे:

$A = U \Sigma V^T = \sum_{i=1}^{r} \sigma_i u_i v_i^T$

जिथे $U \in \mathbb{R}^{m \times m}$ आणि $V \in \mathbb{R}^{n \times n}$ हे orthonormal matrices आहेत ज्यामध्ये डावे आणि उजवे singular vectors समाविष्ट आहेत, आणि $\Sigma$ हे singular values $\sigma_1 \ge \sigma_2 \ge \dots \ge \sigma_r > 0$ सह diagonal आहे.

Eckart-Young-Mirsky Theorem

Frobenius norm error कमी करणारा इष्टतम rank-$k$ approximation $A_k$:

$\min_{\text{rank}(B)=k} \|A - B\|_F = \|A - A_k\|_F = \sqrt{\sum_{i=k+1}^{\min(m,n)} \sigma_i^2}$

pythonCopy
import numpy as np

def truncated_svd_embedding(X: np.ndarray, k: int) -> np.ndarray:
    U, S, Vt = np.linalg.svd(X, full_matrices=False)
    # Project high-dimensional token co-occurrence matrix into k-dimensional space
    return U[:, :k] * np.sqrt(S[:k])

Dimensionality Reduction Dynamics

$d$-dimensional Euclidean space मध्ये, त्रिज्या $r$ असलेल्या hypersphere चे आकारमान खालीलप्रमाणे प्रमाणात वाढते:

$V_d(r) = \frac{\pi^{d/2}}{\Gamma\left(\frac{d}{2} + 1\right)} r^d$

जसजसे $d \to \infty$, तसतसे Gaussian distribution मधील जवळपास सर्व वस्तुमान त्रिज्या $r \approx \sqrt{d}$ येथे एका पातळ गोलाकार शेलमध्ये केंद्रित होते, ज्यामुळे vector search मध्ये curse of dimensionality निर्माण होते.