Eigenvalues, SVD, અને Machine Learning માં High-Dimensional Vector Spaces

Eigenvalues, SVD, અને Machine Learning માં High-Dimensional Vector Spaces

Singular Value Decomposition (SVD) આધુનિક representation learning, latent semantic analysis, અને vector retrieval engines નો ગાણિતિક પાયો રચે છે.

Spectral Theorem & Low-Rank Approximation

કોઈપણ નિર્દિષ્ટ મેટ્રિક્સ $A \in \mathbb{R}^{m \times n}$ માટે, એક orthogonal factorization અસ્તિત્વ ધરાવે છે:

$A = U \Sigma V^T = \sum_{i=1}^{r} \sigma_i u_i v_i^T$

જ્યાં $U \in \mathbb{R}^{m \times m}$ અને $V \in \mathbb{R}^{n \times n}$ એ orthonormal matrices છે જેમાં ડાબા અને જમણા singular vectors શામેલ છે, અને $\Sigma$ એ singular values $\sigma_1 \ge \sigma_2 \ge \dots \ge \sigma_r > 0$ સાથે વિકર્ણ છે.

Eckart-Young-Mirsky Theorem

ઇષ્ટતમ rank-$k$ approximation $A_k$ જે Frobenius norm error ને ન્યૂનતમ કરે છે:

$\min_{\text{rank}(B)=k} \|A - B\|_F = \|A - A_k\|_F = \sqrt{\sum_{i=k+1}^{\min(m,n)} \sigma_i^2}$

pythonCopy
import numpy as np

def truncated_svd_embedding(X: np.ndarray, k: int) -> np.ndarray:
    U, S, Vt = np.linalg.svd(X, full_matrices=False)
    # Project high-dimensional token co-occurrence matrix into k-dimensional space
    return U[:, :k] * np.sqrt(S[:k])

Dimensionality Reduction Dynamics

$d$-પરિમાણીય Euclidean space માં, ત્રિજ્યા $r$ ના હાઇપરસ્ફિયરનું કદ નીચે મુજબ સ્કેલ થાય છે:

$V_d(r) = \frac{\pi^{d/2}}{\Gamma\left(\frac{d}{2} + 1\right)} r^d$

જેમ $d \to \infty$ થાય છે, Gaussian distribution માં લગભગ તમામ દળ ત્રિજ્યા $r \approx \sqrt{d}$ પર પાતળા ગોળાકાર શેલમાં કેન્દ્રિત થાય છે, જે vector search માં curse of dimensionality નું સર્જન કરે છે.