动机

发布于 2025-01-01 12:38:41 字数 3421 浏览 0 评论 0 收藏

回顾

我最近遇到的一个有趣的 SVD 用法是为 Word2Vec 词嵌入消除偏见，来自词嵌入中的量化和减少刻板印象（Bolukbasi 等）。

Word2Vec 是 Google 发布的一个有用的库，它将单词表示为向量。向量的相似性捕获了语义，并且可以找到类比，例如巴黎：法国::东京：日本。

来源：词的向量表示

然而，这些嵌入可能隐式编码偏见，例如父亲：医生::母亲：护士，和男人：计算机程序员::女人：家庭主妇。

一种为空间消除偏见的方法涉及使用 SVD 来降低维数（ Bolukbasi 论文）。

你可以在词嵌入中阅读关于偏见的更多信息：

我们通常从矩阵的角度谈论 SVD，

$A = U \Sigma V^T$

但我们也可以用向量来思考它。 SVD 为我们提供了一组正交向量 $v_j$ 和 $u_j$ 。

$A v_j = \sigma_j u_j$

$σ_j$ 是标量，称为奇异值。

问题：这个让你想起了什么？

SVD 与特征分解之间的关系： A 的左奇异向量是 $AA^T$ 的特征向量。 A 的右奇异向量是 $A^TA$ 的特征向量。 A 的非零奇异值是 $A^TA$ （和 $AA^T$ ）的特征值的平方根。

SVD 是特征值分解的推广。并非所有矩阵都具有特征值，但所有矩阵都具有奇异值。

让我们忘记 SVD，并讨论如何找到对称正定矩阵的特征值......

需要登录才能够评论，你可以免费注册一个本站的账号。

列表为空，暂无数据