文本表示的主要目的是将非结构化的文本信息转化为结构化的数据形式，这样可以进行有效的计算处理，从而完成各种自然语言处理任务，目前最常用的方式为独热编码（One-Hot Encoding）和词嵌入（Word Embedding），二者主要区别如下：
1. 表示方式
独热编码（One-hot Encoding）
- 每个单词都表示为一个向量，每个维度对应于词汇表的一个唯一单词。
- 一个单词的向量可能表现为一个高维向量，其中只有一个维度为1，其他维度均为0。例如，对于词汇表中包含10000个词汇，单词“猫”可能被表示为
[0, 0, 0, ..., 1, 0, 0]，其中，1表示对应索引上的词。
词嵌入
- 每个单词被映射为一个低维的连续向量，通常维度较小（如300维或更高）。通过训练模型来优化这些向量，以捕捉单词之间的语义关系和上下文信息。例如，“猫”可能被表示为
[0.2, 0.5, -0.3, ...]。
2. 维度与稀疏性
独热编码
- 每个单词都被映射为高维向量（如词汇表大小），导致高维度和稀疏性。
- 大部分向量元素都是0，信息冗余，例如如果词汇表有100,000个词汇，则99.99% 的维度都是0。
词嵌入
- 使用低维度（如300维或更低），大大减少了向量维度，从而降低了稀疏性和计算负担。
3. 语义表示能力
独热编码
- 无法捕捉单词之间的语义关系，只能简单地区分每个词的唯一性。
- 例如，“猫”和“狗”在独热编码中没有语义上的关联，只是两个不同的向量。
词嵌入
- 能够通过词嵌入空间来捕捉语义相似性。例如，“猫”和“狗”会在向量空间中更加接近，因为它们在语义上是相关的。
4. 处理稀疏数据
独热编码
- 对于稀疏数据表现较差，特别是在处理较大的词汇表时，因为许多维度会全为0，无法有效利用数据。
词嵌入
- 可以处理稀疏数据，因为它通过上下文信息生成低维向量，从而减少了无意义的维度。
5. 上下文信息
独热编码
- 无法考虑上下文信息，无法捕捉单词在不同语境中的变化。例如，“打电话”和“电话会议”在独热编码中是完全独立的。
词嵌入
- 通过考虑周围的单词或上下文来生成向量，能够捕捉到不同语境下单词的变化。例如，“打电话”和“电话会议”会在向量空间中展现出不同的语义特征。
6. 扩展性与泛化能力
独热编码
- 不容易处理未见过的新词汇，因为每个单词都需要有一个独立的维度。
词嵌入
- 可以在未见过的新词汇情况下，通过语义相似性来生成向量，例如，“数字孪生”是一个新的短语，但可以基于上下文生成相似的向量。
7. 存储与计算效率
独热编码
- 由于高维度和稀疏性，存储和计算开销较大。例如，对于100,000个词汇，每个向量的维度可能达到100,000，导致内存占用和运算复杂度急剧增加。
词嵌入
- 通过低维度表示，可以显著降低存储和计算成本，提升模型的处理效率。
总结
- 词嵌入通过低维度向量、语义关联和上下文感知，显著提升了处理自然语言任务的能力，尤其在面对复杂语义理解和处理稀疏数据时具有优势。而独热编码虽然简单直观，但因高维度和稀疏性限制，难以处理复杂的语言数据。