注意：这篇文章最初写于 2016 年 7 月。现在大部分内容已经过时。请参阅如何使用预训练词嵌入的示例，以获取最新的替代方案。
在本教程中，我们将引导您完成使用预训练的词嵌入和卷积神经网络解决文本分类问题的过程。
本教程的完整代码可在 Github 上获取。
什么是词嵌入？
“词嵌入”是一系列自然语言处理技术，旨在将语义映射到几何空间中。 这是通过将一个数值向量与字典中的每个单词相关联来完成的，这样任何两个向量之间的距离（例如 L2 距离或更常见的余弦距离）将捕获两个相关单词之间语义关系的一部分。 由这些向量形成的几何空间称为_嵌入空间_。
例如，“椰子”和“北极熊”在语义上是完全不同的词，因此合理的嵌入空间会将它们表示为相距很远的向量。 但是“厨房”和“晚餐”是相关的词，因此它们应该嵌入在一起。
理想情况下，在一个良好的嵌入空间中，从“厨房”到“晚餐”的“路径”（向量）将精确地捕捉这两个概念之间的语义关系。 在这种情况下，关系是“x 发生的地方”，因此您会期望向量kitchen - dinner（两个嵌入向量之差，即从晚餐到厨房的路径）捕捉到这种“x 发生的地方”的关系。 基本上，我们应该具有向量恒等式：dinner + (where x occurs) = kitchen（至少近似）。 如果确实如此，那么我们可以使用这样的关系向量来回答问题。 例如，从一个新的向量开始，例如“work”，并应用这个关系向量，我们应该得到一些有意义的结果，例如work + (where x occurs) = office，回答“work 发生在哪里？”。
词嵌入是通过将降维技术应用于文本语料库中单词之间共现统计数据集来计算的。 这可以通过神经网络（“word2vec”技术）或通过矩阵分解来完成。
GloVe 词嵌入
我们将使用 GloVe 嵌入，您可以在此处阅读相关内容。 GloVe 代表“全局向量表示”。 它是一种基于对词共现统计矩阵进行因子分解的相当流行的嵌入技术。
具体来说，我们将使用在 2014 年英语维基百科转储上计算出的 40 万个单词的 100 维 GloVe 嵌入。 您可以在此处下载它们（警告：点击此链接将开始 822MB 的下载）。
20 个新闻组数据集
我们将尝试解决的任务是将来自 20 个不同新闻组的帖子分类到它们最初的 20 个类别中——臭名昭著的“20 个新闻组数据集”。 您可以在此处阅读有关数据集的信息并下载原始文本数据。
类别在语义上是完全不同的，因此将具有与其相关的完全不同的词。 以下是一些示例类别
comp.sys.ibm.pc.hardware
comp.graphics
comp.os.ms-windows.misc
comp.sys.mac.hardware
comp.windows.x
rec.autos
rec.motorcycles
rec.sport.baseball
rec.sport.hockey
方法
以下是我们如何解决分类问题
- 将数据集中所有文本样本转换为词索引序列。 “词索引”只是一个单词的整数 ID。 我们只会考虑数据集中最常出现的 20,000 个词，并且我们会将序列截断为最多 1000 个词。
- 准备一个“嵌入矩阵”，它将在索引
i处包含我们词索引中索引i的词的嵌入向量。 - 将此嵌入矩阵加载到 Keras
Embedding层中，设置为冻结（其权重，即嵌入向量，在训练期间不会更新）。 - 在其之上构建一个一维卷积神经网络，最后在我们 20 个类别上进行 softmax 输出。
准备文本数据
首先，我们将简单地遍历存储文本样本的文件夹，并将它们格式化为样本列表。 我们还将同时准备一个与样本匹配的类索引列表
texts = [] # list of text samples
labels_index = {} # dictionary mapping label name to numeric id
labels = [] # list of label ids
for name in sorted(os.listdir(TEXT_DATA_DIR)):
path = os.path.join(TEXT_DATA_DIR, name)
if os.path.isdir(path):
label_id = len(labels_index)
labels_index[name] = label_id
for fname in sorted(os.listdir(path)):
if fname.isdigit():
fpath = os.path.join(path, fname)
if sys.version_info < (3,):
f = open(fpath)
else:
f = open(fpath, encoding='latin-1')
t = f.read()
i = t.find('\n\n') # skip header
if 0 < i:
t = t[i:]
texts.append(t)
f.close()
labels.append(label_id)
print('Found %s texts.' % len(texts))
然后我们可以将我们的文本样本和标签格式化为可以输入神经网络的张量。 为此，我们将依赖于 Keras 实用程序 keras.preprocessing.text.Tokenizer 和 keras.preprocessing.sequence.pad_sequences。
from keras.preprocessing.text import Tokenizer
from keras.preprocessing.sequence import pad_sequences
tokenizer = Tokenizer(nb_words=MAX_NB_WORDS)
tokenizer.fit_on_texts(texts)
sequences = tokenizer.texts_to_sequences(texts)
word_index = tokenizer.word_index
print('Found %s unique tokens.' % len(word_index))
data = pad_sequences(sequences, maxlen=MAX_SEQUENCE_LENGTH)
labels = to_categorical(np.asarray(labels))
print('Shape of data tensor:', data.shape)
print('Shape of label tensor:', labels.shape)
# split the data into a training set and a validation set
indices = np.arange(data.shape[0])
np.random.shuffle(indices)
data = data[indices]
labels = labels[indices]
nb_validation_samples = int(VALIDATION_SPLIT * data.shape[0])
x_train = data[:-nb_validation_samples]
y_train = labels[:-nb_validation_samples]
x_val = data[-nb_validation_samples:]
y_val = labels[-nb_validation_samples:]
准备嵌入层
接下来，我们通过解析预训练嵌入的数据转储来计算将词映射到已知嵌入的索引
embeddings_index = {}
f = open(os.path.join(GLOVE_DIR, 'glove.6B.100d.txt'))
for line in f:
values = line.split()
word = values[0]
coefs = np.asarray(values[1:], dtype='float32')
embeddings_index[word] = coefs
f.close()
print('Found %s word vectors.' % len(embeddings_index))
此时，我们可以利用我们的 embedding_index 字典和我们的 word_index 来计算我们的嵌入矩阵
embedding_matrix = np.zeros((len(word_index) + 1, EMBEDDING_DIM))
for word, i in word_index.items():
embedding_vector = embeddings_index.get(word)
if embedding_vector is not None:
# words not found in embedding index will be all-zeros.
embedding_matrix[i] = embedding_vector
我们将此嵌入矩阵加载到 Embedding 层中。 请注意，我们设置 trainable=False 以防止权重在训练期间更新。
from keras.layers import Embedding
embedding_layer = Embedding(len(word_index) + 1,
EMBEDDING_DIM,
weights=[embedding_matrix],
input_length=MAX_SEQUENCE_LENGTH,
trainable=False)
Embedding 层应该输入整数序列，即形状为 (samples, indices) 的二维输入。 这些输入序列应该填充，以便它们在批输入数据中具有相同的长度（尽管 Embedding 层能够处理异构长度的序列，如果您没有向层传递显式的 input_length 参数）。
Embedding 层所做的就是将整数输入映射到嵌入矩阵中相应索引处找到的向量，即序列 [1, 2] 将转换为 [embeddings[1], embeddings[2]]。 这意味着 Embedding 层的输出将是一个形状为 (samples, sequence_length, embedding_dim) 的三维张量。
训练一维卷积网络
最后，我们可以构建一个小型一维卷积网络来解决我们的分类问题
sequence_input = Input(shape=(MAX_SEQUENCE_LENGTH,), dtype='int32')
embedded_sequences = embedding_layer(sequence_input)
x = Conv1D(128, 5, activation='relu')(embedded_sequences)
x = MaxPooling1D(5)(x)
x = Conv1D(128, 5, activation='relu')(x)
x = MaxPooling1D(5)(x)
x = Conv1D(128, 5, activation='relu')(x)
x = MaxPooling1D(35)(x) # global max pooling
x = Flatten()(x)
x = Dense(128, activation='relu')(x)
preds = Dense(len(labels_index), activation='softmax')(x)
model = Model(sequence_input, preds)
model.compile(loss='categorical_crossentropy',
optimizer='rmsprop',
metrics=['acc'])
# happy learning!
model.fit(x_train, y_train, validation_data=(x_val, y_val),
epochs=2, batch_size=128)
该模型仅在 2 个时期后就在验证集上达到了95% 的分类准确率。 您可能可以通过使用一些正则化机制（例如 dropout）进行更长时间的训练或通过微调 Embedding 层来获得更高的准确率。
我们还可以测试如果我们不使用预训练的词嵌入，而是从头开始初始化我们的 Embedding 层并在训练期间学习其权重，我们会取得怎样的表现。 我们只需要将我们的 Embedding 层替换为以下内容
embedding_layer = Embedding(len(word_index) + 1,
EMBEDDING_DIM,
input_length=MAX_SEQUENCE_LENGTH)
2 个时期后，这种方法只能让我们获得90% 的验证准确率，低于前一个模型在一个时期内就能达到的水平。 我们的预训练嵌入肯定为我们带来了一些好处。 通常，使用预训练的嵌入与训练数据很少的自然语言处理任务相关（从功能上讲，嵌入充当外部信息的注入，这可能对您的模型有用）。