Transformer从菜鸟到新手(七)

主要观点总结

本文介绍了如何通过使用束搜索（Beam Search）技术提高BLEU分数，束搜索是一种在生成翻译结果时使用的搜索策略，它能维护多条概率最大的搜索路径，并选择最终的输出。文章还解释了束搜索的工作原理，并通过示例展示了如何使用束搜索和KV缓存来计算BLEU分数，并展示了训练过程以及在测试集上的表现。

关键观点总结

关键观点1: 束搜索介绍

束搜索是一种在生成翻译结果时使用的搜索策略，能维护多条概率最大的搜索路径，并选择最终的输出。

关键观点2: 束搜索工作原理

束搜索通过维护K条概率最大的搜索路径，每次生成时选择概率最大的路径，直到达到结束标记或路径数量达到K。

关键观点3: 束搜索与KV缓存

在训练时使用KV缓存可以提高生成效率，并在生成时通过批量内束搜索实现解码。

关键观点4: 训练与测试表现

在训练过程中，通过计算BLEU分数来评估模型的性能，并在测试集上测试模型的表现。

关键观点5: 注意力机制与掩码

在推理时，需要关注注意力机制的使用和掩码的作用，确保模型生成正确的输出。