尽管 2020 年是充满挑战的一年，但学术研究并未因此停滞，仍然诞生了许多有意义的技术突破。在 NLP 领域，OpenAI 的 GPT－3 可能是其中最 “出圈” 的，但除它之外，肯定还有很多其他研究论文值得关注。整体来看，2020 年的主要 NLP 研究进展仍以大型预训练语言模型为主，特别是 transformers。今年出现了许多有趣的更新，使得 transformers 架构更加高效，更适用于长文档。另一个热点话题与 NLP 模型在不同应用中的评估有关。业界仍然缺乏普适的评估方法以清晰定义一个模型究竟哪里失败了，以及如何修复这些问题。另外，随着 GPT－3 等语言模型能力的不断增强，对话...... Last article READ