跟着台大李宏毅老师学：模型编辑

主要观点总结

本文介绍了模型编辑（Model Editing）的相关内容，包括定义、衡量方法、模型编辑的方法，以及人类和人工智能如何决定模型编辑的具体方式。文章还讨论了相关的技术和方法，如IKE方法、ROME、Hypernetwork等。

关键观点总结

关键观点1: 什么是模型编辑（Model Editing）

模型编辑是给模型植入一项知识或学会一项新的技能，目的是更新已有的知识或学习新知识。它可以通过不改变模型参数或改变模型参数的方法来实现。

关键观点2: 如何衡量模型编辑是否成功

衡量模型编辑是否成功可以从三个方面进行，包括可靠性（Reliability）、泛化性（Generalization）和局部性（Locality）。其中泛化性是指模型在输入发生一些改变时，输出也能做出相应的改变。

关键观点3: 模型编辑的方法

常见的模型编辑方法有两种，一种是不改变模型参数的方法，只需要把知识作为输入给模型；另一种是改变模型参数的方法，包括由人类决定如何编辑或让人工智能学习如何编辑。

关键观点4: 人类决定如何编辑模型

人类决定如何编辑模型的方法如ROME，分为找出神经网络中与要编辑的知识最相关的部分和修改这部分的参数两个步骤。同时，也需要衡量模型编辑后的效果，以确保其可靠性、泛化性和局部性。

关键观点5: 人工智能决定如何编辑模型

人工智能决定如何编辑模型的方法是利用Hypernetwork来输出参数向量，引导待编辑模型的参数发生改变。训练Hypernetwork的过程是Meta Learning的一部分。此外，还有MEND等方法来简化计算和提高效率。