一文理解“上下文学习”----大语言模型突现能力

新启行起航

icl最后的要解答的问题和权值相乘的结果看作初始权值

董麟枝

令我比较费解的地方在于这篇论文只将icl的attention部分和显示微调产生梯度这部分进行了对比。但是在一般的模型训练过程中，根据前一条数据的反向传播产生梯度，根据梯度更新参数，只有参数变化了，后一条数据才会被预测的更好。在这里可以理解icl通过前向过程产生了梯度，但是参数没有变化的话，为什么会出现性能的变化？
不知道是否可以理解成，前面的“demonstration examples”提供了"仅对最后一个查询生效的临时参数变化"？也就是说针对最后一个查询，前面的示例其实会改变模型的参数也就是初始权值，但是这种改变不会被写入原模型中，而是随着最后这个查询得到预测后被抛弃掉。[好奇]