同志们，能自己写的就尽量自己写吧！毕业论文本身就是一个大学生最后的一场考试，不论最后结果好坏与否都是自己辛勤努力得来的结果。如果实在心有余力不足，也要擦亮眼睛，明辨是非。 经过我的测试，我发现斯坦福的文章中GPT2在整个训练过程中，所有itertation所有for every-sample gradient都是clip过的。也就是说，至少在这一个实验上Abadi's clipping完全等价于automated clipping。虽然后来的实验的确有输于SOTA... https://socialbuzzfeed.com/story13332881/%E8%AE%BA%E6%96%87%E4%BB%A3%E5%86%99-fundamentals-explained