大语言模型会在蒸馏中“夹带”自己的偏好
《自然》15日发表的一项研究显示,大语言模型(LLM)可能会将某些自己的偏好“夹带私货”传授给其他算法,即使在训练数据中清除原始特征后,这些本不需要的特征,仍可能持续存在。在一个案例中,一个模型似乎通过数据中的隐含信号,将自己对猫头鹰的偏好传递给了其他模型。该研究结果表明,在开发LLM时,需要进行更彻底的安全检查。
《自然》15日发表的一项研究显示,大语言模型(LLM)可能会将某些自己的偏好“夹带私货”传授给其他算法,即使在训练数据中清除原始特征后,这些本不需要的特征,仍可能持续存在。在一个案例中,一个模型似乎通过数据中的隐含信号,将自己对猫头鹰的偏好传递给了其他模型。该研究结果表明,在开发LLM时,需要进行更彻底的安全检查。

人民网北京4月15日电 (记者栗翘楚)4月15日,在我国第11个“全民国家安全教育日”到来之际,海关总署召开新闻发布会,介绍一季度国门生物安全防控工作。 海关是守护国家生物安全的第一道防线。4月13日,海关总署联合农业农村部、自然资源部、生...