字节跳动大模型训练被实习生攻击
十月十八之日,众微信群内忽传一事,云:“某业界巨擘之大模型训练,竟遭一实习生潜入,暗中植入毁伤之码,致其训练之果难以信赖,或需重头再练。闻其被侵之码,累及八千余张卡,所失之财,恐逾千万美金。”
网友得自消息灵通之士,此巨擘乃字节跳动也。事发于今年六月,缘由乃一高校博士,于字节跳动商业化技术之团队实习,因团队资源分配之事心生不满,遂以攻击之码,坏其团队模型训练之务。网友向字节跳动求证此事,然至此时,官方未有任何回应。
传闻云,此实习生姓田,利用HF(huggingface)之隙,于公司共享之模型中,暗植毁伤之码,致模型训练之效,忽高忽低,无法得预期之果,AML团队亦无法究其因。然传闻既出,此实习生却于微信群中辟谣,称己发论文后即离职,此时另有他人乘隙改模型之码,欲嫁祸于己。网友复得自消息灵通之士,字节跳动内部已查明此事,确为田姓实习生所为。当下,此实习生已被辞退,字节跳动亦将此事告之阳光诚信联盟、企业反舞弊联盟,及其实习生之所在学府。然此实习生被辞后,四处“辟谣”甩锅,称乃他人所为。然此实习生所攻者,非豆包大模型,乃商业化技术团队之模型训练任务,虽影响其团队之业务进展,然对公司之损失,并未如传闻之巨,逾千万美金也。
有技术安全之专家谓网友曰:“HF之隙,必因单一性集中训练而生。此事显字节跳动技术训练之安全管理有阙。公司既未作权限之隔离,亦未善共用代码之审计。常理,每次大之代码变动,必作审计,无论何人操作,皆有痕迹可寻,一人欲动代码,难矣。”
此技术安全专家复言:“今业界通用之法,乃作三级隔离导向性部署,每一级唯有镜像,每次先扫描。调用按次计,必用密钥。每一级既成,方入下一级,而上一级自动删之,分级训练也。”
