(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211182116.2 (22)申请日 2022.09.27 (71)申请人 河南大学 地址 475001 河南省开封市顺河区明伦街 85号 (72)发明人 翟锐　张玉涛　刘杭　于俊洋　 王瑛琦　宋亚林　刘文明　苑昆永　 (74)专利代理 机构 郑州大通专利商标代理有限 公司 41111 专利代理师 刘莹莹 (51)Int.Cl. G06N 20/20(2019.01) G06K 9/62(2022.01) G06F 21/60(2013.01) (54)发明名称 一种基于数据集蒸馏的联邦学习个性化方 法 (57)摘要 本发明提供一种基于数据集蒸馏的联邦学 习个性化方法。 该方法包括： 在客户端， 利用预设 的数据集蒸馏模型对本地数据进行处理生成蒸 馏数据 并将蒸馏数据加密后上传至服务器； 服务器利用所有的加密蒸馏数据 进行全 局模型训练， 得到全局模型的初始参数G0， 将 和G0下发至各客户端； 在客户端， 根据本地 数据的数据分布特征利用 进行数据增强 得到新的本地数据， 并利用G0对本地模型进行参 数初始化， 然后利用新的本地数据对当前本地模 型的参数进行更新并上传至服务器； 服务器对所 有本地模型的参数进行聚合 以更新全局模型的 参数， 并将更新后的全局模型的参数下发至各客 户端； 重复前述的两个步骤， 直至更新后的全局 模型满足要求。 权利要求书2页 说明书5页 附图3页 CN 115511108 A 2022.12.23 CN 115511108 A 1.一种基于数据集蒸馏的联邦学习个性 化方法， 其特 征在于， 包括： 步骤1： 在客户端， 利用预设的数据集蒸馏模型对本 地数据进行处理生成蒸馏数据 并 将所述蒸馏数据加密后上传至服 务器； 步骤2： 服务器接收到各客户端上传的加密蒸馏数据 后， 将所有的加密蒸馏数据记作 利用 进行全局模型训练， 得到全局模型的初始参数G0， 将 和G0下发至各客 户端； N表示 客户端的数量； 步骤3： 在客户端， 根据本地数据的数据分布特征利用 进行数据增强得到新的本地 数据， 并利用G0对本地模型进行参数初始化； 步骤4： 在客户端， 利用新的本地数据对当前本地模型的参数进行更新， 并将更新后的 本地模型的参数 上传至服 务器； 步骤5： 服务器接收到各客户端上传的本地模型的参数后， 对所有本地模型的参数进行 聚合以更新全局模型的参数， 并将更新后的全局模型的参数 下发至各客户端； 步骤6： 重复步骤4至步骤5， 直至更新后的全局模型满足要求。 2.根据权利要求1所述的一种基于数据集蒸馏的联邦学习个性化方法， 其特征在于， 步 骤1具体包括： 步骤1.1： 将公式(1)设置为优化目标函数， 利用公共数据集训练得到数据集蒸馏模型： 其中， 为生成的合成数据集， 为学习率， θ0为初始化参数， 表示拉普拉斯算子， 表示元学习函数； 步骤1.2： 将数据集蒸馏模型下发至各客户端， 客户端利用数据集蒸馏模型对本地数据 进行处理生成蒸馏数据 并采用差分隐私算法对所述蒸馏数据 记进行加密， 得到加密 蒸馏数据 3.根据权利要求1所述的一种基于数据集蒸馏的联邦学习个性化方法， 其特征在于， 步 骤3具体包括： 步骤3.1： 使用狄利克雷分布对本地数据分布进行统计， 得到本地数据的数据分布参数 α； 步骤3.2： 利用 对本地数据进行补充使得本地数据的数据分布参 数α 不断逼近0.5， 将α 最接近0.5时的本地数据作为 新的本地数据。 4.根据权利要求1所述的一种基于数据集蒸馏的联邦学习个性化方法， 其特征在于， 步 骤4具体包括： 对于客户端k， 对第t轮次的梯度 进行随机梯度下降， 得到更新后的梯度 将 上传至服 务器。 5.根据权利要求4所述的一种基于数据集蒸馏的联邦学习个性化方法， 其特征在于， 步 骤5具体包括： 步骤5.1： 按照公式(2)对所有本地模型的梯度进行聚合： 其中， mk表示第k个客户端所拥有的样本数量， m表示样本总数量；权　利　要　求　书 1/2 页 2 CN 115511108 A 2步骤5.2： 按照公式(3)进行梯度下降： w＝wt‑ηΔFt(wt)  (3) 其中， w表示更新后的梯度， η为本地模型的学习率， ΔFt表示目标函数在第t次聚合时的 变化量； 步骤5.3： 服务器在计算出最新梯度w后进行反向传播更新全局模型， 之后下发模型参 数θ 至各客户端。权　利　要　求　书 2/2 页 3 CN 115511108 A 3