(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210795515.X (22)申请日 2022.07.06 (71)申请人 浙江财经大学 地址 310018 浙江省杭州市下沙高教园区 学源街18号 (72)发明人 王鲁　郑家皓　陈远高　姚建荣　 (74)专利代理 机构 北京方圆嘉 禾知识产权代理 有限公司 1 1385 专利代理师 王月松 (51)Int.Cl. G06Q 40/02(2012.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 面向不平衡数据集多阶段集成模型的信用 风险评估方法 (57)摘要 本发明涉及一种面向不平衡数据集多阶段 集成模型的信用风险评估 方法， 属于个人信用评 估技术领域， 在数据预处理步骤、 神经网络模型、 参数优化算法三个方面进行了改进， 使用改进后 的混合采样方法、 LSTM—ResNet101混合网络以 及动态调整惯性权重的混合粒子群优化算法对 个人信用风险评估。 混合采样方法包括随机下采 样方法和KM eans‑SMOTE算法， 一定程度上降低了 过拟合程度； 通过ResNet101的嵌入， 防止LS TM网 络因层数加深而出现 “退化”问题； 使用动态调整 惯性权重的混合粒子群优化算法对神经网络中 的Adam优化器的学习率进行调优， 找到最优学习 率， 提高了神经网络模型对不平衡信用数据集的 评估能力。 权利要求书4页 说明书11页 附图3页 CN 115131131 A 2022.09.30 CN 115131131 A 1.一种面向不平衡数据集多阶段集成模型的信用风险评估方法， 其特 征在于， 包括： 获取信贷用户的信用数据集， 并将所述信用数据集划分为训练集和测试集； 所述信用 数据集的特 征值为信贷用户的特 征数据， 标签值 为信贷用户的信用状态； 采用KMeans ‑SMOTE方法增加训练集 中的少数类样本集数量， 并通过随机下采样方法减 少训练集中的多数类样本数量， 获得平衡后的训练集； 构建包含LSTM网络和ResNet101网络的混合神经网络模型； 根据训练集、 平衡后的训练集和测试集， 采用动态调整惯性权重的混合粒子群优化算 法优化混合神经网络模型， 获得优化后的混合神经网络模型； 将待评估信贷用户的特征数据输入优化后的混合神经网络模型， 输出待评估信贷用户 的信用状态。 2.根据权利要求1所述的面向不平衡数据集多阶段集成模型的信用风险评估方法， 其 特征在于， 所述 获取信贷用户的信用数据集， 并将所述信用数据集划分为训练集和测试集， 具体包括： 获取多个公开的信贷用户的特 征数据和信用状态， 构成信用数据集； 对信用数据集中的特征数据进行预处理， 获得有效的特征数据， 从而形成有效的信用 数据集； 所述预处 理包括缺失值补充和特 征值缩放； 将有效的信用数据集按照8 :2的比例划分为训练集和 测试集。 3.根据权利要求1所述的面向不平衡数据集多阶段集成模型的信用风险评估方法， 其 特征在于， 所述混合神经网络模型包括： 两个LSTM网络、 两个Dropout操作层、 两个 ResNet101网络和一个全连接层； 一个LSTM网络、 一个Dropout操作层、 一个ResNet101网络、 另一个LSTM网络、 另一个 Dropout操作层、 另一个ResNet101网络和全连接层依次连接； 所述ResNet101网络包括依次连接的一个输入7*7*64的卷积层、 33个构建块和一个全 连接层； 每 个构建块 为3层。 4.根据权利要求1所述的面向不平衡数据集多阶段集成模型的信用风险评估方法， 其 特征在于， 所述根据训练集、 平衡后的训练集和测试集， 采用动态调整惯性权重的混合粒子 群优化算法优化混合神经网络模型， 获得优化后的混合神经网络模型， 具体包括： 根据平衡后的训练集和测试集， 采用动态调整惯性权重的混合粒子群优化算法调 整混 合神经网络模型， 确定混合神经网络模型的最优学习率； 将最优学习率设置为混合神经网络模型中Adam学习器的学习率， 并使混合神经网络模 型对信用数据集划分得到的训练集进行 学习； 利用测试集对学习后的混合神经网络模型进行测试， 并将测试通过的混合神经网络模 型确定为优化后的混合神经网络模型。 5.根据权利要求4所述的面向不平衡数据集多阶段集成模型的信用风险评估方法， 其 特征在于， 所述根据平衡后的训练集和测试集， 采用动态调整惯性权重的混合粒子群优化 算法调整混合神经网络模型， 确定混合神经网络模型的最优学习率， 具体包括： 步骤1： 以Adam学习器的学习率为优化参数， 设置粒子群优化算法的维度和粒子数均 为 1， 并预设最大迭代次数； 步骤2： 利用平衡后的训练集和测试集按照预设epoch次数调试混合神经网络模型， 获权　利　要　求　书 1/4 页 2 CN 115131131 A 2得第一次优化迭代的学习率和 测试集损失值的最小值； 步骤3： 将第一次优化迭代的学习率设置为 最优学习率并保存测试集损失值的最小值； 步骤4： 依据公式 对惯性权重进行动态调 整， 并在所述最优学习率下利用平衡后的训练集和测试集按照预设epoch次数调试混合神 经网络模型， 获得本次优化迭代的学习率和测试集损失值的最小值； 其中， w为动态调整后 的惯性权重， wmin为惯性权重的最小值， wmax为惯性权重的最大值， t为当前迭代次数， tmax为 最大迭代次数， σ 为 一正小数， β(p,q)为使用贝塔分布产生的一个随机数； 步骤5： 若本次优化迭代的测试集损 失值的最小值小于上一次优化迭代的测试集损 失 值的最小值， 则将本次优化迭代的学习率设置为最优学习率并保存本次优化迭代的测试集 损失值的最小值； 步骤6： 若本次优化迭代的测试集损 失值的最小值大于或等于上一次优化迭代的测试 集损失值的最小值， 则最优学习率 不变并保存上一次优化迭代的测试集损失值的最小值； 步骤7： 重复进行步骤4， 直至出现三个最优学习率； 步骤8： 采用最新的最优学习率， 重复步骤4， 获得当前优化迭代的学习率和测试集损失 值的最小值； 步骤9： 若当前优化迭代的测试集损失值的最小值小于目前最优学习率对应的损失值， 则通过公式 对粒子位置进行更新并保存当前优化迭代的 测试集损失值的最小值； 其中， xr1,j、 xr2,j、 xr3,j为差分进化中的三个随机个体， 且r1≠r2≠ r3， F为比例因子， CR为交叉概 率， rand可以生成0 到1之间的随机数； 步骤10： 若当前优化迭代的测试集损失值的最小值大于或等于目前最优学习率对应的 损失值， 则仍将目前最优学习率作为 最优学习率并保存目前测试集损失值的最小值； 步骤11： 重复进行步骤8至步骤10， 直至迭代次数大于或等于最大迭代次数， 获得最大 迭代次数内的最优学习率， 作为混合神经网络模型的最优学习率。 6.根据权利要求1所述的面向不平衡数据集多阶段集成模型的信用风险评估方法， 其 特征在于， 所述将待评估信贷用户的特征数据输入优化后的混合神经网络模型， 输出待评 估信贷用户的信用状态， 具体包括： 将待评估信贷用户的特 征数据输入 优化后的混合神经网络模型， 生成输出向量； 若输出向量中的数值小于0.5， 则将数值四舍五入为0， 并判定待评估信贷用户为信用 状况良好的借款人； 若输出向量中的数值大于或等于0.5， 则将数值四舍五入为1， 并判定待评估信贷用户 为存在信用风险的借款人。 7.一种面向不平衡数据集多阶段集成模型的信用风险评估系统， 其特 征在于， 包括： 信用数据集获取模块， 用于获取信贷用户的信用数据集， 并将所述信用数据集划分为 训练集和测试集； 所述信用数据集的特征值为信贷用户的特征数据， 标签值为信贷用户的 信用状态； 平衡模块， 用于采用KMeans ‑SMOTE方法增加训练集中的少 数类样本集数量， 并通过随 机下采样方法减少训练集中的多数类样本数量， 获得平衡后的训练集；权　利　要　求　书 2/4 页 3 CN 115131131 A 3