Scientific Journal of Control Engineering June 2014, Volume 4, Issue 3, PP.79-85
Semi-supervised Learning to Train the Neural Network to Predict WEDM Yicheng Mai #, Wei Chen, Junli Gao, Yongjun Zhang College of Automation, Guangdong University of Technology, Guangzhou Guangdong 510006, China #
Email: 232813735@qq.com
Abstract For determining the precision model of wire electric discharge machining (WEDM), the radial basis function (RBF) neural network is applied to simulating the processed data. In consideration of the boundedness of RBF neural network, combine the processed data and the constraint condition of practical manufacture to the semi-supervised learning. The semi-supervised cluster learning is chosen as the learning method of the neural networks. The data centers of hidden nodes are determined by this algorithm, and extended constants of the hidden nodes are determined by distances of each data center. The output weights of hidden nodes are achieved by supervised learning method. Generate a trained neural networks predicted machining system. Separating the training data and verify data to avoid model overfitting. Comparing the tradition modeling method such as polynomial regression and normal RBF neural network, it is more accurate for estimating and less output error. Simulation is more stable. Keyword: Semi-supervised Learning; Predicted Machining; Model over Fitting
半监督学习训练神经网络的线切割加工预测* 麦毅成，陈玮，高军礼，张永俊 广东工业大学 自动化学院，广东 广州 510006 摘
要：针对电火花线切割机床模型无法精确确定问题，提出采用径向基神经网络对加工数据进行模拟仿真。鉴于径向
基神经网络存在的局限性，根据机床加工数据与实际生产获取约束条件结合的半监督学习方法，选取半监督聚类算法作 为神经网络优化的学习方法确定径向基神经网络中各隐藏节点的数据中心，并利用数据中心点间距离确定隐节点的扩充 常数。采集数据进行有监督学习神经网络的权值输出，生成整个预测加工系统。为避免模型的过度拟合采用训练数据与 检测数据分开不重复来检验误差，并与传统的建模方法如多项式回归、RBF 神经网络进行对比，本方法能具有更小的输 出误差，仿真更加稳定。 关键词：半监督学习；预测加工；过度拟合
引言 电火花线切割加工靠电极丝与工件间的火花放电对工件进行切割，是一个多参数、复杂的过程，具有不 确定性和随机性，难以建立精确的数学模型反映加工工艺参数与质量指标之间的映射关系[1]。各项加工参数 相互制约、关联甚至相互矛盾，传统的电火花线切割机床加工一般由有经验操作人员人工设置加工输入参数， 不确定性和误判性强，难以获得最佳加工效果和稳定性。但电火花线切割技术对高硬度、难切割材料和精密 复杂表面切割有一定优势，是一种必不可少的工艺手段。 人工神经网络的提出与发展为研究非线性系统提供了强有力的工具，已成功运用在很多领域上。神经网 *
基金资助：受国家自然科学基金多槽同步电火花线切割放点特性与控制模式研究（51275098）和博士点基金：单丝多工位同 步放电线切割加工机理与控制策略研究（500130027）支持资助。 - 79 http://www.sj-ce.org
络具有高度并行性、非线性映射能力强、自学习能力和适应能力强以及良好容错性[2]，对于非线性系统预测 能力优于统计学方法和决策树方法。但神经网络系统存在缺陷，一是学习速度慢，二是学习知识难以理解。 神经网络的隐藏层设计与学习数据相关联而又无法确定其隐含层的最佳数值，导致整个预测系统的泛化误差 增大。 数据分类能够有效的解决神经网络隐藏层结构问题，在理论和数据支持下能够提高其预测能力。传统数 据分类基本为监督学习和无监督学习，根据有无确定分类类型划分。这两类方法都具有一定局限性，对于实 际问题采用全标记数据用于分类数据要付出昂贵代价，对无标记数据进行盲目分类又因分类方法产生不确定 性。半监督学习方法能够有效的中和监督学习和非监督学习的缺陷，算法采用部分已知或容易获取的标记数 据来指导分类。 对于预测系统的复杂性和强非线性，采用半监督学习方法指导神经网络预测，能够有效解决神经网络预 测算法的缺陷。
1 半监督聚类算法 数据全局聚类通常称为聚类分析，是发现自然分组的一套模式、点或对象。能够研究数据的接近程度（距 离）或相似程度，以发现大量数据隐含的、未知的、有潜在应用价值的信息或模式。Webster 将聚类定义为 一种利用统计学技术通过定量的比较多重属性来发现种群个体中是否处于不同分组[3]。通过对数据的聚类分 析可发现数据运行规律，运行参数变化对总输出效果的影响程度等。针对大量数据分析、数据分布特点，挖 掘数据的特征，解决系统模型不确定、难以分析的问题。 半监督学习是解决标记数据数量有限，训练数据不足以为机器学习算法提供足够数据分布信息的方法。 半监督学习根据任务不同可分为半监督分类和半监督聚类，半监督聚类是利用少量的标记数据（label）辅助 聚类算法的实现，提高聚类算法的精度，利用的少量标记数据可以是类别标记或一对数据是否属于同一类的 约束关系，用 must-linked 和 cannot-linked 来辅助聚类，must-linked 要求数据对是同一个聚类中，cannot-linked 是要求数据对不能同一个聚类中。半监督聚类算法一般是在传统聚类算法上通过人为约束或不同类别聚类算 法联立聚类结果增加约束条件而建立。相对于无监督聚类，半监督聚类目的是挖掘和更好地理解无标记数据 的结构和紧密地贴合标记数据约束来显示数据的潜在含义[4]。
1.1 MPC K 均值算法 MPC K 均值（Metric pairwise constraint K-Means）是一种以经典聚类算法 K 均值为前提的利用成对约束 提供指导、违反约束伴随处罚的改进算法，并根据不同属性设立不同权值来弥补现存半监督聚类算法大部分 只针对成对约束的缺点[5]。其算法的最大特点为利用权值矩阵分别处理数据属性和允许强结合聚类违反约束 的结果。
令 M 为 must-linked 的约束集，C 为 cannot-linked 约束集， W wij 和 W wij 分别为违反 M 和 C 约 束的处罚权值，成对约束有效的代表对数据相似域的理解。以往基于距离度量的半监督聚类算法在度量训练 步骤中排除无标记数据，同时从聚类进程中分离度量学习，而现有的基于度量算法都只利用单一的度量，只 能应用在简单的数据类型上[6]。由于原始数据群集是足够分散可能并不代表一个指定空间，修改其距离度量 方式能够缩减或增大相同或不同群集数据距离。运用学习度量方式能够更好改进分类，通过修改欧几里得距 离 ， 加 入 一 个 正 定 矩 阵 A ， 设 点 xi 分 配 到 聚 类 X li 中 ， 中 心 点 为 li 。 则 新 的 度 量 标 准 应 为 ： xi x j A
x A x 。令 A 为对角矩阵，其对角线上特征权值为度量每个维度的权值。当聚类 X T
i
li
i
1 li
由高斯协方差矩阵 A
li
li
[6]
产生，那么其最大化对数自然函数等价于 K 均值模型下的最小化目标函数 ： J Mkmeans
x
xi X
i
li
2
Ali log det Ali
- 80 http://www.sj-ce.org
(1)
结合 must-linked 和 cannot-linked 约束集和特征权值矩阵，可定义处罚函数使得根据违反约束条件时对于 最小化目标函数的变化，即评价标准。此时处罚函数分别为：
f M xi , x j
1 xi x j 2
2
Al i
fC xi , x j x'i x'' j
2
1 xi x j 2
Al xi x j
2
Al
(2)
Al
(3)
i
2
i
i
其中， x 'i 和 x '' j 分别是聚类 X l 中两个最大分离点，总最小化目标函数为： i
J MPCkmeans
xi X
x i
2 li
Al log det Al i
i
wij f M xi , x j li l j
(4)
xi , x j M
wij f C xi , x j li l j xi , x j C
其中 li l j 和 li l j 分别代表 must-linked 和 cannot-linked 约束是否成立，若成立则其值为 0；若违 反约束，其值为 1，进入惩罚计算。根据算法的迭代其目标最小化函数将收敛于一定值，作为最终输出结果。 令其结果聚类数为 h，聚类为 X h ，中心点为 h ，各中心点相邻距离为 lh 。
2 RBF 神经网络预测 数据预测是指在分析现有数据的基础上估计或推测未来数据的过程，常用的数据预测有统计学方法、决 策树方法和神经网络方法。神经网络方法能够处理大量复杂非线性数据，多用于复杂系统的预测。径向基神 经网络（Radical Basis Function）弥补传统前馈神经网络的缺点，具有很好的通用性。RBF 神经网络原理是根 据不同的数据核对输入刺激起局部反应，与数据核的距离来产生重要的非零值响应。RBF 神经网络训练速度 相当快，并在训练时不易产生震荡和陷入局部极小。它是一种局部逼近网络，从理论上可以证明它能以任意 的精度逼近任意连续的函数，即具有唯一最佳逼近特性、且无局部极小问题[7]。 RBF 神经网络由三层结构组成，如图 1 所示。 输入层节点只传递信号到隐藏层，隐藏层节点作用相当于对输入模式进行变换，将低维（高维）的模式 输入数据变换至高维（低维）空间内，利用输出层进行分类识别。 Y1 X1
h1
∑
X1
h2
∑
… …
… …
… …
Xn
hm
∑
Y2
Yn 图 1 RBF 神经网络结构
2.1 基函数及其选择 在 RBF 神经网络中，隐藏层执行的是一种用于特征提取的非线性变换，将输入空间映射到一个新的空间 上，输出层在该新空间中实现线性组合，可调节的参数为线性组合的权值和控制基函数形状的参数。令
X [ x1 , x2 ,
, xn ]T 为网络输入向量，径向基神经网络基函数的选取为径向对称函数，以靠近中心点值为最大、
远 离中 心点 值越小 ，区分 数据 在不 同区域 中表现 ，一 般选 取高斯 函数。 设 RBF 网 络 的径 向基 向量
H [h1 , h2 ,
, hm ]T ，其中 h j 为高斯基函数，即 - 81 http://www.sj-ce.org
X Cj h j exp 2b j 2
, j 1, 2
式 中 ， 网 络 第 j 个 节 点 的 中 心 向 量 C j c j1 , c j 2 , B b1 , b2 ,
(5)
m
T
c jn , j 1, 2,
m ，设网络的基宽度向量为
bm 。 T
2.2 中心向量选取 在 RBF 神经网络中，隐层 RBF 中心的数量和宽度直接影响网络的逼近能力，要求中心必须覆盖整个输 入空间。中心的选取数量过多将影响计算还会导致泛化能力的下降，建立 RBF 网络模型关键在于中心向量的 选取。隐藏节点数，中心向量和宽度以及输出层连接权值训练一般分为两类：1）一步训练算法，直接通过 梯度下降法学习同时调整隐藏层节点数、隐藏函数的中心向量和宽度以及输出节点之间的权重，实现网络输 出误差最小。该方法主要缺陷在于只利用输出误差作为评价标准，忽略原始数据的分析利用。2）两步训练 算法，利用聚类算法分析获取较为准确的隐藏层节点数，中心向量和宽度。在运用基于两阶段学习方法设计 RBF 神经网络结构时，通常是针对训练样本集的输入样本进行非监督学习，从而确定网络隐层的中心，显然 这种方法忽视了网络的输出信息[8]。本文利用 MPC K 均值算法对输入输出总数据空间的分区进行数据的聚类 分析来确定隐藏层的数量和中心向量选取。中心向量数选择为聚类数 h。中心向量为聚类中心点 h ，而宽度选择为 B l1 , l2 ,
C j j j 1, 2
lh 。
2.3 权值学习 权值学习采用递推最小二乘法（RLS） ，运用卡尔曼滤波器获得网络连接权值的递推迭代。该算法基本思 路为：每次迭代由训练样本形成协方差矩阵递推求得的权值的精确解。RLS 算法是一种基于误差代价函数为 优化目标的训练算法，与传统误差代价的区别在于其每一步迭代是以加权累计而成，称为加权误差代价函数， 即 1 k k 1 2 e t 2 t 1 2 1 k k 1 d t y t 2 t 1 2 1 k k 1 d t h xt w k 2 t 1
J k
(6)
式中 为加权遗忘因子： e t , d t , y t 分别为输入向量 xt 的输出节点误差、期望输出和实际输出；
w k w1 , w2 ,
, wm 为第 k 步时输出层与隐藏层的连接权重向量； h xt ht1 , ht 2 , T
, htm 是对应 hti 隐藏层第
i 个节点输出。取 J k 对 w k 微分为 0，推导可得权值更新方程为 w k w k 1 g k d k h k w k 1
其中
g k
(7)
p k 1 hT (k )
h k p k 1 hT k
(8)
p k p k 1 g k h k p k 1 /
3 预测实验 实验数据的学习预测会导致整个学习系统陷入过度拟合情况，而学习数据过少又可导致模型尚未学习到 数据真实结构出现拟合不足。因此用于训练和检验数据应当在适当范围内，以避免模型拟合不足或拟合过度， 同时数据应具有代表性和误差数据尽量少。 本文采用是一个真实非线性系统，可通过系统分析其主成分属性。电火花线切割加工所选取加工参数直 - 82 http://www.sj-ce.org
接决定工艺效果，而加工参数和工艺效果之间关系复杂，根据其加工机理与成品要求，具体影响其加工的各 因素分别为工件加工厚度、加工电流、脉冲宽度、脉冲间隔以及其切割速度和工件表面粗糙度。 本文实例为一个四输入二输出的网络结构，其工艺模型拓扑结构如图 2。 脉宽
脉间
加工电流
厚度
隐藏层
切割速度
表面粗糙度
图 2 工艺模型拓扑结构
本文采用对比实验得出本改进算法的有效性与优越性，通过采用多项式回归、RBF 神经网络预测和半监 督聚类优化 RBF 神经网络预测方法进行模型的预测对比实验。通过单因素试验方法和正交试验方法研究了脉 冲宽度、脉冲间隔、加工电流、工件厚度对加工表面粗糙度及切割速度的影响大小，各因素对表面粗糙度的 影响大小次序为：工件厚度>脉冲宽度>加工电流>脉冲间隔；对切割速度的影响大小次序为：脉冲宽度>加工 电流>脉冲间隔>工件厚度。作者对文献[9]收集的电火花线切割机床加工参数与其采用的多项式和 BP 网络预 测进行对比实验。为避免数据的拟合问题，对于 RBF 神经网络与本文算法均采用 80%数据进行训练学习， 20%数据作检验模型。对于半监督聚类在训练学习数据中抽取 20%作为约束数据并以影响程度作为度量权值 初始化依据。预测实验结果如图 3，4 和表 1。其中图中+曲线表示多项式回归，o 曲线表示 RBF 神经网路，* 曲线代表半监督聚类优化 RBF。 表 1 各类学习方法误差对比 学习方法
切割速度拟合平均误 差（%）
切割速度预测平均误差 （%）
表面粗糙度拟合平均误差 （%）
表面粗糙度预测平均误差 （%）
多项式回归 RBF 神经网络 半监督聚类优 化 RBF
3.46 1.19 0.48
6.29 3.15 0.88
3.67 0.76 0.28
4.85 2.51 0.99
(a) 表面粗糙度拟合精度误差
（b）表面粗糙度预测精度误差
图 3 表面粗糙度拟合、预测误差曲线 - 83 http://www.sj-ce.org
(a) 切割速度拟合精度误差
（b）切割速度预测精度误差
图 4 切割速度拟合、预测误差曲线
4 小结 通过半监督聚类学习优化神经网络算法对原始加工数据进行非线性拟合，相对于多项式回归与 RBF 神经 网络算法其分布模型参量的估计结果更加准确。普通的多项式回归方法各项预测在 4-5%左右，严重偏离了实 际参数，而 RBF 神经网络的预测缩减了误差水平但仍存在误差过大（最大超过 3%） 。半监督聚类学习优化 神经网络克服了传统的 RBF 神经网络学习对于数据挖掘程度不足的缺点，避免了由于数据准确度不高而导致 系统偏差量大，精度均控制在 1%内，对生产预测有很大帮助。从学习结果误差率看，本文提出的方法提高 了数据利用率和预测精确率。聚类算法结合 RBF 神经网络的学习算法在非线性系统的应用，可为系统预测学 习研究开辟新的途径，尤其对于复杂度高、难以获取精确模型或获取成本高的系统，具有广阔的应用前景。
REFERENCES [1]
ZHANG Li-tang, LIU Yong, DU Shu-hao.Research of WEDM Process Simulation Based on Neural Network[J].Modular Machine Tool & Automatic Manufacturing Technique.2010,(3):83-87[张利堂,刘勇,杜树浩等.基于神经网络的电火花线切割加工工艺仿 真研究[J].组合机床与自动化加工技术,2010,(3):83-87]
[2]
XI Hongbo, ZHANG Chuancai. Study on the Intelligent Estimation System of WEDM Processing Results[J].Manufacturing Technology & Machine Tool, 2009, (5): 45-48 [席洪波, 张传才. 电火花线切割工艺效果智能预测系统研究[J]. 制造技术与机 床, 2009, (5): 45-48]
[3]
Jain A K. Data clustering: 50 years beyond K-means [J]. Pattern Recognition Letters, 2010, 31(8): 651-666.
[4]
Yin X, Chen S, Hu E, et al. Semi-supervised clustering with metric learning: An adaptive kernel method [J]. Pattern Recognition, 2010, 43(4): 1320-1333.
[5]
Chandra B, Gupta M. A novel approach for distance-based semi-supervised clustering using functional link neural network [J]. Soft Computing, 2013, 17(3): 369-379.
[6]
Bilenko M, Basu S, Mooney R J. Integrating constraints and metric learning in semi-supervised clustering[C]//Proceedings of the twenty-first international conference on Machine learning. ACM, 2004, 7: 81-88.
[7]
MA Tao. Short-term load forecasting research based on fuzzy control of RBF neural network [D]. Xi’an: Xi’an University of Technology, 2009. [马涛. 基于模糊控制 RBF 神经网络短期负荷预测的研究[D].西安科技大学,2009 ]
[8]
ZHANG Jun-feng, Hu Shou-song.Chaotic time series prediction based on RBF neural networks with a new clustering algorithm[J]. Acta Physica Sinica. 2007, 56(2): 713-719. [张军峰,胡寿松.基于一种新型聚类算法的 RBF 神经网络混沌时间序列预测[J].物 理学报, 2007, 56(2): 713-719.]
[9]
SU Jun. Research of Process Modeling and Parameters Optimization for High Speed WEDM [D]. Xi’an University of Technology, - 84 http://www.sj-ce.org
2009 [苏军. 高速走丝电火花线切割工艺建模及参数优化研究[D]. 西安理工大学, 2009.]
【作者简介】 1
麦毅成（1989-） ，男，汉族，广东省佛
2
陈玮（1963-） ，女，浙江省温州市人，教授，博士，主要研
山市人，硕士研究生，主要研究方向：
究方向：智能控制、离散事件动态系统。
智能控制，数据挖掘。
3
Email: easonmyc@gmail.com
向为嵌入式系统开发及应用、电力电子及运动控制技术。 4
高军礼（1973-） ，男，河南尉氏人，副教授，博士，研究方
张永俊（1965-） ，男，广东汕头人，教授，博士，研究方向
为机械制造工艺及装备。
- 85 http://www.sj-ce.org