极限学习机

1 介绍

我们在这提出一个基于在线极限学习机和案例推理的混合预测系统。人工神

经网络(ANN)被认为是最强大和普遍的预测器，广泛的应用于诸如模式识别、拟

合、分类、决策和预测等领域。它已经被证明在解决复杂的问题上是非常有效的。

然而，神经网络不像其他学习策略，如决策树技术，不太常用于实际数据挖掘的

问题,特别是在工业生产中，如软测量技术。这是部分由于神经网络的 “黑盒”

的缺点，神经网络没能力来解释自己的推理过程和推理依据，不能向用户提出必

要的询问，而且当数据不充分的时候，神经网络就无法进行工作。所以需要神经

网络和其他智能算法结合，弥补这个缺点。

案例推理的基本思想是：相似的问题有相似的解（类似的问题也有类似的解

决方案）。经验存储在案例中，存储的案例通常包括了问题的描述部分和解决方

案部分；在解决一个新问题时，把新问题的描述呈现给CBR系统，系统按照类似

案件与类似的问题描述来检索。系统提交最类似的经验(解决方案部分)，然后重

用来解决新的问题。CBR经过二十多年的发展，已经成为人工智能与专家系统的

一种强有力的推理技术。作为一种在缺乏系统模型而具有丰富经验场合下的问题

求解方法，CBR系统在故障诊断、医疗卫生、设计规划集工业过程等大量依赖经

验知识的领域取得了很大的成功。但是由于案例属性权值的设定和更新问题，CBR

在复杂工业过程的建模与控制工作仍处于探索阶段，尤其对于预测回归问题，研

究的更少。

不同于传统学习理论，2006年南洋理工大学Huang GB教授提出了一种新的

前馈神经网络训练方法-极限学习机（ELM），能够快速的训练样本（比BP神经网

络训练速度提高了数千倍），为在线学习和权值跟新奠定了基础。我们提出的基

于在线极限学习机的案例推理混合系统，能够使用案例来解释神经网络，用在线

学习的方法为案例检索提供案例权值和更新案例权值，为在线预测某些工业生产

提供了较好的模型。

2

使用在线极限学习机训练特征权值的算法

2.1 训练和更新样本特征权值（不是训练样本权值的，要记好，从新选择小

题目）

在这一节中我们提出如何使用在线极限学习机确定和更新案例

库属性权值。首先使用固定型极限学习机【】对给出的数据进行充分

的训练，使训练的样本达到预期的误差范围内。通过训练后的网络和

数据集，我们确定初始案例库的特征权值集。

然后,当一个新的问题（案

例）来查询时，我们可以根据基于训练特征权重的训练数据中找出K个最相似的

案例。当然，OSELM的预测结果也可以和最邻近的案例相比较。这提供了扩展的

信息数据库中查询与大多数类似的案件。考虑到工业生产的连续性和耦合性，在

这样的动态情况下,在线学习属性至关重要。在线学习系统可以更新经验数据的

特征属性权值，使系统更准确的预测当前工况，达到自然学习过程。本文针对前

期的生产状况进行特征权值初始化，即采用前一段的生产数据预测下一段时间的

生产指标状况值。基本思想如图2所示：

设置窗口宽度为n,沿数据的时间轴滑动，依次预测下一段时间的生产数据。

极限学习机的数学模型如图2：

o

j

输出层



1

隐藏层

1



i

i



L

… …

(a

i

,b

i

)

n

L

输入层

1

…

x

i

ELM的学习方法：给定任意

N

个不同的样本

{(x

i

,t

j

)}R

n

R

m

，隐层神经元

数目

L

，激励函数选择一个非常数的连续函数

G(a

i

,b

i

,x)

，随机选取隐层参数

a

i

,b

i

,i1,2,...,L

，ELM可以以



误差逼近任意的

N

个样本，表示为：

O

j

O-t





G(a,b,x)，

iiiij

i1

L

j





,j1,...,N

（1）

其中，

a

i

是输入权值，

b

i

是隐层节点的阈值，

x

i

是输入向量，



i

是第

i

个隐

层元和输出节点的连接权值，

O

j

是输出向量。上式可以简化为

H



T

，

H

为

隐层输出矩阵，其中：





1

T



t

1

T





h(x

1

)





G(a

1

,b

1

,x

1

)















,T



,

H











T



t

T







G(a

1

,b

1

,x

N

)



h(x

N

)









L



Lm



N



Nm

计算输出权值



H



T,H



是隐层输出矩阵的左伪逆矩阵。

G(a

L

,b

L

,x

1

)







G(a

L

,b

L

,x

L

)





NL

考虑到生产过程的实际要求，由于生产的连续性，在这样的动态情况下,在

线学习属性至关重要。在线学习系统可以更新经验数据的特征属性权值，使系统

更准确的预测当前工况，达到自然学习过程。所以此次使用惯序性极限学习机，

它具有固定极限学习机的训练速度，又有增量式极限学习机的泛化效率。惯序性

极限学习机的学习和训练过程不是一撮而就的，数据分批次给出，学习过程存在

次序性。任何时候，只有新的训练样本需要被学习，并调整权值。训练过程不存

在任何先验知识，只需要新的数据。学习算法如下：

0

第一步: 使用固定型极限学习机确定初始样本



0

{(x

i

,t

j

)}

i

N

1

权值，使

H

0



T

0

最小，

TT

H

0

,K

0

H

0

H

0

； 获取



0

K

0

1

H

0

第二步:当有一组新数据来到时，通过下面来更新权值：



1





0

+K

1

1

H

1

T

(T

1

H

1



0

)

，其中

K

1

K

0

H

1

T

H

1

；若有

k1

个新数据分

N

0

k1

批给出



1

{(x

i

,t

j

)}

N

，则有：

0

1

1TkT



k1





k

K

k



1

H

k1

(T

k1

H

k1



),K

k1

K

k

H

k1

H

k1

（3）

其中：



G(a

1

,b

1

,x

N

0

1

)



H

k1







G(a

1

,b

1

,x

Nk1

)

0



G(a

L

,b

L

,x

N

0

1

)







G(a

L

,b

L

,x

N

0

k1

)





T



t

N



0

1



,T

k1







t

T



L



N

0

k1



（4）

N

k1

m

N

k1

2 .2 案例推理（CBR）

Shank 教授提出的基于案例推理CBR属于机器学习领域的类比学习，即通

过源问题与目标问题的相似性，查找目标问题的求解方法，其学习本身

也是增量式的，可以解决非线性的半结构化或非结构化问题。从典型的

CBR模型图3可以看出，案例的检索是CBR周期的一个关键环节。这一匹配

过程的关键是案例间的相似性度量。由于案例特征项的重要性各不相

同，他们在相似度函数中因被设置为不同的值，各特征项权重直接影响

着匹配的质量，所以各特征项权重应该提前设置好。

检索

问题

新案例

新案例

案例

相似案例

学习后的

案例

历史

案例

领域知识

问题的描述

保存

方案的描述

解决

修正后

的案例

求解后

的案例

重用

修正

在过去的几十年人们对此提出了各种研究，其中K相邻法最受到人们的关

注，最近邻法结合了领域知识，解释能力强，应用相对简单，多数CBR系

统采用该算法，也取得了不错的应用效果（如EACH系统）。K最近邻，就

是k个最近的邻居的意思，说的是每个样本都可以用她最接近的k个邻居

来代表。KNN算法不仅可以用于分类，还可以用于回归。通过找出一个样

本的k个最近邻居，将这些邻居的属性的平均值赋给该样本，就可以得到

该样本的属性。更有用的方法是将不同距离的邻居对该样本产生的影响

给予不同的权值(weight)，如权值与距离成正比。

K-nearest neighbor(k-nn)分类，在训练集合中找到k个目标群体最接近

测试目标。

2.3 计算案例检索的权值

文献【A Hybrid Approach of Neural Network and

Memory-Based Learning to Data Mining可以换掉】曾提出BP神经网络来求出

特征权值集的四种方法。由于BP神经网络和极限学习机的相似性，我们选择其

中一种方法来训练。

计算一个输入节点的灵敏度。通过消除训练神经网络的输入节点。

一个输入节点可能被设置的所有连接权重为零。衡量一个输入的敏感性特征

时之间的预测价值的差异特性删除,当它离开。灵敏度的输入特性是由

用神经网络训练特征加权值的公式如下：

(



L

P

0

P

i

P

N

0

)

（5）

S

i



P

0

是正常的预测值，

P

i

是去掉第

i

个节点（就是第

i

个属性）后的预测值，

N

是训练集的样本个数，

L

是训练样本集。

3 基于在线极限学习机的案例推理混合系统

基于在线极限学习机的案例推理混合系统如图4所示。在图中特征权值的

训练和更新扮演着重要的角色。一旦网络被训练，它就能够提供现有案例库模

型中的特征权值信息，并为新案例检索提供信息。

新的查询数据

新问题

预测值或以前类似案例

预测查询管理器

预

新案例

在线学习

测

值

k

个最

相似案例

极限学习机

特征权值

初始

案例推理

案例

检索

知识更新管理器

训练

数据

添加新案例

案例库

存

档

旧案例

从图4可以看出，极限学习机和案例推理有两个相同的重要性能。第一，

都可以用来进行分类和回归。在分类问题上，

第二，两个方法都有在线学习的功能。极限学习机可以在加入新案例后重新

训练，这时案例库的特征权值和案例库本身也随之更新。预测查询管理器接收新

问题时同时咨询极限学习机和案例推理系统。当极限学习机和案例推理系统得到

一致的预测值时，预测查询管理器正常返回预测值，当预测不一致时，需要进一

步报告专家拒绝这些案例。表达如下：

ifP

CBR

P

NN





\'RejecttoAnswer\'

P

CBR

P

NN

2

else\'Answer\'P



是要设定的误差阈值。

4 仿真实验

This section reports an empirical comparision of our feature

weighting methods.我们做出两个方面的考虑，第一，我们采用标准数据库UCI

来验证我们的系统的可行性，数据包括4种（2组分类，2组回归），five

standard datasets from the UCI collection are used in the experiments,

three for classification task and the other two for regression task在

实验二中，我们采集了广西某化工公司生产数据，如表5所示，预测最后难以在

线测量的生产指标pH值，使系统达到软测量功能。为了对公司技术的保密，我

们使用属性1，属性2.。。。来代替生产指标。同时我们将所得到的结果和文献

【】进行比较，

datasets used for the experiments

Dataset Instances Attributes Output

Classes

Extreme learning machine Settings

#of

Hidden

Nodes

Mean

Time

Prediction

Error

Learning Testing

问题（1）什么的分类

问题描述

问题（2）什么的分类

问题描述

问题（3）什么的分类

问题描述

上面三个进行一个列表处理

并且做出这三个拒绝率的图表，和K-NN法进行比较，在同一个图中显示。

问题（4）什么的回归

问题描述

这个进行权值画图，拟合画图，基于案例推理的直接准确度和我们的混合推理

准确度，取不同的K值做横坐标轴，准确率做Y轴。

问题（5）

为了验证我们的混合系统能够运用到生产实践的软测量技术中，我们采集广西

某化工厂，工段过程包含复杂的物理和化学反应，具有非线性、大滞后和不确

定性的特点，难以建立精确的机理模型。常规神经网络建模是静态映射，实际

应用中，权值的调节不能充分利用工业生产现场的动态数据信息，效果不理

想。

具体数据采集如下。

日期 时间 属性1 属性2 属性3 属性4 属性5 属性6 属性7 工况属性（pH

值）

我们设置窗口属性n=20，作图最好（暂定就写5个吧）。最后得出预测属性值和

真实值的曲线图，在图中计算出拒绝率。

在图中还要画出原始K-NN的预测曲线。给出最好的K值来计算。

结论 限制 以后得工作

所有的属性都是数字，这是一个限制。

致谢

参考文献