（每日一题）BP神经网络的基本结构基本BP算法

后视图

BP神经网络模型原理

BP神经网络的定义

BP神经网络的基本结构

BP神经网络的神经元

BP神经网络的激活函数，

BP神经网络的传递函数

粒子群改进BP神经网络的分类预测

效果图

结果分析

外表

神经网络原理 BP神经网络的定义

人工神经网络不需要预先确定输入和输出之间映射关系的数学方程。 他们只是通过自己的训练学习某种规则，并在给定输入值时获得最接近期望输出值的结果。 人工神经网络作为一种智能信息处理系统，实现其功能的核心是算法。 BP神经网络是通过误差反向传播（简称误差反向传播）训练的多层前馈网络。 其算法称为BP算法。 其基本思想是梯度下降法，利用梯度搜索技术以使网络的实际输出值与期望输出值的均方误差最小。

BP神经网络的基本结构

基本的BP算法包括两个过程：信号的前向传播和误差的反向传播。 即从输入到输出的方向计算误差输出，而从输出到输入的方向调整权重和阈值。 前向传播时，输入信号通过隐藏层作用于输出节点，经过非线性变换产生输出信号。 如果实际输出与期望输出不匹配，就会进入误差的反向传播过程。 误差反向传播是将输出误差通过隐含层逐层传播回输入，并将误差分配给各层所有单元，以各层得到的误差信号作为调整各单元权值的依据。 通过调整输入节点与隐含层节点之间的连接强度、隐含层节点与输出节点之间的连接强度以及阈值，误差沿梯度方向减小。 经过反复学习和训练，确定误差最小对应的网络参数（权重和阈值）。 ），训练将停止。 此时，经过训练的神经网络可以自行处理相似样本的输入信息，并输出误差最小的非线性变换信息。

bp神经网络的神经元

神经网络是模仿动物神经网络的行为特征，进行分布式并行信息处理的算法数学模型。 这种网络依靠系统的复杂性，通过调整大量内部节点之间的互连关系来达到处理信息的目的。

神经网络由多个神经元组成。 下图展示了图1中的单个神经元：

。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 图1、神经元模型

bp神经网络激活函数及公式

![在此处插入图像描述](

BP神经网络传递函数及公式

图2是该函数和双极S函数的图像。 函数的图像面积是从0到1，双极S函数的区间是正负1。归一化时，必须对应传递函数的面积。 否则可能会无效

神经网络将许多单个神经元连接在一起，以便一个神经元的输出可以成为另一个神经元的输入。

例如下图是一个简单的神经网络：

粒子群算法原理

粒子群优化算法（PSO）也被翻译为粒子群算法、粒子群算法或粒子群优化算法。 PSO是由 和 PSO共同提出的。 它最初用于模拟社会行为，作为鸟群中有机体运动的正式表示。 自然界中的各种生物体都具有一定的群体行为，贺教授的主要研究方向之一就是探索自然界生物体的群体行为，从而在计算机上建立其群体模型。 PSO 是一种启发式算法，因为它对正在优化的问题很少或根本不做任何假设，并且能够搜索非常大的候选解决方案空间。 PSO算法被初始化为一组随机粒子，然后通过多次迭代找到最优解。 在每次迭代过程中，粒子通过自身找到的最优解（称为个体极值）和整个种群当前找到的最优解（称为全局极值）来更新自身。 也可以使用粒子自身邻居的极值（称为局部极值）来更新自身。

粒子群算法主要参数

1. 种群数量，即算法中的粒子数量；

2、最大迭代次数gen，即算法迭代gen次后停止迭代；

3. 总体维度dim，包括需要优化的自变量数量；

4、种群位置pop为各粒子群对应自变量的值。 一个粒子对应一组自变量，相当于一个解；

5、种群速度v，即粒子群每次迭代更新的飞行速度和粒子群位置更新的步长；

6、种群gbest的全局最优值是迭代过程中出现的最优解，包括最优位置和对应的目标函数值；

7、个体最优性，是指每个粒子迭代过程中单个个体已经出现的个体最优解，包括个体最优位置和对应的目标函数值；

8、个体学习因子c1，即个体最优解影响粒子群飞行的能力；

9、全局学习因子c2，即全局最优值影响粒子群飞行的能力；

10、惯性权重w是各个位置的权重。 权重越大，粒子群收敛越慢，全局搜索能力越强；

粒子群算法流程图

#PSO-BP模型

通过PSO优化神经网络权值阈值，实现BP神经网络的改进

基于粒子群改进BP神经网络的分类预测

%读取数据

CLC

清除

关闭所有

清晰版

%训练数据和预测数据

num1 = ('.xlsx',1,'A1:H200');

num2 = ('.xlsx',2,'A1:D200');

n1 = 1:40；

n2 = 51:90；

n3 = 101:140；

n4 = 151:190；

nx = [n1 n2 n3 n4];

纽约 = [41:50 91:100 141:150 191:200];

=num1(nx,1:8)';

=num2(nx,1:4)';

=num1(纽约,1:8)';

=num2(ny,1:4)';

%;

%;

[,,,,,]=(,);

%

=;

=(,,); %

% =; % 添加实数

%;

=;

%;

=;

% Ptest = (:,350:360);

% Ttest = (:,350:360);

%BPN

%indim；

印丁=8；

%;

=10；

%;

=4；

%粒子群算法

vmax=0.0151； %

=0.001； ％ 错误

wmax=0.90；

wmin=0.30；

％最大； %

最大=100；

c1=2；

c2=2；

对于 iter=1:itmax

W(iter)=wmax-((wmax-wmin)/itmax)*iter; %

结尾

% 是 (a,b)

a=-1；

b=1；

% (m,n),（也可以从零开始）

m=-1;

n=1;

％N； ％ 的

N=20；

％D； ％ 的

D=(indim+1)*+(+1);

％ 的

% rand('状态',sum());

X=a+(ba)*rand(N,D,1); % 取值范围[-1,1] rand * 2 - 1,rand生成[0,1]之间的随机数

％ 的

V=0.2*(m+(nm)*rand(N,D,1))；

％fvrec；

=[];

=[]；

% to be , ,ie,mse 网络 神经网络建立

％ 网;

net=newff((),[,],{'',''});

=(X,净,indim,,,D,,,,);

fvrec(:,1,1)=(:,1,1);

[C,I]=min((:,1,1));

=[C];

=[C];

L(:,1,1)=(:,1,1); 每个的%

B(1,1,1)=C; % 的

gbest(1,:,1)=X(I,:,1); %最好的x

占最佳值的百分比

对于 p=1:N

G(p,:,1)=gbest(1,:);

结尾

对于 i=1:N；

pbest(i,:,1)=X(i,:);

结尾

V(:,:,2)=W(1)V(:,:,1)+*(pbest(:,:,1)-X(:,:,1))+(G(:,:, 1)-X(:,:,1));

%V(:,:,2)=cf*(W(1)V(:,:,1)+*(pbest(:,:,1)-X(:,:,1))+(G( :,:,1)-X(:,:,1)));

%V(:,:,2)=cf*(V(:,:,1)+(pbest(:,:,1)-X(:,:,1))+(G(:,:,1 )-X(:,:,1)));

% vmax 的百分比

福尼=1:N

对于 di=1:D

如果 V(ni,di,2)>vmax

V(ni,di,2)=vmax;

V(ni,di,2) V(ni,di,2)=-vmax;

别的

V(ni,di,2)=V(ni,di,2);

结尾

结尾

结尾

X(:,:,2)=X(:,:,1)+V(:,:,2);

福尼=1:N

对于 di=1:D

如果 X(ni,di,2)>1

X(ni,di,2)=1;

X(ni,di,2) X(ni,di,2)=-1;

别的

X(ni,di,2)=X(ni,di,2);

结尾

结尾

结尾

%******************************************************** ***** *****

对于 j=2:itmax

disp('和最佳')

显示(j-1)

显示(B(1,1,j-1))

新的百分比

=(X,净,indim,,,D,,,,);

% fvrec(:,1,j)=(:,1,j);

%[maxC,maxI]=max((:,1,j));

%=[最大C];

%=[平均值((:,1,j))];

[C,I]=min((:,1,j));

=[C];

=[分钟()];

L(:,1,j)=(:,1,j);

B(1,1,j)=C；

gbest(1,:,j)=X(I,:,j);

[C,I]=min(B(1,1,:));

% 保持 gbest 是所有拥有中最好的

如果 B(1,1,j)1

X(ni,di,j+1)=1;

X(ni,di,j+1) X(ni,di,j+1)=-1;

别的

X(ni,di,j+1)=X(ni,di,j+1);

结尾

结尾

结尾

结尾

disp('和最佳')

显示(j)

显示(B(1,1,j))

disp('最佳和')

[C,I]=min(B(1,1,:));

% 网络拟合

对于 t=1：

x2iw(t,:)=gbest(1,((t-1)indim+1):,j);

结尾

对于 r=1：

x2lw(r,:)=gbest(1,(+1):(+),j);

结尾

x2b=gbest(1,((indim+1)*+1),j);

x2b1=x2b(1:).';

x2b2=x2b(+1:+).';

net.IW{1,1}=x2iw;

net.LW{2,1}=x2lw;

net.b{1}=x2b1;

net.b{2}=x2b2;

[,] = bpp();

%% BP网络训练

%网络演进参数

净..=30；

净..lr = 0.01;

净..目标=0.;

净..显示=100；

净..=1；

抽动症

%网络训练

%[net,per2]=train(net,,);

净=火车（净，，）；

% =mse(sim(net,Ptest)-Ttest);

% = (sim(net,Ptest),,);

%=mse(-)

目录

= sim(网络,);

= ((,,));%反规范化

对于我=1:40

(i)=find((:,i)==max((:,i)));

(i)=find((:,i)==max((:,i)));

结尾

错误=-；

=(-)./;

(1)

网格

坚持，稍等

绘图（（），'r'）；

title(['粒子群优化bp''最优代数='I]);

('进化代数');('错误');

disp('适应度变量');

(2)

网格

情节（，'：og'）

坚持，稍等

情节（，'：ob'）

坚持，稍等

情节（，'-*r'）；

('粒子群优化BP预测输出','BP预测输出','期望输出')

title('粒子群优化BP网络预测输出','',12)

('函数输出','',12)

('样本','',12)

(10)

网格

情节（，'：og'）

坚持，稍等

坚持，稍等

情节（，'-*r'）；

('粒子群优化BP预测输出', '预期输出')

title('粒子群优化BP网络预测输出','',12)

('函数输出','',12)

('样本','',12)

% (3)

% 绘图(./,'*g-');

％ 坚持，稍等

% 图((-).//2,'*r-')

% 推迟

% title('粒子群优化BP神经网络预测误差百分比')

%('BP预测输出','粒子群优化BP预测输出')

% (4)

％历史（）;

% title('PSO-BP神经网络预测误差频率分布直方图');

%('频率(次)','',12)

%('相对误差','',12)

% MAE=(sum(abs()))/24 %绝对平均误差

%RMSE=sqrt((sum(.^2))/24)%RMSE均方根误差公式

结果图

结果分析

从结果图中可以看出，粒子群算法改进后的BP神经网络比传统的BP神经网络要好得多，分类精度更高。

外表

BP神经网络是一种成熟的神经网络，可以在很多方面进行改进。 可以采用启发式算法提高BP的权值阈值，也可以将其制成具有优化学习率和自适应迭代次数的BP神经网络，并可以与其他神经网络结合。 算法融合作为其他神经网络的输出层，也可以提高BP神经网络技术的训练传递函数。