电力信息物理融合系统(Cyber-Physical Power System, CPPS)是指电力系统与信息系统耦合构成的系统。它是通过集成先进的计算、通信、控制等技术, 实现电力系统的稳定运行。CPPS可以监视和控制每个用户和电网节点, 保证从电厂到终端用户整个输配电过程中所有节点之间信息和电能的双向流动。CPPS通过无线传感器传输和记录大量的电网信息, 并通过这些信息对电力系统进行控制, 但同时这一过程存在诸多风险, 如日益增多的网络攻击和攻击手段多种多样^[1], 对系统的安全性造成了严重影响。委内瑞拉电力系统两年内遭遇多次网络攻击导致大规模停电事故等案例, 使得CPPS的安全性受到社会的极大关注。作为检测网络攻击的重要手段, 入侵检测系统成为CPPS的热门研究课题。其主要是针对互联网中的可疑行为进行检测。目前, 入侵检测仍有许多值得关注和研究的问题, 如数据质量、实时性、轻量化等^[2]。

数据质量问题一直是入侵检测研究的重点方向之一, 大多数方法是不断提高特征提取能力, 但这类方法并不能解决根本问题。如文献[3-4]通过删除冗余特征来选择最佳特征, 提高数据质量, 但这些方法很难有效利用数据中包含的分类信息。文献[5]通过朴素贝叶斯特征转换, 生成了高质量的新数据, 但只考虑了二分类的情况。为解决上述问题, 本文提出了一种基于实体嵌入的卷积神经网络^[6](Convolutional Neural Networks Based on Entity Embeddings, EE-CNN)架构, 并成功应用于公开的入侵检测数据集KDD CUP 99上。实验结果表明, 所提方案的准确率高于基于独热编码的卷积神经网络(Convolutional Neural Networks Based on One-Hot Encoding, OH-CNN)和基于顺序编码的卷积神经网络(Convolutional Neural Networks Based on Sequential Encoding, SE-CNN)架构。

近年来, 基于传统机器学习的入侵检测一直是CPPS的重点研究方向, 但基于传统机器学习的入侵检测方法容易产生过拟合且误报率较高, 不能满足现阶段的网络需求。例如, 文献[7]提出了基于随机森林和粒子群优化的智能电网入侵检测系统, 但却容易陷入局部最优, 导致训练结果不理想。文献[8]提出了基于梯度提升特征选择和决策树的智能电网入侵检测模型, 实验结果表明, 在一定程度上可降低了误报率, 但准确率和精度等指标均未有明显提升。

基于深度学习的入侵检测算法也是研究的热点。文献[9]利用灰狼算法来进化人工神经网络, 构建了智能电网入侵检测模型, 但收敛精度不高。在深度学习算法中, 卷积网络(Conrolutional Neural Networks, CNN)因其在分类和预测方面表现良好而越来越受到欢迎。如文献[10]提出了一种基于CNN和长短期记忆网络的跨层特征融合的智能电网入侵检测模型, 可将全局特征和周期性特征聚合在一起, 更准确地识别智能电网中的入侵信息。文献[11]提出了一种基于GoogleNet初始模型和深度CNN模型的两步网络入侵检测方法。上述方法的局限性是使用了原始特征, 虽然对特征进行了变换, 但并没有改变离散型特征向量的维度。为了进一步提高入侵检测性能, 本文在CNN模型中引入实体嵌入技术来构建面向CPPS的入侵检测模型。该方法能够更好地表达数据集中的离散型特征, 有效利用其作为分类特征来训练学习算法。

CNN是一种前馈神经网络^[12], 主要由输入层、卷积层、池化层、全连接层和输出层组成。CNN具有良好的特征提取能力和分类性能, 以及较好的泛化能力, 因此将其引入入侵检测系统能够大大提高攻击检测精度。CNN的模型结构如图 1所示。其中, 卷积层主要由卷积核构成, 与传统的神经网络不同的是, 卷积层使每个神经元与输入数据的局部区域进行连接^[13], 能够精准地提取输入数据的特征。

卷积层具有权值共享的特点, 可以降低计算开销和参数数量, 防止过拟合。卷积的表达式如下

$ y_{l(i, j)}=\sum\limits_{j^{\prime}=0}^{n-1} w_{l\left(i, j^{\prime}\right)} x_{l\left(j+j^{\prime}\right)} $

(1)

式中: y_{l(i, j)}——卷积过程的输出;

n——卷积核宽度;

w_{l(i, j′)}——第l层第i个卷积核的第j′个权值;

x_l(j+j′)——第l层第j+j′个被卷积的区域。

池化层是一种下采样方法, 可以降低参数的数量, 降低特征维度, 减少过拟合等。全连接层一般放在CNN的最后, 将经过卷积层和池化层的数据输入(矩阵)展开成一维向量, 并为分类器提供输入。

实体嵌入技术是自然语言处理中常用的类别特征处理技术, 可以将分类变量映射到欧几里得空间, 通过嵌入空间中彼此接近的相似值揭示分类变量的内在属性。在入侵检测数据集中, 一些具有分类特征的结构化数据没有连续性, 同时神经网络的连续性也限制了其对分类变量的适用性, 因此强行采用神经网络进行分类变量的效果并不好。通过实体嵌入, 可以将原始高维的离散变量用低维度的连续空间来表示^[14]。

实体嵌入的本质是将分类变量映射到低纬度空间中, 使其能在神经网络中用连续空间更好地表达离散型分类变量。这是一个函数近似问题, 因此设置一个近似函数, 表示为

$ Z=f\left(x_1, x_2, x_3, \ldots, x_n\right) $

(2)

式中: Z——分类;

f——近似函数;

x_n——离散变量状态, n=1, 2, 3, ...。

为了更好地学习近似函数, 将离散变量的每个状态都映射为向量。这一映射e_i可以表示为

$ e_i: x_i \rightarrow \boldsymbol{X}_i $

(3)

式中: X_i——离散变量的映射向量。

映射e_i就是独热编码输入之后的一层额外的线性神经元。其中, x_i的独热编码u_i可表示如下

$ u_i: x_i \rightarrow \delta_{x_i, \alpha} $

(4)

式中: δ_{xi, α}——克罗内克函数, 当α=x_i时δ_{xi, α}=1, 否则δ_{xi, α}=0。

如果离散变量x_i有m_i个状态, 则其独热编码向量的长度也是m_i。

给定离散变量的映射向量为

$ \boldsymbol{X}_i=\sum\limits_\alpha w_{\alpha, \beta} \delta_{x_i, \alpha}=w_{x_i} \beta $

(5)

式中: w_{α, β}——将独热编码连接到嵌入层的权重;

w_xi——x_i在嵌入层的权重;

β——嵌入层的索引。

本文提出了一种基于实体嵌入和CNN的入侵检测模型。首先, 将每个离散型特征转化为独热编码表示, 在嵌入层中学习将每个输入特征映射到连续向量的嵌入矩阵, 有助于将具有相似效果的值放置在向量空间中, 使其彼此接近, 从而暴露数据的基本连续性, 以确保输入特征的稳健表示。然后, 将学习到的所有嵌入向量和经过标准化的连续特征连接在一起, 形成新的数据集。再次, 通过全连接层的SoftMax层计算攻击标签上的概率分布。最后, 将新数据集输入网络, 利用随机梯度下降进行优化。本文所提出的入侵检测方案主要分为以下3个步骤。

步骤1   数据预处理。将KDD Cup 99数据集^[15]的特征分为连续型(32个)和离散型(9个), 并对连续型特征进行标准化处理, 消除不同特征量纲的影响。处理方式如下

$ \lambda^{\prime}=\frac{\lambda-\mu}{\theta} $

(6)

式中: λ′——经过标准化处理的新样本数据;

λ——样本数据;

μ——样本数据的均值;

θ——样本数据的标准差。

对离散型特征进行实体嵌入, 并将所有经过实体嵌入的特征与标准化的连续型特征合并, 形成新的数据集, 作为CNN的输入层。同时, 实体嵌入层作为神经网络的一环可以通过反向传播方法进行训练。

步骤2   训练模型。离散型特征的准确表达可以使入侵检测的准确率大幅上升, 同时降低误报率。

步骤3   测试模型。将测试集的数据按照步骤1进行处理, 得到新的测试集, 并输入经过训练的CNN中, 得到各个类别的准确率等检测指标。

所提方案的具体实现步骤如图 2所示。

本文使用KDD Cup 99数据集^[16]来搭建和验证所提出的模型, 其中包含DOS、R2L、U2R、Probe 4种攻击类型, Normal为无攻击。在KDD Cup 99数据集中, 每个连接都采用41个特征来描述。离散型特征的具体描述如表 1所示。

整个数据集包括494 021个训练样本和311 027个测试样本。具体分布情况如图 3所示。

入侵检测性能可通过准确率(R_AC)、精确率(R_Precision)、召回率(R_Recall)、误报率(R_FPR)、漏报率(R_MA)和F1分数(S_F1score)等表示。计算方式如下

$ R_{\mathrm{AC}}=\frac{k_{\mathrm{TP}}+k_{\mathrm{TN}}}{k_{\mathrm{TP}}+k_{\mathrm{TN}}+k_{\mathrm{FP}}+k_{\mathrm{FN}}} $

(7)

$ R_{\text {Precision }}=\frac{k_{\mathrm{TP}}}{k_{\mathrm{TP}}+k_{\mathrm{FP}}} $

(8)

$ R_{\text {Recall }}=\frac{k_{\mathrm{TP}}}{k_{\mathrm{TP}}+k_{\mathrm{FN}}} $

(9)

$ R_{\mathrm{FPR}}=\frac{k_{\mathrm{FP}}}{k_{\mathrm{FP}}+k_{\mathrm{TN}}} $

(10)

$ R_{\mathrm{MA}}=\frac{k_{\mathrm{FN}}}{k_{\mathrm{TP}}+k_{\mathrm{FN}}} $

(11)

$ S_{\text {Flscore }}=\frac{2 R_{\text {Precision }} R_{\text {Recall }}}{R_{\text {Precision }}+R_{\text {Recall }}} $

(12)

式中: k_TP、k_TN——真阳性和真阴性的样本数量;

k_FP、k_FN——假阳性和假阴性的样本数量。

将KDD Cup 99数据集中的9个离散型特征经过独热编码为96维, 再将其经过实体嵌入映射为4维、17维、32维、49维、68维、89维, 然后与32个连续型特征合并后分别为36维、49维、64维、91维、100维、121维。不同嵌入维度时的准确率如图 4所示。

由图 4可以看出, 随着嵌入维度的不断增加, 准确率也在不断发生变化, 在维度为17时准确率最高。由此可以得出结论, 将实体嵌入的维度设为17维相对最优。

CNN经常使用的3种激活函数分别为relu、tanh、sigmoid, 其准确率分别为0.975、0.978、0.943。可以看出, 当tanh作为激活函数时模型的准确率最高, 故本文选择tanh作为激活函数。

为了验证所提方法的有效性, 针对不同类型的网络攻击, 在网络架构不变的条件下, 对比EE-CNN模型、OH-CNN^[17]模型和SE-CNN模型的准确率, 结果如图 5所示。

由图 5可以看出, 当攻击类型为U2R时, 本文所提EE-CNN模型的准确率与其他模型几乎一致。在其他类型攻击下, 本文方法的准确率均最高。

在Normal、DOS、Probe类型攻击下, 不同入侵检测模型的检测性能如表 2所示。由表 2可以看出, EE-CNN模型的漏报率和误报率远远低于另外2种模型, F1分数也最高。这证明了实体嵌入的有效性, 可以为模型提供更好的离散型特征, 大大提高了入侵检测模型的性能。

为了测试模型的入侵检测性能, 将4种方法应用于KDD Cup 99数据集进行比较, 结果如表 3所示。根据表 3中的数据进行平均计算, 得出结论: 准确率方面, EE-CNN模型较决策树方法^[18] (方法1)、随机森林方法^[19](方法2)、多层感知机方法^[20](方法3)分别高5.90%、3.97%、0.18%;漏报率方面, EE-CNN模型较其他3种方法分别低47.03%、40.57%、6.97%;误报率方面, EE-CNN模型较方法1和方法2分别低22.83% 和15.27%, 较方法3略高; F1分数方面, EE-CNN模型较其他3种方法分别高10.07%、5.78%、5.07%。以上结果说明本文提出的模型整体性能更优, 验证了其可靠性和有效性。

本文通过分析CPPS入侵检测中数据类型的特点, 针对数据集中离散型数据对入侵检测模型的影响, 提出了基于实体嵌入和CNN的CPPS入侵检测模型, 通过实体嵌入将离散型特征映射到欧几里得空间得到连续的向量, 可以更好地表示离散型特征。将原始数据转换为高质量数据, 并使用CNN建立入侵检测模型。在KDD Cup 99数据集上的实验证明了所提出的特征表示方法的有效性。与其他方法相比, 所提方法拥有最高的准确率、F1分数和最低的漏报率, 误报率也较低。