初期–项目规划

方向的确立

通过查阅论文等相关资料进行研究发现的确定与相关技术的总括，为下一步打下基础。

论文参考2

下面是对论文参考2的解读下进行的收获总结，会有原文摘录和自己的思考
论文名称–Towards Efficient Intrusion Detection using Deep Learning Techniques: A Review

《利用学习技术实现高效入侵检测：综述》

导言部分

背景概述与论文结构论述

网络安全在当今信息时代的作用至关重要。攻击数量的增加和恶意软件性质的演变需要及时干预。在线数据的大规模可用性使其容易受到恶意软件攻击、网络钓鱼攻击、欺骗、拒绝服务攻击和注入攻击等攻击。可行的需求是部署基于先进机器学习算法的自动入侵检测系统（IDS），以自动检测攻击并对其进行分类。在这种情况下，基于深度学习的算法比现有的机器学习解决方案提供了更好的结果。

本文的目的是对现有的利用深度学习算法实现的入侵检测系统进行回顾。本文还根据不同的深度体系结构对现有方法进行分类，并向读者提供每种方法的显著特征以及用于识别入侵的检测类型。它还提供了深度学习模型的分类和背景信息，以在读者了解复习细节之前武装读者。

本文的组织结构如下：第2节介绍了不同的入侵检测系统，包括IDS的位置和检测的性质，第3节介绍了各种深度学习技术，将它们分为四种类型的深度学习模型。第4节和第5节详细介绍了入侵检测系统中适用的性能指标和数据集。第6节包含对所检查方法的总结分析以及由此得出的关键发现。我们在第7节中得出一些结论。

入侵检测系统

对入侵检测系统进行简要介绍，毕竟是最终的应用目标，不能一问三不知。

入侵检测可以定义为-检测试图破坏资源的机密性、完整性或可用性的行为。
入侵检测系统的目标是识别破坏系统安全控制的实体。IDS的作用始终是被动的，因为它涉及收集、识别、记录和警报。
入侵检测系统可以根据其在网络中的位置或使用的检测类型进行分类。

根据ID的位置，可以将其区分为基于网络的或基于主机的。
根据所使用检测的性质，可以将IDS分为基于签名的IDS和基于异常的IDS。

基于网络的入侵检测可以利用网络流量的性质识别未经授权、非法和异常的行为。网络ID使用网络抽头、span端口或集线器收集穿过给定网络的数据包。利用捕获的数据，系统随后识别并标记任何可疑流量。
与入侵预防系统不同，入侵检测系统不会主动阻止网络流量。

通常称为HIDS，基于主机的入侵检测能够识别特定设备上的未经授权、非法和异常行为。这是通过在每个系统上安装一个代理来实现的，在本地操作系统和应用程序活动上进行监视和警报。然后，安装的代理使用签名、规则和启发式的组合来识别未经授权的活动。

IDS可以部署基于特征码的检测，使用已知的流量数据作为参考来分析可能不需要的流量。这种类型的检测非常快速且易于配置。但是，攻击者可以稍微修改攻击，使其无法被基于签名的ID检测到。尽管如此，基于签名的检测虽然在检测能力上受到限制，但仍然可以达到很高的准确度。

一种查看网络流量并能够区分正常流量和无效或不正确流量的IDS。此方法对于检测以前未看到的无用流量非常有用。它还可以检测格式错误的数据包。为了使系统检测到异常行为，必须首先对其进行培训，以识别正常的系统活动。异常检测系统的两个阶段包括训练阶段和测试阶段。培训阶段包括建立正常行为的概要文件，测试阶段将现有流量与培训阶段创建的概要文件进行比较。基于人工智能的技术已被证明在检测此类行为方面非常有用，尤其是神经网络。

深度学习架构

本节介绍了各种深度学习技术，将它们分为四种类型的深度学习模型。

由于其在计算机视觉领域的广泛成功，深度学习体系结构目前获得了广泛的关注。在语音识别和自然语言处理领域也取得了最新成果。深度学习体系结构由多层非线性操作组成，类似于具有许多隐藏层的神经网络。深度学习体系结构的成功在于使用快速学习算法和合适的硬件实现快速高效的解决方案。GPU加速计算的发展导致其发展的增加，并导致算法的更快收敛。它们提供了更高的抽象级别，可以通过以下功能进行区分：

以节点层（隐藏层）数量为特征的深度增加，数据在多步骤分类过程中通过这些节点层传递。
能够通过其功能层次结构处理复杂功能。
以非线性方式处理具有大量参数的大型高维数据集。
发现未标记非结构化数据中的潜在结构，也称为自动特征学习/提取。

上图显示了一个具有3个隐藏层的深度学习网络。深度网络是堆叠的神经网络。层由节点组成。节点将来自数据的输入与一组系数或权重组合在一起，这些系数或权重放大或抑制该输入，从而为算法试图学习的任务的输入分配重要性。每个节点层基于上一层的输出对一组不同的功能进行培训。因此，如果层数较大，则学习更有效。为了便于审查，根据其结构，深度学习网络可分为以下大类：卷积神经网络、深度生成模型、基于自动编码器的模型和基于RNN的模型。

A.基于CNN的模型

卷积神经网络设计用于处理基于图像的输入。
卷积网络的首次成功应用是由Yann LeCun在20世纪90年代开发的。
CNN的各层有3个维度的神经元：宽度、高度和深度。
CNN使用3层架构：卷积层、池化层和全连接层。这些层被堆叠起来形成一个完整的CNN架构。

在卷积层中，CNN利用各种核来卷积整个图像以及中间特征映射，在这个过程中生成许多特征映射。
池是一种过滤掉细节的方法：一种常见的池技术是最大池（max Pooling），我们使用2 x 2像素，并传递具有最多所需细节的像素。、
CNN的使用不限于图像数据。CNN的这些非图像应用程序最终使用前馈神经网络来进一步处理数据，从而实现高度非线性的抽象。

下图给出了一个卷积神经网络，我们以此为例进行简单的介绍。

a. 卷积层(Convolutional Layer)
卷积层构成CNN的核心构建块。其参数由一组过滤器（或内核kernels）组成。内核有一个很小的感受野(receptive field)，但可以延伸到输入体积的整个深度。
在向前传递期间，每个过滤器应用于输入卷的宽度和高度。这将导致该过滤器的二维激活图。因此，网络学习过滤器，当过滤器在输入中的某个空间位置遇到特定类型的特征时，过滤器会激活。在每次卷积之后，使用称为ReLU（校正线性单元,或者说叫激活函数）的操作来引入非线性，从而产生校正特征映射。

b.池化层（Pooling Layers ）
通常，池化层或子采样在卷积层之后，可用于降低特征图和网络参数的维度。根据所使用的池化方法（Max、Average、Sum）从每个窗口中选择一个元素。窗口是使用空间邻域确定的。与卷积层类似，池化层是平移不变的，因为它们的计算考虑了相邻像素。

c.全连接层（Fully Connected Layers ）
全连接层的目的是使用从卷积层和池化层获得的高级特征，根据训练数据集将输入图像分类为各种类别。
CNN 一直是大规模图像和视频识别的焦点。ImageNet 大规模视觉识别挑战赛 (ILSVRC) 在推动深度视觉识别架构方面发挥了关键作用。

B.深度生成模型（ Deep Generative Models ）

深度生成模型对于图像和自然数据的生成模型的建模很有用。多层随机单元使推理和学习具有挑战性。流行的生成模型是深度信念网络 Deep Belief Networks(DBN) 和深度玻尔兹曼机 Deep Boltzmann machines (DBM)。

DBN 是一种图形模型，在顶部隐藏层具有无向连接，在较低层具有有向连接。
深度玻尔兹曼机由许多受限玻尔兹曼机组成。这些网络被“限制”为单个可见层和单个隐藏层。连接是在层之间形成的，限制是一个层中的两个单元不能连接。这形成了 RBM 的限制。隐藏单元经过训练以捕获在可见单元处观察到的高阶数据相关性。

最初，除了形成关联记忆的前两层之外，DBN 的各层仅通过有向的自顶向下生成权重连接。由于 RBM 易于学习这些连接权重，因此 RBM 作为 DNN 的构建块是一个有吸引力的选择。初始预训练以无监督的贪婪逐层方式进行，称为对比发散。一旦 RBM 学习了输入数据的结构，因为它与第一个隐藏层的激活相关，那么数据就会向下一层传递。第一个隐藏层承担可见层的作用。激活成为下一层的输入，它们在第二个隐藏层的节点上乘以权重，以产生另一组激活。一旦 RBM 学习了输入数据的结构，因为它与第一个隐藏层的激活相关，那么数据就会向下一层传递。第一个隐藏层承担可见层的作用。激活成为下一层的输入，它们在第二个隐藏层的节点上乘以权重，以产生另一组激活。一旦 RBM 学习了输入数据的结构，因为它与第一个隐藏层的激活相关，那么数据就会向下一层传递。第一个隐藏层承担可见层的作用。激活成为下一层的输入，它们在第二个隐藏层的节点上乘以权重，以产生另一组激活。

这种通过对特征进行分组并创建更多特征组来创建连续激活集的方法称为特征层次结构，神经网络使用它来学习更复杂和抽象的数据表示。对于每个新的隐藏层，都会调整权重，直到该层能够近似于前一层的输入。这提供了贪婪的、分层的和无监督的预训练。它不需要标签来提高网络的权重，允许在未标记的数据上进行训练。DBM 在所有层都有无向连接。深度能量模型或 DEM 被视为具有确定性的下层隐藏单元和顶部隐藏层的随机隐藏单元。

C.基于自动编码器的模型(Autoencoder Based Models )

自动编码器在神经网络上应用反向传播，将目标值设置为与输入相同。它们属于无监督学习算法类。自编码器获取一个输入向量，并使用称为编码的过程将其映射到隐藏表示。然后使用解码过程将称为代码的隐藏单元映射回输入空间。自编码器旨在最小化由输入和输出之间的距离表示的重构误差。当编码器具有非线性形式或多层结构时，如果隐藏单元的数量受到限制，自动编码器将学习数据的有用表示 [7]。对于比输入单元少的大量隐藏单元，自动编码器仍然可以发现数据中有趣的结构。这些自动编码器对隐藏单元施加了稀疏约束。这种自动编码器被称为稀疏。去噪自编码器向数据添加噪声，并通过尝试重建数据来了解该数据。然后，网络尝试识别噪声中的特征，使其能够对输入进行分类并帮助更好地理解它。它在无监督训练中使用去噪标准来学习输入数据的更高级别的表示。在训练过程中，通过损失函数测量该模型与基准之间的距离是使用损失函数来衡量的。它通过重新采样混洗的输入并重新构建数据来最小化损失函数。重复这个过程，直到它找到那些使其模型最接近它被告知的真实情况的输入。

D.基于循环神经网络的模型(RNN)

循环神经网络 (RNN) 的基本特征是在网络中使用反馈连接。这会导致激活循环流动。这使网络能够进行时间处理并因此学习序列，例如，执行时间序列分析或时间关联/预测。

RNN 能够一次处理一个输入序列一个元素，在它们的隐藏单元中维护一个“状态向量”，该向量隐含地包含有关该序列所有过去元素的历史信息。当我们考虑隐藏单元在各个离散时间步长的输出时，就好像它们是深层多层网络中不同神经元的输出一样，反向传播如何用于训练 RNN就变得很明显了。

循环神经网络架构有许多不同的形式。一种常见类型包括标准的多层感知器 (MLP)，它添加了循环。它们利用了 MLP 强大的非线性映射能力，并且还具有某种形式的记忆。学习可以通过使用类似于在简单网络中使用确定性激活函数对前馈网络使用反向传播算法的梯度下降程序来实现。当激活是随机的时，模拟退火方法可能是合适的。LSTM 网络是一种特殊类型的 RNN，由 Hochreiter 和 Schmidhuber 于 1997 年首次引入。长短期记忆网络或 LSTM 网络是一种使用反向传播算法训练的循环神经网络。

在 RNN 中看到的梯度消失问题可以通过使用 LSTM 来解决。LSTM 网络主要用于解决机器学习中的困难序列问题并获得最先进的结果。LSTM 网络不是神经元，而是具有通过层连接的记忆块。它包含管理块状态和输出的门。给定一个输入序列，块内的每个门都使用 sigmoid 激活单元来控制它们是否被触发，从而使流经块的状态变化和信息添加成为有条件的。

ps: 上述介绍只是对4种深度学习网络的简单概述，只需要有一个大体印象，在确定使用哪一种时再详细研究。

入侵检测系统的性能指标

为了确定IDS的准确性，观察到的每个活动都有四种可能的状态。

真正的积极状态是指IDS将某个活动标识为攻击，而该活动实际上是攻击的情况。这种状态称为攻击识别。
真正的消极状态也是类似的。当IDS将某个活动标识为可接受的行为，并且该活动实际上是可接受的时。真正的否定可以被称为成功地忽略了可接受的行为。
假阳性是指IDS将某个活动标识为攻击，但该活动是可接受的行为。因此，假阳性就是假警报。
假阴性状态是一种临界和危险状态。当发生攻击时，IDS将某个活动标识为可接受。因此，IDS忽略了攻击。

看到上面的入侵检测情况分类，突然就联系到了新冠疫情。或者说我们生活中的任何一种判断状态都可以分为上面4类，阳性、假阳性、阴性、假阴性。我们需要做的就是加强入侵检测的准确性，也就是增加判断阳性、阴性的准确率，减少对假阳性、假阴性的误判

通常，检测率（DR）和虚警率（FAR）被用作IDS评估的指标。公式（1）中的DR表示IDS模型检测到的入侵实例的比率。公式（2）引用的FAR是错误分类的正常实例的比率。基于混淆矩阵，度量方程如下（TP：真阳性，TN：真阴性，FP：假阳性，FN：假阴性）。

公式1

在测量入侵检测系统性能的其他研究中，我们可以观察到准确性（3）、错误率（4）、召回率（5）和特异性（6）用于评估检测模型的性能。
准确率（accuracy)表示数据集整体正确检测的准确率，错误率（ErrorRate)表示数据集整体错误检测的几率；召回率（recall)表示所有分类为攻击的案例正确检测到攻击类型的程度，特异性表示正确分类的正常数据的百分比。在上面，较高的准确率和召回率与较低的 ER 表示良好的性能。上述标准的计算公式如下：

公式2

入侵检测数据集

最常用的数据集是 KDD99 数据集。

KDD99 数据集是 1999 年从 DARPA98 网络流量数据集获得的。它是国际知识发现和数据挖掘工具大赛使用的基准数据集，也是入侵检测领域有史以来最受欢迎的数据集。每个 TCP 连接都有 41 个特征，带有一个标签，用于指定连接的状态是正常的还是特定的攻击类型。共有38个数字特征和3个符号特征，分为以下四类：

基本特征：9 个基本特征用于描述每个单独的 TCP 连接。
内容特征：13 个领域知识相关特征用于指示网络流量中没有序列模式的可疑行为。
基于时间的流量特征：使用 9 个特征来总结过去 2 秒内与当前连接具有相同目的主机或相同服务的连接。
基于主机的流量特征：使用 100 个连接到同一主机的窗口而不是时间窗口构建了 10 个特征，因为慢扫描攻击可能占用比 2 s 大得多的时间间隔。

基于深度学习的入侵检测系统

大量的入侵检测系统是基于各种机器学习算法如神经网络、遗传算法、支持向量机等发展起来的。另一方面，一些系统是基于结合不同的学习技术，如混合或集成技术已经实现。特别是，这些技术被开发为分类器，用于分类或识别进入的互联网访问是正常访问还是攻击。在我们的研究中，我们关注使用深度学习网络的算法实现的入侵检测系统。

结论

本文研究了各种深度学习模型，以帮助检测恶意软件和有害流量。它对每种情况下用于识别入侵的方法进行分类。从分类中可以看出，自动编码器和递归神经网络比基于CNN的模型具有更高的准确率。这是合乎逻辑的，因为CNN基本上是为图像处理应用而设计的。因此，可以将更多利用自动编码器和基于RNN的方法的集成模型合并到模型中以提高精度。由于深度学习算法带来了更安全、适应性更强的系统，网络安全领域将继续得到改善。随着技术的发展，硬件处理速度大大加快，设计出更高效的深度学习算法，入侵检测系统的未来前景看好。

论文2收获

1、对入侵检测的评判标准有了一定认识，对相关概念有了理解。
2、对几种深度学习的模型有了初步印象。
3、得到的结论：自动编码器和递归神经网络比基于CNN的模型具有更高的准确率，所以后续可以更多的学习编码器与RNN相关的内容，同时阅读其他论文进一步把握其中关系。

论文参考3

本篇论文名为：《A network intrusion detection method based on deep learning with higher accuracy 》
译为：一种基于深度学习的高精度网络入侵检测方法

摘要

传统的网络入侵检测方法存在远程依赖问题。很容易忽略上下文信息。而且，当前数据维数过高，特征提取过程复杂，不利于入侵检测的实时性和准确性要求。针对以上两个问题，本文提出了一种基于自动编码网络（AN）和长时记忆神经网络（LSTM）的网络入侵检测方法。首先，使用KDDcup99数据集并对其进行预处理。通过叠加多个自动编码网络，将高维数据映射到低维空间，构建了自动编码网络模型。然后利用LSTM模型优化单元结构，提取特征，训练数据，预测入侵检测类型。实验结果表明，与几种经典方法相比，网络入侵检测的准确率平均提高2%，虚警率较低。

导言

随着计算机网络技术的飞速发展，互联网技术已经融入到我们生活的方方面面。因此，对网络信息安全的检测对于保障人民生活和国家安全具有重要意义。
入侵检测系统（IDS）是一种安全技术，用于实时监控网络流量，并警告任何异常情况。由于海量的通信数据大大增加了分析的成本和效率，网络攻击手段也变得智能化和复杂化，因此检测恶意入侵变得越来越困难。

入侵检测系统中有四种常用的深度学习方法。它分别基于深度信念网络、深度神经网络、卷积神经网络和递归神经网络（RNN）。但他们很难解决长期依赖的问题。（简单来说，长期依赖的问题就是在每一个时间的间隔不断增大时，RNN会丧失到连接到远处信息的能力。）

长短时记忆（Long-short-timememory，LSTM）是一种能够学习长期相关信息的特殊RNN。前人提出了多种特征降维方法，主要分为线性降维和非线性降维。
线性降维方法分为主成分分析（PCA）和线性判别分析（LDA），它们对线性结构的高维数据集有很好的降维效果。然而，如果数据是一个非线性稀疏结构，这些方法将在表达数据集的主要特征方面存在缺陷。为了消除冗余信息，降低计算复杂度，提高域名检测能力，提出了一种基于自动编码器和LSTM相结合的入侵检测方法。与传统的恶意域名检测方法相比，它具有更高的检测率和更短的检测时间。

模型介绍

自动编码神经网络是一种用于高维复杂数据处理的无监督学习算法。它可以完成未标记数据特征的挖掘和提取，并利用反向传播算法对输入数据进行重构，使目标值与输入值相等，从而达到降维的目的。
自动编码器网络由两部分组成，一部分是**编码器功能h=f(x)，另一部分是生成和重构的解码器功能r=g(h)**。自动编码器神经网络的本质是学习以下函数。因此，输出x0大约等于输入x。其本质为以下函数（1）。
自动编码器的输入和输出尺寸相等。培训的目的是最大限度地保留数据的特征，并删除冗余信息。图1显示了单层自动编码器的网络原理图。
function 1

LSTM是一种时间环神经网络，它解决了一般RNN的长期依赖问题，能够捕获数据的时序。LSTM与RNN具有相似的链式结构，但它有四个以特殊方式相互作用的神经网络。它决定了信息通过三个控制门的方式，即遗忘门、输入门和输出门。为了捕捉数据的时序性和长程依赖性，对自动编码器网络进行降维，得到特征向量矩阵。

第一步、数据预处理：
对KDDcup99数据集进行一次热处理，将符号特征转化为数值特征。原始KDD-99数据集包含41个特征属性，其中三个是基于字符的特征属性。它们是协议类型、服务和标志。协议类型包含三种协议类型：服务70和标志11。本文对这三个字符进行了二进制数字编码。然后将数据标准化为0,1的间隔。具体流程如表1所示。
步骤二、自动编码器：
采用多层自动编码器网络进行训练，每个自动编码器网络逐层训练，使数据维数不断降低，前一个AN的输出就是下一个AN的输入。
步骤三、采用LSTM算法对降维后的数据进行分类预测。

实验和结果

数据集简介

KDD CUP99数据集是网络入侵检测领域公认的数据集。这是从模拟美国空军局域网收集的为期9周的网络连接数据，其中包含五种攻击类型，即Dos、Normal、Probe、R2L和U2R。它包含41个固定特征属性和一个类别标识符，用于指示记录是否异常。KDDcup99有500万条记录，包括10%的测试和训练集。我们使用了10%的数据集。实验数据的类别分布如下表1所示。实验数据的类别分布见表2。

数据处理

从根本上说，入侵检测方法就是设计一个分类器，能够区分数据流中的正常数据和异常数据，从而实现对攻击行为的报警。在KDD数据集中，每个连接有41个具有不同数据类型的功能。对于分类器来说，从如此多的特征中提取规则既耗时又不准确，一些不相关或冗余的特征会降低检测精度和速度。因此，需要对数据进行预处理和自动编码降维。首先，对KDDcup99数据集进行一次热处理，将符号特征转化为数值特征。其次，对数字特征进行归一化处理。最后是规范化。将规格化值规格化为0,1之间的间隔。

实验评价指标及结果

实验结果以训练准确率（AC）和虚警率（FA）作为评价标准。具体公式如下：

注：这个公式可以参考论文二的介绍。

A.功能选择
在LSTM函数中，我们设置了四个隐藏层，每个隐藏层有32个神经元，输出层有一个神经元（标准化）。激活函数为sigmoid，损失函数为二进制交叉熵，优化算法为Adam。此外，我们还测试了GRU算法，它是LSTM算法的一种变体。最后，我们还修改了激活函数和损失函数来检验这种效应。它们分别表明损失函数为平均绝对误差（MSE），激活函数为relu。实验结果如图3所示。

从上图可以看出，当激活函数为relu，损失函数为mse时，效果更好，精确度提高到95%。此外，LSTM的变体GRU的分类能力也优于基本LSTM。因此，本实验采用GRU作为LSTM模型。

B.自动编码器网络的层次分析
自动编码器网络的结构对降维结果有很大影响。为了比较最优模型结构，设置了不同深度的自动编码器网络结构进行对比实验。测试了三种不同的编码结构以比较它们的性能。表2中显示了四种不同的编码结构。输入LSTM模型的四种降维数据的训练和预测结果如图4所示。可以看出，采用三层网络结构的人工神经网络具有较好的训练误差和测试效果。网络层次较浅，泛化和抽象能力较差，原始信息丢失较多，导致训练误差较大。然而，并非网络层越深越好。如果网络层太深，随着深度的增加，提取的信息会太抽象，原始数据的细节会丢失，训练误差会增加。因此，选择了一种三层结构的数据降维方法。

C.与其他方法的比较
将本文提出的AN-LSTM方法与传统的AN-Softmax方法和LSTM神经网络方法进行比较，分别比较了Dos、Normal、Probe、R2L和U2R五种攻击类型的分类精度和误报率。实验结果如下图5所示。

编码器-解码器在四种层类型下的精度如图5所示。3为最佳，准确率为99.6%。从图6中的实验结果可以看出。LSTM在处理长期相关信息方面具有优势，本文提出的基于自动编码器和LSTM的入侵检测方法的准确率高于两种基本方法。该方法对5种攻击行为的准确率分别为97.6%、96.8%、95.3%、94.8%和94.7%。准确率明显高于其他两种方法。证明了实验模型在分类性能上的优越性，验证了该方法的有效性。

结论和今后的工作

本文研究深度学习在网络入侵检测技术中的应用。提出了一种基于自动编码网络特征降维和LSTM的AN-LSTM混合模型，提高了网络入侵检测方法的准确性。此外，还探讨了各种功能和结构对实验结果的影响。最后，通过与两种传统方法的比较，证明了自动编码器特征降维LSTM算法具有更好的入侵检测性能自动编码器在数据降维方面有很好的效果，但编码和解码过程也会花费大量的时间。在未来，希望对提高自动编码器网络速率进行研究。

我的收获

通过翻译并阅读这篇论文，其对于异常流量的检测方法是一个很好的参考。
本文提出的AN-LSTM方法可以作为一个主要的研究方向，同时论文2也得出了类似的结论。

同时对于激活函数的选取和神经网络层数的选择也有了一个比较科学的实验参考。

所以可以选择这个方向为主攻方向，不过不同的是选取的数据集，可以选择更新的cic-ids2017.

项目准备--基本概念与流程