企业官网建设流程全解析

专做电器的网站,网站建设加盟哪个好,如何做一个网站代码,o2o网站建设好么基于深度学习的车联网入侵检测方法 摘要 进入21世纪以来#xff0c;信息和网络技术飞速发展#xff0c;互联网规模不断扩大#xff0c;网络的影响已经渗透到社会生活的每一个角落。黑客在政治、经济或军事利益的驱使下#xff0c;对计算机和网络基础设施#xff0c;特别…基于深度学习的车联网入侵检测方法摘要进入21世纪以来信息和网络技术飞速发展互联网规模不断扩大网络的影响已经渗透到社会生活的每一个角落。黑客在政治、经济或军事利益的驱使下对计算机和网络基础设施特别是各官方机构的网站发动了越来越严重和广泛的攻击。与此同时也发生了重大网络事件造成了严重后果。例如在过去的两年里每年都有一只熊猫吸烟这给人们的工作和生活带来了许多不便甚至造成了重大且不可逆转的损失。近年来电子商务和其他在线经济活动的繁荣进一步加剧了入室盗窃事件的增加。如何应对这一趋势是人们无法避免的严峻考验。通过有效的入侵检测您可以及时识别网络流量中的入侵行为。基于此您可以运行自动响应步骤或提醒系统管理员采取措施快速响应有效阻止恶意行为避免进一步损失。这就是为什么入侵检测技术在当今社会中很重要。该项目基于Django和MySQL使用B/S架构实现了一个用于模型训练和测试的在线系统。关键词深度学习入侵检测网络流量AbstractSince the beginning of the 21st century, information and network technology have been developing at a high speed, the scale of the Internet has been expanding, and the impact of the network has penetrated into every corner of social life. Hackers, driven by political, economic, or military interests, have launched increasingly fierce and pervasive attacks on computer and network infrastructure, especially the websites of various official institutions. At the same time, there are significant and impactful cyber incidents with serious consequences. For example, in the past two years, panda burning incense occurred every year, which brought many inconveniences and even significant and irreversible losses to people’s work and life. In recent years, the prosperity of e-commerce and other online economic activities has further intensified the growth of intrusion incidents How to cope with this trend is a severe test that people cannot avoid. Through efficient intrusion detection, intrusion behaviors in network traffic can be identified in a timely manner. Based on this, automatic response steps can be triggered or system administrators can be reminded to take measures to respond in a timely manner, effectively blocking malicious behavior and avoiding further losses. Therefore, intrusion detection technology has significant importance in today’s society. This project is based on DjangoMySQL and uses B/S architecture to implement a web system; Model training and testing based on the NSL-KDD dataset.Keywords: deep learning; Intrusion detection; network flow;目录基于深度学习的入侵检测系统设计与实现 1摘要 IAbstract II1 绪论 11.1 选题背景与意义 11.2 国内外研究现状及进展 11.3 研究方法 41.4 创新点 41.5 技术路线 52 相关理论基础 62.1 引言 62.2 入侵检测技术概述 62.2.1 入侵检测简介 62.2.2 入侵检测系统的架构 62.2.3 入侵检测分类及技术分析 82.3 网络入侵检测系统 102.3.1 网络入侵检测系统的定义 102.3.2 网络入侵检测的分类 102.3 深度学习理论及相关模型 132.3.1 因子分解机 142.3.2 卷积神经网络 143 基于 CNN-FM 的网络入侵检测模型 153.1 引言 153.2 数据集与数据预处理 153.2.1 数据集 153.2.2 数据预处理 163.3 基于 CNN-FM 的网络入侵检测模型 183.3.1 因子分解机 183.3.2 卷积神经网络 183.3.3 CNN-FM 模型 193.3.4 激活函数 213.3.5 梯度下降优化器 213.3.6 输出层分类器 224 实验仿真与结果 234.1 系统整体框架 234.2 核心训练过程 234.2.1.整个流程 254.2.2.数据收集与预处理 254.2.3.特征工程 264.2.4.深度学习模型构建和训练 274.3 逻辑设计 284.3.1 功能模块设计 284.3.2 用户管理 294.4 评估标准 314.5 实验结果与分析 325 总结 42附录 431 绪论1.1 选题背景与意义随着信息技术的不断发展中国的互联网普及率逐年提高。截至2020年12月底中国互联网普及率达到70.40%比2020年3月底增长5.90%截至2020年6月底我国互联网普及率为71.60%比2020年底增长1.20%。随着网络应用的普及和深入网络已经成为人类生活的必需品它不仅支持人们的社交互动和娱乐而且在医疗、交通、金融甚至军事等领域也有广泛的应用。随着网络在社会国家和人民生活中发挥着越来越重要的作用网络安全逐渐成为国家安全的关键。该国有9532页被篡改其中55页是被篡改的政府页面全国植入后门的网站数量为2932个其中包括3个政府页面针对全国性网站的虚假页面数量为130个国家信息安全共享平台CNVD收集并整理了信息系统中的漏洞1293。其中包括334个高风险漏洞和993个可用于远程攻击的漏洞。因此为了应对日益复杂的网络环境有必要创建一个准确的网络入侵检测系统。入侵检测系统可以被定义为识别和处理恶意使用计算机和网络资源的系统。目前的检测技术主要分为两类基于误用的入侵检测和基于异常的入侵检测。基于误用的入侵检测系统也称为基于签名的入侵检测将传入的网络流量与现有签名进行匹配并在影响后发出警报消息以指示异常行为。基于误用的入侵检测系统在很大程度上依赖于现有的特征知识库这使得检测未知攻击和适应新的智能攻击行为变得困难。因此基于异常的入侵检测是目前科学家们研究和开发的中心。基于机器学习的传统检测技术和基于深度学习的检测技术都属于基于异常的入侵检测。随着网络规模的增长和网络入侵技术的发展网络数据的复杂性和特征也在不断增加。基于浅层机器学习的学习变得有些不足深度学习网络入侵检测算法逐渐成为主流。深度学习算法可以在本地系统中实现入侵检测模型从包含攻击行为的数据中学习。与传统的检测方法相比它更稳定可以快速识别入侵数据大大提高了入侵检测系统的检测性能。因此深度学习网络入侵检测研究具有重要的价值和意义。。1.2 国内外研究现状及进展随着互联网的不断发展网络攻击越来越频繁网络入侵检测已成为保护网络安全的重要手段之一。随着网络技术的不断发展和普及网络安全问题也越来越受到人们的关注。网络黑客是一种常见的网络安全问题是指未经授权的人员或程序通过网络进入另一个计算机系统并从事非法活动。网络入侵不仅会导致数据泄露和系统故障等问题还会造成重大的经济损失损害公司和个人的声誉。因此网络入侵检测技术的研究和应用具有重要的实践意义。如今深度学习网络入侵检测技术已成为国际研究的热点之一。深度学习是一种基于人工神经网络的机器学习方法可以通过对大量数据的学习和训练来自动提取数据特征并进行分类和识别。与传统的机器学习方法相比深度学习具有更高的准确性和更强的泛化能力因此在网络入侵检测领域具有广阔的应用前景。深度学习网络入侵检测是一个具有挑战性的领域国内科学家已经取得了一些研究成果。未来需要进一步解决数据集不足、算法的可解释性和鲁棒性等问题以促进深度学习网络入侵检测技术的发展。在国外深度学习网络入侵检测技术已经取得了一些研究进展。美国麻省理工学院、斯坦福大学和加州大学伯克利分校等世界知名大学在这一领域进行了深入的研究。其中麻省理工大学的一个研究小组提出了一种深度学习网络入侵检测系统deep IDS该系统可以自动了解网络流量的特征并对其进行分类具有高准确性和良好的可靠性。斯坦福大学的一个研究小组提出了一种基于深度对流神经网络的网络入侵检测系统该系统可以实时监控和分析网络流量实时检测和预防网络攻击。此外欧洲的一些研究机构和企业也对深度学习网络入侵检测技术进行了一些研究。例如德国弗劳恩霍夫研究机构提出了一种名为DeepSec的深度学习入侵检测系统该系统可以实时监控和分析网络流量并根据学习到的函数对其进行分类和识别。此外英国公司Darktrace开发了一种基于深度学习的网络安全产品可以自动学习和分析网络流量并在正确的时间检测和预防网络攻击。总体而言深度学习网络入侵检测技术在国外的应用取得了一些研究进展和成果但仍存在一些挑战和问题。例如如何解决数据不平衡和样本噪声等问题以及如何提高模型的可靠性和可解释性。因此未来需要进一步的研究和探索不断改进和提高深度学习网络入侵检测技术的能力和性能传统的网络入侵检测方法往往需要人工干预检测结果并不令人满意。近年来随着深度学习技术的发展深度学习网络入侵检测已成为研究热点。本文将分析中国的研究现状。1.3 研究方法文献研究法 查阅国内外关于基于深度学习的入侵检测系统的相关文 献了解前人的研究成果、技术路线及存在的问题为本课题的研究提供理论支 持和思路借鉴。实验研究法搭建实验环境利用 NSL - KDD 数据集进行多次实验在 实验过程中不断调整模型参数、优化特征工程通过对比分析实验结果确定最 优的系统设计方案。对比分析法 比较 CNN-LSTM 二分类模型和多分类模型的性能从准确 率、训练时间、模型复杂度等方面进行综合分析评估不同模型的优缺点。1.4 创新点1.训练方式创新通过选择不同的深度学习模型和蒸馏算法结合前后的训 练结果针对准确率损失值等值进行可视化对比训练通过控制不同参数的大 小值来实现模型的不断调优操作提高模型训练的便捷性与操作性。2.特征优化创新在特征工程阶段结合领域知识与深度学习算法探索一 套全新的特征提取与优化方法能够快速、精准地筛选出对入侵检测最具价值的 特征降低数据维度提高模型训练效率。3.模型创新蒸馏模型Knowledge Distillation技术旨在通过将复杂 的深度学习模型中的知识传递给一个较小且更高效的模型从而提升模型的推理 速度与实时性。通过蒸馏过程能有效保持复杂模型在准确率上的优势同时减 少模型的计算资源消耗使得入侵检测系统能够在资源有限的环境下运行。4.过采样技术优化数据不平衡问题在入侵检测任务中正常流量和入侵流 量的比例通常存在严重不平衡导致模型难以对少数类入侵行为进行准确识 别。为了解决这一问题本研究结合了过采样技术如SMOTE通过生成新的 少数类样本来平衡数据集从而提高模型对稀有攻击模式的检测能力减少误报 与漏报的发生。5. 自注意力机制增强特征表达能力 通过自注意力机制模型能够更加精 准地捕捉到网络流量数据中的时序关联性与局部特征尤其是在长时间序列数据的处理上。与传统的LSTM 相比 自注意力机制能够更加灵活地关注输入序列中 的关键部分从而提升模型的检测准确度和鲁棒性尤其在应对复杂入侵行为时 具有显著优势。6.创新性地将卷积神经网络CNN与长短时记忆网络LSTM结合应用于 入侵检测任务利用 CNN 的局部特征提取能力与 LSTM 的时序建模能力有效捕 捉网络流量中的空间特征和时间依赖性提升对复杂攻击模式的检测能力。这种 结合能够更好地处理数据中的多维信息提高模型对网络入侵行为的识别效果。7.不仅采用了单一的 CNN-LSTM 模型还通过多模型融合如集成学习、模 型蒸馏等来进一步提升入侵检测系统的性能。通过集成多个不同结构和特点的 模型能够减少单一模型可能存在的过拟合或欠拟合问题从而提高整体检测效 果的稳定性与准确性。1.5 技术路线数据采集从公开数据源获取 NSL - KDD 数据集并将其导入本地实验 环境。数据预处理使用 Python 中的数据处理库如 Pandas、Numpy 对数据进 行清洗、转换、归一化等操作。模型构建在 Python 环境下利用 torch 库分别构建二分类和多分类 模型依据数据特征和实验需求调整模型参数。模型评估 在 Python 环境下构建 CNN-LSTM 模型并结合自注意力机制 进行优化使用常见评估指标对模型进行性能评估。系统集成将训练好的模型封装到基于 Django 或 Flask 的 Web 框架 中设计前端界面实现用户交互与系统管理功能最终完成入侵检测系统的构 建。2 相关理论基础2.1 引言入侵检测系统作为网络安全防护的屏障随着网络的发展和普及其重要性是不可替代的如今网络数据变得越来越复杂呈现出大规模、高纬度的特点深度学习技术在高纬度的大规模数据处理中具有有效的学习优势。2.2 入侵检测技术概述2.2.1 入侵检测简介入侵检测作为一种主动安全防护技术通过拦截和响应来自网络或系统漏洞的入侵提供实时保护防止内部攻击、外部攻击和用户故障。因此入侵检测被认为是防火墙之后的第二道安全门可以在不影响网络性能的情况下监控网络或系统。入侵检测的实施通常涉及执行以下任务监控和分析用户和系统的活动系统架构和漏洞审计识别已知的攻击活动模式并立即提醒相关方异常行为模式的统计分析评估重要系统和数据文件的完整性操作系统的审计管理和跟踪。入侵检测是防火墙的合理补充帮助操作系统应对网络攻击增强操作系统管理员的安全管理能力包括安全审计、监控、攻击识别和响应提高信息安全基础设施的完整性。2.2.2 入侵检测系统的架构一般来说入侵检测系统有两种分类标准。一种是根据系统处理的数据来源进行分类另一种是按照检测非法事件的方法进行分类。根据处理数据的来源同样入侵检测系统可分为主机HIDS和网络NiDS。如图2-1所示NIDS通过监控网络流量来检测入侵行为。一般来说它监控网络中一些关键设备路由器、交换机等上以混合模式流过网卡的数据包的拦截和分析监控网络行为。图 2-1 NIDS 示意图如图2-2所示HIDS位于主机上全权负责确保主机的安全。监控数据包括以非混合模式通过主机网卡的所有数据包以及本地系统日志、系统连接和其他本地信息。请注意HIDS监视的网络数据包会被定向到它们所在的主机。这两种识别方式各有优点。相对而言通过获得丰富详细的数据HIDS具有相对较高的检测率和较低的误报率。但是HIDS只监视一台计算机的行为完全忽略网络上其他计算机的存在。因此存在对威胁反应迟缓的问题。当它检测到自己机器上的入侵迹象时攻击者攻击网络的意图通常会部分实现。此外高级攻击者可以避免被检测到例如修改本地日志文件。因此HIDS通常被用作深度网络防御系统的最后一道防线。NIDS是大坝之后的第二道防线。由于对NIDS网络数据包的监控可用于分析的数据远不如HIDS获得的数据丰富。因此NIDS以稍粗的粒度监控整个网络系统检测率相对较低误报率较高。但NIDS对入室盗窃的一般状态非常敏感可以对入室盗窃早期阶段做出快速反应通常作为防火墙后的第二道防线。图 2-2 HIDS 位置示意图2.2.3 入侵检测分类及技术分析根据检测方法入侵检测可分为两类不当入侵检测和异常检测。滥用检测也称为特征检测或滥用检测依赖于已知攻击的知识来建立攻击特征库。通过将用户或系统行为与功能库中的不同攻击模式进行比较来确定是否发生了漏洞。该检测系统的优点是误报率低精度高其局限性在于它对未知攻击无能为力并且对特定系统有很强的依赖性。异常检测假设所有入侵检测行为都不同于正常行为。确定、更新和选择“正常”行为轮廓的特征大小对于异常检测技术至关重要。异常检测技术的局限性在于并非所有入侵都表现为异常系统的轨迹难以计算和更新。1.误用入侵检测基于误用的检测技术大致有专家系统、模式匹配与协议分析基于模型、键 盘监控、模型推理、状态转换分析、Petri 网状态转换等方法。下面就专家系统、 状态转换分析进行分析论述。(1)基于专家系统的误用检浏方法。如今大多数系统使用基于规则的专家系统来检测入侵行为将入侵行为编码为专家系统规则。每个规则都有“如果条件然后采取行动”的形式其中条件是在发生特定入侵时由入侵检测系统执行的处理操作并且该操作代表调用的规则。专家系统的建立基于知识库的完整性而知识库又取决于实时审计记录的完整性和性质。这种方法的缺点是标准化。数据库的完整性以及获得专业知识和规则的动态更新专家系统必须在工作过程中分析所有审计数据从而产生效率问题如何在大型系统上获得连续的实时审计数据也是一个问题。(2)基于状态转换分析的误用检刻方法。状态转换分析是将攻击表示为一系列受监控的系统状态转换的过程其中攻击模式的状态是根据与系统状态同时进行的状态转换的状态进行评估的。事件类型不必与审核记录一一匹配。但是攻击模式只描述了一系列事件因此不适合描述更复杂的事件。删除某些攻击匹配没有一刀切的方法因此它不擅长分析过于复杂的事件也无法检测与系统状态无关的入侵。2.异常入侵检测基于数据挖掘、神经网络、支持向量机的异常入侵检测是近几年的研究热点。(1)基于数据挖掘的异常入俊检测。通过从审计记录中提取默认和潜在有用的知识主要使用聚类分析、序列模式分析、分类分析和其他数据挖掘方法来提取与入侵活动相关的系统属性并基于系统特征属性生成入侵事件的分类模型以自动识别入侵事件。数据挖掘方法适用于处理大量数据但其实施需要大量的审计数据作为基础系统学习过程缓慢难以实现实时入侵检测。此外数据探索基于大样本获取足够的样本来检测入侵是非常困难和昂贵的。(2)基于神经网络的异常入侵检测。神经网络由大量的处理单元组成它们通过加权连接相互作用。来自审计日志或正常网络访问行为的信息由数据预处理模块处理并用作输入向量。神经网络用于处理输入向量提取正常用户行为模式的特征并在此基础上分析用户行为函数。这需要一个系统在了解每个用户行为模式特征的情况下提前训练大量实例以便能够识别偏离这些轮廓的用户行为否则效率很高神经网络的缺点是训练时间长依赖于训练数据集建模成本高无法为被认为异常的事件提供解释。目前解决这个问题的方法是训练具有特定功能和简单结构的小型神经网络并共同构建强大的神经网络。添加新数据后只需要调整一个小网络而无需重新学习整个神经网络。(3)基于支持向童机的异常入侵检测。 目前为止应用于入侵检测的 SVM 有二分类 SVMN 分类 SVM针对无标签数据分类以及大量训练样本的 SVM。基于支持 向量机的异常入侵检测分为两步:(1)训练:在某种SVM 训练算法下利用样本数据 进行分类器训练结束时可得到 SVM 决策函数。(2)检测:首先将检测数据转换为 SVM 接受的输入向量格式然后使用培训阶段获得的决策函数对输入向量进行分类。。支持向量机在检测入侵方面取得了良好的效果但其性能在很大程度上取决于核函数的选择目前还没有很好的方法来指导核函数的选取SVM训练的速度受数据集大小的影响很大现有的SVM理论只讨论了具有固定惩罚率的情况但事实上正负样本之间的两种误判往往会导致不同的损失。2.3 网络入侵检测系统2.3.1 网络入侵检测系统的定义入侵攻击的定义是指试图破坏系统网络资源的完整性、可靠性、机密性和可 用性的一个动作集合。从目前的各个分类角度来看可以有伪装、入侵、拒绝服 务、系统渗透、恶意、泄漏使用等6种类型。入侵检测技术是一种用于识别和处理系统网络资源上各种非法行为的解决方案以帮助系统应对来自网络的外部和内部攻击。采用主动防护方法在各级网络协议中实施全面的入侵检测提前检测和预防对系统的潜在攻击这不仅有效地检测到网络外部的入侵还检测到网络内部的行为。入侵检测显著提高了网络管理员的网络管理能力并确保了信息安全结构的完整性。2.3.2 网络入侵检测的分类对于目前的入侵检测系统而言不同的标准有不同的分类大体上分为基于 数据来源划分和基于检测技术划分。基于数据来源划分主要分为两类基于主机的入侵检测和基于网络的入侵检 测。基于主机的 IDS(Host-based Intrusion DetectionSystem, HIDS)通常是位 于被监视系统上的软件组件, 监视主机系统的操作或状态, 检测系统事件, 例如未经授权的访问或安装主要分析与操作系统信息相关的事件。通过浏览日志、系统调用、文件系统修改和其他状态和操作检测入侵。其优点是它可以在发送和接收数据之前通过扫描流量活动来检测内部威胁。缺点是它只监视主机必须安装在每台主机上。它无法监控网络流量或分析与网络相关的行为信息。在基于主机的入侵检测系统中大多数系统可分为程序级IDS或操作系统级IDS。程序级IDS侧重于使用源代码、字节码、静态或动态控制流以及其他应用程序状态信息监视单个应用程序。操作系统级IDS监控系统的整体状态并可以监控所有进程的组合行为以区分操作系统级的正常和异常行为其中可能包括系统日志、Windows注册表数据和其他相关内容。常见的基于主机的入侵检测数据集包括ADFA、Blue Gene/L数据等。网络入侵检测系统NIDS实时监控和分析网络流量并监控多台主机目的是收集有关数据包的信息并查看其内容以检测网络入侵的行为。NIDS的优点是只有一个系统监控整个网络节省了在每个主机上安装软件的时间和成本。缺点是NIDS使得难以获得有关被监控系统状态的内部信息这使得检测更加困难。其中网络数据分为基于流的数据和基于包的数据。基于流的数据仅包含与网络连接相关的元信息而基于分组的数据还包括负载。常用的网络入侵检测公开数据集包括DARPA1998、DARPA1999、KDD1999、NSLKDD、Gure KDD、CIDDS-001、CICIDS2017、ISC2012、Kyoto、UNSW-NB15数据集等。基于入侵检测技术系统可分为基于误用的入侵检测和基于异常的入侵检测。基于误用的入侵检测系统MIDS也称为基于签名的入侵检测将传入的网络流量与现有签名进行匹配并在出现异常行为后发送警报消息。MIDS为任何类型的攻击设计签名具有高检测精度。现有的MIDS包括以下三种方法1状态建模即在有限机器中对许多不同状态的攻击进行编码。观察配置文件中的移动检测攻击行为。2 字符串匹配是指通过匹配字符串模式搜索攻击特征来获取知识以确定是否存在入侵行为的过程。3 专家系统根据一组用于描述已知系统攻击场景的规则对审计数据进行分类。特别是它涉及从训练数据中识别不同的属性和类别。然后输出一组分类规则或程序。最后对审计数据进行分类类。早期的入侵检测系统主要使用基于误用的技术来检测入侵行为。然而基于误用的入侵检测系统在很大程度上依赖于现有的特征知识库这使得检测未知攻击和适应新的智能攻击行为变得困难。因此基于异常的入侵检测是目前科学家们研究和开发的中心。基于异常的入侵检测系统AIDS[52]检测系统中的异常行为并在检测到的行为明显偏离正常行为时发送警告消息。早期的科学家使用统计学习方法来检测异常入侵该方法使用正常活动的统计特性来记录网络流量活动并创建表示其随机行为的记录。参考文献[53]通过将参数建模为独立的高斯随机变量来定义单个变量的值范围并将明显偏离该值范围的数据识别为攻击性行为。参考文献[54]提出了一种多维质量控制技术该技术建立了IT系统正常运行的长期标准记录并使用这些记录来检测入侵行为。实验结果表明结合适当的措施可