一种安全的大数据收集存放方法与流程
发布时间：2022-11-22 11:12:49 所属栏目：大数据 来源：
导读： 本发明涉及一种大数据收集存放方法，特别是涉及一种安全的大数据收集存放方法，属于数据处理领域。
背景技术：
对于“大数据”(bigdata)研究机构gartner给出了这样的定义。“大数
背景技术：
对于“大数据”(bigdata)研究机构gartner给出了这样的定义。“大数
|
本发明涉及一种大数据收集存放方法，特别是涉及一种安全的大数据收集存放方法，属于数据处理领域。 背景技术： 对于“大数据”(bigdata)研究机构gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。大数据进行数据收集时若接收数据存在病毒会对大数据库造成严重的损失，造成数据泄露、数据损坏等不确定因素。 技术实现要素： 本发明的主要目的是为了提供一种安全的大数据收集存放方法，，有效的检测出大数据收集时接收数据中心含有病毒的文件并阻止病毒入侵数据存放服务器，降低损失。 本发明的目的可以通过采用如下技术方案达到： 一种安全的大数据收集存放方法，其特征在于：包括传输端预处理电脑以及储存设备，所述传输端使用者实名认证，如下步骤： 步骤1：传输端传输数据至预处理电脑，同时预处理电脑获取传输端实名认证信息以及传输端的ip地址； 步骤2：预处理电脑对数据进行病毒检测查杀处理，若存在病毒则进行隔离删除文件步骤，若安全则下一步骤； 步骤3：预处理电脑对比过滤处理，字段提取语义分析后与数据库中的文本对比，过滤没营养的数据进行隔离删除文件步骤，提取有用数据进行下一步骤； 步骤4：预处理电脑对数据进行模拟运行处理、模拟提取以及模拟传输，同时进行病毒检测，若检测出病毒则进入隔离删除文件步骤，若安全则进行下一步骤； 步骤5：对数据进行模拟存放处理，存放时实时监测病毒，排除隐藏病毒，模拟存放时长为7天，模拟存放期间若检测出病毒则进入隔离删除文件步骤，若安全则进行下一步骤； 步骤6：模拟存放7天没问题后从预处理电脑移入数据库进行数据存放。 优选的，上述预处理电脑中虚拟出虚拟主机，上述步骤1至上述步骤4中在所述预处理电脑中进行的步骤在所述虚拟主机中进行。 优选的，若虚拟主机中步骤2至步骤4中检查出病毒则进行隔离删除文件步骤，若虚拟主机中步骤2至步骤4中没检查出病毒则在把文件从虚拟主机移动至所述预处理主机中虚拟主机之外的区域进行上述步骤2至上述步骤6的处理。 优选的，文件在所述预处理电脑中虚拟电脑之外保存在隔离区域。 优选的，所述虚拟主机进行步骤1后把文件解密成明文文件后再进行如下步骤2至步骤4。 优选的，所述预处理电脑中所述虚拟主机之外接收到文件保存至隔离区域后把文件解密成明文文件在进行如下步骤2至步骤6。 优选的，文件在所述虚拟主机中把文件解密成明文文件对文件进行哈勃分析。 优选的大数据存储的三种方式，隔离删除文件步骤包括删除文件和防恢复处理，防恢复处理是针对电脑文件进行覆盖内容后进行删除操作。 优选的，上述步骤6中数据移入数据库进行保存时分类保存，且数据分时段区块化保存。 优选的，若检查出病毒文件对文件进行隔离删除文件步骤的同时对实名认证的账户进行标记以及拉黑，对该ip地址的传输端进行标记。 本发明的有益技术效果： 1、本发明提供的安全的大数据收集存放方法，有效的检测出大数据收集时接收数据中心含有病毒的文件并阻止病毒入侵数据存放服务器，降低损失。 2、本发明提供的安全的大数据收集存放方法，过滤无关数据，减少服务器的存放压力。 3、本发明提供的安全的大数据收集存放方法，在预处理电脑内进行病毒检测，在数据进入数据库前对数据进行检测排除病毒，使数据库更加安全。 4、本发明提供的安全的大数据收集存放方法，放模拟存放处理排除潜伏病毒，有些病毒潜有一定的潜伏期，在潜伏期病毒很难检测出来，模拟存放处理时对数据文件进行监测，排除潜伏病毒，使数据库更加安全。 5、本发明提供的安全的大数据收集存放方法，在虚拟主机中对数据文件进行处理，有效的保护预处理电脑的安全。 附图说明 图1为按照本发明的安全的大数据收集存放方法的一优选实施例的预处理电脑与虚拟主机的关系结构示意图； 图2为按照本发明的安全的大数据收集存放方法的一优选实施例的流程图。 具体实施方式 为使本领域技术人员更加清楚和明确本发明的技术方案，下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。 如图1-图2所示，本实施例提供的安全的大数据收集存放方法，其特征在于：包括传输端预处理电脑以及储存设备，传输端使用者实名认证，如下步骤： 步骤1：传输端传输数据至预处理电脑，同时预处理电脑获取传输端实名认证信息以及传输端的ip地址； 步骤2：预处理电脑对数据进行病毒检测查杀处理，若存在病毒则进行隔离删除文件步骤，若安全则下一步骤； 步骤3：预处理电脑对比过滤处理，字段提取语义分析后与数据库中的文本对比，过滤没营养的数据进行隔离删除文件步骤，提取有用数据进行下一步骤； 步骤4：预处理电脑对数据进行模拟运行处理、模拟提取以及模拟传输，同时进行病毒检测，若检测出病毒则进入隔离删除文件步骤，若安全则进行下一步骤； 步骤5：对数据进行模拟存放处理，存放时实时监测病毒，排除隐藏病毒，模拟存放时长为7天大数据存储的三种方式，模拟存放期间若检测出病毒则进入隔离删除文件步骤，若安全则进行下一步骤； 步骤6：模拟存放7天没问题后从预处理电脑移入数据库进行数据存放。 上述预处理电脑中虚拟出虚拟主机，上述步骤1至上述步骤4中在预处理电脑中进行的步骤在虚拟主机中进行，虚拟主机也叫“网站空间”，就是把一台运行在互联网上的物理服务器划分成多个“虚拟”服务器，虚拟主机技术极大的促进了网络技术的应用和普及，同时虚拟主机的租用服务也成了网络时代的一种新型经济形式。 若虚拟主机中步骤2至步骤4中检查出病毒则进行隔离删除文件步骤，若虚拟主机中步骤2至步骤4中没检查出病毒则在把文件从虚拟主机移动至预处理主机中虚拟主机之外的区域进行上述步骤2至上述步骤6的处理。 文件在预处理电脑中虚拟电脑之外保存在隔离区域。 虚拟主机进行步骤1后把文件解密成明文文件后再进行如下步骤2至步骤4。 预处理电脑中虚拟主机之外接收到文件保存至隔离区域后把文件解密成明文文件在进行如下步骤2至步骤6。 文件在虚拟主机中把文件解密成明文文件对文件进行哈勃分析。 隔离删除文件步骤包括删除文件和防恢复处理，防恢复处理是针对电脑文件进行覆盖内容后进行删除操作，文件拖入回收站然后再将回收站清空，数据并没有被真正从硬盘上清除，只是表面上的删除操作，就像是将一本书中的目录撕掉，但是目录对应的内容并不受影响，电脑在向硬盘写入数据的时候，除了需要保存数据本身还需要将文件名、大小、创建时间等进行保存，这些文件信息被称为“文件头信息”，系统将他们与文件数据本身保存在分开的两个区域，“文件头信息”就好比是书本的目录部分，方便系统查找、定位和读取数据，文件数据是书籍的正文，操作系统在删除文件的时候，并不是将所有与这个文件相关的信息全部删除，而是将这个文件标记为已删除，将该文件占用的磁盘空间标记为空闲，因此，当一个文件被删除后，只有“文件头信息”里面的一小部分数据受到影响，文件数据都依然保留在硬盘上，由于数据被标记为删除，用户是看不到被回收站清空的数据的，数据恢复技术就是基于该原理，开发数据恢复软件，让数据恢复成为一项很简单的任务，彻底清除数据让数据无法恢复，原理上是将删除的数据进行覆盖重写，例如，某个文件被删除后，存入数据，将保留在硬盘上可恢复的数据覆盖，但是由于文件写入位置是随机的，无法确定存入的数据一定将删除的数据覆盖上，因此，建议将分区空闲空间填满，以确保将文件覆盖，这样操作后，几乎所有的数据恢复软件都无法找回原来删除的文件了，对于有一点电脑基础的用户，也可以尝试使用专业的数据销毁工具，平时最为常用的方法是逻辑层面的数据擦除，可以使用相关的软件完成，可以达到数据清零的效果，防止数据恢复软件进行恢复，入360电脑管家，金山文件助手等。 上述步骤6中数据移入数据库进行保存时分类保存，且数据分时段区块化保存。 若检查出病毒文件对文件进行隔离删除文件步骤的同时对实名认证的账户进行标记以及拉黑，对该ip地址的传输端进行标记。 综上所述，在本实施例中，本实施例提供的安全的大数据收集存放方法，有效的检测出大数据收集时接收数据中心含有病毒的文件并阻止病毒入侵数据存放服务器，降低损失，过滤无关数据，减少服务器的存放压力，边框使用复合材料，在预处理电脑内进行病毒检测，在数据进入数据库前对数据进行检测排除病毒，使数据库更加安全。，放模拟存放处理排潜伏病毒，有些病毒潜有一定的潜伏期，在潜伏期病毒很难检测出来，模拟存放处理时对数据文件进行监测，排除潜伏病毒，使数据库更加安全，在虚拟主机中对数据文件进行处理，有效的保护预处理电脑的安全。 以上所述，仅为本发明进一步的实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明所公开的范围内，根据本发明的技术方案及其构思加以等同替换或改变，都属于本发明的保护范围。 （编辑：均轻资讯网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐