最新基于大数据的毕业论文 基于深度学习的不完整大数据填充算法论文(通用5篇)

最新基于大数据的毕业论文 基于深度学习的不完整大数据填充算法论文(通用5篇)

ID:4176794

时间:2023-10-04 07:10:51

上传者:字海 最新基于大数据的毕业论文 基于深度学习的不完整大数据填充算法论文(通用5篇)

人的记忆力会随着岁月的流逝而衰退,写作可以弥补记忆的不足,将曾经的人生经历和感悟记录下来,也便于保存一份美好的回忆。范文书写有哪些要求呢?我们怎样才能写好一篇范文呢?下面是小编帮大家整理的优质范文,仅供参考,大家一起来看看吧。

基于大数据的毕业论文篇一

摘要:属性约简是粗糙集理论研究的核心内容之一,本文通过对属性重要度的计算,以核为基础计算条件属性集中除核以外其他属性的重要性来确定最小的约简,最后通过实例分析验证了算法的有效性与可行性。

关键词:数据挖掘属性约简重要度

数据挖掘是从海量的且不断动态变化的数据中,借助有效的方法挖掘出潜在、有价值的知识过程。而粗糙集理论它是一种刻画不完整性和不确定性的数学工具,能在保持分类能力不变的前提下,通过知识约简从中发现隐含的知识,揭示潜在的规律,是由波兰科学家pawlak在1982年提出的。而属性约简是粗糙集理论研究的核心内容之一,它能保证在分类能力不变的情况下,消除重复、冗余的属性和属性值,减少数据挖掘要处理的信息量,提高数据挖掘的效率。本文提出了通过计算单个属性的重要性,以重要性大于零的属性为核,来选取其它属性加入核中形成新的集合red,直至剩下的所有属性的重要性为零,得到的集合redn即为属性约简。

1粗糙集的基本理论[1-2]

定义1设是一个信息系统,其中是对象的非空有限集合,即;是属性的非空有限集合;,是属性的值域;是一个信息函数,即每个对象在每个属性上对应的信息值。若,其中为非空有限条件属性集合,为非空有限决策属性集合,且,则称信息系统为决策表。

定义2对决策表,,,考虑单决策属性的情况,即,则的分辨矩阵是一个矩阵,其中的元素定义如下:

定义3对分辨矩阵中每个,用布尔函数来表示,若,则决策表的分辨函数可定义为:。

2基于粗糙集的数据挖掘的属性约简算法[3-4]

2.1算法分析

第一步:求核。通过求条件属性c中的每个属性a对在整个条件属性集c的重要性sigc(x)来确定属性核core(x),重要性sigc(x)0的属性为核属性。

第二步:通过向属性核core(x)中依次加入重要性大的属性来确定属性集x的最小约简,详细步骤如下:(1)把a加入到属性集r中,计算重要性,选择重要性最大的属性;(2)如果两个属性有相同的重要性,取离散值小的属性。

2.2算法复杂度

通过算法的`分析,在对决策表进行划分的时间复杂度为o(n2)。而计算条件属性的重要性也是满足划分的线性关系,因此所求属性核的时间复杂度为o(n2),依次添加次重要度的属性也没有增加额外的开销,因此整个时间复杂度还是o(n2)。

2.3实例及分析

为了进一步验证算法的可行性,下面以表1中的决策表为例进行分析说明,其中对象集,条件属性集,决策属性。

以上对计算出的实验数据的重要性进行统计得出信息系统的两个约简为{c1,c4}和{c2,c4}。

3结语

本文针对属性约简算法中的属性重要度的计算来确定核,适合对海量数据的挖掘,不仅节省了存储空间,而且在时间复杂度开销少,通过实验分析验证了算法的可行性与有效性,为决策表的属性约简提供了一条高效的途径。

参考文献:

基于大数据的毕业论文篇二

在传统的知识管理应用中,通过构建知识库实现组织中各种显性知识的统一管理,集中的知识库成为知识管理平台的核心和应用基础,知识库提供知识的分类管理、知识上传、审核、发布、查询、订阅、下载、点评、推荐、统计等应用功能,在知识管理应用的初期,帮助组织有效解决了知识统一存储、统一查找的问题。随着应用的深入,组织开始关注知识管理如何与业务活动紧密结合的问题,如工程管理系统的文档库与知识库是怎样的关系、在业务活动中如何通过多种业务特征快速查找所需知识等,面对种种业务问题,知识库越来越难以满足。分析原因可以发现传统的知识库设计存在一些缺陷:

第一,在知识库设计时通常对所有知识的管理均一视同仁,不管是规章制度类、项目管理类还是工作案例类的知识,其存储方式、属性特征描述等都完全相同,仅通过知识分类等很少的属性加以区分。知识库中通常只保留文档标题、所属知识分类、作者、部门、提交时间、密级、关键字、内容简述等公共属性,知识的个性化属性特征(如项目知识的所属项目阶段、知识类型等,工作案例知识的所属岗位等知识属性)都被丢弃。不同知识的个性特征的丢弃必然影响应用的效果,例如,在项目管理的某个阶段想查找对应阶段的相关知识时就会比较麻烦。

第二,组织的知识管理应用常常是通过专项工作来开展,容易导致知识库的设计与应用相对独立,知识的存储主要通过人工上传方式来实现,没有充分考虑各种知识如何有效存储、如何有效与业务系统结合,没有建立一套运行机制和方法。

第三,由于许多业务知识的业务特征被丢弃,导致查找和使用知识的方式比较单一,往往只能通过标题、分类等少量信息进行快速查询,更多情况只能依靠搜索、全文搜索进行查找,获取知识的效率低下,影响使用者的积极性。

上述的知识库设计缺陷,加上部分组织已经有文档管理、档案管理等应用,难免使一些组织开始质疑知识管理的应用价值,感觉知识库也就是在文档库、档案库基础上增加了一些点评、推荐、搜索等细节功能而已。为解决上述问题、满足组织业务的发展,提出知识仓库的设计思想与技术,以构建新一代知识管理平台来满足现在和未来的知识管理应用需求。

知识仓库是在知识库基础上发展形成的,是面向业务主题的、集成的、可有不同版本的知识集合。知识仓库具有以下一些特点:

・不仅管理最新的知识,也实现每一知识的历史版本的统一管理;

知识仓库的核心设计思想就是根据每类知识的业务特征进行设计,强调业务知识的个性属性的管理,即在管理共性属性的同时,增加不同业务主题知识的个性属性,更加方便使用者在业务过程中快速获取和使用知识。为便于理解,我们通过下图来说明。在知识仓库中,所有知识都具有共同的属性描述,即知识库表,而针对项目知识的特点,还增加了知识所属的项目、项目类型、项目阶段、客户等项目知识专有属性表,由此构建面向项目主题的知识库,这样可以让使用者日后从多种角度查看项目的知识,使知识管理更加贴近业务人员的实际应用需求。同时,某类知识还可能具有其它个性特征,如属于某类业务、适用于某些岗位,需要通过业务维表进行描述。另外,知识在应用过程中可能会不断更新,这些更新既可能是知识本体的变化,也可能是知识属性的变化,因此在知识仓库的设计中还必须区分知识id和文档id,知识id是唯一标识知识的属性,文档id标识知识的某个具体版本,即一个知识id可以对应多个文档id。

三、基于知识仓库的知识管理平台总体架构

知识获取层的目标是收集来自于各个知识源的知识,并将收集到知识统一存放到知识仓库中,具体包括源知识、知识采集、知识审核三个方面:

・源知识的定义

知识管理平台的主要源知识来自几个部分,一是来自组织内部的业务系统,如oa中的公文、组织制度,业务管理系统中的业务文件,项目管理中的各阶段文档等;二是来自组织知识社区,如知识论坛中某一案例讨论与分析的帖子等;三是来自个人,如个人博客中的某个业务观点、个人搜集的知识等;四是来自外部,如互联网、专业情报机构等。

・知识采集

针对每类知识源需要根据具体情况制定知识采集的策略。例如,对于业务系统产生的知识,由于知识产生的逻辑和规则一般明确,采集比较简单,只需明确传输方式、时间等条件通过自动化手段即可完成;对于知识社区中的知识,由于知识比较散乱,采集需要人工处理并需要对知识进行整理;对于个人知识采集也比较简单,提供知识上传功能即可。

知识采集的方式主要有二种,一是自动方式,通过it技术在一定的规则和时间下进行自动采集;二是人工方式,通过人工录入、上传的方式进行知识采集。

・知识审核

采集到的知识其正确性、规范性并不能得到保证,直接存放到知识仓库中将会给后期知识应用带来极大的风险或者查找、使用不便,因此需要对采集的知识进行审核,审核通过后才能存入知识仓库。知识审核的内容包括知识属性的完整性、所属知识分类的合理性、知识内容的正确性、知识编写的规范性等方面。

2.知识存储与管理层

知识仓库的应用和一般的业务系统应用有所不同,一方面需要满足日常的、单个文档的存储与访问,必须考虑大容量文档的快速处理,另一方面还需要满足对对大量的、或者海量的知识进行访问和搜索。因此相对一般业务系统甚至数据仓库应用而言要求数据处理系统要能承受更大的、或者说是巨大的工作负载。这就需要根据组织知识管理的特点、数据量、性能等要求合理选择存储技术,如关系数据库存储、文件系统存储、专用数据库存储等。

除提供具有海量处理能力的知识存储能力外,还必须提供对海量知识的各种属性、描述进行统一管理,对知识的来源、获取方法、展现方式等进行定义,这些信息是属于描述知识数据,既知识元数据,因此,在知识仓库的构建过程中,除实现对知识本体的管理外,还需要实现对知识元数据的统一管理。

3.知识应用层

建立好知识管理平台的基础存储架构后,如何应用平台中的知识以支撑业务工作呢?一般来讲有很多种方法,总体可以分为二大类,一类应用是以查询方式为主,即通过制作好的知识地图、知识检索等手段查找所需要的知识;另一类应用是以知识发现(knowledgediscovery)为主,即通过推理、聚类和分类等技术帮助使用者发现更多、更有价值的知识。

用户使用和访问知识管理平台的方式有三种:

・通过组织的门户系统访问:即通过门户进行统一的用户身份认证和权限认证,用户一次登陆就可进行全网应用的访问,根据不同部门、不同业务的使用者可以提供专门的知识访问入口(知识门户),使用户更快捷地使用各种知识。

・直接访问知识管理平台:知识管理平台相对独立,用户直接登录进系统,通过平台提供的各种应用功能获取所需的知识。

・通过业务系统访问:在组织各种业务系统的应用过程中适时获得知识管理平台中的知识,使用户在业务工作过程中即时获得相应的知识,而不必在工作过程中因缺少知识时专门去知识管理平台查找知识。例如,在合同审核过程中自动关联组织的采购管理规范、合同审核制度、采购经验案例、合同谈判技巧等知识。

四、结束语

基于知识仓库构建的新一代知识管理平台充分考虑了组织的业务特征和需求,可以更好地将知识管理与业务管理融合,支撑业务发展。

需要注意的是,不同的组织由于业务价值链不同,知识仓库的设计模型也必将不同,因此在设计之前需要全面梳理组织的业务及其活动,界定出若干业务主题,在对这些业务主题的知识属性分析后,再进行面向业务主题的知识仓库设计。这样才能保证知识仓库结构的稳定性和业务的适应性。

文档为doc格式

基于大数据的毕业论文篇三

随着互联网、社交网络及电子商务技术的兴起和发展,数据正以前所未有的速度增长。大数据的研究和应用时代己经到来。在大数据的采集和传输过程中,每个环节都可能出现故障,导致很多大数据集中存在着大量的缺失。大数据的不完整性为大数据的分析和处理带来巨大的挑战。因此,不完整数据的填充对大数据的分析和处理具有重要的意义。

近些年,国内外研究人员提出了很多不完整数据填充方法。包括基于最大期望的数据填充算法叫基于模糊聚类的填充算法以及基于最近邻对象的填充算法等。这些算法在填充小规模数据集方面取得了显著的效果。然而在填充不完整大数据方面,精度急剧下降。这是由于大数据存在着丰富的信息维度,而传统的数据填充算法不能体现大数据的深度特征。

针对这个问题,本文提出一种基于深度学习的不完整大数据填充算法。

2填充自动编码机

本文构建的深度填充网络以填充自动编码机为基础模块,从完整数据子集中随机采取一部分数据对象作为实例训练填充自动编码机的网络参数。在构造填充自动编码过程中,使用选中的数据对象模拟缺失数据对象,随机地将每个实例数据对象的部分属性值置,模拟不完整对象作为填充自动编码机的输入,通过最小化重构数据与实例原型来训练网路参数。

根据随机梯度下降算法,每当从数据集中选择一个实例进行训练,填充自动编码机首先随机地选择该实例的.部分属性,将其属性值置。,得到一对数据,然后通过如下公式对自动编码机的权值进行一次更新。如此更新网络参数,直到整个网络趋于稳定。

3深度填充网络与数据填充

本文以填充自动编码机为基础模块,构建三层网络模型。每一层网络输出都将作为上一层网络的输入,最上层作为提取的特征输出。训练过程分为预训练和微调两个阶段。首先自下而上地进行逐层训练获得网络初始化参数,最终通过反向传播算法对全局参数进行微调。

为了获取网络逐层训练监督对象,首先利用实例数据作为输入构建叠加自动编码机,获得实例数据的两层特征。本文以未经处理的原始实例数据二作为网络输入,在最下层可获取第一层特征,把特征作为上一层网络的输入,获得第二层特征,该训练过程是局部的,即第二层网络更新本层的网络权重,对下层网络没有影响。通过这种方式可以初始化叠层网络参数,最后通过反向传播算法对网络全局参数进行微调。如此能够获得对应于原始数据实例的两层特征。

从数据中逐一取出实例对深度实例网络进行训练,每训练一次,对网络参数进行一次更新,直到整个网络趋于稳定,获得最终的网络参数。在获得网络参数之后,本文首先抽取不完整数据集中每个数据对象的深度特征。对于不完整数据对象二而言,首先将其缺失属性的属性值置。

4实验分析

为了验证本文提出的算法(dldbi)的有效性,将本文提出的算法和两种填充算法fimus和dmi进行对比。本文采用的数据集采自数字家庭与无线传感网络实验室,数据集总量达到10u每个数据对象包含650个数值属性。我们首先人为地从数据集中删除一部分数据,模拟不完整数据集,在填充完成之后,将填充值与真实值进行比较,得到算法的填充精度。

本文人工制造两种缺失值,单模式缺失和多模式缺失。在单模式缺失中,每个数据对象只允许含有一个缺失值,多模式缺失则允许每个数据对象含有多个缺失值。本文分别从数据集中选择15%和10%的数据对象并删除这些数据对象的部分属性值,模拟缺失数据。本文使用两个标准来衡量算法的填充精度。第一个标准被称标准,该标准用于衡量填充值与真实值的匹配程度,对于任何一种缺失组合,本文提出的算法所得到的都明显高于其他两种算法。除此之外,随着数据缺失率的增大,算法fimus和dmi所得到的都在下降,即这两种算法的填充精度随着数据缺失率的增大面降低。而本文提出的算法的填充精度一直保持在一个很高的水平之上。因此,本文提出的算法的填充精度明显高于fimus和dmi。

对于任何一种缺失组合,本文提出的算法所得到的rmse都明显低于其他两种算法。随着数据缺失率的增大,算法fimus和dm所得到的rmse不断升高,即这两种算法的填充精度随着数据缺失率的增大而降低。而本文提出的算法的得到的rmse一直低。因此,就rmse而言,本文提出的算法的填充精度明显高于fimus和dmi。

本文提出的算法填充精度相对比较稳定。具体的说,当数据缺失率在1%到10%之间,值能够稳定的保持在。此外,对于任意一种缺失率而言,单缺失模式的填充精度明显高于多缺失模型的填充精度,这是因为多填充模式缺失数据大,对特征提取和还原造成的干扰高于单缺失模式。

5结束语

本文提出一种基于深度学习的不完整大数据填充算法,算法针对大数据具有丰富的信息维度,构建深度填充网络类提取大数据的深度特征,进而对缺失值进行还原。实验结果表明本文提出的算法能够有效的提高数据填充精度。在下一步工作中,探索如何提高多缺失模式下的数据填充精度。

基于大数据的毕业论文篇四

当前阶段,大数据已经成为了人们经常谈论的课题,它不仅仅在计算机领域中占领着主导地位,也深入渗透进了各行各业、不同领域,国际关系也随着大数据时代的到来产生了很大变化。尤其近年来一系列的国际僵持事件把国际关系研究中对大数据的研究推上重要位置,大数据也因此成为国际关系研究中的一个必要课题。

一、大数据时代的诞生与内含

(一)大数据时代的诞生

大数据时代的诞生有着特殊的时代环境和技术背景。

從时代环境方面来看,在大数据诞生和发展的这些年间,社会环境在各方面都是处在高速发展中的,说是日新月异也不为过,在这种环境下做出的每一个决定都对自身有着至关重要的影响,因此,做出决定前就要广泛的参考各种各样的信息数据来保证决定的准确性,对数据的依赖随之加深。

从技术背景方面来看,早在上世纪初,电话、电报等新型信息流通方式的出现就大规模的改变了人们的生活方式,促生出了大量的数据,随着时间的更迭,移动信息设备广泛普及,数据存储变得日常和廉价,云计算技术也得到了发展,大数据时代来临的各种必要技术条件都已备齐,大数据时代也就应势到来了。

(二)大数据的内含

大数据的具体内含至今并没有统一的规定,但是大数据首先是一种数据,一种独特的信息资产,它不仅仅是以枯燥的数字形态出现,还包括着文字、图片、视频等多种形态的信息。“大”是其区别于其他信息的重要特点,这个“大”有着多重含义,首先,也是最浅显的一层含义,就是其数据储存量大、数据种类多、数据计算量也大;其次,从深层含义上来理解,大数据所代表的如此庞大的数据信息并不是杂乱无章的,而是相互关联存在的,数据之间有着独特的“关系网”,利用这些密切的关系网,我们可以从数据中分析出想要得到的信息,这也就是所说的大数据处理,大数据处理是大数据时代一种重要的能力,也是发掘数据背后价值的至关重要的一个步骤。

二、大数据对于国际关系研究的意义

(一)国家数据主权方面

国际关系多种多样,总归来说离不开竞争与合作,国家的实力是国际竞争与合作所要考虑重要条件。在如今大数据时代背景下,国家的竞争力往往与这个国家拥有的数据量及数据的来源途径的多少和处理数据的能力的大小密切相关,因此,国家的数据主权必须要予以重视和维护。事实上,在如今的大国竞争中,大数据的博弈已经白热化。

我们可以从三个方面来理解大数据对于国家数据主权的意义。首先,大数据承载着信息,是数据主权的基础,利用大数据可以分析出一个国家和地区最新的经济、军事、社会动态,是维护国家主权必不可少的功课;其次,大数据作为一种信息权利在主权国家的国际关系维护和发展中发挥着重要作用。主权国家的社会权利的重要来源之一就是承载着信息的各种数据,大数据发展实力强劲的国家可以利用各种信息平台将自国的信息数据扩散出去,增强本国的影响力,从而在国际关系中保有更大的权利;最后,只有做好了大数据控制才能合法维护国家的主权,控制才能了解,了解才有权威,有权威才能进行引导,大数据控制是了解国内外各种信息的不二渠道,了解是维持权威性的重要手段,因此,大数据是国家维护其主权合法性的重要支柱。

(二)国家安全维护方面

维护国家安全是社会和每个国民的责任,在大数据时代,利用数据信息来维护国家安全是一种强有力的手段,新时期,利用大数据对国家安全维护进行创新发展必将使国家的综合实力上升到一个新高度。

其次,利用大数据还可以对未来国内外各种领域的走势进行预测,通过现有的以及可获得的数据信息来推敲出本国或者他国未来一段时间内的社会动态、军事变化、科技发展情况、经济走势等情况,就可以为国家争取到更多的时间来安排应对措施,为国家的安全增添了新的保障。

(三)经济实力提升方面

在提升国家经济实力方面,大数据的优势主要体现在它的商业价值方面。在当今大数据时代背景下,商业交易已经不仅仅局限于实体商品与财产的交换,更多的是有关的数据信息等虚拟商品的交易,这种交易使数据的经济效益增加,商业价值变大。在过去,已经用过的企业的相关产业信息成为了废弃物品,不仅保存不便,还占用空间,十分浪费,但是在大数据新时期,这些数据信息可以重新成为商品,直接变现,为企业的发展添砖加瓦。

除此之外,大数据对经济的贡献还体现在催生除新的商业模式和促进社会经济的发展方面,通过大数据处理和云计算技术,企业可以快速找到降低成本、增加利润的方法,用一种新的商业模式使自身得到更好的发展。社会经济也会因大数据而发生较大改变,所幸,它会以一种全新的方式来推动社会经济的发展。

三、大数据时代国际关系面临的挑战

(一)国际关系平等难以维持

在国际关系的不断改变中,人们始终期盼的是维持平等的关系,但是,大数据时代在一切得到发展的同时却催生出更多的“不平等”。数据鸿沟的出现使得这些不平等的情况明朗化,对于数字鸿沟,我们可以从三个方面来看待它。首先,在数据获得方面,数据并不是凭空产生的,而是通过各种各样的人类活动的整合分析得出的,因此,并不是所有主体都能够得到这些数据,在国际中,比较强的国家并加以利用,强者更强,差距更大;其次,在数据的分析利用方面,数据处理是一种能力,不是每个人都有这种能力的,有些人得到数据可以准确快速地对其进行分析处理,利用该数据获得发展,而没有能力处理数据的人即使得到了数据也无法利用,之能够白白浪费;最后,数字鸿沟还体现在学习机会的获得方面,对于强国来说,公民有着各种各样的机会学习大数据处理的相关知识,然而对于大数据技术本来就弱的国家来说,却难以得到比较好的学习机会。总而言之,大数据时代下,难以跨越的数据鸿沟严重阻碍了国际关系的平等发展。

(二)新型数据霸权的出现

說道霸权主义大家都不陌生,我们一直致力于建设民主的国际关系,但是霸权主义一直阻碍着国际关系民主性的发展,在大数据发展的新时期,霸权主义也不仅仅是我们以往了解的形式,而是更多的以数据霸权的.形式出现。二战以来,美国与西欧等发达国家的科技一直走在世界前沿,且美国作为世界龙头一直推行着霸权主义,阻碍他国的发展,大数据处理也是美国首先推行的,之后,美国开始大力发展大数据事业,除强硬的技术支持外,还通过政策手段把大数据的发展上升到了国家战略的高度,试图迅速在大数据技术方面扩大与他国差距,占据世界主导地位。美国的表现就是典型的数据霸权主义,上文中的数据鸿沟是因为客观原因拉大了强者与弱者的差距,那么数据霸权就是主观意图的拉大差距,来维护自己的利益,破坏国际关系的民主性。

(三)国际合作的安全威胁增大

竞争与合作是国际关系的主要模式,上文提到的两种挑战主要是出现在国际竞争中的,但实际上大数据时代,国际合作也面临着诸多挑战,安全威胁的增大是最常见的。对于大数据来说,数据的量越大,涉及到范围越广,数据分析处理的水平越高,那么这些数据能够发挥出的价值就越大,因此,在大数据方面,两个或多个国家进行合作能将大数据带来的效益发挥到最大,也能在一定程度上抵御数据鸿沟和数据霸权。然而,由于不同国家的政策不同且合作中的国家都想成为最大的利益获得者,使得国际合作的安全威胁增大。

在大数据方面进行国际合作就离不开对数据的存储和运输,在数据存储和运输过程中都存在着安全威胁,更重要的是,不同国家对于数据管理的法律和观念不同,数据在合作国家间传输时,就会受到不同的法律管理,风险是非常大的。

四、我国如何应对大数据时代国际关系变化

(一)政府给予重视、出台相关政策

随着大数据时代的诞生,我国已经意识到了大数据给国际关系带来的变化,在未来,政府要更加重视大数据的发展,利用各种政策条件推动我国大数据发展进程。目前,我国政府还没有出台关于发展大数据的相关政策,但是已经在部分规划中对加快发展信息处理技术做出了明确规定,随着大数据发展的愈演愈烈,我国一定要抓住这个机遇,政府要大力培养人才,利用政策制定出最适宜的发展战略,站在巨人的肩膀上加以创新,走向大数据发展的前沿。

(二)建设数据平台、重视数据的整合与利用

随着大数据发展的推进,数据的总量会越来越大,数据的分类处理也会越来越复杂,为了避免不必要的麻烦,更好的发展大数据,应对大数据带来的国际关系的调整,我国应该建设数据平台,对数据进行整合,使数据利用更加方便。为了迎接国际关系中的大数据变革,我们要努力超越其他国家,走在大数据发展前列,在全球大力发展大数据技术的背景下,想要超越他国,建设平台,整合资源,有序发展是不二法门。

(三)结合社会实际情况应用大数据

不同的国家有着不同的社会发展状态,在应用大数据技术谋求发展和精进大数据技术时,我们不能脱离社会实际去把发展模式过度理想化,结合自身社会的实际情况来发展,稳扎稳打,才能发挥出大数据的实际效果。国际关系是纷繁复杂的利用大数据处理国际关系时,对不同的国家、不同的国际关系、不同的涉及领域,要结合实际情况灵活运用大数据,切忌千篇一律。

五、结语

在全新的大数据时代,国际关系风起云涌,产生着新的变化,大数据在特殊的时代环境和技术背景下诞生,有着其独特的内含,对国际关系也有着重要的意义,为了维护我国的数据主权、国家安全,提升我国经济实力,解决大数据时代面临的难以维持国际关系平等、数据霸权主义出现、国际合作安全受到威胁等挑战,我国要从利用政策、建设平台、结合实际来大力发展大数据。

【参考文献】

[1]试论科技进步对当代国际关系的影响[j].王逸舟.欧洲.1994(01)

[2]中国互联网“时势造英雄”[j].田溯宁.互联网天地.(08)

[3]大数据时代的数据主权和国家数据战略[j].沈国麟.南京社会科学.2014(06)

基于大数据的毕业论文篇五

随着科学技术的日益进步,互联网信息技术得到广泛的应用,云计算也得到较快的发展。云计算作为当今新型的计算机技术,在数据存储安全方面还存在一定的问题未得到充分的解决。根据云计算数据存储安全的现状分析,其研宄内容主要在于数据保护、加密算法、虚拟安全技术等方面,其中数据安全存储是关键部分,本文对云计算环境下数据存储安全的关键技术进行研究,保障用户的信息安全。

1.云计算与云存储的概述

云计算是指通过互联网进行动态的扩展且为虚拟化的资源,随着互联网相关服务的增加,按使用量付费的模式。网络的数据传输功能发展迅速,使得计算机逐渐组成了一个相互关联的集群,并且由统一的数据处理中心进行资源的调配和处理。其具有规模大、形式虚拟、兼容性强等特点。云计算中的关键环节在于云存储,其具有集群应用和分布式文件系统等功能,将网络中不同类型的存储设备通过应用软件进行组合工作,为用户提供业务访问等服务的系统,属于云计算衍生出的新兴的网络存储技术。当云计算系统需要存储和管理大量数据时,系统需要配置存储设备,此时,云存储成为主要进行数据存储和管理的核心云计算系统,方便用户随时随地,通过任何可联网的装置进行信息数据的存取。

2.云数据存储结构

云计算环境下数据存储结构利用了先进的互联网技术,实现了按照用户的网络需求来分配资源。与传统的数据存储结构比较,从服务和实际应用的角度分析,云数据存储是一个硬件的同时还是由客户端程序、访问接口、软件、服务器等设备组成的存储系统。

云数据存储结构通过云计算系统中的应用软件为用户提供数据存储及业务访问等服务,其中,存储层是云数据存储结构的最基层,其主要内容包含存储管理和虚拟化设备,存储层中的存储管理系统用于对硬件设施的维护和升级等功能。管理层是云数据存储结构的核心层,其通过分布式文件系统和集群管理技术进行内容分布和数据备份,具有良好的拓展性,还可以完成云存储系统中的数据加密等任务,符合用户对信息可用性及存储功能的需求。接口层属于云数据存储结构中的重要组成部分,其应有与云计算系统的结构开发与应用,供应商包括网络接入、身份论证、权限管控、应用软件接口等部分,供应商通过接口层为用户设置统一的编程,方便用户自主开发应用程序。云数据存储结构的顶层为访问层,其主要是系统应用程序的入口,用户通过访问层进入云计算系统,实现系统中的资源共享。

3.云计算环境下数据存储安全及其关键内容

3.1云计算环境下数据存储安全

云计算在其实际应用中存在用户信息遭泄露等不安全问题,因此,云计算环境下数据存储安全问题是当前计算机技术发展过程中面临的挑战。为了降低企业中事务的使用成本,减少繁琐的工作程序,就需要在云数据存储的过程中,确保其安全可靠性,使的云计算系统提供优质的服务。在云计算技术的背景下,通过服务式的操作和存储数据,保证数据的稳定性。虽然个体用户使用的数据由提供商管理,用户存储和使用数据是借助网络服务的,但其数据的安全性也需要由云计算系统统一负责。可以将计算机的使用过程看成一个节点,当这些节点出现安全隐患问题时,就需要采取不同的手段对其进行访问和使用,即保证云计算中的安全存储与数据的传输、恢复联系起来,并且得以稳定的发展。

3.2云计算环境下数据安全的关键内容

云数据安全的关键内容包括数据传输安全,其主要指在云计算的服务下,用户将数据传输给云计算系统服务商,由服务商进行数据的处理工作。其间,云计算需要确保用户的数据在传输过程中被加密,保证不被泄露。服务商获取用户数据后,按照行业要求进行保存,服务商还需要做到对用户进行权限认证之后再给予访问数据的权利,访问的对象只能访问自身的数据。云数据安全的关键内容包括数据存储安全,其主要指实现系统中存储数据资源共享的模式,在云计算系统服务下,服务商采取必要的手段隔离不同的数据。当用户准确知道其数据存放位置的情况下,服务商还需要保证对用户托管的数据进行了有效的备份,以防出现突发状况时,数据的丢失,云计算服务商需要最大限度地保护用户的数据,使其恢复到初始状态。在系统中,数据的残留极易泄露用户的信息,因此,云计算服务商需要保证为用户提供数据的安全性。云数据安全的关键内容还包括数据审计安全,通过云计算的服务模式,服务商为用户提供必要的信息支持,并且不对其他用户的数据造成威胁。云计算的服务费为保证数据的安全,需要协助第三方机构准确地对数据安全进行审计,保证用户的信息安全性,同时也促进云计算服务系统的健康长远发展。

4.基于云计算的数据存储安全技术

云计算环境下数据存储在保证数据运算效率的同时还需要确保其安全性,因此,服务商在为用户提供云存储服务时,需要对其信息进行加密保护,保证用户的数据出现在任一存储空间中,非授权用户看到的是无序的乱码,确保用户的个人信息不被泄露。在保证云计算服务商真实可信的前提下,需要将提高云计算的系统运算效率和安全性作为主要任务,探宄出适合互联网信息技术发展的数据存储安全技术。

4.1数据加密技术

目前我国的云存储系统保护隐私数据的能力有限,为保证云存储数据的完整性,用户在使用互联网的同时也需要对自身信息进行有效的加密。云计算系统用户需要提高信息安全意识,加强数据的密钥管理,通过科学的数据加密技术保障云存储系统数据的安全性,提高其使用效率。用户在进行数据加密的过程前,对应的加密算法公钥需要用户端从密匙库中提取,之后应用对称加密的算法,形成具有校验信息的密钥。其中具备校验信息的密钥可以通过非对称的加密算法进行处理,确保其安全性,最后处理好的信息数据作为数据包储存于云端中。在重复加密过程中,保证所有的数据包完成数据加密的行为,方可截止,形成数据加密的'全过程。

4.2数据隔离技术

在云计算模式的背景下,用户将随意摆放系统中的数据存储结构,因此,会出现多个用户将数据存储于同一个虚拟服务器中的现象。出现此类情况时,用户需要使用数据隔离技术,将自身的信息与其他用户的信息有效的隔离开,保证云计算环境下数据存储的安全性。

4.3访问权限控制

当用户将数据上传至云计算数据存储系统后,云计算系统的提供商将享有访问该数据的优先权。如果用户需要限制服务商的访问权限,在上传个人数据的同时,需要将该数据的访问优先级别设置为自己,以此确保自身数据在云计算环境下数据存储的安全性。

4.4数据加密传输

各类数据在云计算系统中的传输是必不可少的,因此,其在传输过程中的安全性是当前面临的大考验。数据的加密传输是指在数据的传输过程中在网络链路层、传输层等区域使用加密技术,以此确保用户数据的可用性和完整性。在数据传输的前期,通过加密协议为用户的数据传输提供加密通道,在数据传输的后期,则采用必要手段防治非法用户对数据的窃取,进而维护用户的数据安全,保证云计算环境下的数据加密传输。

5.结语

随着我国的信息技术不断发展,云计算技术在各行业中得以广泛的应用,其前景广阔。但在云计算的环境下,数据的安全问题成为当前亟待解决的问题。基于云计算的系统模式,构建云数据存储结构,通过数据加密技术、数据隔离技术、访问权限控制、数据加密传输等关键技术确保云计算的数据存储安全,提高云计算的运行效率,推动云存储系统的高效应用,促进我国云计算环境下数据存储结构的不断完善。

文档为doc格式

关闭