Hi:欢迎来到58硕博论文网     

所有论文科目分类


主页 > 硕博论文 > 大数据流式计算框架的任务调度优化方法研究

大数据流式计算框架的任务调度优化方法研究

作者2019-03-27 10:55未知
随着物联网、电子商务、智能交通和虚拟现实等技术与产业的发展,全球数据开始呈现爆炸性增长的趋势,其中实时流式大数据成为了这些数据的关键组成部分。流式大数据具有实时性、易失性、突发性、无序性和无限性五大特征,无法使用传统的大数据批量计算框架进行分析。在这样的背景下,大数据流式计算框架应运而生,并迅速成为流式大数据处理的首选解决方案。这类框架虽然能够很好地解决流式大数据处理问题,但其默认轮询的任务调度机制并未考虑到不同工作节点的自身性能、负载差异、作业结构、通信开销和可伸缩性等各方面因素,无法最大化发挥集群的性能。针对这些问题,本文以主流大数据流式计算框架Apache Storm作为研究对象,提出了以下任务调度优化方法。(1)提出流式计算框架下关联任务感知的任务调度策略。Storm默认采用轮询的方式进行任务调度,未考虑到节点配置的相异性以及任务之间不同类型的通信方式。针对这一问题,在建立Storm基本模型、任务数量约束模型与最优数据流通信模型的基础上,提出一种Storm环境下关联任务感知的任务调度策略(ATA-Storm)。该策略首先按照拓扑的层次顺序依次获取到拓扑的各个组件,然后根据任务本地化原则,将Spout组件中的任务初始化部署到数据源所在工作节点;再在兼顾各工作节点剩余容量的基础上,将Bolt组件中的尽可能地任务部署到其上游任务所在节点,以在满足任务分配公平性的前提下最小化通信开销。实验中配置异构集群环境,并使用一个具有2种不同数据源的非线性拓扑展开对比实验,在调度结果、通信开销和延迟方面均表现良好。(2)提出流式计算框架下基于权重的任务调度算法。静态的任务调度策略无法获取任务的实时负载和数据流大小,不适合复杂的流组模式和多变的应用场景。针对这一问题,在建立带权拓扑模型、负载均衡模型与最优通信开销模型的基础上,提出一种Storm环境下基于权重的任务调度算法(TSAW-Storm)。该算法引入图划分的思想,首先根据各任务的实时CPU资源占用情况以及任务间的实时数据流大小,分别确定拓扑的点权和边权;随后利用最大化数据流增益的思想,逐步构建起各工作节点中承载的任务集合,在保证集群负载均衡与任务本地化的前提下,尽可能地将边权较大的节点间数据流转化为节点内线程间数据流,从而降低网络传输开销。实验结果表明,在同构集群环境的WordCount基准测试中,所提算法相比Storm默认调度算法与在线调度算法在延迟、通信开销与负载均衡方面都有所改进,且算法的执行开销明显降低。(3)提出流式计算框架的任务迁移策略。已有流式计算框架下的动态调度策略大多需要在拓扑运行过程中进行任务的重新部署,不可避免地会对拓扑的正常运行造成停顿,执行开销较大。针对这一问题,在建立并论证资源约束模型与任务迁移模型的基础上,提出一种异构Storm环境下的任务迁移策略(TMSH-Storm)。该策略首先根据集群中各工作节点CPU、内存、网络带宽的负载情况以及各类资源的优先级顺序,将超出设定阈值的工作节点加入源节点集;随后综合迁移开销、通信开销、节点资源约束以及工作节点和任务负载等因素,依次从源节点集中选择合适的待迁移任务并将其异步迁移至目的节点。该研究还在理论层面上对比分析了任务局部迁移策略与任务全局重部署策略在执行过程与执行结果上的差距,证明任务迁移策略能够在较小的执行开销下获得较高的性能提升。最后在异构Storm集群下开展了4个基准测试的对比实验,结果表明,任务迁移策略能有效降低延迟和节点间通信开销,且执行开销较小,实现了任务平滑地轻量级调度。(4)提出基于任务迁移的流式计算弹性集群构建方法。当集群资源不足或过剩时,弹性集群的动态构建就显得尤为重要。而已有研究在进行弹性调整的过程中,均会对运行时作业造成一定的冲击。针对这一问题,引入任务迁移策略的思想,建立改进的资源约束模型与扩充的任务迁移模型,提出基于任务迁移的流式计算弹性集群构建方法。该方法借助于任务迁移的多米诺骨牌效应与任务迁移的集聚效应,能够在集群资源不足时,使用基于任务迁移的集群动态扩展算法(DCGA)自动增加工作节点数量,并从负载过重的节点中选择合适的任务迁移至该新增节点;当集群中某一节点资源过剩时,使用基于任务迁移的集群动态收缩算法(DCSA)自动将该节点上的任务迁移至其他工作节点并关闭该节点。实验结果表明,在异构集群环境的WordCount基准测试中,所提方法实现了流式计算集群的平滑伸缩机制,有效降低了延迟,提高了元组处理的可靠性。
58硕博论文网

最新更新

热门推荐

[硕士论文]企业战略管理视角出发研
本文是 mba论文 ,本论文从企业战略管理的视角出发,依靠文献检索法、调查研究法、对比分析法对案例银行(乌鲁木齐银行)互联网金融竞争环境和因素(外延和内涵)进行了系统而又深入的研究,并综合运用SwOT 分析得出so战略应为乌鲁木齐银行首选的战略,同时给出了-些战略实施的保障措施,以帮助案例银行重新调整竞争模式和发展战略,创新传统的经营模式,以应对新形势下的挑...[全文]
[硕士论文]传统商业银行发展互联网
本文是 mba论文 ,传统商业银行发展互联网金融的主要模式。在互联网金融的强力冲击下,商业银行的金融中介地位逐步弱化,收入来源一再受到冲击,传统的主要收入来源利差收入也难抵颓势。在这样的背景下,传统商业银行唯有积极结合互联网金融并开展相关业务,目前主要模式如下: (一)与互联网企业合作,资源共享 互联网+时代下,跨界合作成为趋势,传统商业银行与...[全文]
[硕士论文]国外金融行业市场进展情
本文是 mba论文 ,随着互联网金融的蓬勃发展,人们分别通过理论研究、市场预测及统计分析等方法对互联网金融及其对传统金融机构的影响,以及在影响之下金融机构采取的战略转型进行了深入研究,并取得了丰硕的成果。下面分别介绍国外相关研究进展情况及发展趋势。 国外研究综述 (一)关于互联网金融对传统金融行业影响的研究 在国外,互联网形式的商业模式和金融业...[全文]
[硕士论文]网络银行金融机构市场主
本文是 mba论文 ,在 20 世纪 90 年代中期,美国出现了一家名为安全第一网络银行(Security First Network Bank, SFNB),正式标志着互联网金融的诞生。随着越来越多的金融科技企业推出高效便捷的金融产品和服务,以网络贷款、网上银行等为代表的金融服务开始在美国金融市场迅速发展,互联网金融企业与传统金融机构开始相互竞争。截至目前,传统金融机构的市场主导地位没有发生...[全文]
[硕士论文]【mpa论文】新媒体视角下
本文是 mpa论文 ,新媒体,从字面意思上理解,就是一种新的媒体形式,是相对于传统媒体而言的。New media是新媒体一词的英文翻译。新媒体概念的提出人是美国的戈尔德马克。从普遍意义上来说,新媒体是继报刊、广播和电视等传统媒体之后发展起来的媒体形态,是通过数字和网络技术,依托互联网平台,以微信、微博、贴吧、论坛等为渠道,向用户传播快捷、广泛的信息、为...[全文]
[硕士论文]地方政府公信力mpa论文研
本文是 mpa论文 ,人无信不立,业无信不兴。同样,国无信必颓,政无信则衰。当前,我国经济和社会发展都取得了重大成就,人们的生活水平也逐步提高,公民参政议政的意识越来越强烈,对政府提出了新的期待。互联网时代,通讯媒体迅速发展,网络信息日益多元化,政府的行政行为都浮现在人们的视线中,一方面加强了对政府工作人员的监督,另一方面信息的多元化网民的...[全文]
关闭窗口 论文咨询