一、递归遍历目录树的两个C函数（论文文献综述）
史军勇,李文静[1]（2021）在《多维元数据索引文件系统设计与实现》文中研究指明容量庞大的磁盘外部存储设备导致文件检索性能下降,传统的"按名检索"方法已经无法满足海量文件系统检索需求,面向近些年流行的多维索引技术,应用R树设计和实现一个基于文件属性的多维元数据索引文件系统MIFS,分析了MIFS目录树多属性索引结构和插入、删除、分裂操作算法,阐述了MIFS索引结构的物理实现及其用户接口,最后,实验测试了MIFS和Ext 3文件系统用户接口的周转时间,结果表明MIFS文件检索性能得到了显着提高。
陈玉标[2]（2021）在《基于固态盘的外存排序和区域查询处理优化方法》文中提出固态盘以其体积小、高带宽、低延迟、低功耗和抗震性等优点逐渐取代机械硬盘成为主流的存储。固态盘由于存储介质是闪存,因而它拥有闪存的所有特点,比如:读写不对称、写前擦除和擦除次数有限特点。早些年,数据管理系统中的外存索引和算法主要是针对磁盘的I/O特性进行设计和优化,很多在闪存介质上已经不再适用。因而,近些年基于闪存特性的索引和外存优化算法逐渐出现,但是它们都是只基于闪存介质的特点。如果把固态盘看作一个整体,随着技术的进步,越来越多的并行资源被集成进固态盘,使得它拥有了丰富的内部并行性。而目前基于固态盘内部并行性特性的工作还比较少,本文将基于固态盘内部并行性及其带来的带宽变化特点对外存排序和范围查询进行优化。具体的研究内容如下:首先,本文研究了如何让外存排序过程充分发挥固态盘内部并行性的问题。本文提出一种固态盘上新的外存排序算法,它基于run生成和run合并两阶段的经典模式。在run生成阶段通过预处理来消除合并阶段数据加载和计算的依赖问题,使得固态硬盘的内部并行性在合并阶段能够充分地发挥作用;与此同时,数据加载依赖的解除又能为进一步的流水线优化提供可能。在无序数据集上进行实验得出的结果表明,和目前固态盘上最优的外存排序算法相比,能取得比较好的加速比。第二,本文研究了闪存固态盘上外存归并排序的最优执行方案问题。外存归并排序作为很多数据管理系统的经典排序算法,它的性能对整体性能有着重要影响。在给定内存资源的情况下,固态盘上外存归并排序的I/O时间主要由输入缓冲区大小、输出缓冲区大小和合并路数决定,这里把上述配置叫做外存归并排序的执行方案。本文研究在内存资源限定的情况下,如何确定一组外存归并排序的最优执行方案使得I/O时间最小的问题。本文基于闪存固态盘带宽特性,提出Sort Decision算法计算在内存资源限定的情况下,使得外存归并排序I/O时间最少的最优执行方案。根据该方案进行外存归并排序,以获得更优秀的执行效率。这里将定内存资源的情况下固态盘上的外存归并排序问题,形式化为一个分段求解的凸优化问题,然后通过枚举每个子凸问题求解的结果,获取最终的外存归并排序策略。经理论分析,该算法的时间复杂度很低,且通过实验结果表明,由Sort Decision算法指导的外存归并排序,在给定内存资源较小的情况下明显优于经典外存归并排序算法。第三,本文研究了固态盘上外存归并排序的内存推荐问题。外存归并排序作为最常采纳的外存排序算法,内存资源对于其性能极其重要。以机械硬盘为环境进行传统的I/O代价分析,均假设单位I/O读写代价是个定值,使得外存归并排序性能最优的最小内存也是个定值。然而,在新型的主流存储固态盘上,由于内部并行性的存在,它的读写带宽随逻辑读写单元变大,带宽变化幅度很大。且当逻辑读写单元很大时,带宽增长的幅度逐渐变小。提供过大的内存会导致内存资源浪费。因而,在固态盘环境下计算出合适的内存大小推荐给外存归并排序,来使得外存排序运行时带宽接近于最大化,与此同时又不会造成内存浪费具有重要意义。因而,本文提出一个针对外存归并排序的内存推荐算法MRCD。它能根据输入的I/O时间偏差率,结合固态盘I/O特征数据和输入数据规模,给出最优的内存推荐。通过理论和实验验证,MRCD可以在任意类型固态盘上,都能保证在外存归并排序实际运行时间偏差率和输入的I/O时间偏差率近乎相等的情况下,实现比较大内存节省的性能表现。最后,本文研究了固态盘上范围查询问题。R-树是支持范围查询索引最重要的索引。因而,本文主要针对R-树上的范围查询进行优化。R-树是地理信息系统的核心索引,范围查询的性能对于地理信息系统非常重要。由于R-树索引任意一对父子结点加载过程必须严格顺序执行,因而很难并行加载,导致I/O加载的并发度降低。进而很难有效地利用固态盘内部并行性去加速范围查询过程中结点的加载。为了克服该困难,提出一种基于栈结构的范围查询算法,栈聚集查询算法SBS。它通过栈模拟查询递归范围查询的执行,通过延迟该过程中的范围查询操作,聚集批量提交提高固态盘内部并行性的触发。然后,通过理论证明该算法只需要O（Blog N）级别的内存空间资源。最后,在真实数据上,通过不同查询范围的实验来验证栈聚集查询算法的性能。
任路遥[3]（2020）在《面向对象程序的自动化单元测试框架研究与设计》文中认为单元测试是对软件中的基本组成单位（如模块、过程、函数或类）进行的测试,在保障软件质量的过程中发挥重要作用。面向对象语言是一类以对象作为基本程序结构单位的程序设计语言。面向对象程序中涉及到复杂逻辑结构的单元测试具有一定的难度,是单元测试方向研究的热点之一。面向对象程序的自动化单元测试框架,能提高面向对象程序的单元测试效率,减轻测试人员繁重的单元测试任务,有效的降低面向对象软件开发的成本。面向对象程序自动化单元测试框架的研究有很大的技术难度,目前国内此类单元测试框架较少,且多为在国外成熟的测试框架基础上进行的二次设计。本文调研了国外成熟的面向对象程序的自动化单元测试框架设计,以及传统的面向过程程序的自动化单元测试框架设计,总结了面向对象程序的自动化单元测试框架的设计原则与原型设计。在此基础上做了两点研究:一、对面向对象程序的单元测试中存在的问题进行了研究,分析了面向对象程序自动化单元测试框架要解决的功能和性能两类需求。功能方面,研究了面向对象语言中常见的权限访问、类属性、函数重载等特性引入的单元测试问题。性能方面,研究了自动化测试框架常见的多程序测试内存性能问题以及实际执行环境的平台适应性问题。由于面向对象语言的丰富度颇多,本文选取C++这一流行的面向对象语言,作为研究面向对象语言的切入点。二、在原型设计的基础上,结合上述需求,本文设计了一种面向对象程序的自动化单元测试框架（Code Test System for Cpp,CTSCpp）,用以对C++程序进行自动化的单元测试。功能方面,该测试框架可以自动化的为C++程序进行预处理、静态分析、构建测试环境,自动的生成测试用例,并动态执行获得覆盖率信息。性能方面,采用前后端分离的形式,运用序列化的技术手段,用硬盘资源换取内存资源,防止测试框架执行过程中发生内存溢出;并采用适配器模式,针对预处理、动态执行等操作,设计了适配器模块,丰富了测试框架的拓展性。作者在实际工程中实现了上述面向对象程序的自动化单元测试框架,并通过实际程序进行了验证检验。结果表明,本文研究与设计的面向对象程序的自动化单元测试框架具有可行性。其能够实现对面向对象程序进行自动的程序解析、单元提取、覆盖率测试等功能。
王嘉盛[4]（2020）在《分布式和异构计算环境下关键算法和技术研究》文中研究说明随着大数据、云计算、人工智能的飞速发展,越来越多的企业、高校、政府机构产生了对海量数据的计算和存储能力的高度需求。数据中心一方面需要对海量数据进行存储,另一方面需要为日益增长的机器学习、深度学习等计算任务提供有力支持。由于单台通用服务器的计算和存储能力均受限,分布式存储以及异构计算正成为当前以及未来数据中心管理海量数据的关键。本文旨在对分布式和异构计算环境下的关键算法和技术进行研究,通过理论和实践相结合的方式,研究、并实现相应的异构计算和分布式存储系统,解决了海量数据计算和存储方面的三个焦点问题。深度学习的强计算任务对通用服务器提出巨大挑战。本文对深度学习中的LSTM（Long short-term memory）算法进行深入研究,实现了一个面向云端异构计算环境的LSTM算法的FPGA（Field Programmable Gate Array）加速器。前人的LSTM算法的FPGA加速器绝大部分面向嵌入式环境,本文主要针对云端环境对FPGA加速器进行深度优化,并获得了计算和传输性能的显着提升。如何保证数据的高容错性和强一致性是分布式系统的关键问题。本文结合Raft算法和一致性哈希算法,并对算法作出一定的修改和优化,实现了一个分布式强一致性的文件存储系统。该系统能够在机器宕机、网络分区等极端环境下保证数据的高容错和强一致性。分布式存储系统需要满足极高的性能要求。本文研究了多个提高性能的算法和技术,为分布式文件存储系统解决了文件多版本管理、存储引擎、元数据管理和数据读写的性能问题,使分布式存储系统满足高吞吐、低延迟的性能要求。
王坤[5]（2020）在《基于容器的应用程序自动打包管理系统设计与实现》文中研究指明Docker是一个开源的应用容器引擎,被广泛应用于各种系统。Docker容器可以为系统提供隔离性,将不同应用间的执行环境互相隔离开,使其在运行过程中互不影响,便于部署应用并提高其安全性和可靠性。对于一个已经部署在宿主机系统中的应用,存在将此应用部署到Docker镜像中以提高其隔离性的需求。将应用部署到带有基础操作系统的Docker镜像中时,存在系统兼容性问题并且镜像中含有无效依赖文件。另一种部署方法为将应用部署到不含有操作系统的空镜像中,此方法避免了操作系统文件兼容性问题,节省了无效依赖文件占用的空间。但是在空镜像中成功部署应用的前提条件为:应用在容器中运行时,其依赖文件都能被访问到。为满足此前提条件,可收集应用的依赖文件到镜像中并保证镜像中依赖在运行时被正确搜寻。为了解决在空镜像中部署应用时产生的依赖收集问题,本文设计并实现了一个应用自动打包管理系统。针对应用依赖文件中的动态库文件、链接文件、进程间调用文件的收集问题,本系统分别给出了以下解决算法:·针对动态库嵌套依赖树的遍历算法。本算法通过遍历动态库嵌套依赖树收集了动态库依赖文件,还原了动态库链接文件。·拦截读写系统调用的链接追踪算法。本算法通过跟踪、解析应用运行时访问的系统调用,收集并还原了应用的链接依赖文件。·进程间通信的爬取及递归打包算法。本算法通过爬取应用运行时的进程间通信情况,定位了与应用通信的进程并递归地收集其依赖。本系统在多个开源软件上进行了测试,其中一个用于数值优化的开源软件同时依赖于符号执行库（610MB）、静态程序分析平台（1.2GB）等。此软件的虚拟机镜像大小为10.7GB,其生成的Docker镜像大小为1.34GB,减少了约26%的依赖文件占用空间。本系统处理此软件时,从12243行系统调用中收集到423个有效依赖文件所花时间为3.75秒。
杨立云[6]（2020）在《大地电磁软件系统关键技术研究与开发》文中提出大地电磁测深法（Manetotelluric,MT）是一种重要的地球物理勘测方法,它以天然电磁场为场源,通过改变电磁场频率进行测深来获取地下电构造信息,目前已广泛应用在能源勘探,工程勘察等领域。随着电磁方法和计算机技术的发展,从业人员对电磁解释软件提出了新的需求。本文对目前国内外应用中的商业电磁软件做了系统的调研,并梳理了这些软件的优缺点,结合最新的电磁勘测技术,开发出了一套全新的综合大地电磁解释软件,该软件较现有软件有如下创新:正演建模与解释功能是电磁软件的关键部分,建模功能服务于正演,为正演提供良好的模型,使得正演可以模拟复杂的地质结构。同时正演模型也可作为二维反演的初始模型,对反演结果有着极其重要的指导作用,从而解决反演多解性的问题。但现有软件的建模系统大多功能单一、界面简陋、建模精度不高,在网格剖分方面通常使用规则的矩形网格剖分法,此种方法对复杂地质模型特别是起伏地表模型的逼近效果不佳,导致正演结果精度不高。对此,本文创新地提出使用更灵活的基于三角形的不规则网格剖分法。研究并应用Delaunay三角法实现了网格剖分,并提出了粒子群优化算法对剖分结果做了质量优化,结合有限元方法最终实现了建模效率、模拟精度更高的正演。电磁法的反演解释具有很强的多解性,使用建模功能建立初始模型只是解决该问题的一种方法,本文又创新地实现了一种交互迭代式反演系统。该系统首先对原始数据执行一维反演,反演结果可以实现人工交互编辑,编辑后的结果保存为初始模型。接下来在执行二维反演时,可选择导入初始模型或正演模型作为约束,得到二维反演的最终结果作为参考,指导用户再调整原始模型,调整后的模型执行正演计算,将计算结果转为测线,测线数据再次反演解释。如此迭代操作,最终使得反演结果越来越逼近真实解。该方法的实现将传统单一的均匀半空间式反演发展为可人工操作干预的交互迭代式反演,大大提高了反演的正确性。除了在最关键的正反演模块上提出了创新外,本文还对现有软件的交互界面做了优化,包括将GIS融入电磁软件,实现测线在地图中的显示等。综合来讲,本文开发的电磁软件较现有大多数电磁软件而言,增加了解释功能,改善了正反演方法,优化了程序界面,提高了大地电磁工作效率,具有极高的推广应用价值。
杨思雄[7]（2020）在《基于深度学习的道路表面损伤分析算法研究与实现》文中研究说明近年来,道路基础设施领域积累了相当数量的数据,如何对它们进行有效分析、让其价值得以体现,是当前迫切需要思考和解决的问题。道路对人们的日常生活有很大的影响,如果能尽早检测出道路表面损伤,并制定出合理的养护方案,那么就能极大降低道路养护开销。深度学习是目标检测和图像分类问题的一种主流解决方案,道路表面损伤检测这一任务适合用深度学习算法来处理。近几年的相关研究表明,主流的目标检测算法在道路表面损伤检测任务上能取得好的成绩,其中Faster R-CNN取得了最优的检测精度。然而它们都忽略了道路表面损伤数据集特有的高类间相似度。此外,超分辨率技术能够较好地丰富低分辨率图像的细节特征,在很多领域中都显现出很高的使用价值,因此可以将超分辨率技术应用到道路表面损伤检测任务中。基于上述背景,本课题主要做了如下三点工作:（1）提出了一种基于卷积神经网络的道路表面损伤检测算法FasterR-CNN INF。FasterR-CNNINF 以 Faster R-CNN 为基础网络,从网络结构、参数配置、数据集特性对基础网络进行优化。其中最重要的优化部分是提出了 IouNmsFilter。这是一种改进的NMS和基于候选边界框IoU过滤器模块,它通过合理利用相似道路表面损伤类别之间的丰富IoU信息以提高道路表面损伤检测精度。（2）提出了一种结合超分辨率技术的道路表面损伤检测算法,将Faster R-CNNINF的任务限定为损伤定位,对裁剪出的疑似损伤区域图片通过超分辨率技术进行优化,再送入图像分类网络去预测其类别,最终获得更好的损伤检测精度。（3）设计了一个道路基础设施大数据分析平台并实现了对应的原型系统。该大数据分析平台允许工作一线的工程师使用常见的机器学习算法、ETL算法及本文所提出的道路表面损伤检测算法去辅助解决现实问题。
陈友旭[8]（2019）在《分布式文件系统中元数据管理优化》文中提出随着信息时代互联网技术的快速发展和数据时代的到来,数据量呈指数型增长,数据存储技术对众多应用服务的影响日益加深。分布式文件系统因其具备高可靠性和高扩展性,并且支持文件共享存储和完善的并发访问控制功能,在存储系统中发挥着至关重要的作用。分布式文件系统通常包含元数据服务器、数据服务器和客户端三个部分。元数据是用来描述文件系统和文件特征的系统数据,例如文件类型、文件大小、访问权限和数据索引信息等。用户在访问文件数据之前需要访问文件的元数据以获得文件的基本属性信息和数据的索引信息。在分布式文件系统中,超过50%的文件操作都是针对文件元数据的操作,因此分布式文件系统中元数据的存取性能至关重要。本文从分布式文件系统元数据预取机制、元数据服务器集群负载均衡策略和元数据管理方案三个方面,对现有分布式文件系统元数据存取流程和管理方案进行分析并加以优化,以提升分布式文件系统中元数据的存取性能。本文的主要研究内容和贡献如下所述。（1）基于数据关联性的元数据预取机制在众多应用场景中,工作负载的局部性特征引起多个文件同时被一起访问,即文件间存在访问关联性。如果分布式文件系统事先感知文件间的关联关系,则可以通过预取技术提前将关联文件的元数据从元数据服务器端预取到客户端。因此通过引入元数据预取技术可以减少系统中元数据I/O的数目,同时减轻元数据服务器的负载压力和缩短元数据请求的处理流程。但是现有的元数据预取策略主要采用离线的方式从文件历史访问记录中探索一起被频繁访问的文件集合,具有很强的限制性并且难以根据系统负载特征动态调整关联关系。为了解决现有预取技术中存在的问题,本文从一个全新的角度考量文件间的关联关系,并提出了一种基于数据关联性的元数据预取机制SMeta。SMeta通过轻量级的模式匹配算法来探索文件数据中存在的关联关系,并复用元数据扩展属性空间存储关联关系,以避免引入额外的元数据同步操作和修改系统接口。此外SMeta还引入了高效的客户端动态反馈机制以提高预取的准确度。本章基于Ceph实现了一套原型系统,并利用元数据操作密集型的基准测试程序和真实的工作负载进行性能评估。实验结果表明,相比于Ceph,SMeta可将系统中元数据请求数目减少58.5-87.8%,并达到其10.5倍元数据存取吞吐量和2.75倍客户端线性扩展性能。相较于基于存取关联性的预取方案,SMeta可进一步提升元数据存取性能。（2）元数据服务器集群负载均衡策略在元数据服务器集群中需要引入负载均衡机制以保证集群负载分布的均衡性,同时提升集群整体资源利用率和元数据服务的并发性能。但是现有的元数据服务器集群负载均衡策略只考虑元数据服务进程逻辑层面的负载均衡,难以根据元数据服务器集群架构动态调整均衡方案。同时仅基于系统负载的时间局部性的均衡决策方案过于单一,难以根据系统负载特征动态调整决策方案。此外采用两阶段提交的阻塞式元数据迁移操作使得迁移消息过多,并且因锁竞争问题进一步阻塞客户端元数据请求,从而影响系统元数据存取性能。为了解决现有负载均衡策略中存在的问题,本文基于元数据服务器集群两层架构提出了一种新型负载均衡策略,并实现了一套原型系统Fim。Fim通过引入节点内IPC通信方案加速节点内消息传递,并结合节点内优先迁移的调度方案进一步缩短元数据迁移时长。并且Fim在进行均衡决策时充分考虑系统负载特征,从而进一步提升负载迁移的效率。Fim通过将元数据迁移消息与客户端元数据请求并发处理,并引入非阻塞式元数据迁移方案来进一步降低元数据迁移操作对客户端元数据请求的影响。实验结果表明,Fim可以有效缩短元数据迁移时长并且提升元数据迁移的准确性。相比于Ceph,Fim可以将ImageNet数据集的预处理时间缩短77%。（3）混合元数据管理方案元数据管理方案包括建立文件系统命名空间到元数据服务器集群间的映射关系,同时负责调控整个集群的负载均衡等问题。现有的元数据管理方案分为两类,分别是基于子树划分和基于哈希映射的元数据管理方案。基于子树划分的元数据管理方案将文件系统目录树拆分成多棵目录子树,分布到元数据服务器集群中。而基于哈希映射的方案则根据文件唯一标志符的哈希运算结果分布元数据。但是现有基于子树划分和哈希映射的元数据管理方案难以同时在目录局部性和负载均衡特征中进行有效地权衡。本文提出了一种混合元数据管理方案并实现了一套原型系统SmartM2。SmartM2通过在元数据服务器节点间采用子树划分的方式保留了文件系统良好的目录局部性,并且在节点内部多个元数据服务进程间采用哈希映射的方法均匀分布子树元数据,从而实现节点内多元数据服务进程间的负载均衡。同时SmartM2引入节点内IPC通信方案加速节点内多个元数据服务进程间通信速度,以进一步弥补因哈希映射引起的目录局部性的损失。此外当元数据服务器集群规模发生变化时,SmartM2将哈希映射的影响范围局限在单个元数据服务器节点中,减少了需要重新映射引起的元数据迁移总量,并且仅在节点内的元数据迁移操作进一步缩短了元数据迁移时长。实验结果表明SmartM2可以有效地权衡目录局部性和负载均衡特征。相比于Ceph,SmartM2可达到其3.9倍的元数据访问吞吐量。并且当元数据服务器集群扩容时,相比于基于哈希映射的管理方案,SmartM2可以将元数据迁移用时缩短74.7-92.6%。
池沐聪[9]（2019）在《大规模低功耗数据存储系统的关键技术研究》文中研究表明当今社会信息化程度日益提高,数据已经成为我们日常工作和生活的重要资源。人们早已进入一个数据爆炸的时代,全球数据总量正在以惊人的速度增长。据统计,2018年全球产生的数据总量为33ZB,而到2025年该数值预计将达到175ZB。随着数据规模的不断增大,海量数据的存储成为迫切的需求。另一方面,海量数据存储所带来的高能耗问题也越来越凸显。据统计,2017年中国数据中心总耗电量达到了 1300亿千瓦时,该数值远超过当年三峡大坝全年发电总量976亿千瓦时。在数据中心能源消耗中,存储设备能耗所占的比例为25-35%。此外,存储设备运行过程中产生的热量会加重机房制冷系统的负担,从而这又进一步提高了数据中心的能源开销。因此,合理降低存储系统的能源开销对实现数据中心节能环保具有十分重要的意义。在数据中心,通常只有10～15%的数据处于被频繁访问的状态,而剩余部分数据则被称为冷数据。对于冷数据存储节点而言,其没有较高的计算能力需求,而传统的存储系统通常采用单一的高性能存储方案,因此会产生硬件成本高、系统功耗高等问题。特别是当存储规模逐步扩大时,硬件成本和能耗开销将显着攀升。本文对大规模冷数据的高效存储相关技术展开研究,以实现冷数据的低成本和低功耗存储,同时该存储系统还兼具高可靠、高容错能力和较高的性能。本文的主要研究内容和创新点有如下几个方面:（1）基于处理器的指令级并行和线程级并行分别提出了多数据流并行CRC算法和多线程并行CRC算法。大规模存储系统通常包含了大量复杂的软件和硬件,数据发生损坏的可能性随着系统复杂度的增加而提高。而其中未能检测到的数据损坏（即静默数据损坏）通常难以发现,其能够产生不可预期的错误,从而严重威胁数据的可靠性。数据校验能够有效地检测静默数据损坏以保证存储系统的可靠性。循环冗余校验（Cyclic Redundancy Check,CRC）作为常见的数据校验方法有较高的校验效率。为了提升存储系统数据校验的性能,本文对CRC开展进一步研究并提出了两种并行CRC算法。其中,多数据流并行CRC算法能够将CRC计算流程拆分成多条数据流,各个数据流的计算过程能以交织的方式执行,从而使得处理器的指令级并行能力得到充分发挥;多线程并行CRC算法能够利用处理器线程级并行能力并行计算数据各部分的CRC校验值,并将数据各部分的CRC校验值合并从而获得整体数据的CRC校验值。目前,Slicing-by-4和Slicing-by-8作为高效的CRC算法得到了广泛的应用。实验结果表明,基于多数据流方式实现的并行Slicing-by-4和并行Slicing-by-8算法的计算速率分别相当于原有算法的三倍和两倍;对于并行度为P的多线程并行CRC算法,其能够将现有CRC算法效率提升约P倍。（2）基于Intel的SSE和AVX2指令集提出了硬件加速Reed-Solomon编码效率的算法。为了提高存储系统的可靠性及容错能力,增加数据冗余是一种有效的方案。当存储系统中部分数据发生损坏时,其可以通过冗余数据来恢复原始数据。然而,数据冗余在提高存储系统可靠性的同时也增加了存储负担,系统需要额外的存储空间来保存冗余数据,从而导致硬件成本和能耗开销增加。因此,在保证数据可靠性的条件下,降低冗余数据所占的比例对构建低功耗存储系统具有十分重要的意义。目前,复制备份是较常见的数据冗余方案,其能够有效提高数据可靠性。复制备份技术实现简单,但是该方案存储效率较低。编码冗余方式能够同时兼顾存储效率和数据可靠性,然而其计算过程复杂。本文对Reed-Solomon编码展开研究,从处理器硬件指令角度来提升编码的运行效率。Reed-Solomon编码过程需要在有限域上进行大量的乘法运算,本文提出的RSSSE和RSAVX2算法能够充分利用Intel处理器的SSE和AVX2指令集实现有限域乘法的并行计算,从而使得Reed-Solomon编码性能有大幅度的提升。在常见的纠删码开源库中,Jerasure编码库具有较高的编码效率,其广泛应用于分布式存储系统中。实验结果表明,RSSSE和RSAVX2算法的编码效率分别为Jerasure编码库的1.2倍和1.9倍。（3）从硬盘SMART历史数据出发,提出了一种基于长短期记忆网络的硬盘健康状态预测方法。随着存储系统数据规模不断扩大,硬盘故障不再是小概率事件,海量数据的存储安全问题日益凸显。有效地预测硬盘故障事件的发生能有利于更加合理地制定硬盘规划和管理方案,其对于存储系统的数据可靠性而言具有十分重要的意义。目前主流的硬盘都支持SMART技术,其能够监控硬盘工作状态的相关指标。与常见故障预测模型不同的是,本文将硬盘SMART历史时序数据引入到预测模型的结构中,提出了一种基于长短期记忆网络的机器学习方法来预测硬盘的健康状态,并且该模型根据硬盘的剩余使用寿命将其健康状态划分为不同的级别来进行预测。由于硬盘在从正常工作到发生故障的时间内,其健康状态是一个连续逐渐变化的过程,多级别健康状态的划分能够更加细致地刻画这个过程。此外,本文提出的预测模型能够通过迁移学习来提升在训练数据集规模较小时模型的预测性能。实验结果表明,与现有的基于随机森林和循环神经网络的预测模型相比,本文提出的预测模型在宏平均和微平均指标上均能够取得更高的预测性能。（4）针对冷数据的存储特点,本文设计和实现了大规模低功耗存储系统。目前,常见的存储系统均采用单一的高性能件配置方案,从而导致硬件成本和能耗偏高。对于冷数据存储而言,这样的硬件配置导致资源过剩。本文设计和实现了适用于冷数据存储的大规模低功耗存储系统。存储系统由不同角色的节点组成。其中,元数据节点负责维护存储系统元数据信息,传输节点负责数据编码和缓存。这两类节点需要较高的计算性能,因此被部署在通用服务器上。而存储节点只负责数据的存储,无需过高的计算性能,因此采用定制的服务器方案。存储节点所配置的服务器具有高存储密度,并采用低功耗处理器以降低能耗开销。存储节点还配备SCSI箱体服务控制器,使得处于非活动状态的硬盘能够进入断电状态,从而最大限度地降低整体系统能耗。此外,为了提高元数据的可靠性和性能,本文基于分布式数据库设计了元数据管理方案,提出了文件目录结构和存储空间管理相关算法。在实验中,我们构建了一个存储容量为1.5PB的系统原型。实验结果表明该存储系统在文件存放、读取和修复方面均有较高的性能。值得注意的是,系统能够支持高达93.75%的硬盘处于断电状态,从而大幅度降低电能消耗。在正常工作状态下,存储系统中每TB数据的平均耗电量为0.92～1.09W。
杨李[10]（2019）在《批量文件聚合迁移方法设计与实现》文中研究表明随着大数据存储规模的日益增长,无论日常在移动设备间进行文件拷贝,还是在数据中心内多节点间进行大量的文件迁移,都会涉及大规模文件的迁移操作。然而,传统的文件迁移方案,无论是设备间还是网络间,本质上是调用底层文件系统基于单文件的读写系统调用,从而实现文件的具体读写。因此,批量处理文件集,实际在底层文件系统对于所有文件进行串行读写操作,由于每个文件都需要存取元数据和数据I/O,从而导致大量分散且随机的I/O,导致整体存取效率下降。通过实验和形式化方法分析出传统批量文件存取机制性能低的原因,提出一种将批量文件聚合迁移的方法BFM（Batch File Aggregated Migration）。该方法的核心思想,将文件集中所有文件的元数据和数据处理流程分离,分别聚合处理元数据和数据;在此基础之上,根据文件集数据的实际存储布局,得到最合理的I/O读写顺序,尽可能合并出连续的大段I/O。据此,BFM在内核中实现了批量读写接口BFM-r和BFM-w;并设计了三个关键优化技术,包括基于地址感知的读调度,基于顺序表的统一地址管理,以及分段可靠保障机制,使BFM在保证可靠性的同时,能减少大量的离散I/O。BFM方法也拓展到节点间的数据迁移,结合聚合传输、批量确认策略,有效减少了网络通信的开销。该方法已经在广泛使用的Ext4文件系统上实现,实验证明,该方法在磁盘间和网络间的数据迁移速度分别能提升98%和432%;同时,读写I/O数量可以分别降低至21%和64%。
二、递归遍历目录树的两个C函数（论文开题报告）
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、递归遍历目录树的两个C函数（论文提纲范文）
（1）多维元数据索引文件系统设计与实现（论文提纲范文）
| 1 引言 |
| 2 R树 |
| 3 MIFS文件系统设计 |
| 3.1 多维文件属性索引 |
| 3.2 插入文件算法 |
| 3.3 删除文件操作 |
| 3.4 结点分裂操作 |
| 4 MIFS文件系统的实现 |
| 4.1 MIFS的实现 |
| 4.2 MIFS用户接口 |
| 5 性能测试 |
| 6 结束语 |
（2）基于固态盘的外存排序和区域查询处理优化方法（论文提纲范文）
| 摘要 |
| Abstract |
| 第1章 绪论 |
| 1.1 研究背景介绍 |
| 1.2 闪存芯片介绍 |
| 1.3 闪存固态盘介绍 |
| 1.3.1 内部结构介绍 |
| 1.3.2 固态盘特性 |
| 1.4 国内外研究现状 |
| 1.4.1 闪存固态盘上数据管理的研究 |
| 1.4.2 闪存固态盘上排序算法的研究 |
| 1.4.3 闪存固态盘上基于R-树范围查询的研究 |
| 1.4.4 现有研究的主要问题和研究空白 |
| 1.5 本文主要研究内容和组织结构 |
| 1.5.1 本文主要研究内容 |
| 1.5.2 本文的组织结构 |
| 第2章 闪存固态硬盘上的外存排序算法 |
| 2.1 引言 |
| 2.2 FSSort算法 |
| 2.2.1 理论基础 |
| 2.2.2 算法介绍 |
| 2.2.3 算法优化 |
| 2.2.4 算法分析 |
| 2.3 实验结果 |
| 2.3.1 实验方法 |
| 2.3.2 实验环境 |
| 2.3.3 实验数据 |
| 2.3.4 结果与分析 |
| 2.4 本章小结 |
| 第3章 闪存固态盘上外存归并算法最优方案研究 |
| 3.1 引言 |
| 3.2 问题定义 |
| 3.2.1 I/O时间代价分析 |
| 3.2.2 外存归并排序最优方案问题 |
| 3.3 性质分析 |
| 3.4 Sort Decision算法 |
| 3.4.1 Sort Decision算法框架 |
| 3.4.2 读写函数计算 |
| 3.4.3 凸优化求解 |
| 3.4.4 算法复杂度分析 |
| 3.5 实验结果 |
| 3.5.1 实验方法 |
| 3.5.2 实验设置 |
| 3.5.3 结果与分析 |
| 3.6 本章小结 |
| 第4章 闪存固态盘上外存归并排序的内存推荐算法 |
| 4.1 引言 |
| 4.2 问题定义和理论基础 |
| 4.3 内存推荐策略 |
| 4.4 外存归并排序内存推荐算法 |
| 4.4.1 最优内存推荐算法 |
| 4.4.2 读写函数计算 |
| 4.4.3 读写缓冲区计算 |
| 4.4.4 算法复杂度分析 |
| 4.5 实验结果 |
| 4.5.1 实验方法 |
| 4.5.2 实验设置 |
| 4.5.3 结果和分析 |
| 4.6 本章小结 |
| 第5章 基于固态盘内部并行性的R-树查询算法 |
| 5.1 引言 |
| 5.2 R-树表示 |
| 5.3 R-树查询优化 |
| 5.3.1 经典范围查询算法NS |
| 5.3.2 基准查询算法NBS |
| 5.3.3 基于队列查询算法QBS |
| 5.3.4 基于栈查询算法SBS |
| 5.4 实验结果 |
| 5.4.1 实验方法 |
| 5.4.2 实验设置 |
| 5.4.3 结果和分析 |
| 5.5 本章小结 |
| 结论 |
| 参考文献 |
| 附录A 固态盘内部并行性的利用 |
| A.1 并行性利用原理 |
| A.2 并行性触发算法 |
| A.3 算法实现 |
| A.4 算法分析 |
| 攻读博士学位期间发表的论文及其他成果 |
| 致谢 |
| 个人简历 |
（3）面向对象程序的自动化单元测试框架研究与设计（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第一章 绪论 |
| 1.1 研究背景 |
| 1.2 研究内容 |
| 1.3 论文章节安排 |
| 第二章 相关研究 |
| 2.1 单元测试 |
| 2.2 面向对象程序测试 |
| 2.3 面向对象程序单元测试 |
| 2.3.1 面向对象程序单元测试理论 |
| 2.3.2 面向对象程序单元测试工具 |
| 2.3.3 面向对象程序单元测试现状分析 |
| 2.4 本章小结 |
| 第三章 面向对象程序的自动化单元测试框架需求分析 |
| 3.1 面向对象程序单元测试框架研究 |
| 3.1.1 框架设计原则 |
| 3.1.2 框架的原型设计 |
| 3.2 测试框架的功能需求 |
| 3.3 测试框架的性能需求 |
| 3.3.1 多程序测试后JVM内存溢出的工程问题 |
| 3.3.2 平台适应性 |
| 3.4 本章小结 |
| 第四章 面向对象程序的自动化单元测试框架设计 |
| 4.1 面向对象自动化单元测试框架 |
| 4.1.1 设计原理 |
| 4.1.2 系统概述与框架流程图 |
| 4.1.3 总体框架 |
| 4.2 针对C++程序的功能设计 |
| 4.2.1 相关模块的变更 |
| 4.2.2 私有成员函数的测试 |
| 4.2.3 函数重载 |
| 4.3 多程序测试JVM内存溢出问题的性能设计 |
| 4.3.1 JVM内存垃圾回收机制 |
| 4.3.2 序列化和反序列化 |
| 4.3.3 界面架构变更 |
| 4.4 适配器模块的设计 |
| 4.4.1 跨平台的需求 |
| 4.4.2 适配器设计模式 |
| 4.4.3 CTSCpp适配器设计 |
| 4.5 本章小结 |
| 第五章 实验结果及分析 |
| 5.1 实验环境 |
| 5.2 实验结果及分析 |
| 5.2.1 功能测试 |
| 5.2.2 性能测试 |
| 5.3 本章小结 |
| 第六章 总结与展望 |
| 6.1 研究工作总结 |
| 6.2 进一步研究工作 |
| 参考文献 |
| 附录 |
| 致谢 |
（4）分布式和异构计算环境下关键算法和技术研究（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第一章 绪论 |
| 1.1 研究背景与意义 |
| 1.2 研究现状 |
| 1.3 论文结构 |
| 第二章 面向云端异构计算环境的LSTM算法FPGA加速器 |
| 2.1 现有的LSTM算法的FPGA加速器 |
| 2.2 系统架构 |
| 2.3 LSTM算法的批处理改良 |
| 2.4 通用矩阵优化计算模型 |
| 2.5 实现细节 |
| 2.5.1 矩阵乘法模块 |
| 2.5.2 门计算模块 |
| 2.5.3 元素对应计算模块 |
| 2.5.4 传输优化 |
| 2.6 实验结果 |
| 2.6.1 实验环境 |
| 2.6.2 性能结果及分析 |
| 2.7 本章小结 |
| 第三章 分布式强一致性算法研究与实现 |
| 3.1 CAP理论 |
| 3.2 经典分布式存储系统一致性模型 |
| 3.2.1 GFS |
| 3.2.2 Dynamo |
| 3.3 Raft算法 |
| 3.3.1 状态机模型 |
| 3.3.2 Leader选举 |
| 3.3.3 一致性检测与恢复 |
| 3.4 一致性哈希算法 |
| 3.5 分布式文件存储系统实现 |
| 3.5.1 系统架构 |
| 3.5.2 Raft组建立与销毁 |
| 3.5.3 Leader选举优化 |
| 3.5.4 文件写以及一致性检测和恢复 |
| 3.5.5 文件读 |
| 3.6 分布式一致性证明 |
| 3.6.1 符号定义 |
| 3.6.2 leader唯一性 |
| 3.6.3 日志一致性 |
| 3.6.4 读写一致性 |
| 3.7 本章小结 |
| 第四章 分布式文件存储系统高性能架构研究与实现 |
| 4.1 多版本管理 |
| 4.2 存储引擎 |
| 4.3 元数据管理 |
| 4.3.1 file元数据 |
| 4.3.2 object元数据 |
| 4.4 数据读写 |
| 4.4.1 文件写 |
| 4.4.2 文件读 |
| 4.5 本章小结 |
| 第五章 总结与展望 |
| 5.1 工作总结 |
| 5.2 未来研究展望 |
| 参考文献 |
| 致谢 |
| 作者攻读学位期间发表的学术论文目录 |
（5）基于容器的应用程序自动打包管理系统设计与实现（论文提纲范文）
| 摘要 |
| Abstract |
| 第一章 引言 |
| 1.1 背景 |
| 1.2 相关工作 |
| 1.3 本文工作 |
| 1.4 本文结构 |
| 第二章 技术综述 |
| 2.1 静态库与动态库 |
| 2.2 Ldd简介 |
| 2.3 Docker空镜像 |
| 2.4 Strace简介 |
| 2.5 本章小结 |
| 第三章 打包管理系统的需求和设计 |
| 3.1 打包管理系统的需求分析 |
| 3.1.1 动态库依赖收集模块的需求分析 |
| 3.1.2 链接文件收集模块的需求分析 |
| 3.1.3 进程间调用文件收集模块的需求分析 |
| 3.2 打包管理系统的总体设计 |
| 3.3 动态库依赖收集模块各子模块设计 |
| 3.3.1 次级依赖搜寻子模块 |
| 3.3.2 链接还原子模块 |
| 3.4 链接文件收集模块各子模块设计 |
| 3.4.1 系统调用拦截子模块 |
| 3.4.2 系统调用解析子模块 |
| 3.5 进程间调用文件收集模块各子模块设计 |
| 3.5.1 通信进程定位子模块 |
| 3.5.2 进程间调用文件搜寻子模块 |
| 3.6 Docker镜像生成模块的设计 |
| 3.7 本章小结 |
| 第四章 打包管理系统的实现 |
| 4.1 针对动态库嵌套依赖树的遍历算法的实现 |
| 4.1.1 次级依赖搜寻子模块 |
| 4.1.2 链接还原子模块 |
| 4.2 拦截读写系统调用的链接追踪算法的实现 |
| 4.2.1 系统调用拦截子模块 |
| 4.2.2 系统调用解析子模块 |
| 4.3 进程间通信爬取及递归打包算法的实现 |
| 4.3.1 通信进程定位子模块 |
| 4.3.2 进程间调用文件搜寻子模块 |
| 4.4 Docker镜像生成模块的实现 |
| 4.5 本章小结 |
| 第五章 打包管理系统的测试 |
| 5.1 应用程序打包实例一 |
| 5.1.1 实验环境与实验过程 |
| 5.1.2 实验结果分析 |
| 5.2 应用程序打包实例二 |
| 5.2.1 实验环境与实验过程 |
| 5.2.2 实验结果分析 |
| 5.3 图形化应用程序打包测试 |
| 5.3.1 实验环境与实验过程 |
| 5.3.2 实验结果分析 |
| 5.4 本章小结 |
| 第六章 总结与展望 |
| 6.1 本文主要工作总结 |
| 6.2 改进工作展望 |
| 参考文献 |
| 简历与科研成果 |
| 致谢 |
（6）大地电磁软件系统关键技术研究与开发（论文提纲范文）
| 摘要 |
| Abstract |
| 第1章 绪论 |
| 1.1 选题依据及意义 |
| 1.2 国内外研究现状 |
| 1.2.1 大地电磁测深方法研究现状 |
| 1.2.2 大地电磁分析解释软件现状 |
| 1.3 论文主要研究内容及创新 |
| 1.3.1 研究思路及完成的主要工作 |
| 1.3.2 论文创新点 |
| 第2章 系统需求分析与总体设计 |
| 2.1 系统需求分析 |
| 2.1.1 系统设计目标 |
| 2.1.2 需要解决的问题 |
| 2.1.3 系统需求设计 |
| 2.2 系统总体设计 |
| 第3章 工区管理模块与二维地图显示 |
| 3.1 工区管理模块 |
| 3.1.1 工区管理模块需求设计 |
| 3.1.2 工区管理模块的实现 |
| 3.2 地图显示 |
| 3.2.1 地图瓦片技术 |
| 3.2.2 地图显示功能实现 |
| 第4章 正演方法与正演模块 |
| 4.1 正演方法介绍及有限元正演技术 |
| 4.2 正演建模 |
| 4.2.1 正演建模的需求设计 |
| 4.2.2 模型表示方法 |
| 4.2.3 三角网格剖分技术 |
| 4.2.4 Delaunay三角法 |
| 4.2.5 三角网算法分类 |
| 4.2.6 三角网格质量优化 |
| 4.2.7 Delaunay插入优化 |
| 4.2.8 粒子群优化的必要性 |
| 4.2.9 粒子群优化算法的基本原理 |
| 4.2.10 粒子群优化算法的实现 |
| 4.3 建模效果及正演计算 |
| 4.3.1 建模系统功能展示 |
| 4.3.2 正演计算 |
| 第5章 数据预处理模块 |
| 5.1 数据预处理模块需求及设计 |
| 5.1.1 功能需求 |
| 5.1.2 功能设计 |
| 5.2 数据导入 |
| 5.3 数据预处理概述 |
| 5.4 数据处理模块的实现 |
| 5.4.1 模块类图 |
| 5.4.2 定性分析 |
| 5.4.3 数据编辑 |
| 第6章 交互迭代式反演模块 |
| 6.1 反演模块需求 |
| 6.2 反演方法介绍 |
| 6.2.1 博斯蒂克(Bostick)反演 |
| 6.2.2 Occam反演法 |
| 6.2.3 Levenberg-Marquardt反演方法 |
| 6.2.4 非线性共轭梯度(NLCG)反演法 |
| 6.3 交互迭代式反演模块实现 |
| 6.3.1 一维反演 |
| 6.3.2 二维反演 |
| 6.3.3 交互式反演效果演示 |
| 结论 |
| 致谢 |
| 参考文献 |
| 附录 |
（7）基于深度学习的道路表面损伤分析算法研究与实现（论文提纲范文）
| 摘要 |
| Abstract |
| 第一章 引言 |
| 1.1 研究背景和意义 |
| 1.2 国内外研究现状 |
| 1.2.1 道路表面损伤检测系统研究现状 |
| 1.2.2 道路表面损伤检测算法研究现状 |
| 1.2.3 国内外研究现状小结 |
| 1.3 主要研究内容 |
| 1.4 论文组织结构 |
| 第二章 相关工作介绍 |
| 2.1 深度学习概述 |
| 2.2 卷积神经网络 |
| 2.3 基于卷积神经网络的目标检测 |
| 2.4 深度学习框架 |
| 2.5 本章小结 |
| 第三章 基于卷积神经网络的道路表面损伤检测算法 |
| 3.1 引言 |
| 3.2 目标网络模型选择与Faster R-CNN介绍 |
| 3.2.1 网络模型选择 |
| 3.2.2 Faster R-CNN算法 |
| 3.3 基于Faster R-CNN网络模型的改进与优化 |
| 3.3.1 特征抽取网络改进 |
| 3.3.2 区域推荐网络改进 |
| 3.3.3 利用道路损伤类间高相似性提出了IouNmsFilter模块 |
| 3.3.4 网络模型参数优化 |
| 3.4 训练与实验 |
| 3.4.1 数据集介绍 |
| 3.4.2 实验环境 |
| 3.4.3 训练方式 |
| 3.4.4 评价标准 |
| 3.4.5 实验对比与分析 |
| 3.5 本章小结 |
| 第四章 结合超分辨率技术的道路表面损伤检测算法 |
| 4.1 引言 |
| 4.2 超分辨率算法选择 |
| 4.2.1 超分辨率概述 |
| 4.2.2 RCAN介绍与实现细节 |
| 4.2.3 结合超分辨率的道路表面损伤检测算法 |
| 4.3 数据集与实验 |
| 4.3.1 数据集介绍与预处理 |
| 4.3.2 实验环境 |
| 4.3.3 网络训练 |
| 4.3.4 实验对比与分析 |
| 4.4 本章小结 |
| 第五章 道路基础设施大数据分析平台的设计与实现 |
| 5.1 需求分析 |
| 5.1.1 业务需求与功能性需求 |
| 5.1.2 用例图与用例说明 |
| 5.1.3 非功能性需求 |
| 5.2 技术可行性分析 |
| 5.3 系统设计 |
| 5.3.1 整体框架 |
| 5.3.2 功能模块划分 |
| 5.3.3 相关数据结构设计 |
| 5.3.4 算法组件化集成流程 |
| 5.4 系统实现 |
| 5.4.1 硬件环境 |
| 5.4.2 数据交换模块 |
| 5.4.3 数据挖掘模块 |
| 5.4.4 损伤检测结果展示模块 |
| 5.4.5 算法组件集成 |
| 5.5 系统界面展示 |
| 5.6 道路表面损伤检测具体案例 |
| 5.7 本章小结 |
| 第六章 总结与展望 |
| 6.1 工作总结 |
| 6.2 未来工作展望 |
| 参考文献 |
| 致谢 |
| 攻读学位期间取得的研究成果 |
（8）分布式文件系统中元数据管理优化（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第1章 绪论 |
| 1.1 分布式文件系统 |
| 1.1.1 数据存储的重要意义 |
| 1.1.2 数据存储格式 |
| 1.1.3 文件系统 |
| 1.1.4 分布式文件系统架构和访问流程 |
| 1.2 分布式文件系统元数据管理 |
| 1.3 本文的主要研究内容 |
| 1.3.1 基于数据关联性的元数据预取机制 |
| 1.3.2 元数据服务器集群的负载均衡策略 |
| 1.3.3 混合元数据管理方案 |
| 1.4 本文的组织结构 |
| 第2章 基于数据关联性的元数据预取机制 |
| 2.1 本章工作的背景介绍与问题描述 |
| 2.1.1 元数据预取 |
| 2.1.2 基于存取关联性的元数据预取机制 |
| 2.1.3 新的视角:数据关联性 |
| 2.1.4 数据关联性与存取关联性的分析 |
| 2.2 本章工作的基本思想和贡献点 |
| 2.3 SMeta设计准则 |
| 2.3.1 SMeta整体结构 |
| 2.3.2 数据关联性提取方案 |
| 2.3.3 数据关联性存储方案 |
| 2.3.4 数据关联性更新方法 |
| 2.3.5 基于数据关联性的元数据预取策略 |
| 2.4 SMeta系统实现 |
| 2.4.1 SMeta系统架构 |
| 2.4.2 SMeta库文件实现 |
| 2.4.3 SMeta客户端实现 |
| 2.4.4 SMeta元数据服务器实现 |
| 2.5 实验评估 |
| 2.5.1 实验设置 |
| 2.5.2 基于基准测试程序的性能评估 |
| 2.5.3 基于真实工作负载的性能评估 |
| 2.5.4 SMeta与C-Miner的性能对比 |
| 2.5.5 文件整体存取性能优化 |
| 2.5.6 SMeta负载分析 |
| 2.6 相关工作 |
| 2.7 本章小结 |
| 第3章 元数据服务器集群负载均衡策略 |
| 3.1 本章工作的背景介绍与问题描述 |
| 3.1.1 元数据服务器实现技术 |
| 3.1.2 元数据服务器的资源利用率 |
| 3.1.3 元数据服务器集群的负载均衡策略 |
| 3.1.4 负载均衡策略问题描述 |
| 3.2 本章工作的基本思想和贡献点 |
| 3.3 Fim设计和实现 |
| 3.3.1 Fim系统架构 |
| 3.3.2 基于IPC方式的MDS通信方案 |
| 3.3.3 两层负载调度方案 |
| 3.3.4 负载均衡决策方法 |
| 3.3.5 非阻塞元数据迁移方案 |
| 3.3.6 系统实现 |
| 3.4 实验评估 |
| 3.4.1 实验设置 |
| 3.4.2 基于IPC方式的MDS通信性能评估 |
| 3.4.3 目标迁移目录选择方法的有效性评估 |
| 3.4.4 Fim与Mantle的性能对比 |
| 3.5 相关工作 |
| 3.6 本章小结 |
| 第4章 混合元数据管理方案 |
| 4.1 本章工作的背景介绍和问题描述 |
| 4.1.1 元数据管理方案简介 |
| 4.1.2 元数据管理方案性能分析 |
| 4.1.3 元数据服务器集群架构的影响 |
| 4.2 本章工作的基本思想和贡献点 |
| 4.3 SmartM~2设计与实现 |
| 4.3.1 SmartM~2系统架构 |
| 4.3.2 元数据分布方案 |
| 4.3.3 元数据索引流程 |
| 4.3.4 基于IPC方式的通信方案 |
| 4.3.5 负载均衡与热点优化 |
| 4.3.6 元数据服务器集群扩容 |
| 4.4 实验评估 |
| 4.4.1 实验设置 |
| 4.4.2 元数据操作性能评估 |
| 4.4.3 负载均衡性能评估 |
| 4.4.4 元数据服务器集群扩容操作分析 |
| 4.5 相关工作 |
| 4.6 本章小结 |
| 第5章 总结与展望 |
| 5.1 本文的主要研究工作与成果 |
| 5.2 未来研究计划 |
| 参考文献 |
| 致谢 |
| 在读期间发表的学术论文与取得的研究成果 |
（9）大规模低功耗数据存储系统的关键技术研究（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第一章 绪论 |
| 1.1 研究背景 |
| 1.2 存储系统发展简介 |
| 1.2.1 硬盘驱动器 |
| 1.2.2 硬盘阵列 |
| 1.2.3 传统网络存储 |
| 1.2.4 分布式存储系统 |
| 1.3 存储系统相关技术研究现状 |
| 1.3.1 数据校验技术 |
| 1.3.2 数据容错技术 |
| 1.3.3 硬盘故障预测技术 |
| 1.3.4 存储系统节能技术 |
| 1.4 论文的研究内容与创新点 |
| 1.4.1 并行CRC算法 |
| 1.4.2 基于硬件加速的Reed-Solomon编码 |
| 1.4.3 基于LSTM的硬盘健康状态预测方法 |
| 1.4.4 大规模低功耗存储系统设计与实现 |
| 1.5 论文结构 |
| 第二章 并行CRC算法 |
| 2.1 概述 |
| 2.2 CRC算法 |
| 2.2.1 算法描述 |
| 2.2.2 Sarwate算法 |
| 2.2.3 Slicing-by-4算法 |
| 2.3 多数据流并行CRC算法 |
| 2.3.1 数据折叠 |
| 2.3.2 多数据流交织的CRC并行算法 |
| 2.4 多线程并行CRC算法 |
| 2.4.1 模乘法运算 |
| 2.4.2 系数β_p的快速计算 |
| 2.5 实验与算法评估 |
| 2.5.1 实验环境及流程 |
| 2.5.2 多数据流并行CRC算法实验结果 |
| 2.5.3 多线程并行CRC算法实验结果 |
| 2.6 本章小结 |
| 第三章 基于硬件加速的Reed-Solomon编码 |
| 3.1 概述 |
| 3.2 Reed-Solomon编码 |
| 3.2.1 Reed-Solomon算法的编码策略 |
| 3.2.2 Reed-Solomon算法的编码过程 |
| 3.2.3 Reed-Solomon编码的恢复过程 |
| 3.2.4 有限域上的运算 |
| 3.3 基于硬件加速的Reed-Solomon编码 |
| 3.3.1 指令集简介 |
| 3.3.2 算法设计 |
| 3.4 实验与算法评估 |
| 3.4.1 实验环境及流程 |
| 3.4.2 实验结果分析 |
| 3.5 本章小结 |
| 第四章 基于LSTM的硬盘健康状态预测方法 |
| 4.1 概述 |
| 4.2 理论背景 |
| 4.2.1 循环神经网络 |
| 4.2.2 长短期记忆网络 |
| 4.2.3 随机森林 |
| 4.3 基于LSTM的硬盘健康状态预测方法 |
| 4.3.1 特征选择 |
| 4.3.2 SMART属性变化率特征 |
| 4.3.3 硬盘健康等级划分 |
| 4.3.4 构建预测模型 |
| 4.3.5 迁移学习 |
| 4.4 实验与模型评估 |
| 4.4.1 数据集 |
| 4.4.2 数据预处理 |
| 4.4.3 性能评估指标 |
| 4.4.4 实验设置 |
| 4.4.5 实验结果 |
| 4.5 本章小结 |
| 第五章 大规模低功耗存储系统设计与实现 |
| 5.1 概述 |
| 5.2 系统整体框架介绍 |
| 5.2.1 虚拟节点 |
| 5.2.2 元数据节点 |
| 5.2.3 传输节点 |
| 5.2.4 存储节点 |
| 5.2.5 客户端 |
| 5.3 名称空间管理 |
| 5.3.1 文件元数据记录 |
| 5.3.2 名称空间相关操作 |
| 5.4 存储空间管理 |
| 5.4.1 数据块大小 |
| 5.4.2 硬盘组 |
| 5.4.3 可用空间列表 |
| 5.4.4 硬盘空间分配算法 |
| 5.5 系统性能测试 |
| 5.5.1 系统硬件配置 |
| 5.5.2 实验结果 |
| 5.6 本章小结 |
| 第六章 总结与展望 |
| 6.1 本文主要工作总结 |
| 6.2 未来工作的展望 |
| 参考文献 |
| 附录: 缩写词说明 |
| 致谢 |
| 攻读学位期间发表的学术论文和专利目录 |
（10）批量文件聚合迁移方法设计与实现（论文提纲范文）
| 摘要 |
| Abstract |
| 1 绪论 |
| 1.1 研究背景与意义 |
| 1.2 国内外研究概况 |
| 1.3 论文的主要研究内容 |
| 1.4 课题来源 |
| 1.5 论文组织结构 |
| 2 批量文件迁移问题分析 |
| 2.1 传统批量文件迁移流程分析 |
| 2.2 传统数据迁移流程问题分析 |
| 2.3 本章小结 |
| 3 批量文件聚合迁移方法的设计 |
| 3.1 批量读接口设计 |
| 3.2 批量写接口设计 |
| 3.3 总体流程设计 |
| 3.4 本章小结 |
| 4 批量文件聚合迁移方法的实现 |
| 4.1 整体架构 |
| 4.2 元数据子模块的实现 |
| 4.3 数据子模块的实现 |
| 4.4 本章小结 |
| 5 批量文件聚合迁移方法的测试与分析 |
| 5.1 测试环境 |
| 5.2 测试方案 |
| 5.3 测试数据与分析 |
| 5.4 本章小结 |
| 6 总结与展望 |
| 6.1 全文总结 |
| 6.2 课题展望 |
| 致谢 |
| 参考文献 |
| 附录1 研究生期间的论文专利成果 |
四、递归遍历目录树的两个C函数（论文参考文献）
- [1]多维元数据索引文件系统设计与实现[J]. 史军勇,李文静. 电脑知识与技术, 2021(16)
- [2]基于固态盘的外存排序和区域查询处理优化方法[D]. 陈玉标. 哈尔滨工业大学, 2021(02)
- [3]面向对象程序的自动化单元测试框架研究与设计[D]. 任路遥. 北京邮电大学, 2020(05)
- [4]分布式和异构计算环境下关键算法和技术研究[D]. 王嘉盛. 北京邮电大学, 2020(05)
- [5]基于容器的应用程序自动打包管理系统设计与实现[D]. 王坤. 南京大学, 2020(04)
- [6]大地电磁软件系统关键技术研究与开发[D]. 杨立云. 成都理工大学, 2020(04)
- [7]基于深度学习的道路表面损伤分析算法研究与实现[D]. 杨思雄. 北京邮电大学, 2020(04)
- [8]分布式文件系统中元数据管理优化[D]. 陈友旭. 中国科学技术大学, 2019(02)
- [9]大规模低功耗数据存储系统的关键技术研究[D]. 池沐聪. 北京邮电大学, 2019(01)
- [10]批量文件聚合迁移方法设计与实现[D]. 杨李. 华中科技大学, 2019
标签：元数据论文; 面向对象分析与设计论文; 归并排序论文; 固态盘论文; 排序算法论文;