【摘 要】
：
大数据分析系统的用户希望任务的执行时间尽可能短.然而,在任务执行期间,网络与计算时刻都可能成为阻碍任务执行的资源瓶颈.通过对大数据分析系统的观察与分析,得出如下结论:1)根据当前资源瓶颈的不同,数据并行框架应当在多种工作模式之间切换;2)子任务的调度应当充分考虑将来可能到达的新任务,而不能仅考虑当前已经提交的任务.基于上述观察,设计并实现了全新的任务调度系统Duopoly,其由感知计算资源的网络调度器cans与感知网络资源的子任务调度器nats两部分组成.通过小规模物理集群与大规模仿真实验对Duopoly
【机 构】
：
南京大学计算机科学与技术系 南京210023
论文部分内容阅读
大数据分析系统的用户希望任务的执行时间尽可能短.然而,在任务执行期间,网络与计算时刻都可能成为阻碍任务执行的资源瓶颈.通过对大数据分析系统的观察与分析,得出如下结论:1)根据当前资源瓶颈的不同,数据并行框架应当在多种工作模式之间切换;2)子任务的调度应当充分考虑将来可能到达的新任务,而不能仅考虑当前已经提交的任务.基于上述观察,设计并实现了全新的任务调度系统Duopoly,其由感知计算资源的网络调度器cans与感知网络资源的子任务调度器nats两部分组成.通过小规模物理集群与大规模仿真实验对Duopoly的效果进行评估,实验结果表明,与现有工作相比,Duopoly可以将平均任务完成时间缩短37.30％～76.16％.
其他文献
将显式特征与隐式反馈相结合是提高单类协同过滤(OCCF)推荐准确性的常用方法.但目前的研究一般是直接将原始显式特征或交叉特征集成到OCCF模型中,因其难以判断哪些显式特征是真正重要的,故很难获得显著的性能改进.基于此,提出了一种耦合用户公共特征的单类协同过滤推荐算法(UCC-OCCF).首先,建立基于邻居的共同偏好表示网络(NB-CPR),学习与当前用户具有相似显式特征的邻居用户和某一类项目之间的交互关系,间接利用显式特征以获得共同偏好;然后,建立个人深度潜在因素表示网络(DLFR),使用深度神经网络学习
决策问题是计算智能最核心的问题之一.基于模糊数学理论建立了一个普适的模糊决策树模型;用节点刻画决策前提和控制信息,用树上的边形式化推理规则;并在节点和边上定义合理的模糊决策算子,进行多级综合决策.工程决策考虑不同方案的成本、可行性和收益,将这些信息进行融合作为决策方案优劣的测度;建立加权模糊智能决策模型,并给出了基于该模型求最优的多属性受限决策的算法.讨论了模型和算法的复杂度.通过两个应用实例验证说明了决策模型和最优决策方案求解算法考虑定性与定量信息,决策结果科学合理且信息量大.
带有时序特征的知识图谱(KG)称为时序知识图谱,用来描述知识库中增量式的概念及其相互关系.知识随着时间推移而变化,将新增知识实时、准确地添加到时序知识图谱中,可以实时反映知识的演化更新.对此,给出时序知识图谱的定义,并基于TransH提出一种时序知识图谱的增量构建方法.为了将新增且相关的三元组准确地添加到当前知识图谱中,提出了三元组与当前知识图谱之间吻合度的计算模型,以及基于贪心思想的待添加到知识图谱中的最优三元组子集提取算法,进而将最优的三元组集合添加到当前知识图谱中,完成时序知识图谱的增量更新.实验结
考虑一个多天线的隐蔽通信系统,该系统由一个多天线的发射机、一个双天线的合法用户和一个单天线且具有功率检测功能的窃听用户组成.首先,提出了两种分别基于最大比值传输(M RT)和发射天线选择(TAS)的隐蔽通信方案,为了帮助实现发射机和合法用户间的隐蔽通信,工作在全双工模式下的合法用户还会通过发射人工噪声(AN)来干扰窃听者的检测.其次,基于对系统的理论分析,分别推导了两种方案下窃听者的检测错误概率、系统的连接概率和隐蔽吞吐量.另外,在窃听者的检测性能最佳的假设下,分别得到了两种方案下窃听者的最小检测错误概率
当前,面对严峻复杂的国际新冠疫情和世界经济形势,管理决策所面临的问题也日趋复杂.因此,对复杂问题进行因素关联分析对于管理者认知复杂事物核心、抓住事物主要矛盾以有效解决复杂社会经济问题至关重要.决策试行与评价实验室方法(DEMATEL)作为一种对复杂系统因素间关联关系进行分析的有效工具,近年来已经受到国内外学者的广泛关注.通过系统地研究相关文献,按照DEMATEL方法运作的逻辑顺序从系统结构、评价标度、因素间的自依赖关系、中心度与原因度的指标确定、关键因素辨识五方面对其研究现状及发展动态予以综述.综合分析得
在知识图谱中,实体的文本描述信息、实体的层次类型信息和图的拓扑结构信息中隐藏着丰富的内容,它们可以形成对原始三元组的有效补充,帮助提高知识图谱各种任务的效果.为了充分利用这些多源异质信息,首先通过一维卷积神经网络嵌入文本描述信息,然后根据实体的层次类型信息构建投影矩阵,将三元组中的实体向量和实体的描述向量映射到特定的关系空间中来约束实体的语义信息,再基于图注意力机制融合图的拓扑结构信息,计算不同邻接点对实体的影响.在图注意力层中,计算了实体间的多跳关系来帮助改善数据稀疏的问题.最后,通过二维卷积神经网络来
联邦学习解决了数据安全日益受到重视条件下的数据互用难题,但是传统联邦学习缺少鼓励和吸引数据拥有方参与到联邦学习中的激励机制,联邦学习审核机制的缺失给恶意节点进行破坏攻击提供了可能性.针对这个问题,文中提出基于区块链技术的面向电能量数据的可靠的联邦学习激励机制.该方法从对数据参与方的训练参与进行奖励和对数据参与方的数据可靠性进行评估两方面入手,设计算法对数据参与方的训练效果进行评估,从训练效果和训练成本等角度来确定数据参与方的贡献度,并根据贡献度来对参与方进行奖励,同时针对数据参与方的可靠性建立声望模型,根
在分层联邦学习中,能量受限的移动设备参与模型训练会消耗自身资源.为了降低移动设备的能耗,文中在不超过分层联邦学习的最大容忍时间下,提出了移动设备能耗之和最小化问题.不同训练轮次的边缘服务器能够选择不同的移动设备,移动设备也能够为不同的边缘服务器并发训练模型,因此文中基于在线双边拍卖机制提出了ODAM-DS算法.基于最优停止理论,支持边缘服务器在合适的时刻选择移动设备,使得移动设备的平均能耗最小,然后对提出的在线双边拍卖机制进行理论分析,证明其满足激励相容性、个体理性、弱预算均衡约束等特性.模拟实验的结果证
由于在建模关联信息方面具备天然优势,图数据已在社交网络、知识表示等方面被广泛运用.但是相较于传统的关系型数据库系统,图数据管理中的以子图匹配为代表的一系列基础操作仍有进一步优化的空间.在一个完善的图数据库系统中,为实现多个子图匹配任务的优化调度,往往需要对每个任务的代价,尤其是匹配结果的基数进行准确预估.然而,现有的子图匹配基数预估方法缺乏对图结构信息的充分考量,且在多结点匹配中存在严重的潜在累计误差.BoostCard方法通过对各结点的邻域信息进行表示,来聚合结点的局部结构特征,同时运用统计方法估计不同
现有的水印和加密方案大多难以确保水印和加密过程的交换性以及受保护图像的视觉质量,这些方案的水印嵌入和加密过程固定且对受保护图像的内容进行了或多或少的修改,很少有方案在不影响受保护图像内容质量的前提下完成水印和加密过程的交换.因此,提出了一种基于奇异值分解的同态可交换脆弱零水印方案.在发送端,内容所有者采取同态加密对原始图像内容进行加密,加密和水印生成两个阶段互不影响,可以分别从加密图像和原始宿主图像生成零水印信息.在接收端,合法接收者先进行图像解密,再在解密的图像内容上进行水印检测,通过提取的水印信息可以