【摘 要】
：
在鹏城云脑Ⅱ上训练了全球首个拥有全开源2 000亿参数的自回归中文预训练语言大模型——鹏程·盘古。鹏程·盘古模型基于1.1 TB高质量中文训练数据，采用全场景人工智能计算框架MindSpore自动并行技术实现了五维并行训练策略，从而可将训练任务高效扩展到4 096个处理器上。对比实验表明，在少样本或零样本情况下，鹏程·盘古模型在多个中文自然语言理解或生成任务上都具有较优的性能。在此基础上，鹏程·盘
【基金项目】
：
广东省重点领域研发计划“新一代人工智能”重大专项（2021B0101400002）；
论文部分内容阅读
在鹏城云脑Ⅱ上训练了全球首个拥有全开源2 000亿参数的自回归中文预训练语言大模型——鹏程·盘古。鹏程·盘古模型基于1.1 TB高质量中文训练数据，采用全场景人工智能计算框架MindSpore自动并行技术实现了五维并行训练策略，从而可将训练任务高效扩展到4 096个处理器上。对比实验表明，在少样本或零样本情况下，鹏程·盘古模型在多个中文自然语言理解或生成任务上都具有较优的性能。在此基础上，鹏程·盘古模型在大模型压缩、提示微调学习、多任务学习以及持续学习等方面也取得了很好的应用效果。
其他文献
高功率密度、长循环寿命、可快速充放电的微型超级电容器作为一种能源存储装置是目前的研究焦点。在制备微型超级电容器过程中,3D打印技术能够实现高分辨率打印、按需制定图案的目标,能用于电极、电解质的打印成型。但是,兼具优异功能性、可打印性、无需复杂后处理步骤的功能油墨的匮乏,是目前亟待解决的难点。MXene是一类在储能、电磁屏蔽、催化、储氢、传感等多个领域均有着巨大应用前景的新材料,然而MXene材料的
热固性聚氨酯机械强度高,性能可调,在航空航天、汽车及涂料等领域广泛应用。但是由于化学交联网络的存在,热固性聚氨酯不能有效的再加工和回收,造成了环境污染。同时,由于模具和脱模的限制,热固性聚氨酯难以获得复杂的形状,且成型后无法再次塑形。目前已开发出具有动态共价键的可回收交联聚氨酯,但是缺乏对兼具优异机械性能和再加工性能交联聚氨酯的系统研究。基于以上问题,本研究从分子结构设计出发,在分子链上引入动态化
目的 探讨健康教育干预在慢性胃炎护理中的应用效果。方法 选取医院2019年5月-2021年5月收治的72例慢性胃炎患者为研究对象,依据随机数字表法,结合组间均衡可比的原则分为观察组与对照组,每组36例。对照组采用常规护理方式,观察组在对照组的基础上联合健康教育干预。对比两组患者的护理效果、生活质量及护理满意度。结果 健康教育干预后,观察组总有效率为97.22%,高于对照组的72.22%,差异有统计
目的：讨论慢性胃炎护理中个性化健康教育的临床应用价值。方法：选取本院2021年1—8月收治的74例慢性胃炎患者为研究对象，按照护理方式不同分为对照组与观察组，各37例。对照组患者实施传统的护理干预，观察组患者开展个性化健康教育护理模式。比较两组患者护理服务满意度以及护理后对健康知识的掌握情况。结果：观察组患者护理满意度高于对照组患者，组间比较，差异具有统计学意义（P＜0.05）；观察组患者护理后健
随着移动通信技术和网络技术的发展,社交媒体已成为用户获取、交换、储存个人信息的重要平台。然而,用户储存在社交媒体中的海量个人信息可能通过多种渠道遭到泄露,这会给用户个人带来不同程度的财产损失或心理层面的损伤。在此背景下,社交媒体中的隐私保护问题日益引起人们关注。研究以第三人效果为理论基础,聚焦于国内最大的社交媒体平台——微信,检验微信用户隐私风险感知中是否存在第三人效果,同时探讨第三人效果认知的影
社交媒体时代,视频化与社交化的传播方式逐渐成为主流,移动化、轻量化、趣味化的短视频变成深受用户喜爱的媒介形态。为了适配用户的触媒习惯,主流媒体纷纷布局短视频、构建社交媒体平台,积极探索社交化生产新路径。2019年11月20日,中央广播电视总台（以下简称“总台”）将既有的视频优势与用户喜爱的社交方式相结合,正式推出主流媒体中首个“视频社交媒体”——“央视频”,这是国家级主流媒体首次将视频和社交进行创
金刚石/碳化硅复合材料因其具有高热导、低密度和合适的热膨胀系数等优点,被认为是理想的新一代电子封装材料。然而,极高的硬度和脆性使其后加工成本居高不下,极大的限制了其大规模应用。为此,本研究开发了流延成型与真空气相渗透相结合的金刚石/碳化硅复合材料基板近终成形工艺。为了克服流延成型制备的复合材料热导率低的问题,分别从增强相粒径级配、界面结构、基体微观结构三个方面对复合材料热导率进行了优化。详细研究了
作为典型的数据驱动工具，预训练语言模型（PLM）仍然面临可解释性不强、鲁棒性差等难题。如何引入人类积累的丰富知识，是改进预训练模型性能的重要方向。系统介绍知识指导的预训练语言模型的最新进展与趋势，总结知识指导的预训练语言模型的典型范式，包括知识增强、知识支撑、知识约束和知识迁移，从输入、计算、训练、参数空间等多个角度阐释知识对于预训练语言模型的重要作用。
慢性胃炎属于消化系统常见疾病,以病程较长、起病速度慢、容易复发等为主要特征,因而患者很容易产生负面心理、焦虑与恐惧等心态,对其生活质量产生不利影响。对于老年慢性胃炎患者,临床需选用合理药物以有效改善其病情,为进一步优化临床疗效,仍需在治疗期间合理采取护理干预措施。基于此,本文将老年慢性胃炎护理工作作为主要研究内容,重点阐述健康教育指导的具体应用,希望有所帮助。
目的 探讨胶原蛋白联合注射用透明质酸钠复合溶液治疗颈部皱纹的临床效果。方法 选取2020年3月至2021年1月太原美媛荟整形医院美容皮肤科收治的50例颈部皱纹患者作为研究对象，采用随机数字表法分为对照组（25例）与试验组（25例），对照组采用透明质酸钠复合溶液注射治疗，试验组采用胶原蛋白联合注射用透明质酸钠复合溶液治疗，两组患者均治疗3次，治疗周期间隔1个月。分别在治疗前、治疗后即刻、治疗3次后及