【摘 要】
：
随着信息技术的快速发展,数据量迅速增长,大数据呈现出多源、异构、多模态等特点,这严重影响了大数据挖掘的时间效率。大数据挖掘领域专家认为,对大数据抽样,通过局部样本进行大数据分析将失去大数据本身的含义。而从统计学的观点出发却认为,窥一斑而知全豹,可通过局部样本进行大数据挖掘,从而提高大数据处理的时间效率。本文对大数据集进行了局部抽样实验,探讨了大数据挖掘的局部有效性。本文首先从理论上论述大数据的局部
论文部分内容阅读
随着信息技术的快速发展,数据量迅速增长,大数据呈现出多源、异构、多模态等特点,这严重影响了大数据挖掘的时间效率。大数据挖掘领域专家认为,对大数据抽样,通过局部样本进行大数据分析将失去大数据本身的含义。而从统计学的观点出发却认为,窥一斑而知全豹,可通过局部样本进行大数据挖掘,从而提高大数据处理的时间效率。本文对大数据集进行了局部抽样实验,探讨了大数据挖掘的局部有效性。本文首先从理论上论述大数据的局部有效性,通过随机置乱算法使得大数据样本分布均匀,以便于进行大数据的抽样。对UCI上的Bank Marketing数据集均匀置乱后,按比例抽取局部样本。再利用Apriori算法对多组局部样本进行规则挖掘,纵向对比关联规则的支持度与置信度,以及横向对比与Hash、KDS等算法之间的抽样误差。结果显示,随机均匀分布下的局部样本可以有效反映大数据整体情况。同时,将局部有效性理论应用于基于Dn CNN深度学习的医学图像去噪案例。实验将COVID-19肺部CT图像预处理后产生的大量图像切片均匀置乱并随机抽样,将局部样本作为训练集对神经网络模型进行训练。对比不同的训练模型,结果显示,局部样本的对照模型具有接近完整训练集模型的去噪效果,在很好地去除COVID-19 CT图像噪音的同时,也能有效保护肺部的图像细节和病变特征。大数据的局部有效性,即局部数据可以有效反映全局特征。该理论可提高大数据挖掘的时间效率,具有一定的实际应用价值。
其他文献
如何提升民族地区金融服务实体经济的发展效率是困扰民族地区经济发展的重要问题之一。随着改革开放的日益深化,民族地区的金融业从传统的计划性金融业逐步发展为多元经营、门类齐全的现代金融业,为民族地区实体经济的发展提供了强大的助力。但在金融服务实体经济发展的过程当中,仍然有很多相关的问题亟待解决。尤其是民族地区的经济发展具有一定的特殊性,在此基础上,研究金融服务实体经济的效率、探讨影响机制和各种因素,最终
目的:探究沙库巴曲缬沙坦在治疗急性心肌梗死急诊经皮冠状动脉介入（percutaneous coronary intervention,PCI）术后合并心力衰竭患者中的临床应用效果以及其对患者预后的影响,为临床上改善急性心肌梗死急诊PCI术后合并心力衰竭患者的预后用药提供一定的诊疗思路。方法:选择解放军第968医院及锦州市中心医院心内科2020年1月-2021年6月收治的60例经临床明确诊断为急性心
村庄规划工作是实施乡村振兴战略的先导性、基础性工作。本文基于湖南省村庄的现状，结合湖南省“多规合一”村庄规划编制试点实践，分析总结试点中的经验做法和存在问题，解读国土空间规划背景下编制村庄规划的新要求，梳理“多规合一”实用性的村庄规划的编制要点，为后续湖南省推进村庄规划编制工作总结经验，并提出工作建议。
多金属氧酸盐（Polyoxometalates）,简称多酸（POM）,是一类无机金属-氧簇合物,具有组成丰富、结构明确、纳米尺度可调控等特点,赋予其良好的质子传输及存储、可逆的氧化还原等优良性质。此外,在紫外/可见光照、化学氧化还原等作用下,多酸呈现出可逆的氧化还原性质并伴随着吸收光谱及颜色的可逆变化,而自身结构不发生任何变化;还原态多酸（杂多蓝）的电子吸收光谱覆盖整个可见区,可以被用于刺激响应荧
目的:本项目研究主要拟图通过对国内外各类数据库进行综合评价挖掘,探讨研究SELL在卵巢癌（OV）中的表达方式及其对OV患者预后评估等的潜在影响,探讨SELL作为原发性卵巢癌的又一个潜在临床诊断方法和预后评价生物标志物的意义。方法:通过GEPIA2（Gene expression Profiling Interactive Analysis 2）数据库研究卵巢癌中SELL的差异表达情况和SELL表达
目的研究APOA2基因表达水平对HBV复制及表达的影响;分析APOA2与CHB病情进展的相关性。方法构建重组APOA2基因过表达质粒,同时设计并合成APOA2-si RNA,分别转染HepG2.2.15细胞,培养72小时后使用RT-q PCR、RT-PCR、WB和ELISA等方法对比检测转染前后细胞内外APOA2、HBV-DNA、HBs Ag、HBe Ag、HBc Ag等指标的变化。依据纳入标准收
目的:探究蒙医舌脉放血疗法对“萨病”后言语障碍的影响,为萨病后言语障碍患者提供有效的治疗方法和对优化萨病后言语障碍临床路径提供基础。方法:符合标准的萨病后言语障碍的63例患者,将患者随机分为两组,治疗中剔除3例,对照组30例采取常规基础治疗和言语康复训练方法;由同一个治疗师在特定时间将患者置于安静的,安全适当的位置,根据病情制定计划并实施:以Schuell失语症刺激疗法为主,教言语表达技能、自动性
＜正＞今年，是“八八战略”实施二十周年。二十年前，浙江省委作出“发挥八个方面优势”“推进八个方面举措”的决策部署——“八八战略”。为浙江量身打造的“八八战略”，似一把启迪智慧的金钥匙，打开浙江高质量发展的新通道。为学习贯彻党的二十大精神，弘扬“五四精神”，深刻领悟“八八战略”的理论价值与现实内涵，5月4日下午，富阳公交团委开展“学习八八战略弘扬五四精神”座谈会，公司党建分管领导裘晓峰，各部室、车队
目的:通过观察蒙药古日古木-13成分单体红花黄色素干预下对光损伤661W细胞模型抗凋亡能力的作用,评估视网膜感光细胞在红花黄色的干预下对光损伤的抵抗作用,进而为蒙药古日古木-13治疗视网膜光损伤提供实验基础支撑。方法:1、细胞培养及光损伤模型建立:对661W细胞株复苏后进行传代培养并计数。将661W细胞放置于2600Lux可见光的光源下48h建立光损伤模型。2、实验分组:设置正常组、单纯光照组和加