Learning the Mapping x(→)d∑i=1 x2i:the Cost of Finding the Needle in a Haystack

来源 :应用数学与计算数学学报 | 被引量 : 0次 | 上传用户:cjt510
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
The task of using the machine learning to approximate the mapping x(→)d∑i=1 x2i with xi ∈[-1,1]seems to be a trivial one.Given the knowledge of the separable structure of the function,one can design a sparse network to represent the function very accurately,or even exactly.When such structural information is not available,and we may only use a dense neural network,the optimization procedure to find the sparse network embedded in the dense network is similar to finding the needle in a haystack,using a given number of sam-ples of the function.We demonstrate that the cost(measured by sample complexity)of finding the needle is directly related to the Barron norm of the function.While only a small number of samples are needed to train a sparse network,the dense network trained with the same number of samples exhibits large test loss and a large generalization gap.To control the size of the generalization gap,we find that the use of the explicit regularization becomes increasingly more important as d increases.The numerically observed sample complexity with explicit regularization scales as O(d2.5),which is in fact better than the theoretically predicted sample complexity that scales as O(d4).Without the explicit regularization(also called the implicit regularization),the numerically observed sample complexity is significantly higher and is close to O(d4.5).
其他文献
全站仪自由设站方法是高速铁路工程测量中的常用方法,通常采用仪器自带的程序进行设站。但是全站仪自带程序是基于半盘位进行自由设站,当仪器含有竖盘指标差时,设站的计算高程与实际高程就会存在较大差异。因此,为了解决现有技术中设站精度不高,以及自由设站对全站仪要求过高等问题,提出了一种基于全盘位测量的自由设站方法。
结合某地下矿山巷道的设计施工及测量进行的对称三角形联系测量工作的主要内容,根据工作中的实际情况,详细阐述了竖井三角联系测量的方法和原理,并分析了影响其精度的因素。
复种指数是进行粮食估产、耕地集约利用评价、农业生态系统模拟等的关键参数,及时、准确地提取复种指数对于粮食安全、土地管理和生态环境安全具有重要意义。在传统的研究中,复种指数主要来源于地面统计数据。使用统计数据来计算复种指数虽然过程简单,但是计算结果存在信息滞后、无法体现统计单元内部的空间异质性、精度低等不足。遥感技术因具有大范围、高时效、低成本等优点而被用于耕地复种指数监测,已有学者对耕地复种指数的
轨道交通的快速发展提高了通勤可达性,也被认为在重构城市职住空间格局进而影响职住关系方面产生重大影响。探究城市轨道交通站点周边地区(下称轨交站点周边地区)就地职住平衡与建成环境的关系,对于通过建成环境设计促进站点尺度职住"微平衡",调节由于轨道交通所导致的区域性职住分离意义重大。本文基于武汉市189个轨交站点刷卡数据,首先识别了轨道交通通勤人员并分析了其出行特征,进而利用逐步回归与地理加权回归模型(
中国已经成为全世界城市轨道交通建设里程最长、建设速度最快的国家,合理识别城市轨道站点类别与影响不同类别站点客流特征的建成环境因素对轨道交通的建设具有十分重要的作用。因此,本文以武汉市为例,通过轨道交通刷卡数据,运用引入客流特征的EM聚类方法,将轨道交通站点分为职住错位型、居住导向型、就业导向型、居住综合型、就业综合型、综合型6类。并在此基础上,建立无序多分类logistic回归模型,定量分析站点客
近年来大数据在交通分析中被广泛关注,但目前多以可视化展示和现象空间分析描述为主,缺乏基于大数据的交通数量模型和模拟预测研究,成为大数据技术在交通规划中应用的主要技术障碍。本文基于交通与土地利用之间的交互作用关系,构建区位空间依赖因子((Location-space Dependence Indicator, LSDI),对传统重力模型进行改进,提出大数据城市通勤分布模型。以北京市为例,采用某运营商
全面查清农村集体建设用地每一宗土地范围内建筑物、构筑物的位置、面积、权属等基本情况,为实施不动产统一登记奠定基础。基于ArcGIS Runtime SDK与ArcGIS Server技术,分析了房地一体外业数据采集系统的需求,开发并设计了一套农村房地一体外业数据采集系统,该系统可以有效地提高外业数据采集的工作效率。
以国家1:50000地形数据为基础,充分利用检查工具,提高地形数据更新与入库成果质量。将各生产单位开发的检查软件进行分析探讨,通过对生产过程使用的多种软件检查及修改后数据的质量进行分析比对,总结出有效利用各检查软件的方法,为1:50000地形数据库的快速更新和成果质量控制提供一定的技术支持。
福建省作为中国的产茶大省,快速准确获取茶园的空间分布对福建省农业经济发展和生态环境保护具有重要的决策意义,然而,传统的方法难以保证大范围准确地获取茶园空间分布。本文基于GEE云平台,快速获取覆盖福建省的Sentinel-1雷达影像、Sentinel-2光学影像及地形数据,从中提取光谱特征、纹理特征、地形特征等98个特征,利用递归消除支持向量机算法(SVM_RFE)对特征变量进行筛选,通过支持向量机
土地利用总体规划是对一定区域土地利用的总体布局和安排,主导着日常用地管理,是解决日渐严重的人地矛盾的主要途径。以《东乡区土地利用总体规划(2006-2020)》实施的情况为研究对象,定量分析东乡区的土地利用结构,并采用层次分析法构建指标体系,确定指标的权重,量化指标并计算综合评价分值,评价项目的执行情况,对解决实施过程中的存在问题提出了相应建议。