在中国,职权法定,越权无效。这既是行政机关必须要遵循的重要原则,又是行政层级监督工作的重要准则。如果在没有法律和法规和规章的明确授权下,监督机关的监督行为就无法开展,就算勉强开展,也是难以服众,没有实际的效果。我国的行政层级监督的法律依据主要来源于《宪法》和《地方各级人民代表大会和地方各级人民政府组织法》等法律、法规、规章。在《宪法》的第108条中明确指出：“县级以上的地方各级人民政府领导所属各工作部门和下级人民政府的工作,有权改变或撤销所属各工作部门和下级人民政府的不适当的决定。”在《地方各级人民代表大会和地方各级人民政府组织法》第67条中也规定了：“省、自治区、直辖市、自治州、县、自治县、市、市辖区的人民政府应当协助设立在本行政区域内不属于自己管理的国家机关、企业、事业单位进行工作,并且监督它们遵守和执行法律和政策”。国务院2010年11月8日发布的《关于加强法制政府建设的意见》第21条明确规定：加强政府内部层级监督和专门监督。上级行政机关要切实加强对下级行政机关的监督,及时纠正违法或者不当的行政行为。是政府把本行政区域内管理的部门以及上级政府对下级政府纳入行政执法监督对象的最有效力的法律及政策依据。腐败是当今我们面临的相当严重的社会问题,反腐倡廉已成为人们关注的焦点.可是每当某个官员的腐败行为被揭露出来时,我们总习惯于从腐败官员主观方面去找原因,却很少甚至根本不去探求腐败行为形成的制度环境,要说中国的行政层级监督制度还有什么需要提高和借鉴的地方,我们就不能不谈到我们身边的近邻——日本。日本是东方文明向西方文明学习的典范,尽管有其自身文化体系的不足,但是,日本无疑是经济与文化转型过程中最成功的楷模,深入解剖日本的行政层级监督制度,对我国行政层级监督制度的建立与完善也是非常重要的。本文通过对中国行政层级监督制度的具体分析和对日本行政层级监督制度的分析研究,提出比较。对中国的行政层级监督制度提出思考和建议,使中国的行政层级监督制度更加完善。