目前，我国政府面临的重要任务和挑战是构建社会主义和谐社会这一伟大社会工程，构建社会主义和谐社会是我国全面实现小康社会的必然要求，这就要求政府要在和谐社会的建设发展中履行好职责，合理、高效地发挥好管理、协调、服务功能，只有建立在公共的、服务的、适当规模的政府，才是有效的政府。有效政府并非是政府与生俱来的内容，而是在古典的有限政府和现代有限政府的演进中发展而来的。20世纪90年代提出了有效政府一词，有效政府是政府实现科学化管理的理性选择，也是适应和谐社会对政府发展的客观要求及政府适应角色转变的现实选择。但是当前，政府面临的问题有法治化不足，侵权行政，执政能力缺乏，管理效率低下等问题。这些问题不仅暴露出构建和谐社会过程中与和谐理念的不相适应，更影响了在和谐社会下构建的进程。本文正是基于这一背景而展开了深入的研究，在现有研究的基础上，通过大量的阅读文献，首先从有效政府的内涵及和谐社会的基本要求入手，明确了在和谐社会的建设和发展过程中，其有效的政府不在于政府的规模或大或小的选择，而是着重明确有效的政府要能够充分履行社会所赋予其的责任和义务，并在现行的市场中扮演积极主动的指导者和指挥者的角色。然后依据和谐社会与公共管理的相关理论，分析了现行社会中我国在政府的角色和职能存在的问题，并进行原因剖析，最后提出了推进有效政府构建的路径选择。在现在的社会体制下，要想达到完善我国政府在公共管理方面有效的目标，建立和健全有关政府的法律和法规；提高政府的执政和指导的水平，配合良好而有效的激励机制，激励相关部门前进；强化政府内部监督和外部监督的有效性,建立全方位、全视角、高效的行政监督体系,突出我国政府在服务方面做出的贡献才能在实践的过程中建立有效的政府形式，才能有效的做到人本统和谐统一的目标。只有建立在公共的领域、服务形态确定、发挥规划性、协调性和鼓励性的作用，才是政府所和群众共同需要的有效的政府，也已经越来越成为人们的共识。