近年来,互联网软硬件的快速发展以及各种设备、应用的普及,使得互联网已经融入到日常生活的方方面面之中,同时也对各行各业产生了深远的影响,互联网广告市场中的实时竞价交易模式也应运而生并不断发展完善。实时竞价模式基于用户的在线行为产生并累积的大量数据和个人信息,利用机器学习、信息检索、优化理论等多领域的技术实现了精准、高效的广告投放,成为了目前互联网流量变现的重要手段。介于其良好的发展前景和丰富多样的应用技术,实时竞价也吸引了越来越多研究者的注意。本论文从需求方的角度出发研究了其中几个关键问题,主要包括点击率预测问题、预算花费管理问题、出价策略优化问题,同时本论文提出相应的算法来优化需求方的整体收益。本文的研究成果如下:(1)为了提高点击率预测的准确性,首次将Actor-Critic强化学习框架应用于点击率预测任务。本文对点击率预测任务下的目标、概念进行合理地建模,提出一种基于Actor-Critic框架的点击率预测算法,使用神经网络来学习策略和值函数,并定义了其训练、测试流程。(2)为了提高预算花费的效率和平滑性,本文提出一种预算分配与管理机制,它包括两部分:基于投资组合理论的预算分配策略、广告请求筛选机制。预算分配策略同时考虑了收益和风险两种因素,可以在保证一定的期望收益的同时最小化分配方案的风险,来获得更加稳定的收益。广告请求筛选机制则通过为广告请求的预测点击率设置阈值来将低质量的广告请求过滤掉,从而提高预算的使用效率。同时还引入了时段间的预算动态调整,来更加充分地使用预算。(3)针对出价策略优化问题,本文将其建模为一个有预算约束的优化问题,通过求解该问题提出了一种基于时段粒度的非线性出价策略,它结合了预算分配与管理机制,可以根据广告投放活动中实际的预算花费情况来调整出价策略。该出价策略只对高质量的广告请求进行出价而直接忽略掉低质量的广告请求,从而取得更加可靠的出价结果。