论文部分内容阅读
21世纪以来,随着人民生活水平不断提高,我国房地产业得到飞速发展。与此同时,不同地区的房地产市场逐渐出现投资增速过快、房价增幅过高、存量商品房积压严重等问题,阻碍了市场的稳定健康发展。房地产行业多年的发展使得行业内数据不断积累,如何从繁杂的信息中获知房地产行业发展的真实状况并进行准确定位,对房地产行业的健康发展十分重要,同时对房地产企业和相关政府部门都有十分重要的意义。本文利用运营商多类别的用户数据,结合外部爬取的楼盘数据和POI(Point of Interests,信息点)数据,设计实现了基于Hadoop分布式计算框架的房地产洞察系统,对多类数据进行融合和处理,集成楼盘区域画像、用户行为时序分析、网络评论分析、楼盘流行度评估等多个模块的功能,对用户的行为特征进行研究,探究房地产发展状况与用户行为的关系。本文的主要工作如下:第一,针对多元且海量的运营商数据和外部数据,设计与实现基于Hadoop的房地产洞察系统框架。该系统可以自动处理运营商提供的原始数据,经过数据清洗、基站去震荡等操作从原始数据中提取用户各类行为数据,并将处理后的数据存储在数据库中。并利用爬虫获取POI数据、楼盘信息及楼盘评论等外部数据,对这些数据进行清洗和处理,基于此完成各项针对房地产的分析功能。第二,该系统集成楼盘评估模型、房地产网络评论分析、用户时序行为时序分析、楼盘区域画像等功能。根据用户需求对不同城市楼市进行分析,并进行相应的数据提取工作。第三,针对目前我国房地产市场上居民跨地域购房已成为一种流行趋势的情形,本文提出一个基于多维时序的排序算法改进模型,通过从运营商数据及外部数据中提取出的多类特征,对楼盘在外地人群中的流行度进行预测,从而达到对楼盘进行评估的目的。