随着物联网、5G、区块链、车联网、传感器等电子、信息、通信技术的飞速发展,各类数据量的增长呈指数态势,海量数据对计算处理能力和速度的要求也与日俱增。云计算技术通过数据中心内的大量高性能服务器为用户提供几乎无限的计算能力,是大数据分析处理的重要解决方案之一。然而,云计算也存在着网络时延大、成本高以及安全隐私等一系列问题,无法适应所有的大数据分析、处理要求。例如,在工业生产、运营等场景中,对事故、故障、突发情况的实时响应非常重要;在网络数据抓取场景中,数据传输成本则较为敏感。针对上述问题,本论文对云计算和大数据技术进行研究分析,提出了一种基于边缘计算的数据获取与处理系统架构并针对两种具体场景进行了系统设计实现,利用靠近用户的边缘计算/存储设备并结合云计算提供低时延、高处理能力的数据获取、处理与分析方案。本论文主要研究成果包含以下几个方面:首先,本文通过分析现有技术和研究现状,对比当前云计算技术在实际使用中存在的问题,探讨并设计了以边缘设备与云计算中心结合而成的新型边缘计算框架的软硬件方案以及相关的通信方式。最终确立了以树莓派作为边缘设备,通过Socket通信连接的边缘计算总体方案。该系统可以满足多种应用场景的任务需求,提升了设备使用的广泛性并且节约了硬件资源和设备成本。其次,针对人体行为识别的场景,设计并实现了基于边缘计算的人体行为数据采集、处理和分析系统。在本方案中,在通过将IMU采集到的人体行为数据做清洗和结构化处理后,利用Xgboost对相应的监测对象的行为进行分类和建模,再利用边缘设备的分布式计算对这些模型进行修正,从而实现了一种具有效率高、低能耗、反应快等特点的人体行为识别系统,验证了当前计算框架对于物理数据处理的适用度。最后,针对互联网中的海量数据,设计并实现了基于边缘计算框架的文献数据爬取和处理系统。通过将过于庞大的,单台设备无法短时间完成的爬取任务分割为多个小型任务,将其动态派发给云计算中心控制下的边缘设备来完成,加快了网络数据采集的速度。另外通过该爬虫系统对IEEE Xplore网站中存储的所有文献的相关信息进行提取和在云端的存储,展现了该系统在当前网络环境下对于大量的网络数据的抓取和处理能力,也再次验证了本文所提出的边缘计算架构的可行性。