首先把获取的环境监测数据通过导入程序导入到HDFS(分布式文件系统)内,此为预测分析的初始数据。环境监测数据的分布式存储架构中主要有主节点、数据节点、数据块、客户访问节点、环境质量数据获取节点和环境监测节点等。HDFS的工作过程如下。
1.当有用户(通过访问节点)提出查询请求时,请求信息(包含查询时间和地点)被通过主(master)节点发送给各个从(slave)进行处理;主节点收集处理结果并返回给用户。为了加快处理速度,在实际使用中可以对环境质量历史数据进行预处理,实现分类处理,把分类信息保存在HDFS系统中,这样可以提高用户的请求处理速度和结果返回速度。
2.若有环境监测数据需要存储,相关节点会向主节点提出存储请求,主节点选择从节点并把存储位置返回给请求存储的节点,然后请求存储节点就可以直接把环境监测数据发送给分配的从节点进行存储。这其实是HDFS保存数据的标准流程。
环境监测数据的分布式存储流程大致就是如此,在整个数据存储过程中,HDFS发挥了很大作用。
扫码加微信咨询产品、免费报价
裕乾(4006569698,www.probhai.com)是一家智慧化系统集成软硬件研发、销售、服务为主的高新技术企业。经过多年发展,公司已成为智慧建筑、智慧工业、智慧环保、智慧电力、智慧水利、智慧农业等领域,具有自主研发能力、自主知识产权与自主品牌一体化的先进解决方案供应商、系统集成综合服务商。