调研报告之GPS数据存储和处理
前言
最近有一个需求就是需要存储用户的位置信息,这个就需要大量的数据支撑了,如何进行数据存储和处理这是一个问题。
1.数据库选型
参考文章:
1.大量 gps 数据该怎么保存? 这里是一个讨论,主要就是说用时序数据库进行保存。
2.亿级 GPS 数据如何实现高效存储和查询?不同类型数据库选型分析
3.海量GPS轨迹数据如何高效存储跟检索?
4.查询速度提升两倍,TDengine 在 GPS 服务中的应用 这里其实也提供了一个GPS数据表的创建方法
1.大量 gps 数据该怎么保存? 这里是一个讨论,主要就是说用时序数据库进行保存。
2.亿级 GPS 数据如何实现高效存储和查询?不同类型数据库选型分析
3.海量GPS轨迹数据如何高效存储跟检索?
4.查询速度提升两倍,TDengine 在 GPS 服务中的应用 这里其实也提供了一个GPS数据表的创建方法
2.表格设计
根据参考文章的藐视,可以设计成如下的表格:
项目 | 类型 | 长度(Byes) | 说明 |
---|---|---|---|
序号 | number | 10 | 格式为YYYYMMDDHH24+8位序号,共18位,每车每小时产生的记录数为180,8位序号可以支持10万车辆的定位服务 |
号牌信息 | Varchar2 | 8 | 粤A4811B格式 |
卡号信息 | Number | 7 | 如:13828838124 |
定位时间 | Date | 8 | YYYYMMDDHH24MISS |
记录时间 | Date | 8 | YYYYMMDDHH24MISS |
速度 | Number | 3 | 0≤SPEED≤999 |
里程 | Number | 4 | 0.00≤ MILEAGE≤9999.99 |
经度 | Number | 5 | 0.0000≤LONGITUDE≤180.0000,如果考虑境外定位,需要增加1位,可以支持最小-999.999 |
纬度 | Number | 5 | -90.0000≤LATITUDE≤90.000 |
角度 | Number | 3 | 0≤ANGLE≤999 |
状态 | CHAR | 2 | 十六进制,支持8种状态,为2n,1≤n≤8, 1≤STATUS≤255 |
参考文章:
1.GPS定位数据库表设计 这里数据库的设计,包括索引表格的设计。
2.如何高效存储海量GPS数据 1.高并发写入,尤其是写。2.单表大容量存储,最好不限表大小:PB级别。3.实时水平扩展能力。应用服务器收到客户端发送的消息后,先对其中的GPS数据做纠正,然后将消息保存到表格存储中的GPS轨迹表中,主键保存用户id,任务id,时间戳,属性列保存经度,纬度,耗费时间,距离等。某一个时刻的数据保存在一行中。
3.轨迹上传及管理
1.GPS定位数据库表设计 这里数据库的设计,包括索引表格的设计。
2.如何高效存储海量GPS数据 1.高并发写入,尤其是写。2.单表大容量存储,最好不限表大小:PB级别。3.实时水平扩展能力。应用服务器收到客户端发送的消息后,先对其中的GPS数据做纠正,然后将消息保存到表格存储中的GPS轨迹表中,主键保存用户id,任务id,时间戳,属性列保存经度,纬度,耗费时间,距离等。某一个时刻的数据保存在一行中。
3.轨迹上传及管理
3.处理和查询
参考文章:
1.地图开发科普篇:浅谈GPS大数据的实时处理和离线处理
1.地图开发科普篇:浅谈GPS大数据的实时处理和离线处理