JSON-解决json数据查询的效率问题

JSON-解决json数据查询的效率问题

偏爱自由 发布于 2017-01-12 字数 354 浏览 1272 回复 4

我要做一个基金比价的功能,给我了一个接口,接口返回json数据;
由于数据很多,这些数据一个月更新一次。
我现在想到的方法一是直接查询,二是把数据存放的数据库,然后再查询;但是我感觉效率都不会太高,所以请求各位的帮助。。。。先谢谢了~

大家可以看看这个网址:http://data.simuwang.com/compare.php我要做的工作和这里的 “私募对比”

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(4

夜无邪 2017-08-02 4 楼

你这个很是个问题呀,如果数据量很大的话。虽然你能接收到json数据,但你如何转换呢?php里转换成数组,数组也是有大小的,你总不能把你的内存无限调大吧!超出php规定的字节数那也会造成数据丢失报内存溢出。所以,你不应该一次通过接口接收全部数据,应该分批接收。比如通过时间或其他类型,分批得到,然后你存数据库也好存成文件也行,看你怎么方便就存成什么类型了。

虐人心 2017-06-04 3 楼

我建议是有两种:
第一:如果你有缓存服务器的话,直接放到缓存服务器,进行操作,操作后如果需要对数据进行持久存储的话就再进行数据库录入(最好是redis,因为MC的key value存储值很小,你的数据大的话就很麻烦了)
第二:如果说没有缓存服务器的话,那就建议考虑是否能直接放到内存里,如果大小太大的话,那就只能存储到硬盘上了,通过文件的方式

但是我不知道的一次性接受数据的KB以后多大,如果是不大的话就直接放在内存,比如Session中,进行处理,处理后释放等待下一次返回数据的处理,如果要求及时性很高的话,那只能考虑缓存方式处理了...

清晨说ぺ晚安 2017-03-07 2 楼

一个月更新一次那就不是很频繁咯,你可以把这些JSON数据写到文件里,一个月更新一次,然后需要的时候读取文件里的JSON。

泛泛之交 2017-03-04 1 楼

先将数据从服务器上取下来解析,保存到数据库。让服务器添加一个字段:是否有新数据。一个月一次渠请求数据库,有新数据了,去更新重新存到数据库覆盖原来的数据。没有新数据则数据库不改动。查询的话就查询数据库就行了。