为了账号安全,请及时绑定邮箱和手机立即绑定

使用PHP大量采集数据,如何提高访问性能?

使用PHP大量采集数据,如何提高访问性能?

PHP
慕田峪9158850 2019-03-17 06:50:19
问题描述:使用php开发的采集国外网站的数据,以便进行测试,数据保存为txt格式,存放在服务器上,当需要访问的时候,在使用php读取txt中的数据,并返回到用户。当服务器运行一段时间以后,通过网址访问服务器上的资源时,打开速度挺卡的,刚开始的时候还不会。注:网址跟之前网站的是一样的,只是把顶级域名缓存我们自己的。数据是触发采集的,第一次会远程采集数据到本地,并返回给用户,第二次才从本地读取。 问题:1.即使数据量超多的时候,也能做到秒开呢2.瓶颈在哪?内存还是IO3.使用一段时间以后,打开速度会很卡,重启服务器后会好多了4.如果将数据保存到MySQL数据库的时候,应该会更卡吧,目前是纯文本,只是访问的时候,在通过一个简单的路径匹配算法,使用php去读取文件,并返回给用户5.有没有相关书籍可以学习下?6.将PHP版本升级到php7,是否可以缓解?
查看完整描述

6 回答

?
斯蒂芬大帝

TA贡献1827条经验 获得超8个赞

卡是不是读取的文件很大

查看完整回答
反对 回复 2019-03-18
?
心有法竹

TA贡献1866条经验 获得超5个赞

把文件切割呀,文件按日期进行存储

查看完整回答
反对 回复 2019-03-18
?
30秒到达战场

TA贡献1828条经验 获得超6个赞

“在通过一个简单的路径匹配算法,使用php去读取文件,并返回给用户” -————是否可以通过url重写直接做成静态的

查看完整回答
反对 回复 2019-03-18
?
蓝山帝景

TA贡献1843条经验 获得超7个赞

是不是PHP-FPM内存泄漏导致内存耗尽
是不是这个注释没去掉,未设置每个php-fpm进程接受的请求数
未设置进程就不会挂掉会不断的累积占用内存(一个请求退出会有部分信息留在进程中,最终导致内存耗尽)

;pm.max_requests = 500
查看完整回答
反对 回复 2019-03-18
?
慕婉清6462132

TA贡献1804条经验 获得超2个赞

小文件太多了, 肯定卡,反而我觉得放数据库不会太卡,

查看完整回答
反对 回复 2019-03-18
  • 6 回答
  • 0 关注
  • 526 浏览

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信