服务A提供数据一天100W的日志数据,B需要写一个接口去抓取服务A的数据，（假定A的100W可以模拟成从数据库取出来），现在需要设计一个接口，保证接口可以比较快速的获取100W的数据，获取数据突然中断可以断点继续获取，同时还要保证接口安全
2 回答
沧海一幻觉
TA贡献1824条经验 获得超5个赞
这么大的数据量，还要求断点续传，幸好是日志数据，实时性应该要求不高。可以考虑让服务A定时导出到一个文件，然后服务B通过ftp/sftp之类的直接下载，ftp的速度已经够快的了，如果还要更快，可以搭个NFS共享文件。（都是支持断点续传的哦）
添加回答
举报
0/150
提交
取消