抓取其他网站的详情页，怎样放引入自己的项目

Question

背景：后台抓取其他网站的详情页，要放到我们手机app中，还要保持风格统一，就不能使用iframe了，但是这个详情页的复杂程度我们不确定，有可能有table，图片，也可能是抓取的web端页面，web端页面的table定宽了怎么办？有没有做过类似需求的？问题：现在应该从哪里下手，是先要确定输入吗？如果是的话后台返给前端带内联样式的html文本，还是返给前端纯文本，但是有table或者有img的地方需要连带标签返回？还是有其他更好的方法或者脚本？？

Answer 1

有两种想法

1. 后台抓取之后,解析html把 数据 图片 表格 分类 , 只把数据返回给前端,前端再用统一的布局,决定各个的位置.

2. 抓取之后 把html中的样式去掉,把html传给前端 , 前端用css给表格 文字 写一个同一的样式

都能达到统一风格的目的

Answer 2

通常我的做法是，由于目标网站的页面结构都是不一样的，所以采集之后还是需要数据清洗的，把数据整理成结构化的，这样给前端就是固定的格式，前端方便处理，用户使用的话也是看的一样的格式。

然后麻烦的地方在于目标站点的页面结构不一样的，每个都需要单独的采集程序和分析程序，如果站点数目不多其实没关系，但是站点多了之后，就需要把采集和分析的程序开发成可配置化的，这样开发难度可能会大一点。