【足彩app哪个是正规的】采集方案策略之App抓包

发表时间:2018-07-31 16:23:59文章来源:名人网

【足彩app哪个是正规的】采集方案策略之App抓包

采集方案策略设计

在群里看到有人扣问饿了么的参数,正好感乐趣,就来时候一番。

这里引用下大佬的一段话:

起首大的处所,我们想抓取某个数据源,我们要知道大要有哪些路径可以获取到数据源,根基上无外乎三种:

  • PC端网站
  • 针对移动设备响应式设计的网站(也就是良多人说的H5, 固然纷歧定是H5);
  • 移动App

原则是能抓移动App的,最好抓移动App,若是有针对移动设备优化的网站,就抓针对移动设备优化的网站,最后考虑PC网站。因为移动App根基都是API很简单,而移动设备拜候优化的网站一般来讲都是布局简单清楚的HTML,而PC网站天然是最复杂的了;
针对PC端网站和移动网站的做法一样,阐发思绪可以一路讲,移动App零丁阐发。

其实良多网页都有移动端,像微博,我知道这三个:

    最简单的当然是第二种了,对于今天的受害者——饿了么来说,当然,首选也是移动端。

    饿了么抓包阐发

    这里抓包东西选择Fiddler,这里不讲若何设置装备摆设,具体参考 用Fiddler对Android应用进行抓包

    下面打开手机的饿了么,原本觉得会稀有据,成果,竟然是如许

    【足彩app哪个是正规的】采集方案策略之App抓包

    去扣问了专业人士,领会了有些应用不许可用户抓包,会有响应的限制。好吧,这就能难倒我了吗??

    当我切换到发现类面前目今,发现有奇异的提醒

    【足彩app哪个是正规的】采集方案策略之App抓包

    在疯狂点击继续拜候后,我终于可以正常拜候了。

    【足彩app哪个是正规的】采集方案策略之App抓包

    那么就可以在Fiddler中查看对应的数据了。这里直接把接口展示出来:饿了么接口

    浏览器直接打开,貌似没有啥验证

    【足彩app哪个是正规的】采集方案策略之App抓包

    具体阐发里面的参数


    有4个参数, offsetlimit 就很常见了,翻页和每页的数据,至于 latitudelongitude 细心察看就知道,经纬度嘛,把它该点窜为你想采集的位置的经纬度就好。

    抓包阐发之后,接下来采集数据就很简单了,数据字段标识:

    food_id 是商品ID,接口是:https://www.ele.me/restapi/shopping/v1/foods?food_ids%5B%5D=712859937

    打开此链接就是商品详情内容

    【足彩app哪个是正规的】采集方案策略之App抓包

    【足彩app哪个是正规的】采集方案策略之App抓包

    可爱的小笼包

    restaurant_id 是店肆ID,接口

    打开就是店肆详情页,当然,也有移动端:https://h5.ele.me/shop/#id=157458556

    如许进行商品采集就比力轻松了。

    好饿,容我先点个外卖。


    微信公家号抓包阐发

    既然都看了饿了么,那也来看看微信吧。

    利用Fiddler抓出来的curl号令


    直接在浏览器中打开,会提醒错误

    【足彩app哪个是正规的】采集方案策略之App抓包

    利用postman阐发,最后Python的代码是

    【足彩app哪个是正规的】采集方案策略之App抓包

    【足彩app哪个是正规的】采集方案策略之App抓包这个时辰的参数有

    【足彩app哪个是正规的】采集方案策略之App抓包

    今朝还不清晰这些参数的感化,再抓一个尝尝

    估量就是 __bizappmsg_token 这两个参数对应分歧的公家号

    对了,上面的代码会呈现一个问题

    解决方式

    App的阐发

    App类利用的东西是Fidder,手机和电脑在一个局域网内,先用Fidder设置装备摆设好端口,然背工机设置代办署理,ip为电脑的ip,端口为设置的端口,然后若是手机上请求收集内容时,Fidder会显示响应地请求,那么就ok了,阐发的大体逻辑根基一致,限制会相对少良多,可是也有几种环境需要注重:

    • 加密,App有时辰也有一些加密的字段,这个时辰,一般来讲城市进行反编译进行阐发,找到对应的代码片段,逆推出加密方式;
    • gzip压缩或者base64编码,base64编码的分辨度较高,有时辰数据被gzip压缩了,不外Charles都是有主动解密的;
    • https证书,有的https请求会验证证书, Fidder供给了证书,可以在官网找到,手机拜候,然后信赖添加就可以。

    '); })();