range

If there were you, the world would be just right

需求:抓取一些App的某排行榜的数据并存到我们的数据库中的,这里使用了Mitmproxy(为了能够抓取 Https 请求,需要安装证书)。

首先是安装mitmproxy:

除了python3-dev 应该还用到以下库
apt-get install libffi-dev libssl-dev libxml2-dev libxslt1-dev
pip install mitmproxy

CA证书的安装
当初次运行mitmproxy时,会在 ~ 目录生成 .mitmproxy 文件夹,其中该文件下包含4个文件,就是我们要的证书了

mitmproxy-ca.pem 私钥
mitmproxy-ca-cert.pem 非windows平台使用
mitmproxy-ca-cert.p12 windows上使用
mitmproxy-ca-cert.cer 与mitmproxy-ca-cert.pem相同,android上使用

这里只讲我常用到的2种,其他的如果需要,请自行百度

  • chrome上安装

       设置-高级设置-HTTPS/SSL-管理证书-受信任的根证书颁发机构-导入mitmproxy-ca-cert.pem
  • Android上安装

       将 mitmproxy-ca-cert.cer 放到根目录下
       方法一:设置——WiFi——高级设置——安装证书
       方法二:设置——更多设置——系统安全——从存储设备安装证书
       方法三:选择设置-安全和隐私-从存储设备安装证书(有些手机是可以直接点击安装的)
    

使用代理到目标机器

  • 打开到wifi设置(前提是手机跟代理机是一个网络的哈),点开wifi的后面那个感叹号设置-代理设置,填写代理机ip与端口

此时就可以通过代理机执行 mitmproxy 去监控你的手机请求,并且能抓取到https的请求信息


阅读剩余部分...