软件测试学习笔记丨Mitmproxy使用

🕗 发布于 2024-10-08 17:54 学习笔记软件测试测试开发

本文转自测试人社区，原文链接：https://ceshiren.com/t/topic/32334

一、简介

Mitmproxy是一款开源、免费的代理工具，支持Mac、Windows、Linux。
相比其他代理工具，可以通过Python和Mitmproxy工具本身的插件机制，实现通过脚本对Mitmproxy的完全控制。
强大的可拓展性和可定制性，可以让测试工程师以Mitmproxy工具为基础，进行二次开发，打造更适合自己业务的mock工具。

二、操作步骤

2.1 安装

Mitmproxy是一款跨平台工具，支持在Mac、Windows、Linux平台进行安装。
最推荐的安装方式，是直接通过Python安装：
- pip install pipx
- pipx install mitmproxy
验证是否安装成功：
- mitmdump --version
- 如果返回如下信息，则安装成功：

Mitmproxy: 5.2
Python:    3.8.7
OpenSSL:   OpenSSL 1.1.1g  21 Apr 2020
Platform:  macOS-10.15-x86_64-i386-64bit

2.2 证书配置

mitmproxy 的证书配置过程与 charles 类似

1、pc 端证书

（1）配置电脑代理，ip 配置 127.0.0.1 ，端口配置为 mitmproxy 监听端口，默认 8080
（2）启动 mitmprxy
（3）在浏览器输入地址 mitm.it，显示效果如果和下图相同，证明前面的步骤都成功了 mitmporxy

（4）选择对应系统下载证书并安装。
（5）信任证书：打开证书（Mac 系统为钥匙串访问）->点击证书->双击名称含有 charles 的选项->点击信任->选择始终信任。

2、windows 证书信任

3、手机端证书（安卓系统）

（1）在手机配置代理，ip 配置为电脑的 ip 地址，端口配置为 mitmproxy 监听端口，默认 8080。
（2）启动 mitmprxy。
（3）在手机浏览器输入地址 mitm.it。
（4）选择 Android，下载并安装，即可成功抓取手机端的 https 的数据包。

2.3 三大核心工具

Mitmproxy的三大核心工具，分别为mitmproxy、mitmdump、mitmweb。
Mitmdump是Mitmproxy相比于其他代理工具，最独一无二的部分。

1、mitmproxy

是一款交互式的命令行工具，通过命令mitmproxy启动，需要注意的是 mitmproxy 不支持 windows 系统。下图为 mitmproxy 启动后的效果图：

2、mitmweb

在 mitmweb 的图形界面中使用 mitmproxy 的主要功能，通过命令mitmweb启动。它和 Chrome 开发者工具中的 network 比较类似。下图为 mitmweb 启动后的效果图：

3、mitmdump

用 mitmdump 编写强大的插件和脚本。 mitmproxy 脚本 API 提供了对 mitmproxy 的完全控制，可以自动修改消息、重定向流量、可视化消息或实现自定义命令。后面会通过实战具体介绍 mitmdump 的使用。

2.4 Mitmdump实战

1、命令

mitmdump 可以通过参数 -s 实现执行 python 脚本
通过下面这个示例每次再发起请求时都要打印 “this is a demo”

mitm_demo.py：

from mitmproxy import http

def request(flow: http.HTTPFlow):
    #每次请求时都打印 this is a demo
    print("this is a demo")

通过命令 mitmdump 执行 python 脚本：
mitmdump -s ./mitm_demo.py

执行效果：

Loading script ./mitm_demo.py
Proxy server listening at http://*:8080
127.0.0.1:53741: clientconnect
127.0.0.1:53758: clientconnect
127.0.0.1:53759: clientconnect
127.0.0.1:53760: clientconnect
this is a demo
127.0.0.1:53758: Connection killed
127.0.0.1:53758: clientdisconnect
this is a demo
127.0.0.1:53759: Connection killed
127.0.0.1:53759: clientdisconnect

2、插件

mitmproxy 是通过变量addons，将一个类的实例与 mitmproxy 进行关联的。通过插件机制，可以指定在脚本运行中，与 mitmproxy 直接相关的实例。

mitm_addon.py：

from mitmproxy import ctx


class Counter:
    def __init__(self):
        self.num = 0

    def request(self, flow):
        self.num = self.num + 1
        ctx.log.info("We've seen %d flows" % self.num)

addons = [
    Counter()
]

有几点需要注意的是：
- Mitmproxy 是通过 addons 这个全局变量获取以及加载插件组件。
- 每个插件都是一个实例对象，比如上面例子中的Counter()。
- 方法 requests 是一个事件的示例。在后面会有关于事件的具体介绍。
- 这个插件实现了在每一次请求的时候打印累计的请求 flow 数据。

执行命令：
mitmdump -s ./mitm_demo.py

展示效果：

127.0.0.1:49625: clientconnect
We've seen 9 flows
127.0.0.1:49600: GET https://www.baidu.com/content-search.xml
              << 200 OK 220b
We've seen 10 flows
127.0.0.1:49599: GET https://www.baidu.com/home/xman/data/tipspluslist?indextype=manht&_req_seqid=0xaf491b1700068f01&asyn=1&t=1618453717212&sid=33811_33816_33745_33344_31253_33849_33758_26350_22158
              << 200 OK 78b

3、事件

mitmproxy 有多个事件，每个函数或方法代表一个事件，指每一次请求响应的过程中，都会自动调用相关的方法。每一个方法的名称都是 mitmproxy 约定好的，都代表了 flow 的不同过程。
许多事件通过参数接收一个 flow 对象，通过修改这些对象，插件就可以即时改变流量。

import mitmproxy.http
class Events:

    def request(self, flow: mitmproxy.http.HTTPFlow):
        """
            每次http发起请求之后会调用这个方法
        """


    def response(self, flow: mitmproxy.http.HTTPFlow):
        """
            每次http返回响应之后会调用这个方法
        """

4、mitmproxy 实现 map local

创建一个本地文件，响应数据设定为

{ "status": "success" }

编写脚本，在请求事件中，给响应对象赋值为设定的模拟值

mitm_map_local.py

import json

from mitmproxy import ctx, http

class Counter:
    def __init__(self):
        self.num = 0

    def request(self, flow):
        if "https://httpbin.testing-studio.com/get" in flow.request.pretty_url:
            # 打开文件，读取文件数据，作为响应，给返回
            with open("./res.json", encoding="utf-8") as f:
                # 给flow.response属性进行赋值，
                # 赋值调用mitmproxy 响应对象的 make方法
                # 响应体在make函数里面所需要的数据为str
                flow.response = http.HTTPResponse.make\
                    (200,  # (optional) status code
                    f.read(),  # (optional) content
                {"Content-Type": "text/html"}  # (optional) headers
                    )

addons = [
    Counter()
]

通过命令执行 python 脚本：mitmdump -s ./mitm_map_local.py
浏览器访问：https://httpbin.testing-studio.com/get
- 响应结果如图所示，成功实现 map local：https://httpbin.testing-studio.com/get

在这里插入图片描述