调试

debug

__debug__ 是 Python 中的一个内置常量（Built-in Constants）。如果执行 Python 脚本时没有带上 -O（optimize generated bytecode slightly）选项，那么该变量就为 true。

__debug__ 常量常与 assert 搭配使用，例如：

1
2

if __debug__:
   if not expression: raise AssertionError

单元测试

详见单元测试。

性能测试（Profiling）

在讨论性能测试之前，注意一些有利于提高程序性能的设计习惯：

1. 在需要只读序列时，最好使用元组而非列表；
2. 使用生成器，而不是创建大的元组和列表并在其上进行迭代操作；
3. 尽量使用 Python 内置的数据结构（字典、列表、元组等）而避免自定义结构，因为内置的数据结构都是经过了高度优化的；
4. 从小字符串中产生大字符串时，不要对小字符串进行连接，而是在列表中累积，最后将该字符串列表结合成为一个单独的字符串；
5. 如果某个对象（包括函数或方法）需要多次使用属性进行访问（比如访问模块中的某个函数），或从某个数据结构中进行访问，那么较好的做法是创建并使用一个局部变量来访问该对象，以便提供更快的访问速度。

Python 标准库中提供了两个特别有用的用于性能测试的模块：

1. timeit 模块 —— 该模块可用于对一小段 Python 代码进行计时，并可用于诸如对两个或多个特定函数或方法的性能进行比较等场合。
2. cProfile 模块 —— 该模块对调用计数与次数进行了详细分解，以便发现性能瓶颈所在。

timeit

示例1

1
2
3
4
5
6
7

>>> import timeit
>>> timeit.timeit('"-".join(str(n) for n in range(100))', number=10000)
0.8187260627746582
>>> timeit.timeit('"-".join([str(n) for n in range(100)])', number=10000)
0.7288308143615723
>>> timeit.timeit('"-".join(map(str, range(100)))', number=10000)
0.5858950614929199

其中，number参数是该测试语句重复执行的次数。

示例2

下列代码示例了利用 timeit 同时对3个函数进行计时：

1
2
3
4
5
6
7
8
9

import timeit
if __name__ == "__main__"
    repeats = 1000
    for function in ("function_a", "function_b", "function_c"):
        t = timeit.Timeer("{}(X, Y)".format(function),
            "from __main__ import {0}, X, Y".format(function))
        sec = t.timeit(repeats) / repeats
        print("{function}() {sec:.6f} sec.format(**locals()))"
        )

示例3：直接在命令行对代码进行即时

1
2
3
4
5
6

$ python -m timeit '"-".join(str(n) for n in range(100))'
10000 loops, best of 3: 40.3 usec per loop
$ python -m timeit '"-".join([str(n) for n in range(100)])'
10000 loops, best of 3: 33.4 usec per loop
$ python -m timeit '"-".join(map(str, range(100)))'
10000 loops, best of 3: 25.2 usec per loop

更多示例可以参见官方文档上的例子

cProfile

cProfile（或者 profile 模块，这里统称为 cProfile 模块^[1]）也可以用于比较函数与方法的性能。与只是提供原始计时的 timeit 模块不同的是， cProfile 模块精确地展示了有什么被调用以及每个调用耗费了多少时间。

示例1

1
2
3

import cProfile
import re
cProfile.run('re.compile("foo|bar")')

输出如下：

1
2
3
4
5
6
7
8
9
10
11
12

  197 function calls (192 primitive calls) in 0.002 seconds

Ordered by: standard name

ncalls  tottime  percall  cumtime  percall filename:lineno(function)
     1    0.000    0.000    0.001    0.001 <string>:1(<module>)
     1    0.000    0.000    0.001    0.001 re.py:212(compile)
     1    0.000    0.000    0.001    0.001 re.py:268(_compile)
     1    0.000    0.000    0.000    0.000 sre_compile.py:172(_compile_charset)
     1    0.000    0.000    0.000    0.000 sre_compile.py:201(_optimize_charset)
     4    0.000    0.000    0.000    0.000 sre_compile.py:25(_identityfunction)
   3/1    0.000    0.000    0.000    0.000 sre_compile.py:33(_compile)

每列的含义如下：

1. ncalls列：调用次数；
2. tottime列：列出了每个函数中耗费的总时间，排除了调用子函数花费的时间（excluding time made in calls to sub-functions）；
3. 第一个percall列：列出了对函数的每次执行的平均时间（tottime // ncalls）。
4. cumtime：列出了在函数中耗费的时间，并且包含了调用子函数的花费的时间。
5. 第二个percall列：列出了对函数的每次执行的平均时间，包含了调用子函数的花费的时间。
6. filename:lineno(function)列：提供每个函数的相关信息。

示例2

可以将性能测试结果改为输出到文件中。只需要指定一个文件名即可。参见下面的示例：

1
2
3

import cProfile
import re
cProfile.run('re.compile("foo|bar")', 'restats')

pstats.Stats类可以用于读取性能测试结果并以多种方式格式化它。

示例3

下面是用于比较与前面一样的3个函数的代码：

1
2
3
4
5

import cProfile
if __name__ = "__main__"
    for function in ("function_a", "function_b", "function_c"):
        cProfile.run("for i in range(1000):{0}(X, Y)"
                     .format(function))

示例4：直接在命令行使用 cProfile

1

python -m cProfile [-o output_file] [-s sort_order] myscript.py

• -o 选项：将测试结果写入到文件，而不是通过标准输出；
• -s 选项：通过指定一个 sort_stats() 排序值来对输出进行排序，仅当没有使用 -o 选项时才有效。

关于cProfile的详细介绍可以参见官方文档。

补充材料

1. Built-in Constants
2. timeit
3. cProfile