joblib: 简单易懂的平行世界

394 字

2 分钟

joblib: 简单易懂的平行世界

2023-06-15

2026-04-10

Joblib是一款轻量级的Python工作流实现，可以简单快速地把相互独立的循环并行起来，从而节省时间。

安装#

1
pip install joblib

使用方法#

以打印出0-9的平方根为例，如果采用直接循环方法，我们可以很简单地写出如下代码。这里用 sleep 来模拟任务本身的延迟：

1
from math import sqrt
2
from time import sleep
3
from datetime import datetime
4

5
for i in range(10):
6
    print(datetime.now(), sqrt(i))
7
    sleep(1)

输出如下，可见是每秒吐出一个值：

1
2023-06-15 11:02:01.200605 0.0
2
2023-06-15 11:02:02.203232 1.0
3
2023-06-15 11:02:03.207490 1.4142135623730951
4
2023-06-15 11:02:04.211349 1.7320508075688772
5
2023-06-15 11:02:05.211646 2.0
6
2023-06-15 11:02:06.215645 2.23606797749979
7
2023-06-15 11:02:07.218109 2.449489742783178
8
2023-06-15 11:02:08.220789 2.6457513110645907
9
2023-06-15 11:02:09.225884 2.8284271247461903
10
2023-06-15 11:02:10.229875 3.0

若利用 joblib.Parallel，将循环体写成函数，并把结果作为返回值，则可改写如下：

1
from math import sqrt
2
from time import sleep
3
from datetime import datetime
4
from joblib import Parallel, delayed
5

6
def func(i):
7
    result = sqrt(i)
8
    print(datetime.now(), result)
9
    sleep(1)
10
    return result
11

12
Parallel(n_jobs=2)(delayed(func)(i) for i in range(10))

可以看到输出如下，由于 n_jobs 设置为2，故每次有2个worker同时运行，每秒得到两个输出：

1
2023-06-15 11:07:45.843004 0.0
2
2023-06-15 11:07:45.873286 1.0
3
2023-06-15 11:07:46.864319 1.4142135623730951
4
2023-06-15 11:07:46.891164 1.7320508075688772
5
2023-06-15 11:07:47.871781 2.0
6
2023-06-15 11:07:47.896673 2.23606797749979
7
2023-06-15 11:07:48.875107 2.449489742783178
8
2023-06-15 11:07:48.902218 2.6457513110645907
9
2023-06-15 11:07:49.880168 2.8284271247461903
10
2023-06-15 11:07:49.907760 3.0

且最终返回值以一个列表形式列出：

1
[0.0,
2
 1.0,
3
 1.4142135623730951,
4
 1.7320508075688772,
5
 2.0,
6
 2.23606797749979,
7
 2.449489742783178,
8
 2.6457513110645907,
9
 2.8284271247461903,
10
 3.0]

可见上述代码的效果等价于如下的列表生成式:

1
[func(i) for i in range(10)]

用这种方法，可以简单快捷地把彼此相互独立的循环体拆解成多个平行任务。当然 n_jobs 的设置请遵循自己使用环境的情况，避免影响到其他人的使用。

joblib: 简单易懂的平行世界

https://cloudac7.vercel.app/posts/tricks/joblib-easy-usage/

作者

Cloudac7

发布于

2023-06-15

许可协议

CC BY-NC-SA 4.0

安装#

使用方法#

评论