文章目录
在 Python 中,subprocess
模块是用于执行外部命令和子进程管理的强大工具。它不仅能替代旧的 os.system()
和 os.popen()
函数,而且提供了更灵活和强大的控制方式,适合处理输入输出、进程控制等需求。以下是对 subprocess
模块的详解,包括常用方法和丰富的示例。
subprocess 模块概述
在 Python 中运行外部命令时,实际上是创建了一个新进程。subprocess
模块封装了一系列函数来创建和管理子进程,同时提供了多种方式来处理标准输入输出流。它可以用来替代早期的 os.system()
和 os.popen()
,让进程间的文本通信和控制更加便捷。
常用的封装函数
- subprocess.call():用于执行命令并等待其完成。返回值为命令的退出码(类似于 Linux 中的
exit code
)。 - subprocess.check_call():与
call
类似,但在子进程返回非零退出码时抛出subprocess.CalledProcessError
异常。 - subprocess.check_output():用于获取子进程的标准输出,返回输出内容。若进程退出码非零,则同样抛出
CalledProcessError
异常。
例如,使用 subprocess.call()
执行 ls -l
命令:
import subprocess
return_code = subprocess.call(["ls", "-l"])
print("Exit Code:", return_code)
Popen 类与灵活控制
subprocess
模块的核心是 Popen
类,通过它可以对子进程进行更细粒度的管理,比如非阻塞运行、管道传输等。Popen
是所有高级函数的底层实现,当我们需要自定义行为时,可以直接使用它。
- Popen 对象创建后不会自动等待子进程完成。调用
Popen.wait()
可使主进程阻塞,直到子进程结束。 - 多种方法:
poll()
检查进程状态,kill()
和terminate()
可终止进程,communicate()
则用于进程间输入输出的交互。
示例:
import subprocess
# 运行 ping 命令并等待完成
child = subprocess.Popen(['ping', '-c', '4', 'google.com'])
print("Parent process running...")
child.wait()
print("Ping completed.")
高级用法:Popen
对象
Popen
提供了更细粒度的控制,允许在不阻塞程序的情况下异步执行命令,还支持通过管道传递数据。以下示例展示了通过管道连接 grep
和 sort
命令:
p1 = subprocess.Popen(['grep', 'pattern', 'file.txt'], stdout=subprocess.PIPE)
p2 = subprocess.Popen(['sort'], stdin=p1.stdout, stdout=subprocess.PIPE)
p1.stdout.close() # 允许 p1 退出
output, _ = p2.communicate() # 捕获结果
print(output.decode())
子进程的标准流控制
使用 Popen
时,子进程的 stdin
、stdout
和 stderr
可以被重定向或连接成管道。subprocess.PIPE
用于将一个进程的输出作为另一个进程的输入,通过 communicate()
方法与子进程进行交互。
示例:将 ls
的输出传递给 grep
命令进行筛选:
import subprocess
# 通过管道传递输出
p1 = subprocess.Popen(["ls", "-l"], stdout=subprocess.PIPE)
p2 = subprocess.Popen(["grep", "pattern"], stdin=p1.stdout, stdout=subprocess.PIPE)
p1.stdout.close()
output = p2.communicate()[0]
print("Filtered output:\n", output.decode())
基本用法:subprocess.run()
subprocess.run()
是 Python 3.5 引入的更简洁的接口,用于运行命令并等待完成。可以通过 check
参数指定是否在命令失败时报错,通过 capture_output
参数捕获命令的输出。
import subprocess
# 执行简单的命令并返回结果
result = subprocess.run(['ls', '-l'], capture_output=True, text=True)
print("Standard Output:", result.stdout)
print("Standard Error:", result.stderr)
print("Return Code:", result.returncode)
处理超时和错误
subprocess.run()
可以设置超时时间并处理异常。例如:
try:
result = subprocess.run(['sleep', '10'], timeout=5)
except subprocess.TimeoutExpired:
print("Command timed out!")
进程间通信:与子进程交互
可以通过 stdin.write()
和 stdout.read()
与子进程交互。例如,以下代码向 Python 子进程输入数据并读取输出:
process = subprocess.Popen(['python3'], stdin=subprocess.PIPE, stdout=subprocess.PIPE, text=True)
output, _ = process.communicate("print('Hello from subprocess')\n")
print("Output from subprocess:", output)
子进程和并发处理
使用多个 Popen
实例可以实现并发处理。例如并发执行两个命令:
p1 = subprocess.Popen(['ping', '-c', '4', 'google.com'])
p2 = subprocess.Popen(['ping', '-c', '4', 'bing.com'])
p1.wait()
p2.wait()
示例:批量执行命令并记录日志
可以使用 subprocess
将输出重定向到日志文件,适合批量处理任务:
with open("output.log", "w") as log_file:
subprocess.run(['ls', '-l'], stdout=log_file, stderr=subprocess.STDOUT)
完整示例:多任务流水线
以下示例展示如何使用 subprocess
实现复杂的命令流水线,通过 grep
、cut
和 sort
来处理数据:
p1 = subprocess.Popen("ps aux | grep python", shell=True, stdout=subprocess.PIPE)
p2 = subprocess.Popen(['cut', '-c', '1-100'], stdin=p1.stdout, stdout=subprocess.PIPE)
p3 = subprocess.Popen(['sort'], stdin=p2.stdout, stdout=subprocess.PIPE)
output, _ = p3.communicate()
print(output.decode())
总结
subprocess
是 Python 中非常灵活的外部命令调用模块,可以满足多种复杂的需求。希望上述内容和示例能帮助理解和掌握 subprocess
的各种用法。