如何根据需要从 python 脚本自动安装所需的包？

Question

在 python 或 linux 中有什么东西基本上指示系统“安装任何必要的东西”。 基本上我觉得为我工作的每个新脚本/系统/服务器安装 python 包很烦人。 无论如何，每次我最终都会执行 sudo pip 或 apt-get 或 dnf。 为什么不在脚本本身内自动化。 无论何时出现“找不到包”错误，请将库名称传递给安装语句。 这是在吗？

PS：我知道 docker 存在，但我只是在 python/脚本级别或直接系统级别进行讨论，纯粹是为了执行目的。

谢谢

Answer 1

如何根据需要从 python 脚本自动安装所需的包？

假设您的 Python 脚本是example.py ：

import os
import time
import sys
import fnmatch
import requests
import urllib.request
from bs4 import BeautifulSoup
from multiprocessing.dummy import Pool as ThreadPool 
print('test')

您可以使用pipreqs根据 Python 脚本包含的import语句自动生成一个requirements.txt文件。 要使用pipreqs ，假设您在example.py所在的目录中：

pip install pipreqs
pipreqs .

它将生成以下requirements.txt文件：

requests==2.23.0
beautifulsoup4==4.9.1

您可以安装：

pip install -r requirements.txt

Answer 2

我知道的最好方法是，创建一个文件requirements.txt列出其中的所有包名称并使用pip安装它

pip install -r requirements.txt

示例requirements.txt ：

BeautifulSoup==3.2.0
Django==1.3
Fabric==1.2.0
Jinja2==2.5.5
PyYAML==3.09
Pygments==1.4
SQLAlchemy==0.7.1
South==0.7.3
amqplib==0.6.1
anyjson==0.3
...

Answer 3

当您在新机器上安装自定义项目时，您可以使用 setuptools 自动安装依赖项。 如果您只想安装一些PyPI包，需求文件就可以正常工作。

这是两者之间的一个很好的比较。 从同一个链接你可以看到，如果你的项目有两个依赖包A和B ，你必须在你的 setp.py 文件中包含一行

install_requires=[
   'A',
   'B'
] 

当然， setuptools可以做的更多。 您可以包括外部库（例如 C 文件）、非 PyPI 依赖项等的设置。 文档提供了有关安装依赖项的详细概述。 还有一个非常好的 Python 打包入门教程。

从他们的例子来看，典型的 setup.py 文件看起来像这样。

from setuptools import setup

setup(name='funniest',
      version='0.1',
      description='The funniest joke in the world',
      url='http://github.com/storborg/funniest',
      author='Flying Circus',
      author_email='flyingcircus@example.com',
      license='MIT',
      packages=['funniest'],
      install_requires=[
          'markdown',
      ],
      zip_safe=False)

总之，开始使用setuptools非常简单。 这个包可以很容易地将你的代码迁移到新机器上。

Answer 4

pip3 安装 pipreq

pip3 install -U --user pipreqs

mv requirements.txt  requirements.txt.orig
pipreqs --force ./

和

猫需求.txt

Keras==2.2.4 
scipy==1.3.0 
numba==0.44.1 
imgaug==0.2.9 
opencv_python==4.1.0.25

但是，有些模块需要二进制编译（您没有库），有些可以由系统包管理器使用不同的名称安装。

Answer 5

自动requirements.txt更新方法

我不太确定自动安装什么是必要的，但如果你停止使用requirements.txt ，有 3 种方法：

1. 开发后生成requirements.txt，当我们要部署的时候。 它由pip freeze > requirements.txt或pipreqs执行，以减少混乱的结果。
2. 每次安装后手动将每个模块添加到 requirements.txt。
3. 安装管理器将为我们处理 requirements.txt 更新。

stackoverflow 上的 1-st 选项有很多答案，2-d 选项不言自明，所以我想描述 3-d 方法。 有一个名为to-requirements.txt的库。 要安装它，请键入：

pip install to-requirements.txt  # Pip install to requirements.txt

如果您一次阅读整个命令，您会看到它的作用。 安装后你应该设置它。 跑：

requirements-txt setup

它会覆盖 pip 脚本，以便每个pip install或pip uninstall使用所需版本的包自动更新项目的 requirements.txt 文件。 覆盖是安全的，因此在卸载此包后，pip 将表现正常。

您可以自定义它的工作方式。 比如全局禁用，只对需要的目录激活，只对git仓库激活，或者如果不存在则允许/禁止创建requirements.txt文件。

链接：

1. 文档 - https://requirements-txt.readthedocs.io/en/latest/
2. GitHub - https://github.com/VoIlAlex/requirements-txt
3. PyPI - https://pypi.org/project/to-requirements.txt/