是否有任何 Python 工具可以设置 dict/json 格式的配置，同时可以通过命令行 arguments 进行修改？

Question

是否有任何 Python 工具可以设置 dict/json 格式的配置，同时可以通过命令行 arguments 进行修改？

对于我们经常做研究实验的我们来说，是不是经常需要在一个python文件开头设置很多命令行arguments，并在下面的代码中作为args调用*：

例如，以下示例段落：

parser = argparse.ArgumentParser(description='index')
parser.add_argument('--index', default=0, type=int, help='party index')
parser.add_argument('--party_num', default=100, type=int)
args = parser.parse_args()

print(args.index)

多了一个参数，我们需要写一行parser.add_argument(...)，每个参数手写配置的时候会很繁琐，比如名字要加--，修改默认值，类型和描述的时候很麻烦，最后会导致代码很长而且维护不方便。

即使使用更高级的库click，仍然需要不断的编写option，并且需要在function的输入参数字段写入等量的参数来匹配所有的option，写代码真的很繁琐，比如以下点击代码：

import click

from caesar_encryption import encrypt

@click.command()
@click.argument('text', nargs=-1)
@click.option('--decrypt/--encrypt', '-d/-e')
@click.option('--key', '-k', default=1)
def caesar(text, decrypt, key):
    text_string = ' '.join(text)
    if decrypt:
        key = -key
    cyphertext = encrypt(text_string, key)
    click.echo(cyphertext)

if __name__ == '__main__':
    caesar()

不想在写代码的时候一遍遍地指定option，在function名称参数字段中写了很多对应的参数，很麻烦。

那么如果参数配置可以写成Python objects/JSON的格式，是不是让代码看起来更有条理，更清晰呢？

另外，是否可以像 Python 对象一样直接读写命令行 arguments，或者像没有配置命令行 arguments 一样对其进行深度复制？

最重要的是，我们能否让编写代码的过程更快，而不是一行一行地添加一点点配置？

Answer 1

易于使用的命令行配置工具

https://github.com/NaiboWang/CommandlineConfig

一个供用户以 Python Dict 或 JSON 格式编写（研究中的实验）配置的库，同时可以从命令行读取参数以修改值。

目录

- [Easy-to-use Commandline Configuration Tool](#easy-to-use-commandline-configuration-tool)
  - [Catalogue](#catalogue)
  - [Usage](#usage)
    - [Please submit issue](#please-submit-issue)
    - [Installation](#installation)
    - [Configuration Way](#configuration-way)
    - [Configuration parameters read and write method](#configuration-parameters-read-and-write-method)
      - [Write method](#write-method)
      - [Reading method](#reading-method)
      - [Pass configuration to functions](#pass-configuration-to-functions)
      - [Copy configuration](#copy-configuration)
      - [Store configuration parameters to local file or database](#store-configuration-parameters-to-local-file-or-database)
  - [Advanced options](#advanced-options)
    - [Restrict parameter input values to fixed enum types](#restrict-parameter-input-values-to-fixed-enum-types)
    - [Print parameter help descriptions](#print-parameter-help-descriptions)
      - [Set parameter descriptions](#set-parameter-descriptions)
      - [Print parameter help](#print-parameter-help)
  - [Things need attention](#things-need-attention)
    - [Conflict with Argparse](#conflict-with-argparse)
    - [Input value forced conversion](#input-value-forced-conversion)
    - [The list parameter needs to be assigned with a backslash before the string element quotes](#the-list-parameter-needs-to-be-assigned-with-a-backslash-before-the-string-element-quotes)
    - [Parameter naming convention](#parameter-naming-convention)
    - [Unlimited layer of nested objects](#unlimited-layer-of-nested-objects)
    - [Parameter integrity check, all parameters to be modified must be predefined](#parameter-integrity-check-all-parameters-to-be-modified-must-be-predefined)
    - [Special configurations in zsh environment](#special-configurations-in-zsh-environment)
  - [Full conversion example](#full-conversion-example)
  - [Example Running Script](#example-running-script)
  - [Shattered thoughts](#shattered-thoughts)
  - [TODO](#todo)

用法

请提交问题

如果您在使用该工具过程中遇到任何问题，请在本项目的github页面提出问题，我会第一时间解决遇到的bug和问题。

同时，欢迎提交问题，提出您想在此工具中添加哪些功能，我会尽可能实现。

安装

有两种方法可以安装这个库：

• 1. 通过 pip 安装：

      pip install commandline_config

  如果已经安装，可以通过以下命令升级：

   ```shell pip install commandline_config --upgrade ```

• 2. 直接将github项目的/commandline_config文件夹下的commandline_config.py文件导入到自己的项目目录下，需要安装依赖package prettytable ：

   pip install prettytable

配置方式

• 0. 导入库：

   from commandline_config import Config

• 1. 设置JSON/Python Dict格式的参数名称和初始值，并通过#注释添加参数说明。 目前支持将一个 dict 嵌套在另一个 dict 中，并且可以嵌套无限层。

      preset_config = { "index": 1, # Index of party "dataset": "mnist", 'lr': 0.01, # learning rate 'normalization': True, "multi_information":[1,0.5,'test',"TEST"], # list "dbinfo":{ "username":"nus", "password":123456, "retry_interval_time":5.5, "multi":{ "test":0.01, # Can nest to the 3th layer }, "save_password":False, "certificate_info":["1",2,[3.5]] } }

  即生成程序的初始配置。 preset_config dict中定义的每个key都是参数名，每个value都是参数的初始值，同时根据设置值的类型自动检测参数的初始值类型。

  上述配置包含index, dataset, batch, normalization, multi_information and dbinfo六个参数，其中参数index的类型自动检测为int ，默认值为1 ，描述为“Party 的索引”。

  同理，第二至第五个参数的类型和默认值为string: "mnist"; float:0.01; bool:True; list:[1,0.5,'test', "TEST"] "mnist"; float:0.01; bool:True; list:[1,0.5,'test', "TEST"] "mnist"; float:0.01; bool:True; list:[1,0.5,'test', "TEST"] 。

  第六个参数是一个dict类型的嵌套字典，同样包含6个参数，与前6个参数的类型和默认值相同，这里不再赘述。

• 2. 通过您想要的任何 function 中的preset_config字典创建配置 class object。

   if __name__ == '__main__': config = Config(preset_config) # Or give the configuration a name: config_with_name = Config(preset_config, name="Federated Learning Experiments") # Or you can store the preset_config in local file configuration.json and pass the filename to the Config class. config_from_file = Config("configuration.json")

  这意味着配置 object 生成成功。

• 3. 参数配置可以直接通过print function打印出来：

   print(config_with_name) ``` The output results are:

   Configurations of Federated Learning Experiments: +-------------------+-------+--------------------------+ | Key | Type | Value | +-------------------+-------+--------------------------+ | index | int | 1 | | dataset | str | mnist | | lr | float | 0.01 | | normalization | bool | True | | multi_information | list | [1, 0.5, 'test', 'TEST'] | | dbinfo | dict | See sub table below | +-------------------+-------+--------------------------+ Configurations of dict dbinfo: +---------------------+-------+-----------------+ | Key | Type | Value | +---------------------+-------+-----------------+ | username | str | nus | | password | int | 123456 | | retry_interval_time | float | 5.5 | | save_password | bool | False | | certificate_info | list | ['1', 2, [3.5]] | +---------------------+-------+-----------------+ Configurations of dict multi: +------+-------+-------+ | Key | Type | Value | +------+-------+-------+ | test | float | 15.0 | +------+-------+-------+ ```

  这里所有参数的信息都会以表格的形式打印出来。 如果要更改打印样式，可以通过config_with_name.set_print_style(style='')进行修改。 可用于style的值为： both 、 table 、 json ，这意味着同时打印 table 和 json，只打印 table，只打印 json 字典。

  例如：

   # Only print json config_with_name.set_print_style('json') print(config_with_name) print("----------") # Print table and json at the same time config_with_name.set_print_style('table') print(config_with_name) ``` The output results are:

   Configurations of Federated Learning Experiments: {'index': 1, 'dataset': 'mnist', 'lr': 0.01, 'normalization': True, 'multi_information': [1, 0.5, 'test', 'TEST'], 'dbinfo': 'See below'} Configurations of dict dbinfo: {'username': 'nus', 'password': 123456, 'retry_interval_time': 5.5, 'save_password': False, 'certificate_info': ['1', 2, [3.5]]} ---------- Configurations of Federated Learning Experiments: +-------------------+-------+--------------------------+ | Key | Type | Value | +-------------------+-------+--------------------------+ | index | int | 1 | | dataset | str | mnist | | lr | float | 0.01 | | normalization | bool | True | | multi_information | list | [1, 0.5, 'test', 'TEST'] | | dbinfo | dict | See sub table below | +-------------------+-------+--------------------------+ {'index': 1, 'dataset': 'mnist', 'lr': 0.01, 'normalization': True, 'multi_information': [1, 0.5, 'test', 'TEST'], 'dbinfo': 'See below'} Configurations of dict dbinfo: +---------------------+-------+-----------------+ | Key | Type | Value | +---------------------+-------+-----------------+ | username | str | nus | | password | int | 123456 | | retry_interval_time | float | 5.5 | | save_password | bool | False | | certificate_info | list | ['1', 2, [3.5]] | +---------------------+-------+-----------------+ {'username': 'nus', 'password': 123456, 'retry_interval_time': 5.5, 'save_password': False, 'certificate_info': ['1', 2, [3.5]]} Configurations of dict multi: +------+-------+-------+ | Key | Type | Value | +------+-------+-------+ | test | float | 15.0 | +------+-------+-------+ Configurations of dict multi: {'test': 15.0} ```

配置参数读写方式

写法

配置参数值可以用三种方式写入。

• 1. 要接收命令行 arguments，只需在命令行上传递--index 1以将index的值修改为1 。 另外，给不同类型的arguments传值的注意事项有：

  • 传递 bool 类型时，可以使用0或False为False ， 1或True或no value after the parameter为True ： --normalization 1或--normalization True或--normalization都可以在配置中设置参数normalization的值为真。

  • 传递列表类型时，可以传递空数组和多维arrays。

  • 修改嵌套dict中的值，请使用--nested-parameter-name.sub-parameter-name.sub-parameter-name.….sub-parameter-name value修改嵌套object中的值，如--dbinfo.password 987654将dbinfo子对象中的password参数值更改为987654 ； --dbinfo.multi.test 1将dbinfo子对象中的multi dict 中的test参数的值更改为 ```。 目前这个工具可以支持无限层/级别的嵌套。

  • 请注意，参数索引必须在上面定义的preset_config object 中：

     python test.py --dbinfo.password 987654 --dbinfo.multi.test 1 --index 0 --dataset emnist --normalization 0 --multi_information [\'sdf\',1,\"3.3\",,True,[1,[]]]

• 2. 在代码中直接使用config.index = 2将参数index的值改为2 。 同样，列表类型参数可以分配为空或多维 arrays。 对于嵌套对象，您可以使用config.dbinfo.save_password=True将 sub dict dbinfo中的save_password参数的值修改为True 。
• 3. 方式1和2会触发类型检查，即如果预定义的preset_config中赋值的类型和默认值的类型不匹配，程序会报错，因此，如果不想强制类型检查，可以使用config["index"] = "sdf"将参数 index 的值强制为字符串sdf （不推荐，会造成意想不到的影响）。

阅读方法

通过config.dataset或config["dataset"]直接读取参数dataset的值。

 ```python
    print(config.dataset, config["index"])
    ```

参数a的值将按以下顺序读取： config.a = * > 命令行指定的 --a --a 2的值 > preset_config 定义的"a":1指定的初始值.

对于列表类型，如果传递的是多维数组，则可以通过 python 的标准切片读取信息：

  ```python
    config.dbinfo.certificate_info = [1,[],[[2]]]
    print(config.dbinfo.certificate_info[2][0][0])
    ```

对于嵌套对象中的参数，读取参数值的方式有四种，都可以读取成功：

```
print(config.dbinfo.username)
print(config["dbinfo"].password)
print(config.dbinfo["retry_interval_time"])
print(config["dbinfo"]["save_password"])
```

将配置传递给函数

只需将上述配置 object 作为参数传递给 function 并调用它：

 ```python
    def print_dataset_name(c):
      print(c.dataset, c["dataset"], c.dbinfo.certificate_info)
    
    print_dataset_name(c=config)
    ```

复制配置

可以通过deepcopy方法对配置 object 进行深拷贝：

 ```python
    from copy import deepcopy
    copy_config = deepcopy(config)
    # Modify new configuration's parameter value, will not affect the orignal configuration
    copy_config.index=15 
    ```

将配置参数存储到本地文件或数据库

整个参数配置可以存储到本地文件，也可以上传到远程服务器，例如mongodb，只需通过config.save()将配置存储为config name (or config if there is no name).json文件在同一个文件中目录，或者您可以指定文件名和路径，如下所示：

 ```python
    config.save("config/test_config.json")
    ```

然后我们成功将配置保存到本地configuration.json文件夹里面的config文件。 文件内容如下：

```json
{
  "index": 5,
  "dataset": "sdf",
  "lr": 15.5,
  "normalization": true,
  "msg_config": { "test": "ttt" },
  "multi_information": [2, "sd", "sdfdsf"],
  "dbinfo": {
    "username": "test",
    "password": 1,
    "retry_interval_time": 22.0,
    "multi":{
      "test": 0.01
    },
    "save_password": false,
    "certificate_info": [1, [], [[2]]]
  }
}
```

要将其存入mongodb等数据库，需要先用info = config.get_config()命令获取参数对应的json序列， json库序列化。

整个配置参数可以 JSON 模式存储在本地文件中，也可以上传到远程服务器，例如mongodb 。 需要通过info = config.get_config()命令得到对应的JSON参数序列，然后用对应的insert命令插入。

例如，要将config_with_name配置存储到mongodb ：

 ```python
    import pymongo
    myclient = pymongo.MongoClient('mongodb://username:example.com:27017/', connect=False)
    mydb = myclient['exps']
    table = mydb["table"]
    # Get the configurations
    configuration = config.get_config()
    # Insert configuration dict into mongodb table
    table.insert_one(configuration)
    
    # Or make configuration as part of a bigger dict
    all_info = {
      "exp_time":"20220925",
      "configuration":configuration
    }
    table.insert_one(all_info)
    ```

高级选项

将参数输入值限制为固定枚举类型

通过将Config参数的options参数传递给Config class 来设置高级选项，例如枚举 Enum 类型。

 ```python
    option={}
    config = Config(preset_config, options=option)
    ```

如果要将参数的值限制在一定范围内，可以通过配置来实现：

 ```python
    advanced_options = {
        'lr': {
            "enum": [0.001, 15.5, 0.01, 0.1] # restrict the lr value to one of 0.001, 15.5, 0.01, 0.1
        },
        'index': {
            "enum": [1, 2, 3] # Restrict the index value to 1, 2 and 3
        },
        "dbinfo": {
            "username": {
                "enum": ["XDU", "ZJU", "NUS"] # restrict the dbinfo.username field to XDU, ZJU and NUS
            },
            "multi":{
                "test":{
                    "enum": [1,0.1, 0.01, 15] # 3 layers nested
                }
            }
        },
    }
    
    config = Config(preset_config, options=advanced_options)
    ```

如果设置了enum，下面三种将参数设置为限定/指定值以外的值的方式都会报错。

• 1. index的初始值在preset_config中设置为1,2,3以外的值：

      preset_config = { "index":4, }

• 2. 命令行为lr参数传递不合格/未指定的值

   python example.py --lr 0.02 ```

• 3. 该代码将dbinfo.username 、 XDU, ZJU and NUS以外的值。

      config.dbinfo.username = "UEST"

  output 是：

   AttributeError: Can not set value 4 because the key 'index' has set enum list and you the value 4 is not in the enum list [1, 2, 3]: AttributeError. Can not set value 0.02 because the key 'lr' has set enum list and you the value 0.02 is not in the enum list [0,001. 15,5. 0,01. 0:1], AttributeError, Can not set value nus because the key 'username' has set enum list and you the value nus is not in the enum list ['XDU', 'ZJU', 'NUS']!

命令行。