Django Postgres 多架构迁移：“无需应用迁移”

Question

设置：一个具有两种模式的 Postgres 数据库：“默认”和“其他”。 使用：

• Django==2.0.10
• psycopg2-binary==2.7.7 （生产中没有二进制版本）

我的数据库配置：

DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.postgresql',
        'OPTIONS': {
            'options': '-c search_path=django,default',
        },
        ...
        'TEST': {
            'NAME': 'default',
            'DEPENDENCIES': ['other'],
        },
        'ATOMIC_REQUESTS': True,
    },
    'other': {
        'ENGINE': 'django.db.backends.postgresql',
        'OPTIONS': {
            'options': '-c search_path=other,default',
        },
        ...
        'TEST': {
            'NAME': 'other',
            'DEPENDENCIES': [],
        },
        'ATOMIC_REQUESTS': True,
    }
}

在新数据库上采取的步骤：

• py manage.py migrate ：按预期工作，并且“默认”架构已正确迁移。
• py manage.py migrate --database=other结果： No migrations to apply.

奇怪的是，以相反的顺序执行这些步骤（再次，在一个新的数据库上）是有效的：

• py manage.py migrate --database=other ：按预期工作并且“其他”模式已正确迁移。
• py manage.py migrate结果：按预期工作，并且“默认”架构已正确迁移。

我怀疑这与django_migrations表有关。 我对这张表不太了解，每个 Postgres 模式有一个吗？ 还是每个项目只有一个django_migrations表？ 经过大量的谷歌搜索，我看到了很多关于使用数据库路由器的建议。 “其他”模式必须具有与“默认”模式相同的所有表，因此在这种情况下路由器将无济于事。

在“默认”上运行迁移然后在“其他”上运行迁移后，我尝试执行 SQL DELETE FROM django_migrations ； 这仅适用于新数据库上的第一次迁移，任何后续迁移尝试都会导致错误，因为 Django 尝试应用已应用的迁移并引发django.db.utils.ProgrammingError: relation "<relation>" already exists 。

我还尝试使用django.db.migrations.recorder.MigrationRecorder类来刷新迁移表之间的迁移“默认”和“其他”数据库，再次没有运气。

此外，我能够让我的测试套件运行的唯一方法是将“其他”设置为“默认”的依赖项，以利用在“默认”工作之前迁移“其他”的奇怪事实。

我不知道为什么会发生这种情况，我确定我遗漏了一些东西。

更新

采取与前面提到的相同的步骤：

• py manage.py migrate ：按预期工作，并且“默认”架构已正确迁移。
• py manage.py migrate --database=other结果： No migrations to apply.

在 pgAdmin 中进行了一些挖掘之后，我运行了以下 SQL

SET search_path TO default
SELECT * FROM django_migrations

这按预期返回了应用迁移表。 然后运行以下SQL

SET search_path TO other
SELECT * FROM django_migrations

我收到一条错误消息，说“django_migrations”关系不存在。 所以这回答了我关于django_migrations表的问题：每个模式应该有一个，这当然很有意义。

因此，这让我认为 Django 在尝试迁移“其他”模式时必须查看“默认”模式中的django_migrations表，从而看到“没有要应用的迁移”。 我将继续尝试解决这个问题，任何指针都会有很长的路要走，因为我仍然不确定如何让迁移在两种模式上工作。

更新

我已经写了这个作为答案，但这个解决方案只能在本地工作，所以我将它添加为更新。

在盯着DATABASES配置看了一会儿之后，我终于明白是什么导致了我所看到的问题。 我为每个search_path选项提供了一个逗号分隔的列表，如下所示：

DATABASES = {
    'default': {
        ...
        'OPTIONS': {
            'options': '-c search_path=django,default',
        },
        ...
    },
    'other': {
        ...
        'OPTIONS': {
            'options': '-c search_path=other,default',
        },
        ...
    }
}

我对这里发生的事情的解释：在新数据库上运行py manage.py migrate ，Django 将看到“默认”模式中没有django_migrations表，创建一个表，然后在应用迁移时填充它。 然后，当我运行py manage.py migrate --database=other ，它将在 'other' 中查找django_migrations ，找不到它，然后它必须在 'default' 中查找，因为它是在搜索路径中查找的下一个位置。 由于django_migrations已存在于“默认”模式中，Django 将使用此表，然后看到“没有要应用的迁移”。 我在这里可能不完全准确，如果我说的明显错误，请纠正我。

像这样更改DATABASES配置中的搜索路径：

DATABASES = {
    'default': {
        ...
        'OPTIONS': {
            'options': '-c search_path=default',
        },
        ...
    },
    'other': {
        ...
        'OPTIONS': {
            'options': '-c search_path=other',
        },
        ...
    }
}

导致这两个模式在我的本地环境中成功迁移。 但是，当迁移在 TravisCI 或 Heroku 上运行时，这不起作用。 这两者在迁移“默认”或“其他”时都会出现此错误：

Traceback (most recent call last):
  File "/home/travis/virtualenv/python3.6.3/lib/python3.6/site-packages/django/db/backends/utils.py", line 83, in _execute
    return self.cursor.execute(sql)
psycopg2.ProgrammingError: no schema has been selected to create in
LINE 1: CREATE TABLE "django_migrations" ("id" serial NOT NULL PRIMA...

Answer 1

我的问题的解决方案分为两部分。

让迁移在 TravisCI 上工作

在发现 GitHub 令人难以置信的 repo 搜索功能后，我在任何.travis.yml文件中搜索了CREATE SCHEMA <schema_name>的任何.travis.yml 。

我在我的.travis.yml文件的before_script中更改了这两行

- psql -c "CREATE DATABASE travisci;" -U postgres
- psql -c "CREATE SCHEMA other;" -U postgres

到

- psql -c "CREATE DATABASE travisci;" -U postgres
- psql -c "CREATE SCHEMA other;" -d travisci -U postgres

添加-d travisci参数会导致两种模式都正确迁移。

让迁移在 Heroku 上工作

我一直在使用这个命令来访问我的 Heroku 应用程序的 SQL 客户端：

heroku pg:psql -a <app_name>

为什么这行不通对我来说应该很明显。 每个 Heroku 应用程序可以有多个数据库，但我没有指定数据库名称。 使用此命令有效：

heroku pg:psql <database_name> -a <app_name>

还使用 pgAdmin 创建模式工作。