从 csv 复制时，复制命令不会更新 Id_sequence 列将错误抛出到列“id”中的空值违反非空约束

Question

我有 csv 文件，必须将数据复制到 postgre 表，如果在我的 csv 中，如果我不输入 Id 和 Updated_at 的数据会抛出错误，但它不应该因为 id 被标记为默认值和增量。 我正在从 python 做这个副本

错误：

2019-12-01T14:05:16.57+0530 [APP/PROC/WEB/0] OUT 错误代码：23502。错误错误：“id”列中的空值违反了非空约束 2019-12-01T14:05:16.57 +0530 [APP/PROC/WEB/0] OUT DETAIL：失败的行包含（null，street_address，null）。
2019-12-01T14:05:16.57+0530 [APP/PROC/WEB/0] OUT CONTEXT：复制人口统计类型，第2行：“，街道地址，”

CREATE TABLE IF NOT EXISTS public.demographic_types (
    id bigint DEFAULT nextval('public.demographic_types_id_seq'::regclass) NOT NULL,
    demographic_type text NOT NULL,
    updated_at timestamp with time zone DEFAULT now() NOT NULL
);

Python代码

def load_data(conn):
    """
    Load seeded data
    """
    db = os.environ['DATABASE_URL']
    dbname = db.replace("hsdp_pg","harbinger")
    try:
        with psycopg2.connect(dbname) as conn1:

            #migrate_db(conn, dbname, mirth_pw, harbinger_pw, psql_path, init_db)
            conn1.commit()
    except psycopg2.Error as exp1:
        print(exp1)
        print ('Error Code: %s. Error %s' % (exp1.pgcode, exp1.pgerror))


    print(conn1)
    path = os.path.dirname(os.path.realpath(__file__))    
    print (os.path.join(path,"database/data/*.csv"))
    for fle in sorted(glob.glob(os.path.join(path,"database/data/*.csv"))):
        print ('>>>Migrating data %s' % fle)
        table_name = os.path.basename(fle).replace('.csv', '')

        try:
            #silent_query(conn, sql, None)
            with conn1.cursor() as cur:
                #delete data first
                print('Deleting data from table  %s' % table_name)
                cur.execute('TRUNCATE %s CASCADE' % table_name)
                print('i am done and waiting')
                conn1.commit()


                with open(fle, 'r') as f:
                    #headers = ", ".join(table_column_mapping_data[table_name])
                    print("i am here ")
                    #cur.copy_from(f, table_name, sep=',')
                    #sql = "INSERT INTO %s (ID, demographic_type, updated_at) VALUES (%s,%s,%s)" % table_name
                    #record_insert = ('1', 'phone', '')
                    #cur.execute(sql, record_insert)
                    sql = "COPY %s from STDIN WITH CSV HEADER DELIMITER ','" % table_name
                    #print(sql)
                    cur.copy_expert(sql, f)
                    conn1.commit()
        except psycopg2.Error as exp2:
            print ('Error Code: %s. Error %s' % (exp2.pgcode, exp2.pgerror))

Answer 1

如果我理解正确，您想从 CSV 文件导入一些数据，但允许数据库自动填充一些具有默认值的列（id 列的序列的 nextval 或 updated_at 列的 now() ）。

为此，您必须告诉复制命令哪些列在 CSV 文件中，如下所示：

for fle in sorted(pathlib.path(path,"database/data/").glob("*.csv")):
    logging.info('>>>Migrating data %s', fle)
    table_name = fle.stem
    try:
        with conn1.cursor() as cur:
            logging.info('Deleting data from table %s', psycopg2.extensions.quote_ident(table_name))
            cur.execute('TRUNCATE %s CASCADE' % psycopg2.extensions.quote_ident(table_name, cur))
            logging.info('i am done and waiting')

            with open(fle, 'r') as f:
                cur.copy_from(
                    f,
                    table_name,
                    sep=',',
                    columns=[
                        'demographic_type',
                        'updated_at',
                        'street_address',
                        'city',
                        'state_or_province',
                        'postal_code',
                        'secondary_phone',
                        # more columns, but without id or created_at
                    ]
                )
        conn1.commit()
    except psycopg2.Error as exp2:
        print ('Error Code: %s. Error %s' % (exp2.pgcode, exp2.pgerror))

Answer 2

一点解释。 您面临的主要问题来自对默认规范实际作用的误解。 期望提供默认值意味着使用此值而不是 null会出现此问题。 情况并非如此，如果列列表中未提及列名称，则在插入时指定默认值使用此值。 因此给出以下内容：

create table use_default ( id       serial primary key
                         , column1  text
                         , column2  text default 'Undefined'
                         ) ;

insert into use_default(column1) values('abc');                         
-- gives the default to column2 as it is NOT mentioned in the insert 

select * from use_default; 
/* results in 
id  column1  column2
1   abc      Undefined
*/

insert into use_default(column1, column2)
  values ('def','given value')
       , ('ghi', null) ;
-- gives row def with column2 as 'given value' as it is specified
-- but row ghi has column2 as NULL. again as it was specified value

select * from use_default;
/*
id  column1 column2
1   abc     Undefined
2   def     given value
3   ghi     
*/ 

到目前为止，每个插入都生成了未指定的 id。 但仅仅因为它被指定为自动生成（由于串行定义在逻辑上最少），如果提供它，它仍然具有相同的处理。 注意有时不幸的是，NULL 是一个非常好的值。 所以：

 insert into use_default(id, column1) values (0,'Special id'); 
 Works just fine and gives the id as specified;

 select * from use_default where id = 0;
/*
id  column1    column2
0   Special id Undefined
*/


insert into use_default(id, column1) values(null, 'Special2');
/*
ERROR:  null value in column "id" violates not-null constraint
DETAIL:  Failing row contains (null, Special2, Undefined).
*/

现在您不会编写试图将 PK 设置为 null 的语句，但这本质上是 copy 命令正在执行的操作。 由于您没有指定列，它尝试使用 NULL 填充所有列而不是省略某些列。