Stack Overflow 64 个字符限制

Question

我正在从 web 中抓取的 excel 个文件创建一个数据库，问题是源缺少模式，列的名称变化很大，有时它超过 MySQL 的 64 个字符限制。我现在的解决方案正在运行脚本并将我找到的每个单词替换为简化版本。 问题是数据太多，替换库越来越大。

这是替换后创建的一个表的示例：

CREATE TABLE `ecorodovias_concessões_e_serviços__bal_at` (
    `index` TEXT, 
    `ATIVO TOTAL` FLOAT(53), 
    `ATIVO CIRCULANTE` FLOAT(53), 
    `CAIXA E EQS CAIXA` FLOAT(53), 
    `CAIXA E BANCOS` FLOAT(53), 
    `APL FINS` FLOAT(53), 
    `APL FINS AV VAL` FLOAT(53), 
    `TIT NEG` FLOAT(53), 
    `TIT DISP VENDA` FLOAT(53), 
    `APL FINS AV CUSTO AMORTIZADO` FLOAT(53), 
    `TIT MANTIDOS ATÉ O VENCIMENTO` FLOAT(53), 
    `CONTAS RECEBER` FLOAT(53), 
    `CLIENTES` FLOAT(53), 
    `OUTRAS CONTAS RECEBER` FLOAT(53), 
    `ESTOQUES` FLOAT(53), 
    `ATIVOS BIOLÓGICOS` FLOAT(53), 
    `TRIB REC` FLOAT(53), 
    `TRIB CORRENTES REC` FLOAT(53), 
    `DSP ANTECIPADAS` FLOAT(53), 
    `PRÊMIOS E SEGUROS APROPRIAR` FLOAT(53), 
    `OUTROS ATIVOS CIRCULANTES` FLOAT(53), 
    `ATIVOS NCO VENDA` FLOAT(53), 
    `ATIVOS OP DESCS` FLOAT(53), 
    `OUTROS` FLOAT(53), 
    `TIT E VAL MOB` FLOAT(53), 
    `DIV E JUROS CAPITAL` FLOAT(53), 
    `OUTROS CRED` FLOAT(53), 
    `EMPRESAS LIGADAS` FLOAT(53), 
    `ATIVO NCI` FLOAT(53), 
    `ATIVO REALIZÁVEL LONGO PRAZO` FLOAT(53), 
    `TRIB DIFERIDOS` FLOAT(53), 
    `IR E CS DIFERIDOS` FLOAT(53), 
    `CRED PT RELS` FLOAT(53), 
    `CRED COLIGADAS` FLOAT(53), 
    `CRED CONTROLADORES` FLOAT(53), 
    `CRED OUTRAS PT RELS` FLOAT(53), 
    `OUTROS ATIVOS NCIS` FLOAT(53), 
    `DPST JDC` FLOAT(53), 
    `INV` FLOAT(53), 
    `PART SOCIETÁRIAS` FLOAT(53), 
    `PART COLIGADAS` FLOAT(53), 
    `OUTRAS PART SOCIETÁRIAS` FLOAT(53), 
    `PROPRIEDADES INV` FLOAT(53), 
    `IMOB` FLOAT(53), 
    `IMOB OP` FLOAT(53), 
    `IMOB ARRADO` FLOAT(53), 
    `IMOB ANDAMENTO` FLOAT(53), 
    `INTA` FLOAT(53), 
    `CONT CSS` FLOAT(53), 
    `OBRAS ANDAMENTO` FLOAT(53), 
    `GOODWILL` FLOAT(53)
)

在替换之前，一列可能类似于“ATIVOS REALIZADOS APÓS COMPRA DE RODOVIA E LIQUIDAÇãO DE LUCROS”，这将导致 64 个字符错误。

我的替换库遵循这种模式：

balativo = balativo.replace(regex=['IMPOSTO DE RENDA'], value='IR')
balativo = balativo.replace(regex=['REDUÇÃO'], value='VAR')
balativo = balativo.replace(regex=['AUMENTO'], value='VAR')
balativo = balativo.replace(regex=['EFEITO'], value='VAR')
balativo = balativo.replace(regex=['PERDA'], value='VAR')
balativo = balativo.replace(regex=['GANHO'], value='VAR')
balativo = balativo.replace(regex=['CONSTITUIÇÃO'], value='VAR')
balativo = balativo.replace(regex=['REVERSÃO'], value='VAR')
balativo = balativo.replace(regex=['CAIXA DESPENDIDO'], value='DESPESA')
...

所以我想知道是否有一种不同且更有效的方法来自动匹配 64 个字符的限制，列名不必与源完全匹配。

Answer 1

我找到了一个对我有用的替代方法，截断数据，对于我的数据库来说，最重要的信息是第一句话，所以截断对我有用，这是部分代码：

columnslist = []
columns = list(balativo.columns)
for column in columns:
    if len(column) >= 64:
        column = column[0:63]
        columnslist.append(column)
    else:
        columnslist.append(column)
balativo = balativo.set_axis(columnslist, axis=1)

这有助于将 ~4000 张工作表无误地上传到我的数据库，因此如果有人遇到同样的情况，我会将其标记为答案。