将混合格式的.DAT转换为.CSV（或其他任何格式）

Question

我收集了大量需要转换的DAT文件（最终转换为唯一的文件类型）。 DAT在字段之间混合使用空白，并且列标题位于不同的行上。 有什么建议吗？

                    ALT_RAD
                                               ALT_RAD2
                 DIRECT        D_GLOBAL        U_GLOBAL          Zenith
Year Mn Dy Hr Mi        DIFFUSE2            D_IR            U_IR
2004  9  1  0  1    1.04   79.40   78.67  303.58   61.06  310.95  85.142
2004  9  1  0  2    0.71   74.36   73.91  303.80   57.82  310.92  85.171
2004  9  1  0  3    0.67   71.80   71.64  304.25   56.84  310.98  85.199
2004  9  1  0  4    0.75   74.35   74.83  304.21   59.68  310.89  85.227

我有一个基本的脚本：

import sys
with open(sys.argv[1], r) as input_file:
    newLines = []
    for line in input_file:
            newLines.append(newLine)

我肯定会更改为混合空白，但我不知道如何使用不正确的列标题。

最终，我希望标题为：

Year Month Day Hour Minute Direct Diffuse2 D_Global D_IR U_Global U_IR Zenith

Answer 1

对待输入文件中的那些标题行以及所有应有的轻蔑。 （或者换句话说，阅读并丢弃它们。）

headers='Year Month Day Hour Minute Direct Diffuse2 D_Global D_IR U_Global U_IR Zenith'
with open ( 'temp.dat') as input_file:
    with open ('temp_2.csv', 'w') as output_file:
        output_file.write('"%s"\n'%'","'.join(headers.split()))
        for count, line in enumerate(input_file):
            if count<4: continue
            outLine = ','.join(line.split())
            output_file.write(outLine + '\n')

Answer 2

这是“ Python-下载.dat并将其转换为.csv [duplicate]”的答案。 我无法在此处发布信息，仅供参考，您可以从此处获取确切的输出。

import urllib2
import csv
url = 'https://archive.ics.uci.edu/ml/machine-learning-databases/auto-mpg/auto-mpg.data'
response = urllib2.urlopen(url)
readData = response.read()
strObj = filter(None,readData.splitlines())

strObj = [w.replace('\t', '  ') for w in strObj]

listB = []
for i in strObj:
    listB.append(filter(None,i.split("  ")))
with open(r'c:/data2.csv','a') as f:
    writer = csv.writer(f)
    writer.writerows(listB)

Answer 3

看起来您可以根据单词在行中的位置动态地组合标题行。 您可以跳过前两行，然后合并后两行。 如果操作正确，将在文件流上留有一个迭代器，可用于根据需要处理剩余数据。 您可以将其转换为其他格式，甚至可以直接将其导入pandas DataFrame。

获取标题：

import re

def get_words_and_positions(line):
    return [(match.start(), match.group()) in re.finditer(r'[\w.]+', line)]

with open('file.dat') as file:
    iterator = iter(file)
    # Skip two lines
    next(iterator)
    next(iterator)
    # Get two header lines
    header = get_words_and_positions(next(iterator)) + \
             get_words_and_positions(next(iterator))
    # Sort by positon
    header.sort()
    # Extract words
    header = [word for pos, word in header]

现在，您可以将文件转换为真正的CSV，或对其进行其他操作。 这里重要的是，您有iterator指向文件流中的实际数据，以及一堆动态加载的列标题。

要将其余部分写到CSV文件中，而不必一次将整个内容加载到内存中，请使用csv.writer和上面的迭代器：

 import csv
 ...
 with ...:
 ...
    with open('outfile.csv', 'w') as output:
        writer = csv.writer(output)
        writer.writerow(header)
        for line in iterator:
            writer.writerow(re.split(r'\s+', line))

您可以嵌套输出结合with和外部输入with到一个单一的外块，以减少嵌套层次：

with open('file.dat') as file, open('outputfile.csv', 'w') as output:
    ....

要读取pandas DataFrame，您可以将file对象传递给pandas.read_csv 。 由于文件流此时已超过标题，因此不会出现任何问题：

import pandas as pd
...
with ...:
    ...
    df = pd.read_csv(file, sep=r'\s'+, header=None, names=header)