如何将数据和标头动态写入CSV？

Question

我需要将标头和数据写入csv。 我面临的问题是我的数据可能会更改顺序。 我想将数据精确地映射到特定标题栏下。 谁能告诉我该怎么做？

例如：我的数据看起来像

Min6    ItemNumber  FC1 FC2 Retailer    Brand   Description  Size
630   12549        0     0             Too-Tart  SWEET&SOUR   .7OZ
                   0     0      Ahold  Too-Tart  SWEET&SOUR   .7OZ
                   0     0      Test   Too-Tart  SWEET&SOUR   .7OZ

630   12550        0     0             Too       SWEET&Salt   .60Z
                   0     0      Test   Too       SWEET&SOUR   .7OZ
                   0     0      Ahold  Too       SWEET&SOUR   .23Z

并期待为

   Min6 ItemNumber  FC1 FC2 Retailer    Brand   Description     Size     Ahold-Description Ahold-Brand  Test-Description Test-Brand
   630    12549        0     0             Too-Tart  SWEET&SOUR .7OZ      SWEET&SOUR        Too-Tart     SWEET&SOUR       Too-Tart
   630    12549        0     0             Too-Tart  SWEET&Salt .6OZ      SWEET&SOUR        Too          SWEET&SOUR       Too

零售商的订单在这里可能会发生变化，许多零售商将在那里。 对于每个新零售商，将创建新的标题。 如果重复零售商，那么我想在已经创建的标题下准确地映射他的品牌和说明。

class CouponsDataPreProcessor < Transformer
  def run(path)
    @records = []
    input_base_name = File.basename(path, '.csv')
    first_row = true
    output_file = File.join('public', "coupons_data_preprocessor_#{input_base_name}_#{Time.now.strftime('%Y%m%d%H%M')}.csv")
    CSV.open(output_file, 'w') do |csv|
      CSV.foreach(path, {:headers => true}) do |row|
        if first_row
          @headers = row.headers
          first_row = false
        end
        if row['ItemNumber'].present?
          @records << row.fields
        else
          form_retailer_headers_and_fields(row)
        end
      end
      csv << @headers
      @records.each { |record| csv << record }
    end
    output_file
  end

  def form_retailer_headers_and_fields(row)
    retailer = row['Retailer']
    unless @headers.include?("Description-#{retailer}")
      @headers.push("Description-#{retailer}", "Brand-#{retailer}", "SubBrand-#{retailer}", "Size-#{retailer}")
    end
    @records.last.push(row['Description'], row['Brand'], row['SubBrand'], row['Size'])
  end

  def self.about
    'Preprocess coupons data into input line items'
  end
end

在这里，如果零售商被重复，并且他的顺序不同，那么我将无法准确地在他的标题列下映射他的值（例如：Brand-retailername）

如何创建一个行对象，将键作为标题，并将value作为该标题的值并将其推入输出的CSV文件中？

Answer 1

您的代码中似乎存在一些错误。

1. （第1行）您继承了Transformer ，但是您似乎并没有重用Transformer的任何方法。 考虑删除继承。

2. （第1行）您需要输入require 'csv'

3. （第4行）也许您打算编写File.basename(path << '.csv')

4. （第14行）您是否写过if row['ItemNumber'].present? 但是如果该列为空，则row ['ItemNumber']将为nil，因此程序将在MethodMissing上中止。 您可能打算使用present? activesupport gem中的方法，Stack Overflow用户需要使用该方法来测试您的代码的这一部分

我认为CSV库没有工具来检测（例如第3行的）前2列是否为空白，因此我认为您需要在使用CSV之前先用另一种可以识别这些列的工具进行预处理。

您可以编写一种方法来标识列号，但我只是笨拙地手动完成了（请使用整齐的代码编辑答案）：

COMMA = ','
f = File.open(path)
g = File.open('commas.csv', mode='w')
lines = f.readlines
lines = lines.reject{|ln| ln.length < 61} # reject the short line(s)
lines_with_commas = lines.collect{|ln| ln[0..3] << COMMA << ln[4..17] \
<< COMMA << ln[18..23] << COMMA << ln[24..27] << COMMA << ln[28..38] \
<< COMMA << ln[39..47]<< COMMA << ln[48..60]<< COMMA << ln[61..-1]} 
lines_with_commas.each{ |ln| g.write(ln)}
g.close

然后，您可以一次性导入CSV并搜索零售商。

> table = CSV.table('commas.csv')
> table[:retailer_].collect(&:strip).uniq
=> ["", "Ahold", "Test"]