將字符串列轉換為Apache Beam中的整數列？

Question

我正在嘗試將一個填充有空值和一些作為字符串存儲的數字的字符串列轉換為Google DataFlow中的整數列。 誰能幫我用python代碼做到這一點？

Answer 1

看起來這已經坐了一段時間了。 如果您可以張貼一些示例文本/代碼，這可能會很有幫助，到目前為止，您已經嘗試過什么或數據看起來像什么。 這是我在有限的信息下能做的最好的事情：

    with beam.Pipeline(options=PipelineOptions()) as p:
        #this reads in the data
        your_data = p | 'Your_Data' >> beam.io.ReadFromText('/path/to/data.csv')
        #each line is read in as a String '11139422, null, null, 60.75'
        #so we split each row of the PCollection into it's own String of values
        # '11139422', '', '', '60.75'
        split_your_data = your_data | 'split' >> beam.FlatMap(lambda x: x.split(","))
        #We then have to convert everything to int values
        your_data_to_int = split_your_data | 'String_to_Int' >> beam.Map(lambda w: int(w))