在Unix中使用awk或sed进行解析

Question

我有多个文件，成千上万的记录具有以下格式：

2010/08/10 10:07:52|TrainZoom|1393|38797|MyCustomerAPI->,mask = ZPTA,TransId = 1281460071578,testing :-> , capture -> : , IMDB = 9113290830, equipmentName = GMT, technologyName = RMS,,,)|

有些字段用竖线分隔，而在字段（最后）内，还有许多其他字段用逗号分隔。 我要做的是将所有这些值存储在数据库中。 对于上面的示例，我的DB字段为日期时间，进程名称，线程ID，序列号，API名称，transId，imdb，deviceName，technologyName。
API名称不是固定格式，但是我可以假定其为固定长度。

请让我知道我是否可以使用awk或sed在Unix中执行此操作。

谢谢，

Answer 1

纯娱乐：

cat file.txt | sed -e 's/\([^|]*\)|\([^|]*\)|\([^|]*\)|\([^|]*\)|/insert into table set date-time=\1, process-name=\2, thread-id=\3, sequence-num=\4, /' -e 's/,[^=]*,/,/g' -e 's/ \([,=]\)/\1/g' -e 's/\([,=]\) /\1/g' -e 's/\([^,]*\)=\([^,]*\),/\1="\2",/g' -e 's/"[^"]*$/";/' | mysql dbname

Answer 2

是的，您至少可以在awk中进行解析，

awk -F"|" 'BEGIN{q="\047"}
{
 printf "insert into table values("
 printf q $1 q","q $2,","
 # fill up the rest yourself
}
' file  

上面的代码产生了一堆插入语句。 您可以将它们通过管道传输到数据库客户端，或者将它们保存到.sql文件，然后使用数据库客户端执行该文件。

Answer 3

我将使用perl或python来完成这项工作，因为它们为不同类型的DB提供了DB连接器。 我看不到您要awk或sed做什么，因为它们是“文本到文本转换器”。

如果需要一些示例代码，则应完成问题以阐明目标（例如text => sql脚本？）和目标DB。

Answer 4

您至少可以直接在bash中进行解析。 我不确定您要使用这些值做什么，但是此脚本解析每一行并显示各个字段：

#!/bin/bash

while IFS='|' read dateTime processName threadId sequenceNum other; do
    IFS=',' read apiName mask transId testing capture imdb equipmentName technologyName other <<< "$other"

    echo "date-time:       $dateTime"
    echo "process-name:    $processName"
    echo "thread-id:       $threadId"
    echo "sequence-num:    $sequenceNum"
    echo "api-name:        $apiName"
    echo "trans-id:        $transId"
    echo "imdb:            $imdb"
    echo "equipment-name:  $equipmentName"
    echo "technology-name: $technologyName"
done