使用SAS导入包含3070个字段的CSV文件

Question

我使用的是AIX 5.3和SAS 9.1.3

我有一个2.7G的CSV文件。
该文件有大约110k行。
每行有3070个字段。

我使用文件名myCSVfile LRECL = 32768;
然后，我使用Proc import ... delimiter =“，”...

SAS程序似乎挂断了。
运行1小时后它仍然存在。

我头文件只有40行，然后再试一次。
这一次，似乎也挂断了。
运行1小时后仍然存在。
这个小文件没有改进。

日志文件是0字节。
另外，当我ps -ef时，进程已经吃了10％的CPU。
最后我必须在离开办公室之前将其杀死。

有什么提示可以解决这个问题吗？

Alvin SIU

Answer 1

你需要使用proc import吗？ 这可能会更好：

data tmp;
  infile './your_data_file' dlm=',' lrecl=as_big_as_you_need;
  input var1 var2 ...;
run;

以这种方式运行它还可以让您检查日志文件中发生的错误。

Answer 2

还尝试添加trunco​​ver选项？ 检查以确保没有任何行> 32767个字符，因为这会导致问题。 使用外部程序（即非SAS）进行检查。

干杯罗布