如何提取 SAS 程序中所有使用的函数？

Question

我最近打算对编程习惯进行分析。 我的工作之一是提取我的许多同事编写的 SAS 程序中所有使用的函数。
我已经尝试过 Perl 常规 function 但失败了，这是我到目前为止所得到的。

SAS程序文件内容： test.sas

data test;
  set sashelp.class(firstobs=2) end=eof;

  x = rand('uniform',0,1)- 0.5;
  if sign(round(x,.1));
  y = %sysfunc(date());
  if eof then call execute('dm "postmessage ''42''" continue;');
run;

我的提取试验：

data _null_;
  infile 'test.sas' truncover;
  input prog $1024.;

  start = 1;
  stop = length(prog);
  FuncPat = prxparse('/\b[a-zA-Z_]\w*\(/');
  call prxnext(FuncPat, start, stop, prog, position, length);
  do while (position > 0);
    found = substr(prog, position, length-1);
    put found=;
    call prxnext(FuncPat, start, stop, prog, position, length);
  end;
run;

所以我有：

found=class
found=rand
found=sign
found=round
found=sysfunc
found=date
found=execute

我想要的是：

found=rand
found=sign
found=round
found=date

笔记：

1. 不包括宏 function 和子程序；
2. 用户定义的 function 不应被忽略；
3. 如果 function 名称是宏变量，例如&function() ，则删除它；

感谢您的任何提示。
@Basile Starynkevitch 提醒，这里是function的定义。
PS：如果 function substr(left of =)解决了，我会加倍感谢。
PS2：我不会做任何关于SAS的解析工作，只是通过 perl 正则表达式提取function()的所有文本模式。 这是来自@Dirk Horsten 的一个非常好的答案。

Answer 1

好的，这里有很多理论。 我研究过 SAS 语言解析，它非常非常复杂。 希望在合理的时间内解决这个问题是不切实际的。 让我从 lex 开始。 SAS 有数百个函数，它们的参数变化很大。 您有宏功能和常规功能。

在 SAS 和 WPL 之外，没有用于 SAS 的词法分析器/解析器。 很多人都进行了尝试，但除了 WPL 之外，我不知道其他任何成功的尝试。 他们花了数百万美元和一大群人。 如果您只想查看函数，请从仅关注数据步骤开始并首先获取 lex。

顺便说一句，我已经用 ANTLR 试过了，但是，IMO，没有必要。 Go 简单并以分号分隔来确定行。 SAS 程序有 2 个主要部分：DATA 步和 PROC。 在那里打断，然后按行，然后尝试隔离行内的功能。 它不会是 100%，但它是一种尝试。

IMO，忽略这个词法分析器、这个理论、这个方法、这个示例语言等。SAS 语言已有 50 多年的历史，包含数百个子语言、数百个 PROC、隐藏功能和几个元语言（宏、数据集修饰符、ODS 等）。

祝你好运。

Answer 2

只需在使用前检查前面的内容即可。 （扫描 function 和负 position 从字符串的末尾而不是开头开始计数。）

进一步：您最好output写入数据集，而不是写入日志，这样您就可以对结果进行统计。

data FUNCTION;
  infile 'test.sas' truncover;
  input prog $1024.;

  start = 1;
  stop = length(prog);
  FuncPat = prxparse('/\b[a-zA-Z_]\w*\(/');
  call prxnext(FuncPat, start, stop, prog, position, length);
  do while (position > 0);
    found = substr(prog, position, length-1);
    if not ( substr(prog, position - 1) eq '.'
          or substr(prog, position - 1) eq '%'
          or upcase(scan(substr(prog, 1, position - 1), -1)) eq 'CALL'
          or upcase(scan(substr(prog, 1, position - 1), -1)) eq 'DATA'
    ) then output;
    call prxnext(FuncPat, start, stop, prog, position, length);
  end;
run;

您可能会想到其他并非您想要排除的真正功能的构造，但因此应该是一个好的开始。