pandas 中的大型持久性 DataFrame

[英]Large, persistent DataFrame in pandas

作为 SAS 的长期用户，我正在探索转向 python 和 pandas。 然而，今天运行一些测试时，我很惊讶 python 在尝试pandas.read_csv()一个 128mb 的 csv 文件时内存不足。 它有大约 200,000 行和 200 列，大部分是数字数据。 使用 SAS，我可以 ...

嵌套 ifelse 语句

[英]Nested ifelse statement

我仍在学习如何将 SAS 代码转换为 R 并且收到警告。 我需要了解我在哪里犯了错误。 我想要做的是创建一个变量来总结和区分人口的 3 种状态：大陆、海外、外国人。 我有一个包含 2 个变量的数据库： 身份证国籍： idnat （法国，外国人）， 如果idnat是法语，则： id出 ...

使用h5py在Python中对大数据进行分析工作的经验？

[英]Experience with using h5py to do analytical work on big data in Python?

我做了很多统计工作，并使用Python作为我的主要语言。 我使用的一些数据集虽然可以占用20GB的内存，但这使得使用numpy，scipy和PyIMSL中的内存函数对它们进行操作几乎是不可能的。 统计分析语言SAS在这里具有很大的优势，因为它可以对来自硬盘的数据进行操作而不是严格的内存处理。 ...

有没有办法让SAS在第一次警告或错误时停止？

[英]Is there a way to make SAS stop upon the first warning or error?

SAS喜欢在发出警告和错误后继续处理，因此我经常需要在日志中向后滚动页面以查找问题。 有没有更好的办法？ 我希望它在第一个错误或警告出现后立即停止，以便我可以修复它并再试一次。 ...

有效地将SAS数据集转换为CSV

[英]Efficiently convert a SAS dataset into a CSV

谁能告诉我以编程方式将SAS数据集转换为CSV文件的最快方法是什么。 我知道我可以使用数据步骤并输出到文件等。但这是唯一的方法吗？ 谢谢，阿德南。 ...

SAS功能使用'power'/ exponential

[英]SAS function for using 'power' / exponential

我可能会遗漏一些明显的东西，但你如何计算SAS中的“权力”？ 例如X平方，或Y立方？ 我需要的是变量1 ^ variable2，但找不到语法...（我使用的是SAS 9.1.3） ...

如何在SAS中检测数据集中的观察数量（或者是否为空）？

[英]How to detect how many observations in a dataset (or if it is empty), in SAS?

我想知道是否有一种检测数据集是否为空的方法，即它没有观察结果。 或者在另一种说法中，如何获得特定数据集中的观察数量。 这样我就可以编写一个If语句来设置一些条件。 谢谢。 ...

如果我从不提交，我是否需要调用回滚？

[英]Do I need to call rollback if I never commit?

我没有使用自动提交连接到SQL Server。 如果一切顺利，我会调用commit。 否则，我就退出。 我是否需要显式调用回滚，否则在我们关闭连接而不提交时会自动回滚？ 如果它很重要，我正在SAS中的proc sql中执行SQL命令。 更新：如果没有调用回滚，看起来SAS可能会 ...

在PROC SQL中限制结果

[英]Limiting results in PROC SQL

我正在尝试使用PROC SQL来查询具有数亿条记录的DB2表。 在开发阶段，我想在这些记录的任意小的子集上运行我的查询（例如，1000）。 我尝试使用INOBS来限制观察，但我相信这个参数只是限制SAS正在处理的记录数。 我希望SAS只从数据库中获取任意数量的记录（然后处理所有这些记录）。 ...

通过 id 变量计算滚动总和，缺少时间点

[英]Compute rolling sum by id variables, with missing timepoints

我正在尝试学习 R 并且我在 SAS 中做了 10 多年的一些事情，我无法弄清楚在 R 中做的最佳方法。拿这个数据： 我想通过 id、class 和 4 个月的滚动窗口来计算所需的列作为滚动总和。 请注意，对于 id 和 class 的每个组合，并非所有月份都存在。 在 SAS 中，我通常会通 ...

有没有办法检测何时到达SAS DATA步骤中的最后一次观察？

[英]Is there a way to detect when you've reached the last observation in a SAS DATA step?

有没有办法检查运行时SAS数据集中有多少观察结果，或者检测到DATA步骤中何时到达最后一次观察？ 对于这个看似简单的问题，我似乎无法在网上找到任何东西。 谢谢！ ...

如何在data.frame中找到元素的第一个和最后一个出现位置？

[英]How can I find the first and last occurrences of an element in a data.frame?

我已经详尽地搜索了FIRST的直接翻译。 最后。 SAS DATA步骤中的指针但似乎无法找到一个。 对于那些不熟悉SAS的人，FIRST。 是一个布尔值，用于标识表和LAST中给定元素的第一个外观。 是一个标识最后一个外观的布尔值。 例如，考虑以下排序表： 因为SAS DAT ...

在未安装 SAS 的情况下打开 SAS .egp 文件以查看代码

[英]Open SAS .egp file to view code without having SAS installed

有没有在我的电脑上安装 SAS 的情况下打开 SAS .egp 文件的解决方案？ 我需要打开 project.egp 来检查我的旧代码，但我没有 SAS 了。 有没有其他方法可以做到这一点？ ...

sas date - 将today（）转换为yyyymmdd格式

[英]sas date - convert today() into yyyymmdd format

如何将SAS日期（如"30JUL2009"d转换为YYYYMMDD格式（例如20090730）？ 例如： 会在日志中给我“test = 20090730”... ...

使用XML Schema（xsd）验证输出XML

[英]Validate output XML with XML Schema (xsd)

我在SAS程序中创建了简单的XML文件： 我有XML Schema（xsd文件）。 我想用模式验证我的文件，如果文件与shema不匹配则输入错误。 可能吗？ 提前致谢！ ...

传递函数模型:: TSA中的Arimax

[英]Transfer Function Models :: Arimax in TSA

我试图用动态回归模型从预测中复制模型，并且我无法使用TSA库中的arimax函数匹配R中的输出。 我能够使用SAS非常接近结果，但我想使用R并希望有人知道如何编写arimax函数来实现这一目标。 我发现函数有问题（通常源于arima和optim）正确收敛，但在这种情况下会返回一个模型，但参数 ...

打开SAS数据集以便在.sas程序中查看

[英]Opening SAS datasets for viewing from within a .sas program

有没有办法在.sas文件中打开SAS数据集进行查看（即在“ViewTable”窗口中）？ ...

在 SAS 中，Proc Means 和 Proc Summary 有什么区别？

[英]In SAS, what is the difference between Proc Means And Proc Summary?

Proc Means和Proc Summary之间到底有什么区别？ 许多站点 state 这两个是相同的，但是除非每个站点都有独特的东西，否则 SAS 会创建它吗？ ...

SAS 显示管理器命令

[英]SAS Display Manager commands

SAS 显示管理器是 SAS 系统的命令行界面，它作为传统设施保留在 Base SAS 中。 然而，关于如何使用这个工具的在线文档充其量是稀少的，谷歌搜索也没有什么成果。 一个常见的 DM 命令是： CLEAR LOG; 清除输出； WPGM; 我的问题是 - 还有哪些其他 DM 命令？ ...

SAS - 如何从 SAS 宏返回值？

[英]SAS - How to return a value from a SAS macro?

我想从我创建的 SAS 宏返回一个值，但我不确定如何。 该宏计算数据集中的观察数。 我想要返回的观察次数。 另外，我希望在宏中使用的&nobs宏变量是该宏的局部变量而不是全局变量。 我怎样才能做到这一点？ ...