如何在 mlflow 运行中记录 ALS model？

[英]How to log an ALS model within a mlflow run?

我目前在 databricks 集群上工作，试图在 mlflow 运行中记录 ALS model。 尝试多种不同的方法，我得到一个 TypeError“cannot pickle '_thread.RLock' object”停止我的运行或一个 OSError“没有这样的文件或目录：'/tmp/t ...

动态连接 scala 中的 dataframe 列

[英]Dynamically concat the dataframe columns in scala

我有需要连接的 dataframe 列名列表 (list_name=["name","email"]) 并且我有一个包含许多列的 dataframe(df="name","email","address","phone ”）。 现在我需要为列表中指定的名称值连接并创建一个新列。 预期结果：df="n ...

如何根据增量表的其他列更新增量表的列值

[英]How to update column value of delta table based on other column of delta table

我有一个增量表： 如果标志值为“0”，那么我需要将 CertificationVariant_errors_detailedDescription 列值更新为空字符串如何实现相同 output 应该是这样的： 如何在增量表中实现相同？ ...

时间戳差异总是间隔天到秒吗？

[英]Is timestamp difference always INTERVAL DAY TO SECOND?

我的观察表明时间戳差异的类型为INTERVAL DAY TO SECONDS ：select typeof(getdate() - current_date()) ----------------------------------------- interval day to seco ...

在 Databricks 中保存 tensorflow model 的权重

[英]saving weights of a tensorflow model in Databricks

在 Cluster1 上运行的 Databricks 笔记本中 然后立即尝试 我在 output 显示中看到实际权重文件但是，当我在集群 2 上运行的不同 Databricks 笔记本上运行完全相同的命令ls 'dbfs:/Shared/P1-Prediction/Weights_folder'时， ...

监控pyspark的`applyInPandas()`的进度

[英]Monitor the progress of pyspark's `applyInPandas()`

在Databricks中，我们使用Python命令 在python_function的子集上运行spark_df 。 该命令运行良好，计算也可扩展到 100+ 个 CPU。 然而，它需要几个小时才能完成，如果能够监控计算的进度，那就太好了。 有没有办法监控计算的进度？ ...

如何找出我属于哪些 Databricks 组？

[英]How do I find out which Databricks groups I'm a member of?

我正在尝试使用网站或 Databricks CLI 来确定我是否是 Databricks 上特定组的成员。 我找到了通过帐户控制台管理组的参考资料，但这需要管理员帐户。 我还找到了Databricks groups CLI ，但文档说你需要一个管理员帐户才能使用 API。 ...

在 Pyspark 中循环大 dataframe - 备选

[英]Loop through large dataframe in Pyspark - alternative

赏金将在 6 天后到期。 此问题的答案有资格获得+50声望赏金。 sys正在从信誉良好的来源寻找答案。 期望的结果 T_id 孩子们 T_Val T_目标 parent_T_id parent_Goal trans_id 36091 [“36976”] 500 19 82 4个 ...

“成功”dag 跳过任务 apache airflow

[英]"success" dag in skipped task apache airflow

当我的 dag中至少有 1 个跳过的任务时，它向我表明 dag 是“成功的” 。 我正在使用松弛警报及其与 airflow 的集成。 我正在寻找一个 function，如果至少有 1 个任务将被跳过，那么 dag 将“失败”（红色圆圈），它会向我的频道发送警报。 顺便说一下，我正在使用Datab ...

如何在不聚合的情况下重塑 spark df

[英]how to reshape spark df without aggregating

我浏览了 stac 上的所有主题，但仍然有问题。 我有很多数据，所以我不能使用 Python，我从 spark 开始，但我在 pivot 上挣扎。 我在Python写了一段代码： 这段代码在 Python 中工作得很好，但我必须重写它才能产生火花。 我试过这样的事情： 但它不起作用。 我需要的是得 ...

如何将命名参数从 airflow dag 传递给数据块 spark python 任务？

[英]How to pass named parameters from airflow dag to a databricks spark python task?

我的目标是通过带有命名参数的 airflow 以编程方式启动数据块任务，但是当任务成功触发时，参数未传递； 相反，我收到此错误消息：com.databricks.dbutils_v1.InputWidgetNotDefined：未定义名为 name 的输入小部件作业的 output 应该是“Hel ...

databricks - 为什么我看不到可视化图标？

[英]databricks - why I can't see the visualization icon?

在数据块中，我显示了一个 df，但它只以二维表的形式返回结果，我看不到如下所示的可视化图标。 而且我只返回了下面的图标。 我导入了 2 个 plot 包。 如何让可视化图标显示？ ...

Pyspark df.write 耗时极长（超过 24 小时）

[英]Pyspark df.write taking extremely long (over 24 hours)

我正在将数据从数据块写入 GCP（一个 pyspark df，超过 8,000,000 行和 3 列） 该命令现在已停滞一天多，当前作业未完成。 这可能是集群的问题（因为运行 display(df) 需要 10 分钟）。 解决办法是什么？ 我已经尝试了上述方法无济于事。 ...

SQL 查询以查找在 2 个月内多次订购完全相同订单列表的客户

[英]SQL Query to find Customers who order exact same order list more than once in 2 months

我想提取数据以查找在最近 2 个月内多次订购完全相同的订单列表（重复的确切订单）的客户。 对于这两个订单，购买的数量和项目应该相同。 如果需要任何进一步的解释，请告诉我。 谢谢你的帮助！ 假设我有以下数据（订单表和订单项目表）- 订单表包含订单号、客户 ID、订单状态、订单日期等数据 订单项目表包含 ...

有没有办法在 Databricks SQL (Spark SQL) 中按表、模式和目录计算行数？

[英]Is there a way to calculate the number of rows by table, schema and catalog in Databricks SQL (Spark SQL)?

我需要在 Databricks 中创建一个仪表板，用于汇总当前工作区中的行数。 有没有办法创建一个 SQL 查询来按表、模式和目录计算行数？ 预期结果将是： 目录图式桌子行数 example_catalog_1 金融表_示例_1 1567000 example_catalog_1 金融表_示例 ...

需要将小部件值传递给 Databricks SQL 表位置路径

[英]Need to pass widget value to the Databricks SQL table location path

我正在尝试将小部件值传递给 Databricks SQL 表位置路径，但出现解析异常错误。 有人可以分享怎么做吗？ 代码： 错误： 在此处输入图像描述我试图传递值，但因解析异常而失败。 ...

如何使用 Databricks 中结构化流的最大记录数来限制输入速率？

[英]How do I limit input rate using max record count on Structured Streaming in Databricks?

我正在尝试使用最大记录数来限制结构化流查询的输入速率。 但是， 文档说仅支持maxFilesPerTrigger或maxBytesPerTrigger 。 是否有任何解决方法可以通过最大记录数实现这一目标？ 请指教 ...

databricks dbx execute - 如何检查集群标准错误日志

[英]databricks dbx execute - how to check cluster standard error log

当我使用 databricks connect 时，我可以通过本地 shell 查看标准错误日志。现在我正在使用 databricks dbx，只显示 dbx 日志...有没有办法轻松检查集群日志（标准错误）？ databricks 集群外的标准错误/log4j ...

如何使用 cloudpickle 将 model 保存到 databricks DBFS 文件夹并加载它？

[英]How to save model with cloudpickle to databricks DBFS folder and load it?

我构建了一个 model，我的目标是将 model 保存为 pickle，稍后加载它以进行评分。 现在，我正在使用这段代码： 我担心的是，通过这种方法，model 将仅保存在 Databricks 笔记本的会话变量“pickled”中。 不过，我希望将 model 存储在 DBFS 存储中，因此我 ...

如何将 IsNull() 条件与 Pyspark 数据帧中的日期列一起使用？

[英]How to use IsNull() condition with date Columns in Pyspark dataframes?

我们如何将isNull()条件与Pyspark中的日期类型列一起使用。 当它是 null 并且还满足其他条件时，我需要更新列名REGISTER_DATE ？ FORM_DATE和REGISTER_DATE列是日期数据类型，性别是 STRING 我正在尝试的查询是： 查询运行正常，但它不会更新列 ...