
[英]The import org.springframework.cloud.task.Task cannot be resolved
尝试在 Spring 云数据流中编写自定义任务,这将创建一个 Spring 批处理应用程序,该应用程序实现 Spring 云任务提供的任务接口。 我已经尝试了所有可能的方法来实现这一点,但我收到了这个错误The import org.springframework.cloud.task.Task c ...
[英]The import org.springframework.cloud.task.Task cannot be resolved
尝试在 Spring 云数据流中编写自定义任务,这将创建一个 Spring 批处理应用程序,该应用程序实现 Spring 云任务提供的任务接口。 我已经尝试了所有可能的方法来实现这一点,但我收到了这个错误The import org.springframework.cloud.task.Task c ...
[英]Is it right pattern of using Spring batch if one task that is launched through SCDF API call will launch other task through SCDF API calls?
我需要有一个计划批次来确定我需要重新启动或重新提交(作为新作业实例)的批次。 计划批次将识别并调用 SCDF API 以启动任务。 有这样一批真的是好的设计模式吗? 我可以实现上面的要求模式,但这是一个很好的做法,或者任何人都可以建议什么是替代方法。 ...
[英]How to extend standard spring cloud data flow components and add our custom logic
我希望开发一个利用 s3-sink 功能的自定义处理器,然后向其添加一些自定义逻辑。 我可以在不使用标准组件的情况下做到这一点。 即使用 S3 API 来编写文件以及自定义逻辑。 我想知道是否有任何方法可以利用标准组件的功能并扩展它以添加我们的自定义逻辑。 ...
[英]spring cloud data flow application properties / environment variables
有一个 docker 容器运行单个 spring 云数据流应用程序。 在数据流版本 2.7.2 之前,我能够通过将所有数据库 url/username/password 属性定义为容器中的环境变量来将它们传递给应用程序。 该应用程序定义了 application.yml 以从变量中获取属性,如下所示 ...
[英]Set SCDF CTR to execute next task immediately when step is complete
我使用的是 SCDF 2.9.6,它是 mariadb 10.3.x(在我公司使用,无法更新版本)与 flyway 兼容。 编译具有较低 flyway 依赖性的 SCDF 2.10.x 项目导致整个编译过程失败......我想这是我可以使用的最高版本。 现在问题出现了,当我必须设置 2.9.x 版本 ...
[英]Spring data cloud flow application properties not working
我正在尝试将最新的 2.10.0 快照版本与 spring 启动 3 一起使用,但我无法获得编辑应用程序属性以更改数据源的选项 url 请查看我的仪表板屏幕截图:在此处输入图片描述我已经从本地机器添加了我的 jar。 我还需要获取应用程序属性的编辑选项 ...
[英]External Kafka Stream Source in Spring Cloud Data Flow
我正在从 Streamset 迁移到 Spring Cloud Data Flow。 当我寻找模块列表时,我意识到有些来源没有在 Spring Cloud Flow 中列出——其中之一是 KAFKA 来源。 我的问题是为什么外部 KAFKA 源从 spring 云数据流中的标准源列表中删除? ...
[英]Spring Dataflow Stream: file source sends payload to queue before script processor started
我通过 Spring DataFlow 创建了非常简单的 stream,其中包含来自https://dataflow.spring.io/rabbitmq-maven-latest的预定义 rabbitmq 应用程序。 我的 stream 是 问题是当我部署 stream 时,文件源在脚本处理器应用 ...
[英]PollableMessageSource issue with spring-cloud-stream 4.0.0 and Spring boot 3
我正在尝试按照此示例https://docs.spring.io/spring-cloud-stream/docs/current/reference/html/spring-cloud-stream使用 spring-cloud-stream 4.0.0实施轮询消费者.html#spring-cl ...
[英]Spring Cloud Vault support in Spring Cloud Data Flow 2.10.0
我在 Kube.netes 运行时上运行 Spring Cloud Dataflow。 目前,我正在使用 K8 机密来管理数据流服务器和船长服务器的机密。 展望未来,我想使用 Spring Cloud Vault 作为机密管理器。 是否支持在数据流和船长服务器中配置保险库机密? 我启用了以下配置 ...
[英]EnableBinding and Source.class replacement
我有以下代码适用于 spring cloud stream 3. 现在我升级到 spring cloud stream 4. EnableBinding和Source都被删除了。 我已经阅读了很多关于弃用这些的帖子,我知道我应该使用像Supplier这样的功能方法来替换Source 。 但是我仍然不 ...
[英]Adding date to the key expression in s3 sink properties of spring cloud stream
我们有一个 spring 云数据流 stream,它处理输入文件并在 S3 存储桶中生成 output 个文件。 我们使用以下键表达式属性来指定 output 文件的文件夹。 app.s3-sink-rabbit.s3.key-expression='XYZ/abc/'+headers.file_ ...
[英]SCDF processor reads one message and outputs arrays of objects, but sink can handle single item
我的处理器处理一个有效负载并生成一个列表 stream 有 RabbitMQ 中间件,我的接收器如下所示: 我查看了类似的讨论Similar Problem with Kafka Binder 。 如何使用 Rabbit 活页夹实现这一目标? RabbitMQ 作为活页夹可以实现吗? ...
[英]Setting global properties in Composed Task which would be accessible in each of subtasks
为子任务设置“通用”属性不起作用我使用的 SCDF 版本是 2.9.6。 我想制作 CTR ABC,每个任务都执行以下操作: A: sql select on some source DB B: process DB data that A got C: sql insert on some tar ...
[英]springbatch run in k8s scdf pod : Cannot load driver class: org.mariadb.jdbc.Driver - Spring Cloud Data Flow(scdf)
我正在使用在 spring 云数据流 (k8s) 中运行的 spring 批处理。 服务器版本:2.9.2 我可以在本地和 docker 中运行它,但它运行良好。 local docker但是在k8s scdf中是这样的: k8s scdf log: 我的spring批量示例配置如下: appl ...
[英]Handling errors/exceptions in spring cloud data flow streams
当输入文件大于某个限制时,我们的 stream 中的一个组件正在抛出堆外 memory 错误。 在我们努力解决此问题的同时,我想知道是否可以捕获此类错误,以便我们可以相应地记录或发送通知。 我已经看到几个使用命令式方法进行错误处理的示例。 我想知道如何使用功能方法通过错误通道实现应用程序级别的错误处 ...
[英]Redirect task log of Spring Cloud Data Flow
有什么方法可以在本地的 SCDF 中定位、复制或操作任务执行日志? 每当我在本地启动数据流服务器的 shell cmdline 中执行批处理(或非批处理)任务时,我目前都会看到日志。 在 CentOS 7 和 Windows 10 中,它表示它在里面找到了它们的标准输出/标准错误日志 /tmp(Wi ...
[英]How to avoid Spring Cloud Dataflow Source application to keep returning same message
我正在订阅 rabbitMQ 服务器上的队列并使用其上的消息来检索正文和一个特定的 header。这是在 Spring 云数据流源应用程序上完成的,问题是当它启动时它会继续执行并返回最后一条消息。 我需要添加什么才能使应用程序仅在新消息到达正在侦听的队列时执行? 这是我的供应商代码: 我的属性文件是 ...
[英]How to pass spring batch job params while defining composed task SCDF?
我正在尝试创建一个组合任务,其中有两个任务按顺序运行。 这两个任务在内部执行 spring batch 作业,作业使用作业参数进行进一步处理。 在定义组合任务定义时,我们如何传递 spring batch 作业参数? 我正在使用 SCDF CLI 创建组合任务定义并期望start_date 和 e ...
[英]Is there any way to get notified or call another service once file is received at sftp-sink
有什么方法可以在文件写入 sftp 接收器后获得通知或调用其他服务,而不是创建另一个 stream 监听第一个 stream 的 output 位置? 我有一个 stream,在 stream 的末尾带有 sftp 接收器。在指定位置的 sftp-sink 生成文件后,我需要调用另一个服务。 一种方 ...