Apache Nifi

共 2 篇

NIFI 实现上一次任务执行完后,等待5分钟执行下一次任务

前两天在使用nifi进行数据同步的时候,原来的流程方式是设置使用GenerateFlowFile作为初始节点,设置cron 表达式每5分钟执行一次。因为整个流程需要处理的节点比较多,有些数据查询会比较慢。虽然是数据增量的方式同步,但是存在当某次某节点查询的数据量过大,整个流程执行完超过5分钟的情况,此时下一次任务再次开始,就会导致最终插入的数据出现重复,这是业务不允许的,因此需要实现 实现上一次任务执行完后,等待5分钟执行下一次任务。使用NIFI的ExecuteScript 实现任务延时处理

Database 寻龙剑侠 2025-10-24 154 阅读 more

ClickHouse 先删除数据再插入数据不报错,但是没有插入数据的问题

对副本表 insert 语句的数据会划分为数据块. 每个数据块会生成 block_id ,存在 zookeeper 相应表目录的 block 子目录下.根据这个 block_id 数据块会去重.当对这份数据进行 aleter delete 操作后.数据成功删除了,但是存在 zookeeper 上的 block_id 没有被一并删除.导致之后对这份数据进行 insert into ,会被表引擎判断为重复数据,而被略过,使数据没有落地到表里面.也就是查不出来这份数据.

Database 寻龙剑侠 2025-10-23 127 阅读 more