Middleware/mq-starter
6
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
32 Commits 2 Branches 0 Tags
96e26c9bbba935bff61e789f33adbdad9597547a
Commit Graph

32 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
hongawen
96e26c9bbb docs: README/CLAUDE.md 对齐 rocketmq 消费去重落地——能力表 ❌→✅、新模块 mq-starter-idempotent-redis、mq.idempotent.* 配置、纠正序列化过时表述 
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-10 13:18:09 +08:00
hongawen
e2a956edb1 feat(mq-spring-boot-starter): 聚合 jar 引入 mq-starter-idempotent-redis，rocketmq 部署开箱可用消费去重 
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-10 11:58:40 +08:00
hongawen
e6ea14046c refactor(mq-starter-redis-stream): 去重 store 与 idempotent 配置迁至 mq-starter-idempotent-redis，模块改为依赖之 
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-10 11:50:37 +08:00
hongawen
b449c26356 feat(mq-starter-idempotent-redis): 旧键 mq.redis-stream.idempotent.* Binder 逐键回退兼容 + 聚合弃用告警 
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-10 11:34:21 +08:00
hongawen
f558f6303e feat(mq-starter-idempotent-redis): mq.idempotent.* 中立配置 + 不按 mq.type 门控的去重 store 自动装配 
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-10 03:12:06 +01:00
hongawen
c2a31c9339 feat(mq-starter-idempotent-redis): 新建 driver 中立去重模块，迁入 RedisMqIdempotentStore 及其测试 
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-10 10:04:10 +08:00
hongawen
f4793b10c0 fix(mq-starter-rocketmq): 消费捕获 MqMessageInProgressException 返回 RECONSUME_LATER，杜绝处理中消息被耗尽落库+ACK 静默丢弃 
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-10 02:54:09 +01:00
hongawen
ae0caafa63 docs(mq-starter): 重写 README + 新增 CLAUDE.md，gitignore docs/ 
- README 重写为面向使用者的完整说明（快速开始/配置项/两 driver 能力对照/架构/TODO）
- 新增 CLAUDE.md：补代码结构、装配链路、消费 ACK 语义等踩坑点，供 Claude Code 参考
- .gitignore 忽略 docs/（AI 生成的本地参考/教学资料，不纳入版本库）

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-07-09 20:41:54 +08:00
hongawen
29473e6fef feat(mq-starter-rocketmq): 重试耗尽回调 retryExhaustedHandler 落库并 ACK，maxRetry 对齐 @MqListener 
对齐 redis-stream 的 reclaim 耗尽语义，兑现"换 MQ 业务不动"契约：此前 rocketmq
只有 broker 默认 16 次重投、无 RETRY_EXHAUSTED 落库。

- setMaxReconsumeTimes 对齐 @MqListener(maxRetry)（缺省 3），不再用 broker 默认 16
- 抽出 consumeBatch：reconsumeTimes 达 maxRetry 时回调 retryExhaustedHandler 落库并 ACK 终止；未达则 RECONSUME_LATER
- onRetryExhausted 落库 best-effort：毒消息 payload 反序列化失败时留 null、至少保留 key/tag，并隔离 handler 自身异常
- 补消费逻辑单测（耗尽落库 / 未耗尽重投 / 成功投递）

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-07-09 20:41:39 +08:00
hongawen
84034fb7d0 feat(mq-starter-redis-stream): 去重 TTL / reclaim idle 外置为 mq.redis-stream.* 可配置 
原先 reclaim idle 与去重 TTL/前缀硬编码在 autoconfig 里，按业务处理时延调优只能改源码。

- 新增 RedisStreamMqProperties(前缀 mq.redis-stream)：reclaim-min-idle + idempotent.{key-prefix,processing/success/fail-ttl}
- 默认值与历史硬编码完全一致（reclaim 30s / processing 60s / success 300s / fail 300s / mq:idem:），不改变现有行为
- autoconfig 改由 Properties 取值装配 driver 与 RedisMqIdempotentStore
- 补默认值一致性 + mq.redis-stream.* 绑定覆盖单测；wiring 测试改按方法名反射以适配新签名

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-07-09 20:41:21 +08:00
hongawen
e660afe2a2 fix(mq-starter): 去重跳过区分 processing/success，processing 残留不 ACK 避免静默丢消息 
tryAcquire 返回 false 的两类跳过此前一律静默 return，导致 driver 无差别 ACK：
消费者在 markSuccess/markFail 前崩溃残留的 processing 标记，会被当成"已处理"
而 ACK，该消息从未成功消费却被丢弃（Critical 静默丢消息）。

- MqIdempotentStore 新增 isCompleted(key)，默认 true 保持旧行为，状态机实现须覆写
- MqConsumeDispatcher：跳过时按 isCompleted 分流——success 正常 return 让 driver ACK；
  仍 processing 则抛 MqMessageInProgressException（新，纯控制流信号、不带栈）让 driver 不 ACK
- RedisMqIdempotentStore.isCompleted 仅 success 视为完成；RedisStreamMqDriver 捕获信号异常时留 PEL 待重投
- 补 dispatcher 两类跳过 + store isCompleted 语义单测

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-07-09 20:41:02 +08:00
hongawen
886c02ff96 fix(mq-starter): 修复启动 fail-fast 校验 review 发现的缺陷（relaxed binding / 逃生开关 / redis 假地址） 
workflow 多智能体 review 后修复：

- rocketmq 探测改用 Binder 读 rocketmq.name-server，与 driver（RocketMQProperties）同源、
  享受 relaxed binding，修复 camelCase(rocketmq.nameServer) 被误判为「未配置」而错误 fail-fast
- MqStartupChecks 逃生开关只认严格 false（忽略大小写/空白），缺省或非法值一律继续校验，
  不再因非法布尔值（如 enabled=disabled）抛类型转换异常炸掉启动
- redis 探测 target() 对 cluster/sentinel 回退到指向真实配置项的文案，
  不再假报使用者从未配过的 localhost:6379
- 补齐回归测试：camelCase 键 / 非法开关值继续校验 / host:port 提示分支 / cluster 回退
  （core 5、redis-stream 5、rocketmq 5，全绿）

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-07-09 14:06:05 +08:00
hongawen
0c6d37842e fix(mq-starter-rocketmq): 导入 spring-boot BOM 统一 spring 版本（修既有 5.2.15↔5.3 裂开，Task3 测试可运行） 2026-07-09 11:20:24 +08:00
hongawen
d7ef8b5626 feat(mq-starter-rocketmq): 启动期 TCP 探测 NameServer 连通性（①② fail-fast） 2026-07-09 11:05:00 +08:00
hongawen
46b0c13462 feat(mq-starter-redis-stream): 启动期 PING 探测 Redis 连通性（①② fail-fast） 2026-07-09 10:49:23 +08:00
hongawen
5c4a29e1e1 feat(mq-starter-core): 启动期校验 mq.type 有对应 MqDriver（③ fail-fast） 
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-07-09 10:34:50 +08:00
hongawen
bd2e733d98 Merge: mq-starter 消费侧通用化 + redis-stream 可放量（去重/批量/异常落库/重试 reclaim + opus review 修复） 2026-06-29 20:51:59 +08:00
hongawen
f0dc785998 fix(mq-starter): 落实 opus review 反馈（含 1 个 Critical 静默丢消息） 
- [Critical] dispatcher errorHandler 抛异常时仍保证 markFail + 抛原始异常（safeOnError 隔离）：
  否则去重标记停在 processing，reclaim 重投被去重挡掉并 ACK → 静默丢消息
- [Important] 重试耗尽回调携带完整 payload（reclaim 解码 body，不再传 null）
- [Important] reclaim 默认 idle 5s→30s，避免多实例误 reclaim in-flight 消息；注释 at-least-once 语义
- [Important] idempotent=true 但无 MqIdempotentStore bean 时 start() 告警
- core 引入 slf4j-api(provided)；批量失败 / errorHandler 失败均记日志
- errorHandler bean 未找到时抛带 topic/group 的清晰错误
- 文档化已知限制（批量无 idle flush、去重 fail→reopen 非原子）
- 全仓 29 测试绿（含连真实 redis 的 IT）

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-29 20:48:53 +08:00
hongawen
dd2b933c08 feat(mq-starter): redis-stream 重试可放量（PEL reclaim + 超限落库） 
- MqSubscription 增加 retryExhaustedHandler；registry 从 errorHandler 接线 RETRY_EXHAUSTED 回调
- redis driver 每轮 reclaim PEL：connection 层 xClaim 认领超 idle 消息并使 delivery+1
  - delivery <= maxRetry：重投消费，成功 ACK / 失败留 PEL
  - delivery > maxRetry：回调 retryExhaustedHandler 落库 + ACK 终止，不再卡队列
- 可配 reclaimMinIdleMs（默认 5000ms，对齐 legacy 5s 延迟）；4 参构造 + 3 参重载
- 集成测试连真实 redis 验证 重试耗尽→落库→ACK；全仓 28 测试绿

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-29 20:17:05 +08:00
hongawen
407df30457 feat(mq-starter-redis-stream): 去重 Redis 默认实现 RedisMqIdempotentStore 
- 实现 MqIdempotentStore：setIfAbsent 原子占用 + processing/success/fail 状态机 + TTL
- 修正 legacy 读写 key 不一致缺陷（读写统一前缀键）
- autoconfig 在 redis-stream 模式装配为默认 store（@ConditionalOnMissingBean）
- 集成测试连真实 redis 验证状态机；@Bean 声明契约护栏

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-29 19:59:07 +08:00
hongawen
4ee6685cc5 feat(mq-starter-core): 消费侧通用化 去重/批量/异常落库（注解+SPI 织入） 
- 新增 MqConsumeDispatcher 消费处理链：去重→(攒批)→业务→成功标记/异常落库
- 新增 SPI：MqIdempotentStore（去重，修正 legacy 读写 key 不一致缺陷）、
  MqConsumeErrorHandler + MqErrorIdentity（异常落库 SINGLE/RETRY_EXHAUSTED）
- @MqListener 扩展 idempotent/errorHandler；BPP 识别 List<T> 批量签名并解析元素类型
- MqListenerRegistry 织入 dispatcher，按注解装配 store/errorHandler；
  autoconfig 经 ObjectProvider/ApplicationContext 注入（4 参构造，保留 2 参重载）
- 重试统一交 driver MQ 原生重投（单条异常 rethrow）；批量入库失败落库后吞掉不卡队列
- 19 个单测全绿（-DforkCount=0）

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-29 19:49:22 +08:00
hongawen
e5991718e6 test(mq-starter): driver autoconfig 加 @AutoConfigureBefore 注解契约护栏 
Rocket / RedisStream driver autoconfig 各加一个护栏测试，断言
@AutoConfigureBefore(MqCoreAutoConfiguration) 注解存在——防止重构误删导致 core 在
driver 前装配、MqTemplate/MqListenerRegistry 不装配的回归（最终 review I1）。
以注解契约守护、不 refresh context（规避本模块 spring 版本不一致：rocketmq-spring
2.2.3 与父 pom spring-boot 2.3.12 的 spring-core 缺 ApplicationStartup）；真实装配
结果由 cn-data-platform MqSliceWiringTest 在正确 spring 版本下覆盖。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-29 14:08:26 +08:00
hongawen
9f6ffad77c fix(mq-starter): driver autoconfig 加 @AutoConfigureBefore(MqCoreAutoConfiguration) 
真实 autoconfig 顺序按类名字母序，com.njcn.mq.autoconfig.MqCoreAutoConfiguration
先于 com.njcn.mq.driver.* 处理，core 的 @ConditionalOnBean(MqDriver) 在 driver
bean 注册前求值失败，导致 MqTemplate / MqListenerRegistry 在真实应用中均不装配。
两个 driver autoconfig 各加 @AutoConfigureBefore(MqCoreAutoConfiguration.class)，
保证 driver 先于 core 装配。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-29 12:01:41 +08:00
hongawen
f2ea48dce0 feat(mq-spring-boot-starter): 聚合三模块，业务方单坐标接入 
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 05:30:28 +08:00
hongawen
597b872b4f feat(mq-starter-rocketmq): rocket driver 发送(模板)+编程式消费(DefaultMQPushConsumer) 
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 05:25:55 +08:00
hongawen
acc745c52e feat(mq-starter-redis-stream): redis driver 复用 Phase1 低层件 + 薄收发循环 
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 05:17:27 +08:00
hongawen
795d4f2629 feat(mq-starter-core): 自动装配 + spring.factories 
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 05:06:36 +08:00
hongawen
016590099a feat(mq-starter-core): MqListenerRegistry 端点→driver.subscribe + payload/MqContext 调用 
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 04:58:59 +08:00
hongawen
744115ca97 feat(mq-starter-core): @MqListener 扫描 → MqListenerEndpoint 
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 04:53:01 +08:00
hongawen
871aef64f8 feat(mq-starter-core): 发送门面 MqTemplate + DefaultMqTemplate 
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 04:48:19 +08:00
hongawen
491b83de94 feat(mq-starter): 多模块脚手架 + core 信封/SPI/注解 
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 04:41:54 +08:00
hongawen
69db3fdd01 chore: 初始化 mq-starter 仓库（.gitignore + README） 
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-25 21:14:37 +08:00