huangzd1997
|
37919ae786
|
fix(b27): 去重导入失败的日志带上异常类型与消息
两级日志此前只有一句「导入 Excel 失败」,单行 grep 看不到根因
(堆栈在后续行,B27 台账据此误判为"没有 exception")。首行补
errorType=/msg=,完整堆栈仍照旧输出;复现仍待用户那份源文件。
|
2026-10-25 00:31:31 +08:00 |
|
huangzd1997
|
70b3be63a9
|
fix(dedupe): 文件处理槽位等待加上限,等不到判失败并写明原因
原先 Semaphore.acquire() 无超时:一个文件卡在上游读取或 OSS 上传时,
同批与后续任务的每个文件都无限排在这 4 个槽位上——任务不落终态、
进度冻在已提交那格。改为 tryAcquire(默认 600s,可配
aiimage.dedupe.run.file-slot-wait-seconds),等不到把该文件判失败
并写明「是没排到槽位」,不再是静默续等。新增 2 例互为对照:
槽位占满必须到点返回 false 且不占槽位;有空槽位照常放行。
|
2026-10-23 18:00:17 +08:00 |
|
huangzd1997
|
dbe35dfcb5
|
refactor(phase-4): 解散万能 util——similarasin/util 与 common/util 按域归位
similarasin/util 7 支:
- 域内件(SimilarAsinImageEmbedder/PuzzleImageMerger/SimilarAsinLogSupport/
BoundedImageCache)并入既有 service/support 先例;
- 通用 Excel 件(ExcelCellImageWriter/WpsCellImageWriter)归 common/excel;
- 仅测试用的 SimilarAsinPerfFixture 移出生产源到 src/test。
common/util 13 支解散为四个关注点包:excel(读/写/单元格图片)、
text(BrandLabel/SecretMasking/UserMessages)、task(行过滤/分组传播/判死文案/
删除台账/锁跳过留痕)、support(LRU/下载头/线程池)。老 util 目录不再存在。
纯粹的包搬迁与 import 重写(diff 219 增 / 217 删),零行为改动:
搬迁前后由 SimilarAsinCreateTaskSnapshotTest 的建单入口 golden 对撞相等;
新增 MovedComponentScanTest 钉住三枚 @Component 仍被根包扫描发现、老包零残留。
|
2026-10-23 00:59:53 +08:00 |
|
huangzd1997
|
cdef922251
|
fix(brand-label): 品牌标签清洗抽公共件,六模块读写两端统一过出口
PublishBrandLabel 从 publish 私有件搬入 common/util/BrandLabel(三条守卫尺子随迁:
唯一副本、实体写出不许绕过、解析端不许重复实现),品牌列的读入与出件两端都走这一处。
读入端接上:asincache 缓存落库、invalidasin 人工黑名单(先洗再判空——键对不上是静默失效,
比脏值出件更难发现)、appearancepatent resolveBrand(两条取值分支同一个串)、collectdata
入库、shopdatacrawl copyRow/sameRow/rowDedupKey(键与值分家会让同一行跨分片重复出件)、
撞款解析与 re-baseline、dedupe 按表头名只洗品牌列。
写出端接上:publish/similarasin×2/appearancepatent/collectdata/撞款 csv+xlsx/shopdatacrawl。
rows-snapshot golden 里品牌格去掉首尾空格:正本 strip 自 2026-10-08 就含 trim,
Java/Python/MySQL 三处同形,不是这次新加的行为。
门禁:后端 mvn -o test 4594 例 0 红。BrandTaskService(含四张 sheet 出件与解析端匹配)
因同仓另一路在飞改动未动,见 docs/audit/BACKLOG.md B5。
|
2026-10-20 22:35:25 +08:00 |
|
huangzd1997
|
c4d2349cda
|
清无用 import(卖源码): 后端 248 处跨 128 支文件全部摘掉,javac+全量实跑双重判定
判据是逐支把 import 行的简单名拿去文件其余部分(含注释与 javadoc)做词边界匹配,
名字只在注释里出现的当作「在用」保留,所以这把尺子是往保守侧偏的。
验收不靠静态回声:`mvn -o -q test-compile` rc=0,再 `mvn -o clean package`
= Tests run 4264, Failures 0, Errors 0, Skipped 7,与清之前逐项一致(4,313→4,264 那 49 例是上午清设计文档摘掉的读 docs 用例,不是这一笔)。
diff 形状只认 `+0 / -248`,行尾没被整片改写。
|
2026-10-11 17:04:28 +08:00 |
|
huangzd1997
|
15094309cf
|
后端(四面9分批次): 锁跳过留痕、状态词表收成单点、版本硬地板进 yml 并记账
- 14 处「拿不到锁就 continue」过去零日志,现统一带可聚合锚点并有留痕判据
(LockSkipWitnessTest 7 例 + LockSkipSilentExitGuardrailTest 4 例)。
- 任务状态词表:散落内联集合改由单一定义点判方向(TaskStatusVocabularyRatchetTest 7 例),
CANCELED/CANCELLED 只做归一映射,没改库值也没改对外契约。
- 版本硬地板三键(min-supported / enforce / rejectUnreported)此前在任何 yml 里 0 处=出厂即惰性;
现在入册且 enforce=false 走记账模式(ClientVersionFloorConfigTest 9 例),真挡谁留给用户拍。
- 业务码→HTTP 状态只做映射单点 + 开关(默认关,开启前逐字节等价,BusinessErrorHttpStatusTest 8 例);
直接翻面会让三个前端把业务失败读成网络挂了。
- 验收:mvn -o test 这 5 个类 35 例 0 红(用 python subprocess 起 mvn——bash 里 cmd 包一层
开的是交互式 cmd,rc 是 cmd 的,会给出假的 rc=0)。
|
2026-10-09 23:09:37 +08:00 |
|
huangzd1997
|
7c6761bc74
|
收口(去重库读侧): 按行 company_id 认公司——代导入/上传者已删两族归位
控制方 2026-10-09 截图:admin 在「先锋」tab 代导入的行(company_id=3、
uploader=admin 属公司 1)在先锋 tab 看不见、反而出现在米椿花 tab。读侧
(列表/导出/公司超管)自 V145 起一直按"上传账号"认公司,与写侧(5ccf3c89
起一律显式落 company_id、V154 已摘 DEFAULT)两套口径打架;切换前先把存量
兜底行修对:V156 把组 33/uid=1188(「先锋」,账号已硬删)的 1452 行
company_id 1→3——否则切完它们整批冒给米椿花,且当前正参与米椿花的去重
比对(5ccf3c89 已按 company_id 收窄),先锋自己反而拿不到这批值。
- DataReadScope 新增第五道正门 superAdminScopedCompanyId:与
superAdminScopedUserIds 同形"只对站点超管收窄",维度从上传账号集换成
行 company_id;非超管恒 null(不叠那一刀,可见集仍锁在账号/分组上)
- Service applyCompanyScope 由 uploader_user_id IN (成员) 改 eq(company_id);
company_super_admin 的 wholeCompany 分支同批切换(1206 从此看得到代导入
行与上传者已删行,例:admin 代导入 14 行 + 组 33 历史 1452 行)
- G2 护栏加第五道门 + 正/负三枚探针;单测新增四条(超管切公司、公司超管
全公司、门非超管恒 null、service 层 wrapper 两面)
DedupeTotalDataController 的换门接线已随 2a4d15b8(文案批)入库。
影响面(生产只读实查):切后米椿花 tab −14 行、先锋 tab +14+1452 行;
公司超管仅 1206 一个账号。全量 4209 测绿。
|
2026-10-09 19:48:11 +08:00 |
|
huangzd1997
|
2a4d15b801
|
fix(文案出口): 用户可见提示语一律走 UserMessages 把关,并补结果作业租约围栏
两件事同源:2026-10-09 任务 30456 的卡片上同时出现中文进度和一句英文异常原文。
围栏:派发链在执行前重读 job 行,让 activateRunningClaim 的 CAS 恒真,撞锁方
deferRunning 把在跑的行翻回 PENDING,markSuccess 静默写 0 行——成功被判成失败。
claim 快照现在贯穿到 runClaimed 不再回读,markSuccess 返回布尔并补 stage=SUCCESS_LOST
日志,让这次丢失可观测。
文案:普查数出 61 处把 ex.getMessage() 拼进用户可见字段(异常响应、任务 error_message、
结果作业 error_msg、看板 message),逐条翻译追不上新增速度,改为出口把关——
UserMessages.with(中文主干, 异常) 只拼接中文详情、orFallback(原文, 兜底句) 只放行含中文的串,
被换掉的原文进日志;GlobalExceptionHandler 按码分档兜底(401/4011/40902 各说各的话)。
另把 chunk-read-failed[N] 摘要写成"第 N 分片读取失败"、TASK_LOCK_BUSY 换成中文(40902 码不动,
客户端按码分支)。数字人两处与结果作业 worker 故意仍存原文:孤儿判定与三条 preserves raw
用例按 error_message 读它,界面侧由前端 userNotice 兜住,已在新尺子里点名豁免并反查豁免是否还被用到。
尺子:RawExceptionMessageSinkGuardTest(出口行数下限硬钉 1500+内存造违例自证)、UserMessagesTest、
UserFacingMessageChineseGuardTest 豁免表收到只剩 JSON 键 msg 一条。mvn -o test 4205 例 0 失败。
|
2026-10-09 19:34:25 +08:00 |
|
huangzd1997
|
5ccf3c896f
|
收口(去重库): 五处比对与写入口按 company_id 认公司,不再跨公司去重
读侧(列表/导出)早已按公司收窄,但"去重"这个动作本身一直查全平台:
selectExistingDataValues 是 `WHERE data_value IN (...)`,一个租户条件都没有。
库里唯一键自 V145 起就是 uk_company_data_value(company_id, data_value)——
同值本来就允许归两家,是代码没跟上库的口径。
五处一起收口(第 5 处由编译器抓出,正是 V145 头注释 §1.2 点名的采集侧):
去重执行 ASIN 过滤 / 导入预检"已存在就跳过" / 手工新增与编辑的重名校验
(文案改「本公司已存在该数据」)/ 删除导入(超管不选分组时原先一次删掉全平台
同名行)/ 采集结果过滤(CollectDataBatchQuery 直连 mapper,改为经 dedupe 侧推导)。
超管代导入的归属分裂一并修掉:前端两个导入接口把公司 tab 发下去——原先
group_id 落别家的组、company_id 落超管自己那一家。公司身份一律在请求线程上由
DataReadScope.readCompanyIdOrOwn 解析后传入(导入与去重跑在虚拟线程,那时已无
请求上下文),service 侧 requireScopedCompanyId 只判空不兜底。
删两条零调用者的跨公司通道(selectAllDataValues/listComparableValues 全表读、
deleteFromExcel 两个同步重载)。反转一条反向钉:comparableValueLookupRemainsGlobal
原显式断言"比对不参与公司收窄"(多公司一期的半套遗留),现为 IsScopedToOneCompany。
三把尺子随之改动,均带出处:tsv 基准行搬家(三个标量双双不动)、前端发送口分母
17→18 组/21→22 处、CatchSilenceRatchet 重抛下限 387→386(随死代码离开树那处)。
验证:后端全量 4198 例 0 失败/0 错误/7 跳过;前端 1778 例全绿;变异自证
6/6 全部 KILLED,注入文件按 sha256 还原并复跑绿。
现网只读探针:misfiled=0、同值跨家=0 ⇒ 存量比对结果不变,行为改变只在将来
A 家导入 B 家已有 ASIN 那一刻;两口径差额 1,452 行(0.26%)全属公司 1、
全源于 10-05 账号硬删。
|
2026-10-09 17:57:37 +08:00 |
|
huangzd1997
|
1553635124
|
feat(多公司): V154 摘去重库 company_id 的 DEFAULT 1,前置是 Java 侧归属闸门
- 只读取证(scripts/_probe_dedupe_default.py,主机A):哨兵四张表里只剩这张带 DEFAULT 1;归属分布 1=546,344 / 3=8,125,无 0 无 NULL,孤儿归属 0 行;写侧显式落值那版上线后真实导入 29,555 行(10-07 09:48→10-08 23:57)⇒ V152 第 6 段"先修写侧、上线并验证真实导入"的前提成立
- 关键差异:本表批量导入是 INSERT IGNORE,在 STRICT_TRANS_TABLES 下省略该列不会 1364,而是落成隐式默认 0(不属于任何公司、对所有公司隐形)⇒ 顺序必须是先上 Java 闸门再让迁移生效,反过来会把"静默归第 1 家"换成"静默归 0 家"
- DedupeTotalDataService.requireCompanyAttribution 接在两条写通道(create / insertImportBatch)上;新用例 4 例含接线钉(按行首语句数调用点==2,避开 javadoc 同名提及那个坑),反证:摘掉一处调用 ⇒ 1 红 BUILD FAILURE
- 迁移只有一条 ALTER COLUMN ... DROP DEFAULT(纯元数据、瞬时、可重跑);禁 MODIFY COLUMN 重建表那条禁令沿用 V144/V150/V152;回滚补丁在 Flyway 扫描路径之外
|
2026-10-09 11:58:43 +08:00 |
|
huangzd1997
|
6aa4f821a8
|
chore(瘦身): 摘 13 处零引用私有方法(160 行)与 mapstruct 死依赖
判死的尺子比「生产没调用」更严:private + 无注解 + 非 get/set/is 形态 + 名字在本文件只出现
1 次 + 在全仓 2,074 个跟踪文件(含 tests、mapper XML、两个前端 src)里也只出现 1 次。
tests 里有 57 处 getDeclaredMethod,反射是按名字取方法的,只看调用图会误杀。
同族审计给的是 40 支/450 行,差额那些名字会出现在别处的字符串或日志里,按这个口径不可证死,
所以只搬能证死的 13 处:AppearancePatentTaskService 37、DeleteBrandRunService 31、
QueryAsinTaskService 27、ZiniaoClientImpl 21、PublishWorkbookService 16、
ShopDataCrawlTaskService 9、PatrolDeleteTaskService 9、DedupeTotalDataService 6、
ShopMatchTaskService 4。
mapstruct 判死锚的是包名而不是注解名:本仓的 @Mapper 是 MyBatis-Plus 的
org.apache.ibatis.annotations.Mapper,按注解名判会误杀。依据是 import org.mapstruct 在
main+test 双口径 0,且 target 里没有 *MapperImpl*、generated-sources 0 文件。
验证走独立工作树(与主树同 HEAD d1a3e8a2):改前 mvn -o -q -DskipTests test-compile 出
MVN_RC=0,改后同命令再 0,才按字节搬回;搬回后 git diff --numstat 全是 0 加 / N 删。
主树这些路径在搬之前 0 脏、HEAD 与校验树同点,两条都设了断言。
|
2026-10-09 11:24:30 +08:00 |
|
huangzd1997
|
a24d7b9bac
|
fix(客户10-08): 分组名收到同公司唯一、去重按分组写不再 403、登录态失效前端会真退出
付费客户「先锋-团队」一次报的四件事,根因各自独立,这一版一起收:
1) 去重数据汇总「新增导入」选自己公司的分组提交必 403。DedupeTotalDataService
.resolveAccessScope 给 company_super_admin 时只开了 wholeCompany 那一支、groupIds
留空集,而写侧闸门 resolveWritableGroup / ensureImportTaskAccess 只认 allUsers 与
groupIds——读侧宽、写侧窄,表现就是「下拉选得到、提交就 403」,且 403 是 HTTP 状态
不是中文文案,前端只能显示 Request failed with status code 403。改为同一口径把本公司的
分组 id 一起带上(src/main/.../DedupeTotalDataService.java:86,104,112 + 注释)。
2) 「暂无分组」与「分组名称已存在」是同一行的两面:老「先锋」的组长 uid=1188 已被删,
分组 id=33 成了孤儿行,仍占着全平台唯一的组名;而 list() 只按 created_by_id 筛,
这一行被每一个公司的 tab 静默排除(生产 13 个分组里 2 个组长只落在旧列 user_id 上)。
V153 给 biz_shop_manage_group 加 company_id(建组按组长定死、改名按组长当前公司纠回,
顺手治「移人」造成的落值漂移),唯一键换成 uk_company_group_name(company_id, group_name),
先 ADD 后 DROP。校验收窄到本公司,文案也从「分组名称已存在」改成「本公司内已存在同名分组」。
MySQL 唯一索引里 NULL 互不相异 ⇒ 迁移上线后 (NULL,'先锋') 不挡 (3,'先锋'),
客户当场就能建组,不需要先清那两行孤儿数据。
3) 删号/凭证过期后「软件还能用、没有强制退出」:前端 http 拦截器只认业务码 4011(互踢),
JWT 过期或被拒返回的 401 一路静默,页面停在原处。新增 handleSessionExpired(),
401 与「code/status=401」都清本地登录态并跳 /login?expired=1;匿名 401 不收口
(那是常态噪声,且没登录态可清)。403 仍不触发下线——那是权限缺口,不能说成登录坏了。
4) 互踢(客户要「支持同时登录」)走配置不改码:AIIMAGE_AUTH_SINGLE_DEVICE_ENABLED=false,
开关只有 3 个消费点、OFF 支已有用例钉着。这里只把公司超管的角色串收成
DeviceSessionPolicy.COMPANY_SUPER_ADMIN,并记下它 src/main 仍有 22 处手抄比较
(SuperAdminPredicateSingleOutletTest 那支绊线只管 super_admin,别以为它也在守这一串)。
⚠ 本提交带着并行会话 10-07 那批分组公司归属校验一起上线(ShopManageGroupService 的
ensureLeaderSharesOperatorCompany / resolveMembers 公司校验等,约 58 行):HEAD 里这个类
连 companyScope 字段都没有,我的写侧代码压在同一处,逐 hunk 拆不出「纯本批」的一版,
拆出来的也编不过。他那支 ShopManageGroupCompanyScopeTest(5 例)一并收了,否则这 58 行进仓
却没有用例。他的 ShopKey*/AdminUserService/admin-frontend-vue 账号页那批一个字没动,仍在
工作树里等他自己发。
验证:mvn -o clean test 全量在 detached worktree(HEAD + 本批白名单)跑;定向 8 支类 61 例 0 红;
shopkey+dedupe 整包 130 例 0 红;本批判据变异自证 6/6 被杀(每轮还原后与注入前哈希逐字节一致);
前端 node --test 21 例 0 红、变异 3/3。回滚:jar 单独回退即可,V153 的手术式回滚见
backend-java/docs/rollback-V153-shop-manage-group-company-id.sql(不要 DROP COLUMN,它是资产)。
|
2026-10-08 19:04:51 +08:00 |
|
huangzd1997
|
419ab3be64
|
refactor(SQL分层): 剩余 85 条注解 SQL 全量迁进 mapper XML,等价性改由 MyBatis 自己判
96 条语句现在全在 src/main/resources/mapper/<模块>/ 下,注解侧 SQL 归零;判据从"基线清单"
改成完成态(逐接口必须为 0 + XML 语句总数 96 + 反向钉:XML 有则注解必须无)。
搬法上踩实了一个坑:注解参数是 Java 表达式("…" + CLIENT_MODULE_TYPES + "…"),
用只认字面量的抽取器搬家会把常量整段吞掉——上一轮生成的 26 份 XML 里因此出现
IN ()、AS status 前面没有表达式(MySQL 语法错),<script> 形态还被多转义一次变成 &lt;。
更糟的是当时"搬迁前快照"与 XML 由同一个抽取器产出,两边一起错所以逐字比对全绿,
抓到现场的是既有的语义用例(TaskCenter 15 条 + 店铺查重那条断 <> 的)。
所以 MigratedSqlEquivalenceTest 改成:账本存注解原文,Java 侧现场用
getDefaultScriptingLanguageInstance().createSqlSource 编译原文,与 XML 解析出的
MappedStatement 各渲染一遍 BoundSql 对撞(空参数 + foreach 喂满 2 元素各一次),
转义对不对由 MyBatis 判定而不是由生成器判定;账本自己再钉 <script>/<if> 成对、不许出现 IN ()。
resultType 那一支不变:期望值由接口签名反射反推,66 条分母钉住。
取数入口跟着换:6 支原本读 @Select 注解的守卫(TaskCenter/Dedupe/店铺查重/通知保留/
鉴权形状/后台扩权)改走 MapperXmlSupport,断言内容一字未动;后台扩权那条"不许有 wrapper
投影"从全文 doesNotContain(".select(") 改成只扫可执行行——接口里现在只剩签名,
而 javadoc 正写着"别用 selectList(.select(...))",全文判会被自己的注释喂饱。
隔离树全量 4059 例 0 红(基线 4054,+5 为新增等价性与 XML 用例)。这批要生效得随下一版 jar 发版。
|
2026-10-08 12:00:43 +08:00 |
|
huangzd1997
|
c1e7d57cce
|
fix(鉴权): 请求身份全量改走会话出口;公开默认 JWT 密钥从出厂件里摘掉
三件事都属"失败很安静"那一类:
1) 请求自带 user_id 当范围条件。cp-item2 只收了会改状态/花钱的出口,其余 28 支控制器
(进度/列表/详情,本支 18 支、另 10 支因与租户判定收口同文件而随 cp-item3 那笔)照旧把
"这单是谁的"交给调用方自报:A 传 B 的 user_id 就读到 B 的进度,
接口 200、日志无声。现在 190 支取请求身份的 handler 只经一个出口(写类 require/resolve、
读类 resolve),护栏 RequestSuppliedIdentityOutletTest 钉分母 126 写 + 63 读 + 1 豁免
(内部代理通道 InternalUserProxyController Get /user-proxy 按内部令牌放行)。DTO 形态
(控制器把整个 @RequestBody 递给 service)靠"该 DTO 是否声明 userId 字段"的索引识别,
少了这层判据会漏掉一半;进度类 28 支另由 ProgressQueryOwnershipOutletTest 单独钉。
桌面执行器 4.0.44 不带凭据是既定事实,[ownership-anonymous] 按 URI 计数留证据,
哪一支的匿名计数归零才允许把它从 resolve 换成 require。
2) 默认 JWT 密钥。application.yml 原本写的是
`${AIIMAGE_JWT_SECRET:please-change-this-secret-…}`,那个兜底默认值就是 2026-10-07
现网取证到的东西:两台都跑 profile server 且 env 里没有这个键,于是 JwtService 的启动闸门
看到的是公开字面量(非空)——既不拒绝启动也不告警,签出来的 token 任何读过源码的人都能伪造
(含超管)。现在占位符不带默认值、AuthProperties 缺省空串、isInsecure 同时认空串与该字面量,
server profile 缺密钥直接拒绝启动(宁可起不来)。JwtSecretFallbackGuardrailTest 五例钉
"资源文件里不许再出现那个字面量"与"两形都算不安全"。
发版顺序是硬约束:先在 A/B 两台 .env 配好与对方一致的 AIIMAGE_JWT_SECRET,再上新 jar;
轮换会把所有 web 会话退出登录。
3) 菜单写侧的无操作者重载(create/update/delete)删掉——三道闸门对 operator==null 的处置是
return(放行),src/main 里没人调用它们,但这条路在,下一支控制器接上去就是静默的跨公司改删。
读侧 list(String menuType) 是登录态自读与内部代理用的,故意保留,并被点名只许 1 处。
TaskProgressOwnershipSupport / SimilarAsinTaskLightControllerTest / ResultSuccessTimingContractTest
是 handler 加上 HttpServletRequest 之后的既有契约用例订正;SourceScan 补 withoutComments/methodBody
两支取文助手(源码守卫的匹配面必须剥注释,否则 javadoc 里提一句就能把"必须存在"那形喂绿)。
变异自证:RequestSuppliedIdentityOutletTest 4/4(M1 删参数形出口、M2 删 DTO 形出口、
M3 出口只写进注释、M4 isBound 恒真);JwtSecretFallbackGuardrailTest 4/4(J1 恢复 yml 默认值、
J2 恢复 AuthProperties 默认值、J3 闸门退回只判 isBlank、J4 isInsecure 恒真);
MenuWriteOutletOperatorTest 4/4。
|
2026-10-07 20:01:32 +08:00 |
|
huangzd1997
|
de2bf05ab7
|
refactor(租户): 站点超管判定收成唯一静态出口,看板补第四道门
"super_admin 才算平台超管"这句判断此前在 src/main 里被手抄过 19 遍,2026-10-07 定的
「company_super_admin 在业务数据面同权、只在管理动作收窄」要落地就得一次改到每一处,
漏一处的表现是某一页静默 403 或静默多放行,两边都不报错。现在口径只在
DeviceSessionPolicy.isSuper 比一次:
- 出口做成静态谓词而不是 AdminAuthSupport 实例方法——那 18 支测试里 mock 的是
AdminAuthSupport,新增实例方法不会被桩到,默认 false 会把范围静默改窄;
- 12 个文件的 15 处调用点改为 DeviceSessionPolicy.isSuper(currentRole(...)),
DataReadScope/AdminAuthSupport 只留一个委托包装;
- 「客户端任务管理」五个 handler 的成员集计算折进 DataReadScope.superAdminScopedUserIds,
并在 CompanyIdParamGoesThroughReadScopeTest 里补成第四道门(正反探针各一,
判据不会因"抽进私有方法"而失明);
- 护栏 SuperAdminPredicateSingleOutletTest 双向钉:出口定义==1、包装==1、调用点==16,
且 banned 掉实例方法形状(自检断言保证它真能红)。
今天口径仍只认 super_admin,这一层是接缝不是开关。Java 全量在本批收口后的那棵树实测 4032 例
0 红 7 skip(7 支是要本地凭据/夹具的回放与实况探测类,历来 skip)。
一并落在这支的文件(同一文件只能进一次提交,故与同批的归属收口混装):ImageVideo/InvalidAsin/
AdminDeviceLog/AdminTaskCenter/DedupeTotalData/AdminShopDataCrawlTasks/AdminShopDataDuplicateCheck/
QueryAsin/ShopManage/SkipPriceAsin 这 10 支控制器的请求身份改走会话出口见 cp-item7 的说明;
PermissionMenuService 还删掉了 create/update/delete 三个"operator 传 null 即跳过归属闸门"的
无操作者写重载(src/main 无人调用),判据在 MenuWriteOutletOperatorTest。
|
2026-10-07 20:01:30 +08:00 |
|
huangzd1997
|
2b7c377e7e
|
fix(多租户): V152 摘 columns/biz_shop_key 的 company_id 列默认值,去重库写侧显式带归属
- V152:两条裸 ALTER COLUMN DROP DEFAULT(纯元数据、可重跑)。依据 V150 §6「合并成一版」
与 migration-inventory 取号;前提=V149/150/151 已于 10-06 17:32:29 落库、写侧三条通道
(PermissionMenuService create/copyTreeFromTemplate、ShopKeyService)均显式落列。
- 去重库:DedupeTotalDataMapper/Entity/Service 的 INSERT 显式写 company_id,不再靠列
DEFAULT 1 兜底(第二家公司开通后静默归错)。biz_dedupe_total_data 的 DEFAULT 摘除排在
本批上线并验证写入之后,不在本版。
- CompanyDefaultDropV152Test 9 例(含 V149/150/151 已应用字节的 CRC 冻结)+ dedupe 两支测试
+ rollback-V152 人工补丁(默认档可直接执行)+ 盘点文档同步(取号起点改 V153)。
|
2026-10-07 04:26:43 +08:00 |
|
huangzd1997
|
16583f578d
|
feat(公司tab): 批次 2/3/4 再接 8 页,注册表收到 16 页——用户页回流 company_id 按新边界改写反向钉
「切 tab 数据还一样」的根因一直是分母小于现实:批次 1 只登记 8 页,本轮按控制方
三次点名扩到 16 页(company-scope.ts 是唯一清单,routes.ts 的 companyScoped 逐页对平)。
批次 2(五页 ASIN 中心):去重总数据 / 不符合ASIN / 查询ASIN / 最低价ASIN / 商品类目。
批次 3(两页店铺中心):撞款监控、店铺数据记录。这两页没有归属列可筛,归属口径是
「本公司账号名下的店铺」——后端由 DataReadScope 推公司 → 成员账号 → biz_shop_manage.
created_by_id,前端只把 activeId 当 company_id 送下去。空成员集必须交空集合,绝不能
退化成 null(null 在这里=全量,那样第二家会看到全部数据)。
批次 4(用户管理):后端早就认 company_id(只对站点超管生效,公司超管恒锁本公司),
断的是前端——UserListQuery 里连这个字段都没有,三家 tab 看的是同一份全量列表。
三处口径改动,逐条说明:
1)company-user-list.test.ts 的反向钉被改写。2026-10-04 定案把公司维度从用户页整体摘掉,
那条钉的原文是「列表查询/筛选/行渲染不允许出现公司维度」。控制方 2026-10-05 明确要
用户管理区分公司 tab,所以钉的边界收窄成两半:渲染层(行级公司列、「所属公司」标签、
筛选状态、顶栏公司名)仍不得回流;请求层的 company_id 是这次加回来的,尺子换成
「取值口唯一」——页面每处 companyId 都必须等于 companyTab.requestCompanyId,且
normalizeUserPageParams/toUserListQuery 两只白名单构造器体内不许出现公司值。
新增一支行为钉:往归一化里传 companyId 必须被丢掉,这是 users.ts 读原始入参的全部理由
(写成 normalized.companyId 时 TS 照样绿、运行时恒 undefined)。
2)align-dup-console 那条 watch 看守的 token 扩到含 reload。变异自证里「删掉 void
loadConsole()」当场全绿:体里的清筛选项守住了,重新取数那半没人守。批次 3/4 三对
token 一起写到 reload 为止(批次 1/2 的老条目不动)。
3)公司管理页补正/反向两把尺子:company-config-entry-super-only 新增「吃公司 tab 的页面
集合恰好等于 COMPANY_SCOPED_PAGES 的 pageFiles」——按代码真值比,不按清单比,所以
清单不改一字而往 CompaniesPage.vue 里塞 store 也会红。谓词带括号,否则 import 行也算消费者。
菜单权限(admin_columns)本轮不动:MenusPage 只消费 /api/admin/permission-menus 这一份全局
菜单字典,切 tab 一样是数据本身全局,不是筛选坏了。真问题在写侧——PermissionMenuService
create/update/delete 只有 ensureAdminOperatorIfPresent(isAdmin 即放行),公司管理员改的是
全平台的菜单行。收窄为仅站点超管 vs 给 permission_menu 加归属列,两种改法代价差一个量级,
留给控制方定档。
护栏:G1 发送口 22 个 / 页面分组 17、watch 体看守 10 对、operation-guide 的 tab 文案 15 页
(撞款监控是显式豁免,另有一条自检盯「豁免落空」)。
变异自证 12/12 全杀(前端 10 + 公司管理反向钉 2),分母钉死在 27 例。
门禁:后端全量 3823 例 / 0 失败 / 0 错误 / 7 skipped,BUILD SUCCESS;admin-frontend-vue
1741 例 / 0 红;vue-tsc rc=0。首轮后端 4 红是另一路 task_partial 改动与本轮编译抢跑,
单跑 13 例已绿,本笔不含他们的任何文件。
未上线:jar 与 admin-vue 都没出包,V147 未在生产执行。
|
2026-10-06 02:32:59 +08:00 |
|
huangzd1997
|
95e2318c42
|
feat(账号到期+公司超管): 级联过期判定、过期停任务巡检与两端续费提醒弹窗
需求两条:站点超管可开设其他公司的超级管理员(站点超管看全站、公司超管只看本公司、
组内管理员仍只看本组);账号要有过期时间,管理员过期后名下普通账户一并停用、
正在跑的任务也要停掉。落库只有 users.expires_at(V146,NULL=永不过期),级联一律现算,
不写"上级过期就把下级置成过期"那种续费也救不回来的数据。
- AccountExpiryService:生效到期 = min(自身, 本公司公司超管, 成员表组长, 创建人)。
登录拦 403(文案给续费提示)、每次请求鉴权拦 401(前端按下线踢回登录页),super_admin
永不适用。级联口径与数据可见范围同源(成员表基本未用、实际按 created_by_id 派生)。
- ExpiredAccountTaskStopService:每分钟把过期账号(含级联成员)名下 biz_file_task
PENDING/SCHEDULED/RUNNING → FAILED,含未领取的 PENDING(防内部通道继续派发)。原因文案
刻意不以「客户端异常中断」开头,否则会被 TaskResumeService 自动复活。品牌采集与跟价循环
不在那张表上,经 ExpiredAccountTaskStopSpi 由各自模块停:品牌 pending/running→cancelled
且 UPDATE 的 WHERE 二次核对状态(抢到行后被客户端推进成完成的行不得误杀),跟价循环只置
stop_requested=1、沿用用户点「停止循环」那条收尾路径,绝不动 status。任务心跳接口保持匿名
不走 requireUser,所以过期账号的客户端仍能拿到 alive=false 协作停止。
- 角色 company_super_admin:由站点超管开设(唯一要显式选公司的建号场景),建号/授菜单/改用户/
看数据四条链路都按"本公司"收口;公司超管之间、以及公司超管与站点超管互相碰不得。
- 续费提醒:剩余 <5 天在数富后台与用户端弹窗,只能收起不能关闭(无关闭按钮,收起态是右下角
浮标),续费到 ≥5 天自动消失。后台读 /api/admin/current-user 的 expiresAt/daysToExpire;
用户端无 Pinia,走 localStorage 的 account_expires_at(登录/check_login 落键、被顶下线清键,
换账号不残留)。只反映账号自身到期,弹窗不做任何级联推断。
- V146 撞掉了 V145 那批的一条护栏:它按"db/ 里不许出现 V146__ 前缀"编死号位,被一条正常的
前向迁移占用就红。改成钉动作——剥注释后的可执行 SQL 不得写 flyway_schema_history(回滚
一律是扫描路径外的人工补丁),并把盘点文档改 V146 时丢掉的 V145 文件名补回去。
验证(本会话亲跑,不是转述):后端定向 14 类 123/0(同一轮 mvn 里连批次③的 4 类 53 例、以及既有 ShopDataCrawl/SimilarAsin 两条回归对照 21 例一起跑,合计 197 例 0 红);admin-frontend-vue 本批定向 44/0(弹窗 7 +
公司建号/列表/入口/日期默认 21 + 角色 task-48/task-251 16),全量 1726 例里那 1 支红是另一条
会话刻意留的「公司 tab 接线缺口」尺子(点名 admin_task_center 等 6 页,与本批无关);
frontend-vue 弹窗 9/0、全量 710/0。变异自证两批共 34 点:弹窗语义 16 点全杀(阈值 5、只能收起
不能关闭、挂载点含"注释掉挂载"、落键/清键链路),本批 SPI+迁移护栏 17 点全杀(含 G2 反向:
前向迁移只在注释里提 flyway_schema_history 必须照样绿),注入文件还原 dirty=0、探针残留 0。
|
2026-10-05 11:51:33 +08:00 |
|
huangzd1997
|
4f03ea1808
|
feat(安全): 内部令牌支持过渡期新旧两把并行接受
换 AIIMAGE_INTERNAL_TOKEN 会让没升级的老客户端立刻全部失败(这把令牌有 4 个客户端字面量
点位并已分发到用户机器)。照仓内 shop-credential-key-previous 的惯例加 internal-token-previous:
逗号分隔的旧值与当前值并入同一接受集合,置空即关窗。
原先 8 处各自持有 @Value 字段并重复实现比较,其中 2 处用的是 equals 而非常量时间比较;
判断收进 AdminAuthSupport.isTrustedSuppliedToken 一处,controller 改为委派。
|
2026-10-03 01:49:13 +08:00 |
|
huangzd1997
|
a58dc8a680
|
fix(断点续传): 外观/结果作业/去重三处中断语义补齐,重启不再静默丢行
- 外观专利行标改两态(in-flight 15min / processed 24h):只有 CAS 写回 payload 成功
才转「已处理」,异常、覆盖率不足、CAS 打满等未落库出口一律撤销标记 —— 修「发 LLM
请求前就盖章,进程被杀的那一批永不再补检」
- 结果文件作业开机自回收:按 owner_instance_id 只收本机名下 RUNNING 且心跳超 90s 的行;
卡死阈值 30 → 5 分钟,重启接回从最长半小时压到 5 分钟
- 外观结果表缺检行显式写「未取得检测结果」并判失败,不再留空靠 0.5 覆盖率阈值蒙过
- 去重进度改 NodeSharedStore 跨节点共享,runId 用已落库的 task_no:轮询打到另一节点或
发版重启后仍能读到真实进度、已完成文件仍可下载;共享态缺失时按 task_no 从库重建;
逐文件心跳防 StaleTaskRepair 把长任务误判死;开机把本机残留 RUNNING 判失败并给提示
|
2026-09-27 22:26:09 +08:00 |
|
huangzd1997
|
892d88ed1e
|
feat(后台管理): 实体管理列表统一展示创建时间/更新时间
用户管理、菜单管理、不符合ASIN、数据去重总数据、查询ASIN、最低价ASIN、
商品类目、密钥管理共 8 个实体管理列表补齐两列。分组管理/店铺密钥/店铺管理
此前已带创建+修改时间,任务列表与统计报表(撞款监控、密钥用量、日志、
记录与版本)不含实体更新语义,均未改动。
关键点——时间列必须由数据库维护,否则新列是假的:
这些表的更新走 selectById → 改字段 → updateById,实体带着读出的旧
updated_at 一起写回。MySQL 规则是「UPDATE 显式给某列赋值时不触发该列的
ON UPDATE 自动更新」,不禁写就会把旧值写回去,更新时间永远冻结在首次写入
时刻。按 V125(biz_file_result)既有样板,给 7 个实体标注
@TableField(insertStrategy=NEVER, updateStrategy=NEVER)。
- V131:users / columns 补 updated_at(幂等 ADD COLUMN,仿 V125 写法)。
存量行被回填为迁移执行时刻,非真实历史变更时间(历史上无记录,无法还原)
- 实体/VO:AdminUserEntity、PermissionMenuEntity、InvalidAsinDataEntity、
DedupeTotalDataEntity、ProductCategoryEntity、QueryAsinEntity、
SkipPriceAsinEntity 加/改写 updatedAt;AdminUserItemVo、PermissionMenuItemVo、
InvalidAsinDataItemVo、DedupeTotalDataItemVo 补 updatedAt;
AdminUserSecretRowVo 补 createdAt(行级首次配置时间 = 三模块最早)
- 查询ASIN/最低价ASIN 后端 VO 与前端 model 本就有两字段,仅补渲染
- 前端 8 页表格加列,同步修正空态/加载行的 colspan(手写表格,不同步会错位)
- 测试:align-query-asin / align-skip-price 原断言「不允许有更新时间列」
(像素复刻旧版),按新需求改为断言两列存在;新增 e2e list-time-columns
覆盖 8 页表头与真实时间值渲染
|
2026-09-19 15:53:01 +08:00 |
|
huangzd1997
|
5a12f92f37
|
fix(去重): 主链接行位于其子链接行之后时未被丢弃 + 导出表头与数据行错列
线上任务 28422(文件 新数据变体完.xlsx)结果中 16 个主ID同时保留了主链接与
子链接,违反所选规则(keepIntegerIds=false / keepUnderscoreIds=true /
keepIntegerMainIdsWhenNoSubIds=true)。
根因:旧实现把整数主链接行暂存,依赖「后到的同主ID子链接行」把它丢弃。
当顺序为「子链接在前、主链接在后」时,子行到来时暂存区尚空,无人记录该主ID
已有子链接,主链接一路存活到 flush。改用 IdRuleRowPicker 先收集、收尾统一按
「该主ID是否出现过子链接行」判定,与源文件顺序无关;补 subRows/mainRows/
droppedMainRows 排查日志。
同时修一处潜在错列:表头按 selectedColumns 原顺序写、数据行按
orderedSelectedColumns(id/ASIN/国家/价格/品牌 提前)写,两者不同序时整体
错列;本任务所选列恰为导出优先级顺序故未暴露。
实测:用线上源文件重算,输出 7273 → 7257 行(正好少掉那 16 个主/子并存的主ID)。
|
2026-09-16 16:33:04 +08:00 |
|
huangzd1997
|
e307efc6bb
|
perf(C6): 去重总数据列表顺序翻页改 keyset(前后端契约一起改)
背景:列表页 `ORDER BY id DESC LIMIT offset,size`,带筛选且选择性低时每页都要
对命中集做一次 filesort;深翻页 offset 也白扫索引。
改法(保持跳页/回退/改每页的原有行为):
- 后端:page 接口新增可选 `last_id` 游标 —— 传了就 `id < lastId` + `LIMIT size`(无 offset),
响应新增 `nextLastId`(本页最后一行 id);不传仍是原 OFFSET 分页
- 管理前端:只有"下一页"用游标(上一页响应带回),跳页/改每页/筛选清空游标走 OFFSET
- 测试:新增 2 个后端契约测试(keyset 无 offset + nextLastId;无游标保持 LIMIT 30,15)
验证:mvn test 2897 全绿;admin-frontend-vue vue-tsc 通过 + 1619 测试全绿;
已部署 JAR 2b9ab774c60c3f5d802c9a2cee549008(双节点 health=200)与 admin-vue-20260914-112055。
|
2026-09-14 11:21:40 +08:00 |
|
huangzd1997
|
36b82f884f
|
fix(startup): 两个 GroupDeletionGuard 显式命名 + Bean 名唯一性守卫测试
事故:2026-09-14 边界收敛新增 invalidasin/dedupe 两个同名 GroupDeletionGuard,
Spring 默认用简单类名做 Bean 名 → 启动抛 ConflictingBeanDefinitionException,
主机 A 的 java-server 连续重启失败(health 不通),**单测全绿也发现不了**
(不起完整 Spring 上下文),部署后才知道。
- 两个守卫分别显式命名 @Service("invalidAsinGroupDeletionGuard") / ("dedupeGroupDeletionGuard")
- 新增 SpringComponentBeanNameUniquenessTest:扫描 main 源码,同简单名的组件必须显式命名,
否则红测试(把这次事故固化成可回归的守卫)
- 已重新打包部署:JAR 1f1e82bda227f2b0768574f8fd7c32c9,双节点 health=200
|
2026-09-14 10:37:44 +08:00 |
|
huangzd1997
|
96800a2c88
|
refactor(boundary): 跨模块循环依赖清零(8 对 → 0),task→业务 依赖归零
共享内核下沉(跨模块共享的"身份/组织/安全"类型进 common)
- AdminUserEntity/AdminUserMapper、ShopManageGroupEntity/ShopManageGroupMapper → common
- AdminAuthSupport(33 文件 17 模块引用)、JwtService、AuthProperties、DeviceSessionPolicy
→ common/security(原先放在 admin/auth 里,任何模块用一次就多一条跨模块边)
端口化(消费方声明接口、数据方实现)
- task/spi:ResultFileJobHandler 新增 resolveResultFileUrl 钩子(BRAND 特例从 Worker 收回);
Worker 改为调用 handler.onSuccess(该钩子历史上从未被调用,withdraw 的收尾靠 Worker 里的
WITHDRAW 特判硬编码——现两者都归位,task 侧不再 import withdraw/brand)
- admin/spi/UserSecretCleanupPort(删除用户级联清理密钥)、notification/spi/ProxyBalancePort
(代理余额探测)、shopdatacrawl/spi/ManagedShopNamesPort(可管店铺名)
- shopkey/spi/GroupDeletionGuardPort:分组删除守卫改由各业务模块实现(invalidasin/dedupe 两个实现),
shopkey 不再直连它们的 Mapper
棘轮与量化(2026-09-14 实测)
- ArchitectureBoundaryTest:task→业务 119 → **0**(基线钉死为 0,新增跨模块动作必须走 task/spi)
- 跨模块 import 行数 650 → 605;双向依赖对 8 → **0**(usersecret/permission/shopkey 三向环、
task↔withdraw、task↔brand、admin↔permission、admin↔usersecret、dedup↔shopkey、
invalidasin↔shopkey、notification↔usersecret、shopdatacrawl↔shopduplicatecheck 全部拆解)
测试同步:接口契约 8→9、品牌 Handler 钩子契约、worker 的 10 个测试构造实参、通知/管理测试端口化。
mvn test 2881 全绿。
|
2026-09-14 10:05:04 +08:00 |
|
huangzd1997
|
af7886926c
|
feat(D2): 导入进度跨节点可见(NodeSharedStore:本地快路径 + Redis 真源)
- 新增 common/service/NodeSharedStore:本地 Map 快路径 + Redis 跨节点真源 + 写节流
(默认 500ms,逐行刷新进度不会打爆 Redis)+ 本节点条目快照(维护用)+ TTL 兜底过期
- 接入 DedupeTotalDataService(8 个进度/归属/分组/完成时间映射)、QueryAsinService、
SkipPriceAsinService(各 3 个):轮询落到另一节点不再报"任务不存在"
- 保留期清理改为遍历本节点快照(跨节点过期由 Redis TTL 兜底),不再依赖全量遍历
- 测试同步:去重服务测试的反射注入改用 NodeSharedStore(未注入 Redis 时等价纯本地)
mvn test 2815 全绿
|
2026-09-14 06:54:48 +08:00 |
|
huangzd1997
|
f4ee7e16f0
|
refactor+perf+fix: G5 模块边界 SPI 化、C5 流式解析、C6/C7 查询优化、D13 队列持久化、A3/A4/A7 鉴权
模块边界(G5 / G7)
- 新增 task/spi/TaskModuleHeartbeatSpi + 13 个模块实现:TaskHeartbeatService 不再 import 任何
业务模块(原先注入 12 个 CacheService 并用 switch 分发);启动校验重复注册
- 新增 task/spi/BrandTaskHeartbeatSpi(品牌任务心跳/中断)、BrandTaskStaleRepairSpi(陈旧修复)、
CollectDataItemCleanupSpi(历史清理):跨模块 Mapper 操作收回业务模块
- G7:10 个被跨模块借用的 productrisk VO 迁至 common/model/vo
- 架构棘轮收紧:TASK_TO_BUSINESS_BASELINE 119 → 6(实测)
- 新增 TaskModuleHeartbeatSpiCoverageTest(moduleType 覆盖与拼写)
性能与容量(C5/C6/C7/D13)
- C5 流式解析:SkipPriceAsinService(含两行表头语义)、AppearancePatentExcelParser、
BrandTaskService、DeleteBrandRunService、LocalFileStorageService.getExcelInfo 改 ExcelStreamReader;
行数上限改为迭代中生效
- C6 去重总数据列表:关键字改前缀匹配(命中 uk_data_value);V124 删除永不生效的 idx_country
- C7 撞款扫描:按店逐批取数(索引前缀),不再全表 GROUP BY + JOIN + 全量拉内存
- D13 待删对象本地日志 PendingDeleteJournal(启动回放 + 收敛重写),RustfsDeleteRetryService 与
TransientPayloadDeleteOrchestrator 接入;异步删除失败对象写回日志
- V123 删除 biz_file_result 两个被复合索引覆盖的单列索引
安全(A3/A4/A7 + 守卫名单)
- A4 数字人版本写操作要求管理员;A7 视频密钥按登录身份(超管例外)
- A3 上传接口加危险扩展名黑名单(可配置)
- AdminApiGuardFilter 用户态名单补 /api/ziniao(controller 已 requireAdmin,此处为开关打开后的第二层)
容量(明细表保留期)
- 新增 ShopDataCrawlItemRetentionService:biz_shop_data_crawl_item 按保留期(默认 30 天)分批清理
(该表此前无任何清理策略,是增长最快的表),job 锁 + 单轮批次上限
|
2026-09-14 06:46:27 +08:00 |
|
huangzd1997
|
7368322791
|
fix: 全维度审查修复(安全/正确性/性能/稳定性/客户端/前端)
安全
- /api/ziniao/** 五个匿名接口加管理员鉴权(此前可匿名换取任意员工店铺登录令牌)
- 删除 Flask 遗留后门:默认密码建超管 + 每次启动写生产 users 表(服务端与客户端各一份)
- 进度/详情接口归属过滤:新增 TaskProgressOwnershipSupport,11 模块 progress/light 与
/tasks/batch 接入,DTO 补 userId,前端 13 个查询封装补传(未传时后端不过滤,兼容旧端)
- 代理提取链接(含账密)不再明文入日志(新增 common/util/SecretMasking)
- 全局异常兜底不再回传原始异常信息;内部令牌比较改常量时间
- 登录加失败计数与锁定(10 次锁 15 分钟);品牌源文件下载加 SSRF 防护
- AdminApiGuardFilter 覆盖前缀从 2 扩到 15(开关默认 false,行为不变,为收紧做准备)
- 生产关闭 springdoc/knife4j(/doc.html 匿名可读全部接口定义)
正确性
- 40901/40902 拆分:锁竞争不再被伪装成 success=true(此前客户端停止重试、分片静默丢失)
- 假成功收敛:集采明细批量写失败改为抛出、去重 worker 异常标失败、4 个 worker 改判
success 字段、publish 空 ASIN 行参与批次 flush、巡店删除全失败带 error 上报
- 客户端心跳 discard 移入 finally(7 模块,失败路径不再留僵尸 RUNNING 任务)
- 状态机条件更新:跟价停止循环、集采 activate/fail、imagevideo 归档回填、店铺匹配提交
性能
- 前端入口包 JS 1.05MB→204KB、CSS 355KB→10.7KB(Element Plus 改按需 + el-config-provider)
- 载荷引用计数按指针里的 taskId 收敛(原 JSON 列 IN 全表扫且逐行调用)
- 店铺明细多值批量 INSERT;快照 upsert 预载缓存;结果文件列改单条 UPDATE
- 新增迁移 V120(补 3 个缺失索引)/V121(删 4 个被覆盖的冗余索引)/V122(URL 前缀索引)
稳定性
- 新增 common/util/ThreadPools 有界线程池替换 5 处无界队列(防堆积 OOM)
- Redis 锁释放改 Lua 原子校验(原裸 delete 会误删他人已过期的锁)
- imagevideo 加死节点接管;锁续期失败重试;调度池 4→16;openStream 全部加超时
- 事务内远程对象删除移到提交后;启动恢复锁按实例命名
客户端
- 不再 taskkill /f /im chrome.exe(改为按调试端口精准回收,不杀用户自己的浏览器)
- 密码检测不再无条件杀紫鸟进程;品牌检测加全局互斥(代理池不再互相覆盖)
- base_dir 统一到 exe 目录(原被 os.getcwd() 覆盖,日志/缓存会分裂两个目录)
- 缓存加定时清理;图片下载加超时;mkstemp 句柄托管
测试
- 同步更新受影响的契约测试(构造器签名/条件更新/方法改名/新增接口方法等)
- 修复 FaultInjectionTest 等 3 处 mock 未 stub 流式 read 导致的读循环 OOM
- mvn test 2795 个测试全绿
|
2026-09-14 04:15:36 +08:00 |
|
huangzd1997
|
a3b01f1f50
|
fix(安全/健壮性): 全工作区审查修复——鉴权兜底扩展+路径穿越+忙等+泄漏
- AdminApiGuardFilter 兜底扩展到 /api/collect-data、/api/price-track:无需鉴权的
工具接口纳入 JWT/内部令牌校验(原匿名可达即越权读写他人数据)
- pricetrack asinFiles 改为仅允许上传临时目录内文件(canonical 前缀校验),
修复请求路径直接 new File 可读服务器任意 csv/xlsx 的穿越
- dedupe 删除导入逐行 REQUIRES_NEW 事务改 500 条一批 IN 删除,50 万行导入
由 50 万个事务收敛为千级
- 前端记住密码 XOR 硬编码密钥改 WebCrypto AES-GCM(密钥随机生成独立存储),
登录流程接口改 async 并保证自动登录恢复时序
- 任务进度轮询失败按指数退避(原固定 5s 无限撞);下载进度终态条目 2 分钟
自动清理(原永久堆积);AmazonConsolePage statusTimer 卸载清理
|
2026-09-11 17:11:43 +08:00 |
|
huangzd1997
|
677c2677ec
|
feat(web): 前端 SPA 化 + 工具页任务面板统一与历史批量删除
- SPA 化:22 个 MPA html 入口与 *-main.ts 合并为 index.html + vue-router(URL 无 .html 后缀),
页面跳转全部 router-link,/new_web_source/xxx.html 旧路径归一为 /xxx
- 任务面板统一:共享 TaskCenterPanel/TaskItemCard/TaskStatCards/HistoryTaskLayer,
16 个工具页右侧统一为统计卡 + 当前任务 + 历史任务弹层(任务ID/开始/结束/状态必展示)
- 历史记录支持单条删除 + 批量勾选删除(确认框/全选/失败提示)
- Java 7 模块(dedupe/convert/split/productrisk/shopmatch/pricetrack/deletebrand)
history 接口补齐任务时间字段(VO+Service,复用 biz_file_task 列)
- 图片工作台/API 层(brand/permission/user)既有未提交改动一并提交
|
2026-09-08 10:02:55 +08:00 |
|
huangzd1997
|
debbef69a9
|
fix(筛选契约): 去重汇总/品牌库/查询ASIN 列表与导出接口 @RequestParam 显式 snake_case(page_size/group_id/data_value/shop_name/start_date/end_date),与前端 asin-filter 序列化对齐——修复全站筛选/分页不生效(前端snake vs 后端裸camel全不匹配)
|
2026-09-07 02:43:37 +08:00 |
|
huangzd1997
|
0bf39b04db
|
fix(backend-java): 收口并发资源与恢复链路
|
2026-09-05 14:44:00 +08:00 |
|
huangzd1997
|
d1368ed00e
|
后台店铺数据记录页新增 Tab 切换与重复 ASIN 分析;task-169/170 HTTP 客户端配置接入;dedupe/brand 相关改造
- 管理后台:店铺数据记录改为列表分页展示(去任务号/文件列/累计标题,'最新'改'更新时间'),新增'重复 ASIN' Tab 按跨店聚合展示 ASIN/店铺/分组/国家/日期/价格;修复失败/进行中任务被过滤不显示的问题
- task-169: BrandCheckHttpConfigResolver 从 aiimage.http-client.* 读取品牌检查超时/重试(默认同现状、钳制),附 8 条测试
- task-170: surefire 内存调整为 1536m
- dedupe: DedupeRunService 重构(事务边界/进度)、新增 DedupeRunProgressVo、Controller 与结果 VO 调整,PermissionMenuService 相应适配
- brand/dedupe 前端:BrandDedupeTab/BrandPatrolDeleteTab 改造、新增 CountrySelector 组件与 country-options、类型与接口端对齐、测试更新
- 移除无引用文件:backend/static/logo.jpg、prompts/
|
2026-09-03 01:57:41 +08:00 |
|
huangzd1997
|
523ffa1949
|
去重导出列固定顺序为 id/ASIN/国家/价格/品牌;QueryAsin 按店铺加载数据并修正前端回退逻辑
|
2026-08-25 22:38:38 +08:00 |
|
huangzd1997
|
a47fe87730
|
去重总数据国家限定五国并优化筛选布局
- 国家仅保留德国/英国/法国/意大利/西班牙,移除美国及US映射
- 保留服务器已有 V90 迁移,新增 V91 添加 country 列及索引
- ASIN列表筛选区改为两行布局:查询条件+按钮在上,日期+导出在下
|
2026-08-24 00:03:28 +08:00 |
|
huangzd1997
|
3f767059f9
|
后台去重数据新增国家
|
2026-08-23 22:50:58 +08:00 |
|
supernijia
|
62a3c1c6ec
|
更新任务存储、权限与货源查询流程
|
2026-08-22 21:23:01 +08:00 |
|
supernijia
|
91cd02eeb4
|
后台更新 服务优化
|
2026-08-11 14:50:21 +08:00 |
|
supernijia
|
641c70d451
|
处理后台新需求
|
2026-08-09 20:08:39 +08:00 |
|
supernijia
|
40f4fae272
|
新需求更新 同步更新
|
2026-08-06 01:11:54 +08:00 |
|
super
|
48e3c330ee
|
后端优化,增加新需求
|
2026-07-21 19:53:47 +08:00 |
|
super
|
05e674858a
|
更新ASIN库新需求
|
2026-07-20 20:12:38 +08:00 |
|
super
|
175144f729
|
更新这个货源
|
2026-05-22 09:41:31 +08:00 |
|
super
|
0b352924e4
|
完善多店铺开启多窗口、外观进度条等
|
2026-05-01 21:09:54 +08:00 |
|
super
|
fff3b6e889
|
优化后台业务
|
2026-04-30 11:36:58 +08:00 |
|
super
|
7e1974a688
|
后端架构更新
|
2026-04-27 09:18:10 +08:00 |
|
super
|
8ea7e949c2
|
后台查询Asin文档更新
|
2026-04-24 15:14:14 +08:00 |
|
super
|
54ee3f304e
|
完成后端架构重构等
|
2026-04-23 15:25:41 +08:00 |
|
super
|
67ac3e62b1
|
完成匹配、跟价、权限部分
|
2026-04-17 12:52:16 +08:00 |
|
super
|
5dd7a92cf5
|
删除品牌
|
2026-03-27 21:32:00 +08:00 |
|