feat(collect-data): 结果 Excel 追加「被过滤明细」sheet,品牌检测失败原因可见
task 32573 回传 600 行只留 1 行,被砍掉的 599 行在系统里只剩四个计数, 谁都答不出「是哪些 ASIN、死在哪一道」。四类被过滤行现在于提交时当场 逐行落库(V179 biz_collectdata_filtered_row),结果 Excel 追加第 3 个 sheet 供逐行对账。不在装配期回读 chunk 重判——去重库与无效品牌库读的 都是当前态,任务窗口期的写入会让判定漂移(错标/漏标/分类串台), 依据逐条写在 V179 头注释里。 同批:brandQueryFailedCount 与原因进历史 VO 和任务卡片;损耗通知不再对 「未配置代理」的用户承诺稍后重跑——补测队列两轮 21/21、28/28 全败、净增 0 行,那句是谎。 台账:XML_STATEMENT_TOTAL 141→143(新 mapper 两条写侧语句);静默 catch 棘轮 total 1028→1031、不重抛 579→582、只 log 181→182(三枚审计件容错, 逐处记名于 CatchSilenceRatchetTest 上方注释)。
This commit is contained in:
@@ -54,7 +54,9 @@ class CatchSilenceRatchetTest {
|
||||
// 10-27 「整表都要跑完」专项抬 573 -> 577(2 枚新增不重抛 + 2 枚既有整批抛出改逐条跳过,逐处记名见 STRICT_TOTAL 上方)。
|
||||
// 10-27 同日第二批抬 577 -> 579(批量入库逐批容错+folder 去重逐条目容错,两处都是 log.warn+计数+continue,
|
||||
// 逐处记名见 STRICT_TOTAL 上方注释)。
|
||||
static final int GIVEN_NOT_RETHROW = 579;
|
||||
// 10-28 V179 采集被过滤行追溯抬 579 -> 582(审计件三枚:逐批插入容错/回流簿记容错/尾 sheet 降级,
|
||||
// 逐处记名见 STRICT_TOTAL 上方注释)。
|
||||
static final int GIVEN_NOT_RETHROW = 582;
|
||||
static final int GIVEN_LOG_ONLY = 249;
|
||||
static final int GIVEN_EMPTY = 56;
|
||||
|
||||
@@ -181,8 +183,24 @@ class CatchSilenceRatchetTest {
|
||||
* 因为 {@code TaskRetryEligibility}/{@code SimilarAsinStaleReopenSupport} 会按 errorMessage
|
||||
* 字面量分类,写进去等于替一条正常任务编一个失败理由。
|
||||
* 同批实测 total 1028、rethrow 393(未动)、notRethrow 579、logOnly 181(未动)、empty 56(未动)。
|
||||
*
|
||||
* <p>10-28 采集「被过滤行」追溯(V179,结果 Excel 第 3 个 sheet)抬 total 1028 -> 1031,逐处记名。
|
||||
* 三枚都是<b>审计件不得打掉交付</b>那一形,块体各只有一句带 {@code [collect-data]} 锚点的 WARN:
|
||||
* <ul>
|
||||
* <li>{@code CollectDataFilteredRowStore.writeBatch} 一枚:被过滤行按批 INSERT,坏批点名后
|
||||
* 其余批照常落库(口径照 {@code CollectDataInvalidAsinBatchWriter})。这份明细不参与任何
|
||||
* 判定,为它打掉用户已采回的数据是拿可追溯性换交付;跳过的批会从四类计数与已落库行数
|
||||
* 的差里冒出来,sheet 上写「另有 N 行未逐条记录」,不是静默少给。</li>
|
||||
* <li>{@code CollectDataFilteredRowStore.markResolved} 一枚:补测回流只盖时间戳+追加一句。
|
||||
* 必要性是实测的——{@code CollectDataBrandRecheckScheduler} 抓住 {@code apply()} 的抛出后
|
||||
* <b>整组留队重放</b>,这里若外抛,一次簿记失败会让已注入的任务永远重排。</li>
|
||||
* <li>{@code CollectDataExcelAssemblyService.writeFilteredSheet} 一枚:尾 sheet 读不动就交付
|
||||
* 前两表、缺这张审计表。同批我先写的第二枚("清单不完整"那行的内层 catch)已删掉:
|
||||
* 那只是本地 POI 写,写不动说明整份 workbook 都写不动,该由
|
||||
* {@code writeWorkbookStreaming} 的既有出口处理,与前两张 sheet 同姿势。</li>
|
||||
* </ul>
|
||||
*/
|
||||
static final int STRICT_TOTAL = 1028;
|
||||
static final int STRICT_TOTAL = 1031;
|
||||
/**
|
||||
* 重抛型 catch 的**下限**(不是上限):本轮把两处吞异常改成重抛之后实测 388。
|
||||
* 这一格只能涨不能跌——它是"异常会往外走"的总量,把它钉成"只许减"就等于拦着别人修吞异常。
|
||||
@@ -282,8 +300,13 @@ class CatchSilenceRatchetTest {
|
||||
* 10-27 同日第二批再抬 577 -> 579(2 枚逐批/逐条目容错:{@code QueryAsinService.flushInsert}
|
||||
* 与 {@code DedupeRunService.packageFolderDedupeResultsAsZip},块体都是 log.warn+计数,
|
||||
* 坏项点名、其余照常交付,逐处记名见 STRICT_TOTAL 上方注释)。
|
||||
* 10-28 再抬 579 -> 582(V179 采集「被过滤行」三枚审计件容错:{@code CollectDataFilteredRowStore.writeBatch}
|
||||
* 逐批插入、{@code CollectDataFilteredRowStore.markResolved} 回流簿记、
|
||||
* {@code CollectDataExcelAssemblyService.writeFilteredSheet} 尾 sheet 降级;三处都是带
|
||||
* {@code [collect-data]} 锚点的 log.warn+善后,块体除第一枚外各带一句状态置位/返回值,
|
||||
* 逐处记名见 STRICT_TOTAL 上方注释)。
|
||||
*/
|
||||
static final int STRICT_NOT_RETHROW = 579;
|
||||
static final int STRICT_NOT_RETHROW = 582;
|
||||
/**
|
||||
* 10-17 抬 172 -> 173,出处就是上面点名过的 {@code TaskHeartbeatLivenessService.stamp()}:
|
||||
* 块体只有「取到 key 名 + log.warn」一句,写心跳证据失败时既不重试也不抛出——
|
||||
@@ -303,8 +326,12 @@ class CatchSilenceRatchetTest {
|
||||
* 与 {@code getAllFileAggregates} 的逐条跳过出口——块体各只有一句带 {@code [brand-storage]}
|
||||
* 锚点的 WARN。两处此前是「一个文件坏 ⇒ 整批抛出」,改后其余文件照常返回,坏的那条点名可查;
|
||||
* 同批 {@code rebuildAggregate} 与外观专利候选收集因块内另有计数/continue 只进 NOT_RETHROW。
|
||||
* 10-28 抬 181 -> 182(V179 采集「被过滤行」的 {@code CollectDataFilteredRowStore.writeBatch}):
|
||||
* 块体只有一句带 {@code [collect-data]} 锚点的 WARN(taskId+chunk+err),坏批点名后其余批照常
|
||||
* 落库。同批另两处({@code markResolved} 追加 return、{@code writeFilteredSheet} 置 incomplete 位)
|
||||
* 因块内多一句只进 NOT_RETHROW。
|
||||
*/
|
||||
static final int STRICT_LOG_ONLY = 181; // 严格口径:块内每条顶层语句都是 log 调用才算
|
||||
static final int STRICT_LOG_ONLY = 182; // 严格口径:块内每条顶层语句都是 log 调用才算
|
||||
static final int STRICT_EMPTY = 56;
|
||||
|
||||
/**
|
||||
|
||||
Reference in New Issue
Block a user