fix(jd): 回传链两处 0 行判死——空完成不再落 SUCCESS、结构变更不再白等 60 分钟(2026-11-19 34900/34901/34902 实录,铁律 31)

This commit is contained in:
2026-11-19 13:17:56 +08:00
parent 23e326df19
commit aeaa7f64f4
4 changed files with 346 additions and 4 deletions
@@ -23,6 +23,7 @@ import com.nanri.aiimage.modules.task.model.entity.TaskScopeStateEntity;
import com.nanri.aiimage.modules.task.service.CredentialFatalTaskCloser;
import com.nanri.aiimage.modules.task.service.TaskFinalizeSupport;
import com.nanri.aiimage.modules.task.service.TaskProgressSnapshotService;
import com.nanri.aiimage.modules.task.service.support.TaskFailureLedger;
import lombok.RequiredArgsConstructor;
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Service;
@@ -164,10 +165,16 @@ public class JdResultIngestService {
}
int itemsReceived = mergeScopeState(scope, request, request.getItems() == null ? 0 : request.getItems().size());
if (Boolean.TRUE.equals(request.getIsEnd())) {
finalizeSuccess(task, itemsReceived);
// 客户端缺少可验证的完整分页回执,不能据此删除未回传的旧商品。
log.warn("[{}] 缺少全店分页完整性证明,跳过覆盖清理 taskId={} itemsReceived={}",
LOG_TAG, task.getId(), itemsReceived);
if (itemsReceived <= 0) {
// 空完成判死(2026-11-19 34902 实录):isEnd 且累计 0 行=列表页根本没读出来
//(没报结构错的空跑同样落这里),照旧落 SUCCESS 会让界面显示「成功」却没有数据。
finalizeEmptyFailure(task);
} else {
finalizeSuccess(task, itemsReceived);
// 客户端缺少可验证的完整分页回执,不能据此删除未回传的旧商品。
log.warn("[{}] 缺少全店分页完整性证明,跳过覆盖清理 taskId={} itemsReceived={}",
LOG_TAG, task.getId(), itemsReceived);
}
}
JdIngestChunkVo vo = new JdIngestChunkVo();
vo.setAccept(true);
@@ -197,6 +204,16 @@ public class JdResultIngestService {
new CredentialFatalTaskCloser(LOG_TAG, fileTaskMapper, null).closeIfFatal(task, error);
return reject("凭据不可自愈(详见任务失败原因),任务已终止");
}
// 非致命档在 0 行时收窄(2026-11-19 34900/34901 实录):「页面结构变更」命中且累计 0 行
// ⇒ worker 报完即停、心跳随之注销,再挂到心跳超时只会让用户白看 60 分钟「处理中」——
// 立即判 FAILED(有数据的中途抖动仍走下面的非致命档)。
if (JdStaleTaskService.isJdPageStructureFailure(error) && receivedRows(task.getId()) == 0) {
jdStaleTaskService.terminalizeOnJdStructureFatal(task, error);
JdIngestChunkVo vo = new JdIngestChunkVo();
vo.setAccept(true);
vo.setMessage("页面结构变更且未采到任何商品,任务已终止");
return vo;
}
// 非致命(限流/超时/页面抖动):只补测不判死,记入 scope 台账后让客户端继续。
log.warn("[{}] 非致命失败上报,不判死 taskId={} err={}", LOG_TAG, task.getId(), error);
recordLastError(task.getId(), error);
@@ -206,6 +223,15 @@ public class JdResultIngestService {
return vo;
}
/** 累计已收行数(scope 台账 itemsReceived);台账缺失按 0 读——首包前就报错的失败正是要判死的形状。 */
private int receivedRows(Long taskId) {
TaskScopeStateEntity scope = collectTaskService.findScopeRow(taskId);
if (scope == null) {
return 0;
}
return intVal(parseState(scope.getStateJson()).get("itemsReceived"));
}
private void recordLastError(Long taskId, String error) {
TaskScopeStateEntity scope = collectTaskService.findScopeRow(taskId);
if (scope == null) {
@@ -234,6 +260,28 @@ public class JdResultIngestService {
}
}
private static final String STATUS_FAILED = TaskStatuses.FileTask.FAILED;
/** 空完成判死:isEnd 且累计 0 行,CAS RUNNING→FAILED 可重入;文案给动作句不写「稍后重试」。 */
private void finalizeEmptyFailure(FileTaskEntity task) {
String message = "京东采集结束但未采到任何商品数据(0 行):通常是京麦未登录或商品列表页未能打开,"
+ "请核对采集浏览器里的京麦登录态后重新采集";
int updated = fileTaskMapper.update(null, new LambdaUpdateWrapper<FileTaskEntity>()
.eq(FileTaskEntity::getId, task.getId())
.eq(FileTaskEntity::getStatus, STATUS_RUNNING)
.set(FileTaskEntity::getStatus, STATUS_FAILED)
.set(FileTaskEntity::getSuccessFileCount, 0)
.set(FileTaskEntity::getFailedFileCount, 1)
.set(FileTaskEntity::getErrorMessage, message)
.set(FileTaskEntity::getFailureCategory, TaskFailureLedger.categoryOf(message))
.set(FileTaskEntity::getUpdatedAt, LocalDateTime.now())
.set(FileTaskEntity::getFinishedAt, LocalDateTime.now()));
if (updated > 0) {
taskProgressSnapshotService.markTerminal(task.getId(), MODULE_TYPE, STATUS_FAILED, message);
log.warn("[{}] 回传结束但未采到任何商品,落 FAILED taskId={}", LOG_TAG, task.getId());
}
}
// ---------- V199 保护闸:人工编辑锁与删除忽略 ----------
/**
@@ -164,4 +164,59 @@ public class JdStaleTaskService {
|| message.contains("未登录京麦")
|| message.contains("京麦登录态");
}
/**
* 京东页面结构变更整单判死(铁律 31,2026-11-19 34900/34901 实录):「列表页点不到 Tab」
* 发生在首包之前时任务一件数据都没有,worker 报完 error 即停、心跳随之注销 ⇒ 原来只能挂到
* 心跳超时(60 分钟)才死,用户全程只看「处理中」。回传侧
* ({@code JdResultIngestService})判「结构变更词命中且累计 0 行」时调本出口立即落 FAILED;
* 有数据的中途抖动仍走非致命档。CAS RUNNING→FAILED 可重入。
*
* @return true=本次真的把任务写成了终态
*/
public boolean terminalizeOnJdStructureFatal(FileTaskEntity task, String rawError) {
if (task == null || task.getId() == null) {
return false;
}
String message = terminalStructureMessage(rawError);
int updated = fileTaskMapper.update(null, new LambdaUpdateWrapper<FileTaskEntity>()
.eq(FileTaskEntity::getId, task.getId())
.eq(FileTaskEntity::getModuleType, MODULE_TYPE)
.eq(FileTaskEntity::getStatus, STATUS_RUNNING)
.set(FileTaskEntity::getStatus, STATUS_FAILED)
.set(FileTaskEntity::getSuccessFileCount, 0)
.set(FileTaskEntity::getFailedFileCount, 1)
.set(FileTaskEntity::getErrorMessage, message)
.set(FileTaskEntity::getFailureCategory, TaskFailureLedger.categoryOf(message))
.set(FileTaskEntity::getUpdatedAt, LocalDateTime.now())
.set(FileTaskEntity::getFinishedAt, LocalDateTime.now()));
if (updated > 0) {
taskProgressSnapshotService.markTerminal(task.getId(), MODULE_TYPE, STATUS_FAILED, message);
log.warn("[{}] 页面结构变更且未采到任何数据,任务落终态 FAILED taskId={} err={}",
LOG_TAG, task.getId(), message);
}
return updated > 0;
}
/** 结构变更终态文案:生产者原文 + 动作句(不写「稍后重试」)。 */
static String terminalStructureMessage(String rawError) {
String raw = rawError == null ? "" : rawError.trim();
StringBuilder message = new StringBuilder();
if (!raw.isEmpty()) {
message.append(raw).append(";");
}
message.append("请确认采集浏览器里京麦已登录、商品列表页能正常打开后重新采集");
return message.toString();
}
/**
* 「京东页面结构变更」这一族(唯一出处=客户端 {@code structure_change_message} 的固定前缀,
* 回传 error 与判死共用同一判据;登录态/代理/LLM 凭据词各有自己的族,不在这里)。
*/
static boolean isJdPageStructureFailure(String message) {
if (message == null || message.isBlank()) {
return false;
}
return message.contains("京东页面结构变更");
}
}