fix(jd): 回传链两处 0 行判死——空完成不再落 SUCCESS、结构变更不再白等 60 分钟(2026-11-19 34900/34901/34902 实录,铁律 31)
This commit is contained in:
+52
-4
@@ -23,6 +23,7 @@ import com.nanri.aiimage.modules.task.model.entity.TaskScopeStateEntity;
|
||||
import com.nanri.aiimage.modules.task.service.CredentialFatalTaskCloser;
|
||||
import com.nanri.aiimage.modules.task.service.TaskFinalizeSupport;
|
||||
import com.nanri.aiimage.modules.task.service.TaskProgressSnapshotService;
|
||||
import com.nanri.aiimage.modules.task.service.support.TaskFailureLedger;
|
||||
import lombok.RequiredArgsConstructor;
|
||||
import lombok.extern.slf4j.Slf4j;
|
||||
import org.springframework.stereotype.Service;
|
||||
@@ -164,10 +165,16 @@ public class JdResultIngestService {
|
||||
}
|
||||
int itemsReceived = mergeScopeState(scope, request, request.getItems() == null ? 0 : request.getItems().size());
|
||||
if (Boolean.TRUE.equals(request.getIsEnd())) {
|
||||
finalizeSuccess(task, itemsReceived);
|
||||
// 客户端缺少可验证的完整分页回执,不能据此删除未回传的旧商品。
|
||||
log.warn("[{}] 缺少全店分页完整性证明,跳过覆盖清理 taskId={} itemsReceived={}",
|
||||
LOG_TAG, task.getId(), itemsReceived);
|
||||
if (itemsReceived <= 0) {
|
||||
// 空完成判死(2026-11-19 34902 实录):isEnd 且累计 0 行=列表页根本没读出来
|
||||
//(没报结构错的空跑同样落这里),照旧落 SUCCESS 会让界面显示「成功」却没有数据。
|
||||
finalizeEmptyFailure(task);
|
||||
} else {
|
||||
finalizeSuccess(task, itemsReceived);
|
||||
// 客户端缺少可验证的完整分页回执,不能据此删除未回传的旧商品。
|
||||
log.warn("[{}] 缺少全店分页完整性证明,跳过覆盖清理 taskId={} itemsReceived={}",
|
||||
LOG_TAG, task.getId(), itemsReceived);
|
||||
}
|
||||
}
|
||||
JdIngestChunkVo vo = new JdIngestChunkVo();
|
||||
vo.setAccept(true);
|
||||
@@ -197,6 +204,16 @@ public class JdResultIngestService {
|
||||
new CredentialFatalTaskCloser(LOG_TAG, fileTaskMapper, null).closeIfFatal(task, error);
|
||||
return reject("凭据不可自愈(详见任务失败原因),任务已终止");
|
||||
}
|
||||
// 非致命档在 0 行时收窄(2026-11-19 34900/34901 实录):「页面结构变更」命中且累计 0 行
|
||||
// ⇒ worker 报完即停、心跳随之注销,再挂到心跳超时只会让用户白看 60 分钟「处理中」——
|
||||
// 立即判 FAILED(有数据的中途抖动仍走下面的非致命档)。
|
||||
if (JdStaleTaskService.isJdPageStructureFailure(error) && receivedRows(task.getId()) == 0) {
|
||||
jdStaleTaskService.terminalizeOnJdStructureFatal(task, error);
|
||||
JdIngestChunkVo vo = new JdIngestChunkVo();
|
||||
vo.setAccept(true);
|
||||
vo.setMessage("页面结构变更且未采到任何商品,任务已终止");
|
||||
return vo;
|
||||
}
|
||||
// 非致命(限流/超时/页面抖动):只补测不判死,记入 scope 台账后让客户端继续。
|
||||
log.warn("[{}] 非致命失败上报,不判死 taskId={} err={}", LOG_TAG, task.getId(), error);
|
||||
recordLastError(task.getId(), error);
|
||||
@@ -206,6 +223,15 @@ public class JdResultIngestService {
|
||||
return vo;
|
||||
}
|
||||
|
||||
/** 累计已收行数(scope 台账 itemsReceived);台账缺失按 0 读——首包前就报错的失败正是要判死的形状。 */
|
||||
private int receivedRows(Long taskId) {
|
||||
TaskScopeStateEntity scope = collectTaskService.findScopeRow(taskId);
|
||||
if (scope == null) {
|
||||
return 0;
|
||||
}
|
||||
return intVal(parseState(scope.getStateJson()).get("itemsReceived"));
|
||||
}
|
||||
|
||||
private void recordLastError(Long taskId, String error) {
|
||||
TaskScopeStateEntity scope = collectTaskService.findScopeRow(taskId);
|
||||
if (scope == null) {
|
||||
@@ -234,6 +260,28 @@ public class JdResultIngestService {
|
||||
}
|
||||
}
|
||||
|
||||
private static final String STATUS_FAILED = TaskStatuses.FileTask.FAILED;
|
||||
|
||||
/** 空完成判死:isEnd 且累计 0 行,CAS RUNNING→FAILED 可重入;文案给动作句不写「稍后重试」。 */
|
||||
private void finalizeEmptyFailure(FileTaskEntity task) {
|
||||
String message = "京东采集结束但未采到任何商品数据(0 行):通常是京麦未登录或商品列表页未能打开,"
|
||||
+ "请核对采集浏览器里的京麦登录态后重新采集";
|
||||
int updated = fileTaskMapper.update(null, new LambdaUpdateWrapper<FileTaskEntity>()
|
||||
.eq(FileTaskEntity::getId, task.getId())
|
||||
.eq(FileTaskEntity::getStatus, STATUS_RUNNING)
|
||||
.set(FileTaskEntity::getStatus, STATUS_FAILED)
|
||||
.set(FileTaskEntity::getSuccessFileCount, 0)
|
||||
.set(FileTaskEntity::getFailedFileCount, 1)
|
||||
.set(FileTaskEntity::getErrorMessage, message)
|
||||
.set(FileTaskEntity::getFailureCategory, TaskFailureLedger.categoryOf(message))
|
||||
.set(FileTaskEntity::getUpdatedAt, LocalDateTime.now())
|
||||
.set(FileTaskEntity::getFinishedAt, LocalDateTime.now()));
|
||||
if (updated > 0) {
|
||||
taskProgressSnapshotService.markTerminal(task.getId(), MODULE_TYPE, STATUS_FAILED, message);
|
||||
log.warn("[{}] 回传结束但未采到任何商品,落 FAILED taskId={}", LOG_TAG, task.getId());
|
||||
}
|
||||
}
|
||||
|
||||
// ---------- V199 保护闸:人工编辑锁与删除忽略 ----------
|
||||
|
||||
/**
|
||||
|
||||
+55
@@ -164,4 +164,59 @@ public class JdStaleTaskService {
|
||||
|| message.contains("未登录京麦")
|
||||
|| message.contains("京麦登录态");
|
||||
}
|
||||
|
||||
/**
|
||||
* 京东页面结构变更整单判死(铁律 31,2026-11-19 34900/34901 实录):「列表页点不到 Tab」
|
||||
* 发生在首包之前时任务一件数据都没有,worker 报完 error 即停、心跳随之注销 ⇒ 原来只能挂到
|
||||
* 心跳超时(60 分钟)才死,用户全程只看「处理中」。回传侧
|
||||
* ({@code JdResultIngestService})判「结构变更词命中且累计 0 行」时调本出口立即落 FAILED;
|
||||
* 有数据的中途抖动仍走非致命档。CAS RUNNING→FAILED 可重入。
|
||||
*
|
||||
* @return true=本次真的把任务写成了终态
|
||||
*/
|
||||
public boolean terminalizeOnJdStructureFatal(FileTaskEntity task, String rawError) {
|
||||
if (task == null || task.getId() == null) {
|
||||
return false;
|
||||
}
|
||||
String message = terminalStructureMessage(rawError);
|
||||
int updated = fileTaskMapper.update(null, new LambdaUpdateWrapper<FileTaskEntity>()
|
||||
.eq(FileTaskEntity::getId, task.getId())
|
||||
.eq(FileTaskEntity::getModuleType, MODULE_TYPE)
|
||||
.eq(FileTaskEntity::getStatus, STATUS_RUNNING)
|
||||
.set(FileTaskEntity::getStatus, STATUS_FAILED)
|
||||
.set(FileTaskEntity::getSuccessFileCount, 0)
|
||||
.set(FileTaskEntity::getFailedFileCount, 1)
|
||||
.set(FileTaskEntity::getErrorMessage, message)
|
||||
.set(FileTaskEntity::getFailureCategory, TaskFailureLedger.categoryOf(message))
|
||||
.set(FileTaskEntity::getUpdatedAt, LocalDateTime.now())
|
||||
.set(FileTaskEntity::getFinishedAt, LocalDateTime.now()));
|
||||
if (updated > 0) {
|
||||
taskProgressSnapshotService.markTerminal(task.getId(), MODULE_TYPE, STATUS_FAILED, message);
|
||||
log.warn("[{}] 页面结构变更且未采到任何数据,任务落终态 FAILED taskId={} err={}",
|
||||
LOG_TAG, task.getId(), message);
|
||||
}
|
||||
return updated > 0;
|
||||
}
|
||||
|
||||
/** 结构变更终态文案:生产者原文 + 动作句(不写「稍后重试」)。 */
|
||||
static String terminalStructureMessage(String rawError) {
|
||||
String raw = rawError == null ? "" : rawError.trim();
|
||||
StringBuilder message = new StringBuilder();
|
||||
if (!raw.isEmpty()) {
|
||||
message.append(raw).append(";");
|
||||
}
|
||||
message.append("请确认采集浏览器里京麦已登录、商品列表页能正常打开后重新采集");
|
||||
return message.toString();
|
||||
}
|
||||
|
||||
/**
|
||||
* 「京东页面结构变更」这一族(唯一出处=客户端 {@code structure_change_message} 的固定前缀,
|
||||
* 回传 error 与判死共用同一判据;登录态/代理/LLM 凭据词各有自己的族,不在这里)。
|
||||
*/
|
||||
static boolean isJdPageStructureFailure(String message) {
|
||||
if (message == null || message.isBlank()) {
|
||||
return false;
|
||||
}
|
||||
return message.contains("京东页面结构变更");
|
||||
}
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user