diff --git a/backend-java/src/main/java/com/nanri/aiimage/modules/file/service/oss/OssStorageService.java b/backend-java/src/main/java/com/nanri/aiimage/modules/file/service/oss/OssStorageService.java index 307cf4769..9c36ca0c4 100644 --- a/backend-java/src/main/java/com/nanri/aiimage/modules/file/service/oss/OssStorageService.java +++ b/backend-java/src/main/java/com/nanri/aiimage/modules/file/service/oss/OssStorageService.java @@ -227,6 +227,48 @@ public class OssStorageService { return presignPublicClientUpload(objectKey, SOFTWARE_VERSION_PREFIX, "software version", expirySeconds); } + /** + * 通用按桶直传预签名(v1.4 京东商品图等独立桶用):签名 host 与 + * {@link #presignSoftwareVersionUpload} 同口径取 public-endpoint(oss.aishufu.top), + * 调用方拿到后直接 PUT 落对象;桶名与 key 由调用方(服务端自己的 ingest 服务)生成, + * 本方法不再做前缀守卫——前缀归属校验归生成 key 的那侧。 + * {@code presignSoftwareVersionUpload} 系列的既有语义一字不动。 + */ + public String presignObjectUpload(String bucket, String objectKey, int expirySeconds) { + String normalizedBucket = requireStorageName(bucket, "bucket"); + String normalizedObjectKey = requireStorageName(objectKey, "objectKey"); + try { + return presignClient().getPresignedObjectUrl(GetPresignedObjectUrlArgs.builder() + .method(Method.PUT) + .bucket(normalizedBucket) + .object(normalizedObjectKey) + .expiry(Math.max(60, expirySeconds), TimeUnit.SECONDS) + .build()); + } catch (Exception ex) { + throw storageFailure("presign", normalizedBucket + "/" + normalizedObjectKey, ex); + } + } + + /** 指定桶对象的字节数;对象不存在返回 -1(京东商品图登记对撞用,语义同 publicClientObjectSize)。 */ + public long objectSize(String bucket, String objectKey) { + String normalizedBucket = requireStorageName(bucket, "bucket"); + String normalizedObjectKey = requireStorageName(objectKey, "objectKey"); + try { + var stat = buildClient().statObject(StatObjectArgs.builder() + .bucket(normalizedBucket) + .object(normalizedObjectKey) + .build()); + return stat.size(); + } catch (ErrorResponseException ex) { + if (isNotFound(ex)) { + return -1L; + } + throw storageFailure("stat", normalizedBucket + "/" + normalizedObjectKey, ex); + } catch (Exception ex) { + throw storageFailure("stat", normalizedBucket + "/" + normalizedObjectKey, ex); + } + } + /** 公开 client 桶对象大小共用实现:对象不存在返回 -1(直传确认时先卡大小)。 */ private long publicClientObjectSize(String objectKey, String prefix, String what) { requirePrefixedObjectKey(objectKey, prefix, what); @@ -246,6 +288,11 @@ public class OssStorageService { } } + /** 指定桶对象的公开直链(京东商品图等独立桶的展示源;AC-4:url 100% 自有域名)。 */ + public String getBucketObjectUrl(String bucket, String objectKey) { + return getPublicUrl(requireStorageName(objectKey, "objectKey"), requireStorageName(bucket, "bucket")); + } + /** 返回软件版本对象的字节数;对象不存在返回 -1(直传完成后由服务端核对大小是否超限)。 */ public long softwareVersionObjectSize(String objectKey) { return publicClientObjectSize(objectKey, SOFTWARE_VERSION_PREFIX, "software version"); diff --git a/backend-java/src/main/java/com/nanri/aiimage/modules/jd/controller/InternalJdImageController.java b/backend-java/src/main/java/com/nanri/aiimage/modules/jd/controller/InternalJdImageController.java new file mode 100644 index 000000000..fc957461d --- /dev/null +++ b/backend-java/src/main/java/com/nanri/aiimage/modules/jd/controller/InternalJdImageController.java @@ -0,0 +1,74 @@ +package com.nanri.aiimage.modules.jd.controller; + +import com.nanri.aiimage.common.api.ApiResponse; +import com.nanri.aiimage.common.exception.BusinessException; +import com.nanri.aiimage.common.security.AdminAuthSupport; +import com.nanri.aiimage.modules.jd.model.dto.JdImagePresignRequest; +import com.nanri.aiimage.modules.jd.model.dto.JdImageRegisterRequest; +import com.nanri.aiimage.modules.jd.model.vo.JdImagePresignVo; +import com.nanri.aiimage.modules.jd.model.vo.JdImageRegisterVo; +import com.nanri.aiimage.modules.jd.service.JdProductImageIngestService; +import io.swagger.v3.oas.annotations.Operation; +import io.swagger.v3.oas.annotations.tags.Tag; +import jakarta.servlet.http.HttpServletRequest; +import lombok.RequiredArgsConstructor; +import lombok.extern.slf4j.Slf4j; +import org.springframework.web.bind.annotation.PostMapping; +import org.springframework.web.bind.annotation.RequestBody; +import org.springframework.web.bind.annotation.RequestMapping; +import org.springframework.web.bind.annotation.RestController; + +/** + * 内部接口:京东商品图片预签名与登记(v1.4 Phase 4,蓝图 §3.3)。 + * + *
客户端先取预签名(服务端生成内容寻址 objectKey),按 URL 直传独立桶 + * {@code jd-products},再经 chunk 回传(主链路)或本控制器 {@code /register} + * (补登记口)登记落 {@code biz_jd_product_image}——服务端零图片字节。
+ * + */api/internal 虽在 AdminApiGuardFilter 兜底名单内、可信令牌会放行,controller + * 仍自校验令牌——防止配置漂移时匿名可达(InternalTaskEvidenceController 同款)。 + * 身份以请求头 JWT 为准(user_token 钩子统一注入),body.uid 只作存量装机兜底; + * 任务级 owner 对撞与 companyId 投影收口在 {@link JdProductImageIngestService}。
+ */ +@Slf4j +@RestController +@RequiredArgsConstructor +@RequestMapping("/api/internal/jd-images") +@Tag(name = "内部接口", description = "京东商品图片预签名直传与登记(X-Internal-Token + JWT 鉴权)。") +public class InternalJdImageController { + + private final JdProductImageIngestService imageIngestService; + private final AdminAuthSupport adminAuthSupport; + + @PostMapping("/presign") + @Operation(summary = "取图片直传预签名", description = "服务端生成 objectKey 并按需签发 PUT URL;" + + "同公司同内容命中既有对象时只回 objectKey(uploadUrl 为空,客户端登记既有 key 不重传)。") + public ApiResponse与客户端 {@code jd_image_collector._default_presign} 逐键对齐:顶层
+ * {@code productCode / images}(taskId/uid 客户端不传,可空——服务端按内部令牌 +
+ * JWT 会话身份解析 uid,归属与桶前缀由 uid 投影的 company_id 决定);图片项键集
+ * {@code sha256 / bytes / contentType}。objectKey 由服务端生成(内容寻址:
+ * {@code
蓝图 §3.3 ③ 契约形状:归属先判(taskId + uid 对撞任务 owner)→ 逐图 + * {@code statObject} 对撞「对象存在 + 字节数一致」→ 写 {@code biz_jd_product_image}。 + * 当前客户端主链路把图片清单并进 chunk 回传({@code JdIngestChunkRequest} 的 + * {@code images}),本端点作为显式补登记口保留;两条路的落行出口都是 + * {@code JdProductImageIngestService} 同一份对撞逻辑。
+ */ +@Data +public class JdImageRegisterRequest { + + /** 来源任务(必填:本端点按任务做归属与商品解析)。 */ + private Long taskId; + + /** 调用者 uid(可空:真身份以请求头 JWT 为准;解析后必须与任务 owner 一致)。 */ + private Long uid; + + /** 图片所属京东商品编码(必填:按公司+任务+编码解析商品行 id)。 */ + private String productCode; + + /** 本批登记图片清单(直传完成后回传的 objectKey 明细)。 */ + private List{@code items} 只含服务端愿意放行的图:新对象给 {@code uploadUrl},命中既有对象 + * (同公司同内容已上传过)只回 {@code objectKey}、{@code uploadUrl} 置空——客户端据此 + * 「不发 PUT、只登记既有 key」({@code jd_image_collector} 约定);无效/对不上的图 + * 不进 items,计入 {@code skipped} 并留日志。
+ */ +@Data +public class JdImagePresignVo { + + /** 放行清单(按请求顺序;客户端按 sha256 对回)。 */ + private List{@code registered}=实际落行数(upsertBatch 批量);{@code skipped}=空明细/ + * 非法键(sha256 缺失等);{@code mismatched}=对象不存在或实测字节数与声明不符 + * ——对不上不落行、不静默吞,每条都留日志(蓝图 §3.3 ③ 必做项)。
+ */ +@Data +public class JdImageRegisterVo { + + private int registered; + + private int skipped; + + private int mismatched; +} diff --git a/backend-java/src/main/java/com/nanri/aiimage/modules/jd/service/JdProductImageIngestService.java b/backend-java/src/main/java/com/nanri/aiimage/modules/jd/service/JdProductImageIngestService.java new file mode 100644 index 000000000..a6da62b19 --- /dev/null +++ b/backend-java/src/main/java/com/nanri/aiimage/modules/jd/service/JdProductImageIngestService.java @@ -0,0 +1,376 @@ +package com.nanri.aiimage.modules.jd.service; + +import com.baomidou.mybatisplus.core.conditions.query.LambdaQueryWrapper; +import com.nanri.aiimage.common.exception.BusinessException; +import com.nanri.aiimage.common.mapper.AdminUserMapper; +import com.nanri.aiimage.common.model.entity.AdminUserEntity; +import com.nanri.aiimage.modules.file.service.oss.OssStorageService; +import com.nanri.aiimage.modules.jd.mapper.JdProductImageMapper; +import com.nanri.aiimage.modules.jd.mapper.JdProductMapper; +import com.nanri.aiimage.modules.jd.model.dto.JdImagePresignRequest; +import com.nanri.aiimage.modules.jd.model.dto.JdImageRegisterRequest; +import com.nanri.aiimage.modules.jd.model.entity.JdProductEntity; +import com.nanri.aiimage.modules.jd.model.entity.JdProductImageEntity; +import com.nanri.aiimage.modules.jd.model.vo.JdImagePresignVo; +import com.nanri.aiimage.modules.jd.model.vo.JdImageRegisterVo; +import com.nanri.aiimage.modules.task.mapper.FileTaskMapper; +import com.nanri.aiimage.modules.task.model.entity.FileTaskEntity; +import lombok.RequiredArgsConstructor; +import lombok.extern.slf4j.Slf4j; +import org.springframework.beans.factory.annotation.Value; +import org.springframework.stereotype.Service; + +import java.util.ArrayList; +import java.util.List; +import java.util.Locale; +import java.util.Map; +import java.util.Set; + +/** + * 京东商品图片入库链(v1.4 Phase 4,蓝图 §3.3):服务端发预签名、客户端直传 OSS、 + * 服务端登记对撞——服务端零图片流量(主机 B 公网出口约 5Mbps,2 万张图走 + * 中转会拖死发版与采集)。 + * + *两条登记入口共用同一份对撞与落行逻辑: + * ① chunk 回传(主链路,{@code JdResultIngestService} 接 {@link #registerTaskImages})—— + * 客户端把直传完成的 objectKey 清单并进回传行;② 显式补登记口 + * {@code /api/internal/jd-images/register}({@link #register})。落行唯一出口 + * {@link JdProductImageMapper#upsertBatch}(uk_product_image 幂等,铁律 1:SQL 全落 XML)。
+ * + *三条红线:① objectKey 由服务端生成(内容寻址
+ * {@code
链路:客户端回传 chunk → 归属解析({@code task.user_id -> users.company_id},读不出跳过 * 不回填默认 1,铁律 30)→ 行 upsert(唯一出口 {@link JdProductMapper#upsertBatch}, - * upsert-only 不 delete,B94-01)→ scope 台账合并写(断点游标 + 批次号 + 累计行数)→ - * {@code isEnd=true} 时任务落 SUCCESS。图片只消费键名与数量(tempKey 待位), - * 预签名直传与登记对撞在 Phase 4 接 {@code JdProductImageIngestService}。 + * upsert-only 不 delete,B94-01)→ 图片清单登记(Phase 4:直传完成的 objectKey 逐图 + * statObject 对撞落 {@code biz_jd_product_image},唯一出口 + * {@link JdProductImageIngestService#registerTaskImages})→ + * scope 台账合并写(断点游标 + 批次号 + 累计行数)→ + * {@code isEnd=true} 时任务落 SUCCESS。 * *
回传 payload 键集契约({@code JdIngestPayloadContractTest} 绊线钉住):顶层
* {@code batchId / cursor / items / isEnd}(+ {@code error} 失败上报),行内
@@ -65,6 +67,7 @@ public class JdResultIngestService {
private final JdCollectTaskService collectTaskService;
private final JdStaleTaskService jdStaleTaskService;
private final TaskProgressSnapshotService taskProgressSnapshotService;
+ private final JdProductImageIngestService jdProductImageIngestService;
private final ObjectMapper objectMapper;
public JdIngestChunkVo submitChunk(Long taskId, JdIngestChunkRequest request) {
@@ -111,8 +114,10 @@ public class JdResultIngestService {
continue;
}
rows.add(buildRow(task, companyId, createRequest, item, summary, request.getBatchId(), scope));
- // 图片本 Phase 只计数占位(tempKey 待位):预签名直传与登记对撞在 Phase 4 落 biz_jd_product_image。
- imageCount += item.getImages() == null ? 0 : item.getImages().size();
+ // Phase 4:直传完成的图片清单按 statObject 对撞落 biz_jd_product_image(登记链唯一出口
+ // JdProductImageIngestService,uk_product_image 幂等;商品行未落库时跳过不落孤儿行)。
+ imageCount += jdProductImageIngestService.registerTaskImages(taskId, companyId,
+ item.getProductCode().trim(), toImageSpecs(item.getImages()));
}
}
if (!rows.isEmpty()) {
@@ -126,7 +131,7 @@ public class JdResultIngestService {
vo.setAccept(true);
vo.setDeduped(deduped);
vo.setUpserted(rows.size());
- vo.setImagesRegistered(0);
+ vo.setImagesRegistered(imageCount);
return vo;
}
@@ -281,6 +286,21 @@ public class JdResultIngestService {
return row;
}
+ /** chunk 图片明细 → 登记 spec(中性形状,登记链共用一份对撞逻辑)。 */
+ private static List 覆盖蓝图点名的五条判据:独立桶 objectKey 服务端生成(内容寻址
+ * {@code jd-products/