Day38-20｜19.6.4 某电商智能决策大数据系统：让数据进入经营、推荐与供应链闭环
Day38-20｜19.6.4 某电商智能决策大数据系统：让数据进入经营、推荐与供应链闭环
对应教材目录：第 19 章 大数据架构设计理论与实践 → 19.6 大数据架构设计案例分析 → 19.6.4 某电商智能决策大数据系统
学习目标：理解电商智能决策系统的数据来源和业务目标；掌握实时推荐、营销、库存、定价、供应链和经营分析的数据架构；能够把数据采集、湖仓、批流计算、算法模型、在线服务和反馈闭环组织成完整案例答案。
一、电商智能决策系统的业务背景
电商平台每天产生大量用户行为、商品、订单、库存、物流和营销数据。平台不仅要回答“发生了什么”，还要支持“下一步应该做什么”：向用户推荐什么商品、给谁发放优惠、哪些商品需要补货、活动预算如何分配、哪些订单可能取消、哪个仓库应该提前备货。
用户/商品/订单/库存/物流/营销/外部数据
|
数据平台与特征平台
|
模型/规则/优化/实时决策服务
|
推荐、搜索、促销、库存、定价、履约、经营
|
行为反馈与效果评估智能决策系统的关键不是单独训练一个模型，而是建立从数据、特征、模型、决策、执行到反馈的闭环，并同时保证实时性、准确性、可解释性、安全和成本可控。
二、主要数据来源
1. 用户行为数据
包括曝光、点击、搜索、收藏、加购、购买、评价、分享、停留、退出和售后。行为数据用于短期兴趣、长期画像、推荐和营销效果，但涉及隐私授权和用途限制。
2. 商品和内容数据
包括商品属性、类目、品牌、价格、库存、图片、文本、评价和上下架状态。商品数据是推荐、搜索、定价和内容理解的基础，需要版本和质量治理。
3. 交易与履约数据
包括订单、支付、退款、配送、签收、取消和退货。交易数据用于用户价值、履约预测、库存和供应链决策，必须与账务和订单状态保持一致。
4. 经营和外部数据
包括活动、优惠券、广告、供应商、天气、节假日、区域、竞争价格和宏观数据。外部数据要记录来源、时间、授权和可信度。
三、智能决策系统的核心目标
- 提升用户发现商品和完成交易的效率。
- 提高推荐、搜索和营销的相关性与转化率。
- 降低库存积压、缺货和履约成本。
- 预测需求、订单取消、退货和供应链风险。
- 支持活动、定价、预算和资源的动态优化。
- 通过实时反馈快速调整策略，同时支持历史重算和模型训练。
这些目标可能相互冲突。例如提高转化率可能增加低利润商品，降低库存可能增加缺货风险，个性化推荐可能带来隐私和公平性问题。架构需要支持多目标和约束条件，而不是只追求单一指标。
四、总体数据架构
行为埋点/订单/商品/库存/物流/外部数据
|
接入、消息、CDC、文件
|
原始数据湖/湖仓/数据目录
/ \
/ \
实时流：特征、库存、活动 批处理：画像、报表、训练集
| |
实时特征库/决策服务 特征库/模型/指标/数据集市
\ /
\ /
推荐、搜索、营销、库存、供应链、经营决策
|
效果反馈与实验平台五、数据湖仓与数据治理
1. 原始层
保存用户行为、订单事件、商品变化和库存流水等原始事实，保留来源、时间、版本和追踪信息。原始层支持回放和重算，但必须进行访问控制、加密和生命周期管理。
2. 标准层
统一用户、商品、订单、门店、仓库和供应商标识，解决编码、时区、口径和数据质量问题。主数据管理是智能决策的基础，否则不同模型会使用不同的商品或用户定义。
3. 服务层
生成用户画像、商品标签、实时库存、经营指标、特征和模型输入。服务层通过 API、查询服务和特征服务为在线应用提供低延迟访问。
4. 血缘与质量
每个指标和特征要能追溯来源、处理逻辑、版本和责任人。质量监控包括事件量、空值、重复、延迟、主键匹配、库存差异、模型特征分布和结果异常。
六、用户画像和特征平台
1. 长期画像
批处理根据历史购买、品类偏好、价格敏感度、品牌偏好、生命周期和用户价值生成长期画像。画像应有时间窗口、计算版本和更新日期，避免把过期行为当作当前偏好。
2. 实时特征
速度层计算最近点击、当前会话、实时库存、活动响应、频次和风险等特征。实时特征要低延迟、可恢复和可回溯，离线训练和在线推理必须尽量使用相同定义。
3. 特征治理
特征需要有名称、定义、类型、来源、更新频率、质量、权限和生命周期。废弃特征要下线，敏感特征要限制用途，不能让算法团队无限复制用户数据。
七、推荐与搜索决策
1. 推荐链路
推荐通常包括候选召回、过滤、排序、重排和展示。实时特征用于反映当前会话，批量画像和模型提供长期偏好；库存、价格、活动、合规和商业规则在重排阶段生效。
用户请求 -> 召回候选 -> 特征获取 -> 模型排序
-> 业务规则/库存/广告约束
-> 去重、多样性与安全过滤 -> 展示2. 搜索决策
搜索不仅是相关性排序，还要结合商品状态、库存、价格、质量、商家和活动。索引更新可以由实时事件驱动，批处理负责全量重建和质量校验。
3. 实验和反馈
推荐策略要通过 A/B 实验、分层实验和长期指标评估。点击率短期上升不一定代表用户满意度和长期价值提高，实验结果需要防止样本污染、指标误读和隐私泄露。
八、营销与优惠决策
营销系统根据用户、商品、活动、库存和预算选择优惠券、权益和触达渠道。速度层处理近期行为和活动响应，批处理计算用户价值、长期转化和活动复盘。
优惠决策需要防刷、防重复和预算控制：
- 每个优惠券有唯一 ID、适用范围和状态。
- 领取、使用、退款和过期均可追溯。
- 同一用户、设备和地址的频率受到控制。
- 活动预算和权益库存采用原子扣减或可靠状态机。
- 模型推荐的优惠仍需通过业务和合规规则过滤。
九、库存、需求预测和供应链决策
1. 实时库存
库存服务接收入库、销售、退货、调拨和盘点事件，维护可售、锁定、在途和损坏数量。智能决策系统读取确认库存，不应随意覆盖库存权威流水。
2. 需求预测
批处理结合历史销量、季节、活动、价格、天气和区域计算预测；速度层根据实时销售、流量和活动响应修正短期预测。
3. 补货和调拨
决策服务综合预测、库存、供应商、运输时效和成本生成补货或调拨建议。建议不等于自动执行，涉及大额采购或关键库存时需要审批、约束和人工复核。
4. 供应链风险
模型可以识别供应商延迟、物流异常、缺货和退货风险。风险结果要能解释数据来源、模型版本和触发原因，避免业务人员无法复核。
十、模型平台和决策闭环
数据采集 -> 特征工程 -> 训练/评估 -> 模型注册
^ |
| v
效果反馈 <- 业务执行 <- 在线决策 <- 模型服务模型治理包括训练数据版本、特征版本、模型版本、评估指标、审批、灰度、监控和回滚。上线后要监控数据漂移、预测偏差、延迟、异常输入、转化和长期业务指标。
规则和模型应协同：规则用于库存、合规和安全硬约束，模型用于排序、预测和优化；模型不能绕过业务底线。决策结果保存原因码和版本，便于审计和解释。
十一、实时与批量处理
实时层
处理用户会话、商品变化、库存事件、活动响应和实时风险，更新特征和在线决策数据。实时结果用于推荐、搜索、营销和告警。
批处理层
处理历史画像、模型训练、预测评估、经营报表、活动复盘、供应链分析和数据修正。批处理支持全量重算和历史回放，保证模型和指标可重复。
结果分层
推荐和营销可以使用实时估算，库存和订单决策需要确认状态，财务和经营报表使用批处理后的最终数据。服务层应明确结果时间和版本。
十二、架构安全与隐私
用户画像和行为数据属于敏感数据。应按用途和角色控制访问，推荐服务只获得必要特征，模型训练使用脱敏或匿名数据，合作商户只能看到本商户范围的统计。
关键措施包括：
- 用户授权和用途限制。
- 行列级权限和租户隔离。
- 敏感字段加密、脱敏和令牌化。
- 特征、模型、规则和导出审计。
- 数据生命周期和删除请求传播。
- 训练数据、模型制品和服务接口的版本治理。
十三、案例分析：电商智能决策平台建设
某电商平台原有推荐依赖离线报表，库存系统和营销系统数据相互独立，活动期间经常出现推荐无货商品、优惠超发和补货滞后。平台希望建设统一智能决策系统。
建设方案：
- 统一用户、商品、订单、库存和活动数据模型，建立事件平台和主数据。
- 原始事件进入湖仓，标准化后生成数据产品、画像和特征。
- 实时层维护当前会话、库存、活动和风险特征，为推荐与营销提供低延迟数据。
- 批处理层生成长期画像、需求预测、模型训练、活动复盘和经营报表。
- 推荐、搜索、营销、库存和供应链服务共享特征与策略，但保留各自业务约束。
- 库存和优惠使用状态机、幂等和原子扣减，避免模型结果直接造成超卖或超发。
- 通过 A/B 实验、对账、库存差异、优惠核销和模型指标验证效果。
- 建立权限、脱敏、生命周期、模型审计和人工复核机制。
十四、案例题答题模板
电商智能决策案例可按以下结构作答：
- 识别用户、商品、订单、库存、物流、营销和外部数据。
- 设计湖仓、事件平台、数据目录、主数据和质量治理。
- 设计实时特征、批量画像、模型、规则和决策服务。
- 分别说明推荐、搜索、营销、库存和供应链的业务约束。
- 设计反馈闭环、A/B 实验、模型版本、漂移监控和回滚。
- 说明数据安全、隐私、租户隔离、审计和生命周期。
- 说明峰值、故障、库存一致性、优惠幂等和人工复核。
- 给出转化率、库存差异、预测误差、延迟和成本指标。
十五、课后练习
练习 1
为什么智能推荐不能只依赖离线用户画像？
参考答案：用户当前会话和兴趣变化很快，离线画像存在延迟；需要实时特征补充近期行为、库存、活动和风险，同时用批处理提供长期画像和模型。
练习 2
为什么模型结果不能直接修改库存？
参考答案：模型是预测或建议，可能存在误差；库存涉及权威流水、并发、订单和履约约束，应通过库存服务、状态机、原子操作、审批和对账执行。
练习 3
智能决策平台如何形成反馈闭环？
参考答案：采集数据、生成特征、训练/评估模型、在线决策、执行业务、采集曝光点击订单等反馈，再进行效果评估、模型更新、灰度和回滚。
练习 4
论文题：论“电商智能决策大数据系统的架构设计”。
参考答案要点：统一数据模型、湖仓、实时流、批处理、特征平台、模型与规则、推荐搜索、营销、库存供应链、实验反馈、安全隐私和治理。
十六、今日复盘
- 我能否画出电商智能决策的数据和反馈闭环？
- 我是否理解实时特征、批量画像、模型和业务规则的分工？
- 我能否说明推荐、营销、库存和供应链的不同约束？
- 我是否考虑模型版本、实验、漂移、解释和回滚？
- 我能否保护用户隐私、库存权威和优惠完整性？
电商智能决策案例的核心结论是：数据平台负责统一事实、质量和治理，实时层负责当前行为和快速决策，批处理负责长期画像、预测、训练和复盘，模型与规则共同约束推荐、营销、库存和供应链，最终通过业务反馈形成可监控、可解释、可迭代的智能决策闭环。
