电商智能客服实战（一）—概要设计
电商智能客服实战（二）需求感知模块模型微调实现

一、整体架构设计

1.1 模块定位

需求感知模块作为智能客服系统的前端处理单元，负责对用户输入进行多维度解析，输出结构化语义理解结果，为下游决策引擎提供数据支撑。

1.2 核心流程图

1.3 设计原则

1. 混合架构：BERT微调模型+规则引擎的混合决策机制
2. 上下文感知：支持3轮对话历史缓存
3. 分级降级：模型故障时自动切换规则引擎
4. 性能优化：预测结果缓存+GPU加速推理

二、情感分析模块设计

2.1 技术架构图

2.2 核心类设计

2.2.1 SentimentConfig

class SentimentConfig:
    model_path = "bert-base-chinese"
    model_pth_path = "../core/demand/lmst/lmst_best_model.pth"
    rule_path = "./configs/sentiment_rules.yaml"
    intensity_thresholds = {"非常负面": 0.8}
    label_map = ["中性","负面","非常负面","正面"]

2.2.2 BertSentimentAnalyzer

class BertSentimentAnalyzer:
    def __init__(self):
        # 模型加载
        self.device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
        self.tokenizer = BertTokenizer.from_pretrained(...)
        self.model = BertForSequenceClassification.from_pretrained(...)
        
        # 辅助组件
        self.rules = self._load_rules()
        self.cache = RedisCache()  # 可选

    def analyze(self, text: str) -> SentimentResult:
        # 实现三级处理流程
        base_result = self._bert_predict(text)
        enhanced_result = self._rule_based_enhance(text, base_result)
        final_result = self._build_final_result(enhanced_result)

2.3 关键算法

2.3.1 强度计算公式

intensity = 0.5 + (感叹号数量 * 0.1)
if 非常负面: intensity += 0.3
elif 负面: intensity += 0.2
最终值限制在[0,1]区间

2.3.2 规则引擎逻辑

def _rule_based_enhance(self, text, base_result):
    # 紧急词检测
    if any(w in text for w in self.rules["critical_triggers"]):
        base_result["priority"] = 1
        base_result["confidence"] = max(base_result["confidence"], 0.85)
    
    # 正向词补充
    if any(w in text for w in self.rules["positive_keywords"]):
        base_result["confidence"] = max(base_result["confidence"], 0.7)
    return base_result

三、服务接口设计

3.1 REST API端点

@app.get("/process-text/")
async def process_text(text: str):
    # 三模块协同处理
    lmst_result = analyzer.analyze(text)
    nlu_result = nlu_analyzer.predict_with_context(text)
    ner_result = ner_analyzer.bert_predict(text) if need_ner else None
    
    return {
        "sentiment": lmst_result.dict(),
        "intent": nlu_result,
        "entities": ner_result
    }

3.2 输入输出规范

输出示例：

{
    "sentiment": {
        "type": "非常负面",
        "confidence": 0.92,
        "intensity": 0.95,
        "needs_escalation": true
    },
    "intent": "投诉处理",
    "entities": {"order_number": "TV202307281234"}
}

四、NLU意图识别模块设计

4.1 技术架构图

4.2 核心类设计

4.2.1 NluConfig

class NluConfig:
    label_map = {
        0: "订单查询", 
        1: "产品咨询",
        2: "故障报修",
        3: "其他"
    }
    model_path = '../core/demand/models/tv-bert-base-chinese'
    model_pth_path = '../core/demand/nlu/nlu_best_model.pth'

4.2.2 BertNluAnalyzer

class BertNluAnalyzer:
    def __init__(self, config):
        # 上下文缓存队列
        self.context_cache = deque(maxlen=3)  # 保存最近3轮对话
        
    def predict_with_context(self, text):
        # 拼接历史对话
        context_text = "[SEP]".join(self.context_cache) + "[SEP]" + text
        # BERT模型推理
        inputs = self.tokenizer(context_text, ...)
        logits = self.model(**inputs)
        # 更新上下文
        self.context_cache.append(text)

4.3 关键特性

1. 动态上下文窗口
   • 采用滑动窗口机制保留最近3轮对话
   • 使用[SEP]标记分隔历史对话片段

2. 多意图处理

   def get_multiple_intents(self, logits, threshold=0.3):
       probs = torch.softmax(logits, dim=-1)
       return [self.labels[i] for i, p in enumerate(probs) if p > threshold]
   

3. 领域适应策略
   • 电商领域专有词库注入
   • 产品型号模糊匹配算法

五、NER实体识别模块设计

5.1 技术架构图

5.2 核心类设计

5.2.1 NerConfig

class NerConfig:
    label_map = {
        'O': 0,
        'B-ORDER_NUMBER': 1,
        'I-ORDER_NUMBER': 2,
        'B-PRODUCT_CODE': 3,
        ...  # 其他实体类型
    }
    max_len = 128

5.2.2 BertNerAnalyzer

class BertNerAnalyzer:
    def bert_predict(self, text):
        # 实体抽取流程
        encoding = self.tokenizer.encode_plus(...)
        logits = self.model(**encoding)
        preds = torch.argmax(logits, dim=2)
        
        # 后处理
        entities = self._merge_entities(preds)
        return self._format_validation(entities)

    def _merge_entities(self, preds):
        # 合并B-I标签的连续实体
        current_entity = None
        for token, label in preds:
            if label.startswith('B-'):
                if current_entity: yield current_entity
                current_entity = {'type': label[2:], 'value': token}
            elif label.startswith('I-'):
                current_entity['value'] += token
            else:
                if current_entity: yield current_entity
                current_entity = None

5.3 关键算法

5.3.1 订单号提取

def _extract_order_number(self, predictions):
    # 处理BERT分词带来的##符号问题
    return ''.join([token.replace('##','') for token, label in predictions 
                   if label in ['B-ORDER_NUMBER','I-ORDER_NUMBER']])

5.3.2 格式校验规则

def _validate_order_format(self, number):
    # 校验订单号规则: TV开头+12位数字
    if re.match(r'^TV\d{12}$', number):
        return True
    return False

六、模块集成方案

6.1 服务编排流程

6.2 性能优化方案

1. 缓存策略

   class HybridCache:
       def get(self, text):
           # 先查本地内存缓存
           if text in self.mem_cache: 
               return self.mem_cache[text]
           # 再查Redis缓存
           return self.redis.get(text) or None
   

2. 批量推理优化

   def batch_predict(self, texts: List[str]):
       # 使用动态padding加速处理
       inputs = self.tokenizer(
           texts, 
           padding=True, 
           truncation=True,
           return_tensors="pt"
       )
       with torch.inference_mode():
           return self.model(**inputs)
   

3. GPU资源管理

   class GPUAllocator:
       def __enter__(self):
           torch.cuda.empty_cache()
           self.lock = acquire_gpu_lock()
           
       def __exit__(self, *args):
           release_gpu_lock(self.lock)
   

七、异常处理机制

7.1 分级降级策略

7.2 监控指标

class HealthMonitor:
    METRICS = {
        'api_latency': Gauge('api_latency_seconds', 'API响应延迟'),
        'model_error': Counter('model_errors_total', '模型推理错误次数'),
        'cache_hit': Counter('cache_hits_total', '缓存命中次数')
    }
    
    @classmethod
    def report_error(cls, module):
        cls.METRICS['model_error'].labels(module=module).inc()

八、测试验证方案

8.1 测试用例设计

情感分析测试矩阵

意图识别覆盖率

test_cases = [
    ("我的订单到哪里了", "订单查询"),
    ("空调不制冷怎么办", "故障报修"),
    ("这款电视的尺寸", "产品咨询"),
    ("天气不错", "其他")
]

8.2 压力测试指标

8.3 模型精度验证

# 情感分析混淆矩阵
|           | 预测正面 | 预测负面 | 预测非常负面 |
|-----------|---------|---------|-------------|
| 实际正面  | 98%     | 2%      | 0%          |
| 实际负面  | 5%      | 90%     | 5%          |
| 实际非常负面 | 0%     | 10%     | 90%         |

九、部署架构设计

9.1 拓扑结构

9.2 容器化配置

# 模型服务Dockerfile
FROM nvcr.io/nvidia/pytorch:22.10-py3

COPY requirements.txt .
RUN pip install -r requirements.txt

# 启用GPU共享
ENV CUDA_VISIBLE_DEVICES=0,1
ENV TF_FORCE_GPU_ALLOW_GROWTH=true

CMD ["gunicorn", "app:app", "-k", "uvicorn.workers.UvicornWorker", "--timeout", "120"]

9.3 弹性扩缩策略

# HPA配置
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
spec:
  minReplicas: 2
  maxReplicas: 10
  metrics:
  - type: Resource
    resource:
      name: cpu
      target:
        type: Utilization
        averageUtilization: 70
  - type: Resource
    resource:
      name: memory
      target:
        type: AverageValue
        averageValue: 2Gi

十、效能评估体系

10.1 性能指标看板

10.2 业务价值评估

def calculate_escalation_accuracy():
    # 工单升级准确率 = 正确升级数 / (正确升级数 + 错误升级数)
    return (true_positive) / (true_positive + false_positive)

def intent_recall_rate():
    # 意图召回率 = 正确识别数 / 实际应识别总数
    return correct_count / total_samples

10.3 异常处理成效

附录A：关键配置参考

情感规则示例

# sentiment_rules.yaml
critical_triggers:
  - "投诉"
  - "举报"
  - "12315"
  
positive_keywords:
  - "感谢"
  - "满意"
  - "好评"

intensity_rules:
  negative_boost: 0.3
  exclamation_weight: 0.1

API限流配置

# 令牌桶算法配置
RATE_LIMIT = {
    "bucket_capacity": 1000,
    "refill_rate": 100  # 每秒补充数量
}

下一篇将展开规则模块的详细设计及实现。记得三连免得迷路哦~