智能客服方案及技术架构PPT演示课件.pptx
,智能客服 聊天机器人,1,问题解决型,实现技术,解决方案,架构及开发流程,2,问题解决型机器人,3,问题解决型机器人，存在的目的是为了帮用户解决具体问题， 例如：售前咨询、售后报修、订机票、酒店、餐厅座位等等,需要提供给用户自己都不知道的信息-知识库,1.理解用户问题，知道用户在问什么,2.将用户的问题转化为对知识库的查询,4,问题理解,查询知识库,构建知识库查询,结合上下文,5,聊天机器人解决方案,6,自然语言处理、文本挖掘、知识图谱,7,知识库中存储的是一对对的“问题-答案”对（QA Pair）。这些Pair可以是人工构建的，源于客户系统或者旧有知识库的，也可以是从互联网上爬取下来的。当用户输入问题后，将其和知识库现有的标准问题进行一一比对，寻找与用户问题最相近的标准问题，然后将该问题组对的答案返回给用户。,用户问题-标准问题-答案,解决方案一,8,用户问题-标准问题的匹配方法可以是关键词匹配（包括正则表达式匹配）；也可以是先将用户问题和标准问题都转化为向量，再计算两者之间的距离（余弦距离、欧氏距离、交叉熵、Jaccard距离等），找到距离最近且距离值低于预设阈值的那个标准问题，作为查找结果。 但关键字匹配覆盖面太小。距离计算的话，在实践中比对出来的最近距离的两句话，可能在语义上毫无关联，甚至满拧（比如一个比另一个多了一个否定词）,“关键词”,9,解决方案二,知识库中存储的不是问题-答案对，而仅存储答案（文档）。 当接收到用户问题后，直接拿问题去和知识库中的一篇篇文档比对，找到在内容上关联最紧密的那篇，作为答案返回给用户。,用户问题-答案,10,解决方案三,从用户的问题当中识别出用户的意图，并抽取这个意图针对的实体。 相应的，知识库内存储的知识，除了包含知识内容本身之外，还应该在结构上能够表示知识之间的关联关系。 在提取了意图和实体后，构造出对知识库的查询（Query），实施查询，得出结果后生成回答，回复给用户。,用户问题-语义理解-知识库查询-查询结果生成答案,11,聊天机器人实现技术,12,语义理解NLU,意图识别,实体抽取,用来识别用户所提问题的意图，也就是用户希望做一件什么事,用于提取用户对话中所提供的和意图相关的参数(实体)，例如时间、地点等,13,Case1：有粉色的手机壳吗？ 意图：商品推荐；实体：商品类型-手机，商品颜色-粉色 。 Case2：00183号商品快递到伊犁邮费多少？ 意图：查询邮费；实体：目的地-伊犁，商品Id-00183。 Case3：02465号商品有保修吗？意图：保修查询；实体：商品Id-02465。,举个例子，小明是一家小淘宝店主，他要为自己的淘宝店开发一款客服机器人，主要回答和商品属性（品牌、价格、邮费、售后等）相关的问题。,Case2：00183号商品快递到伊犁邮费多少？ 意图：商品查询；实体：目的地-伊犁，商品Id-00183，商品属性-邮费。 Case3：02465号商品有保修吗？意图：商品查询；实体：商品Id-02465，商品属性-保修。,具体怎么定义，要与知识库的结构及中间控件（语义理解+对话管理）结合起来决定，怎么简单怎么来,14,意图识别-分类模型,分类模型和 seq2seq 判别模型的训练都属于有监督学习，因此，所有的训练数据都是标注数据。 因此，在进入训练阶段前必须要经过一个步骤：人工标注。 如果大家真的在工作中应用机器学习，标注就是无法逾越的脏活累活。,实体抽取-Seq2Seq判别模型,15,人工标记,16,知识库、知识查询和结果返回,知识库用于存储知识，本身可以是各种形式：数据库，API，或者文本文件等。用户的问题经过语义理解，被提取成了意图和若干实体。,17,例如，我们选择 MySQL 作为小明的淘宝店小助手的知识库。则商品相关数据都存储在 table 中。知识库里有一个 Table，名字叫product_query，其中每一个 row 对应一种产品，每个 column 对应一个属性。,Case2：00183号商品快递到伊犁邮费多少？ 意图：商品查询；实体：目的地-伊犁，商品Id-00183，商品属性-邮费。 Case3：02465号商品有保修吗？意图：商品查询；实体：商品Id-02465，商品属性-保修。 table_name: product_query column:目的地-destination商品Id-product_id邮费-postage保修-guarantee Case2：SELECT postage FROM product_query WHERE product_id = 00183 AND destination= 伊犁 Case3：SELECT guarantee FROM product_query WHERE product_id = 02465,Query 在 MySQL 中运行的结果（比如是26元），被放到一个预置的针对商品查询的答案模板里，生成答案。 预置模板 : $商品Id号商品的$商品属性是$Query_Result。 生成答案 : 00183号商品的邮费是26元。,18,每次用户新输入的信息都要先进行语言理解，再结合目前已经存储的上下文信息，或更新 Context，或读取之前的 Context 作为补充信息。 可以将意图，和几种实体类型对应的实体值存储在 Context 中。 当新的用户语句输入后，若能从中提取出新的意图或实体值，则用新值更新 Context，否则，读入现有的对应实体值，作为本次语言理解的补充。,19,架构及开发流程,20,产品架构,21,用户问题,AIML格式,常见问题,模板匹配,构建查询,意图识别,实体抽取,语义理解,查询知识库,填注模板,答案处理,关键词提取,自然语言处理,ES,文档查询,构造Jena查询,构建知识图谱,22,语料获取,网络爬取,开源语料库,用户日志语料,人工编写,模型训练,分词,Word2Vec,卷积神经网络,Keras,文本分类,命名实体识别,词性标注,TensorFlow,语义理解 NLU,保存模型,23,知识图谱 Knowledge Graph,本体构建,网络爬取,客户文档,本体库,实体词典,语义解析,本体查询,谓语消歧陈述,本体库,命名实体识别,歧义陈述构建,依存句法分析,实体消歧陈述,语义图构建,语义图陈述构建,谓语消歧陈述,24,语义理解(意图识别、实体抽取)：Python+TensorFlow+RNN等 知识图谱：Java+NLP 知识库存储：数据库+文本文件(json/xml等) API接口调用：Java+HttpRequest(RESTful) 前端：知识库的整理(以什么格式)、意图创建、实体创建、常见问题、模板配置、人工标记,25,完毕，谢谢大家！,26,
