365下载地址

QA问句解析的七种办法及优化思路

发布人:admin     发布时间:2019-01-25 00:17
在该图中,可以看出的是,当输出是“E”,第三组分向量隐藏层是最大的,并且当所述输出是“L”时,第一组分是最大的,并且当所述输出是“或”,第二个组成部分是最大的。 我们可以使用RNN的隐藏状态作为单词DistributedRepresentation的向量,并将其用作CNN(ARC-2)的输入,可以测试它以获得更好的结果。 Fanwai 中文单词的分词 高度可信的分词结果是下一步分析的基本前提。 在“关于自然语言处理的基础知识(中)”中,我介绍了一些经典的分词方法,但它们都是以前研究的结果。 CRF方法目前被认为是最好的分词算法。 CRF方法的思想非常简单,即分词问题被认为是序列标记的问题,并且单词的位置被标记为句子中的每个单词: 第一个词,常用B 总而言之,它是常用的M手段 结尾,常用E 单词,常用S 分词处理CRF用于标记单词的位置以及B和E之间的单词以及单词S以形成分词。 在线提供了许多基于公共CRF的分词工具。 分析优化 基于现有模型,至少四个角度可以进一步提高分析质量,包括:问题的规范化,用户状态,强化学习和多轮对话。 问题的标准化 标准化问题的目的是为用户输入提供更好的容错能力。 一些最简单的是:简化和传统归一化,全角度角度归一化,标点处理和情况归一化。 更复杂的东西,比如纠正中文印刷错误。 自动排版校正技术被广泛使用,并且可以在改善系统的用户体验方面发挥重要作用。可以说,性价比非常高。 纠错的通常做法是训练噪声信道模型。 用户的状态 我们可以从用户的状态中提取特征,并将其作为附加信息用作训练和分析期间神经网络的输入。 用户声明可以考虑至少包括: 用户过去使用的记录:例如帐户注册的持续时间,历史支付金额 用户过去的问题和答案的记录:用户过去询问的问题可能与问题有关。 用户输入路径:触发原始页面,可能意味着用户出现问题 用户问题和答案的当前记录:用户在同一会话中提出的问题通常具有一定的相关性。 强化学习 其次,可以采用强化学习的方法。通过设计合理的奖励机制,分析系统可以在与环境交互的过程中独立地更新策略。 与普通监督学习方法相比,强化学习有两个明显的优势:一是强化学习策略更新所需的数据主要来自与环境的交互/采样,而不是来自昂贵的手工数据标记,另一种是通过refuerzo.La由此产生的战略学习根据奖励机制迭代更新自主,并有一些创新性的做法,不仅模仿所提供的“标准”的做法人类 虽然质量控制的问题的分析有没有“战略\创新游戏”之类的游戏的概念,你仍然可以帮助超载拨号节约了大量的数据优化分析的。 应用强化学习方法的核心主题之一是奖励机制的设计。质量控制场景中奖励机制的设计至少可以考虑以下观点:当您离开质量控制页面时,您可以要求用户提供有关此质量控制的评论(蚂蚁金融服务和京东智能客户服务已采用它)。否定评论可分为“分析错误”和“响应错误”。分析错误的负反馈用于优化分析系统。 如果系统连续多次向用户提供相同的响应(根据系统的答案而不是用户的问题) 如果用户最终选择访问人工(如果手动访问不是自动的) 通过分析文本的感觉来识别用户的情绪变化。 多轮对话。 多轮对话技术可以进一步提高与用户对话的一致性。 我倾向于将几轮的对话分为两个场景:“封闭域”和“开放域”。实施不同情景的想法也应该不同。 对话功能几轮在封闭域情况是:该系统可以解决的问题是有限的一组,和多轮对话的目的是为了引导用户就可以解决这个问题。 开放域场景中多轮对话框的特点是系统需要解决的问题是无限集。多轮对话的目的是根据上下文更精确地理解用户的需求。 在这样的指导思想,全面对话封闭多个域的中心思想应该是“完整的空间”和对话开域的中心思想是开放的圆形“更换背景”和“学科的互补。” “智能搜索和会话操作系统”介绍了百度使用插槽填充技术制作NLU,并使用“上下文替换”和“主题完成”来改进其DuerOS对话功能。 此外,开槽,上下文替换和主题完成的技术基础是“序列标签”,这里有两个百度PPT:
上一篇:【图片】才发现本来顺治蓟还挺贵的~~~【古钱币       下一篇:5年质保、更高能效比 西部数据PC SN720SN520企业级