作为 2018 年自然语言处理领域的新秀，BERT 做到了过去几年 NLP 重大进展的集大成，一出场就技惊四座碾压竞争对手，刷新了 11 项 NLP 测试的最高纪录，甚至超越了人类的表现，相信会是未来 NLP 研究和工业应用最主流的语言模型之一。本文尝试由浅入深，为各位看客带来优雅的 BERT 解读 ....

[图片] 文/王佳奇 邵睿 蒋宏飞 [图片] 背景介绍 近年来，在众多自然语言处理模型中最具有代表性的就是BERT，它以优异的性能赢得了广大算法工程师的青睐。但是，在有些生产环境中，BERT庞大的参数量不仅在推理时占用过多的计算资源，也不利于后续模型的扩展迭代。 作业帮的业务体量较大，每天会生产大量 ....

作者：罗子健 字节跳动技术团队 稿 背景 飞书智能问答应用于员工服务场景，致力于减少客服人力消耗的同时，以卡片的形式高效解决用户知识探索性需求。飞书智能问答整合了服务台、wiki 中的问答对，形成问答知识库，在综合搜索、服务台中以一问一答的方式将知识提供给用户。 作为企业级 SaaS 应用，飞书对数 ....

杨俭 宗宇 谢睿等 美团技术团队 稿 1. 引言 在搜索场景中，由于用户搜索词Query和检索文本Document之间存在大量表述不一的情况，在文本检索框架下，此类文本不匹配导致的漏召回问题严重影响着用户的体验。对这类问题业界一般有两种方案：用户端拓展用户的查询词——即查询改写，或Document端 ....

上一篇贝壳找房【语言模型系列】原理篇一：从 one-hot 到 Word2vec 讲到了 word2vec 存在”一词多义“的问题，其主要原因在于 word2vec 生成的词向量是“静态”的，每一个词固定的对应着一个词向量表示，也就是说在 word2vec 训练好之后，在使用单词的向量表示的时候，不 ....

AI 算法团队 zacbai 平安寿险 PAI 一、 全文框架概览 [图片] 一、关键短语抽取简介 关键短语抽取 (keyphrase extraction)，指从文章中提取典型的、有代表性的短语，期望能够表达文章的关键内容。 关键短语抽取对于文章理解、搜索、分类、聚类都很重要。而高质量的关键短语抽 ....

分享嘉宾： 熊威，58 同城 TEG 搜索排序部资深算法工程师 整理出品： 张劲，AICUG 人工智能社区 PPT 下载：http://www.aicug.cn/#/docs https://img.6aiq.com/video0b78naaaoaaa4ualo4ku2rqfa2gda5uaabya ....

作者：__ 编译：ronghuaiyang 导读： 非常简单直白的语言解释了 BERT 中的嵌入层的组成以及实现的方式。 介绍 在本文中，我将解释 BERT 中嵌入层的实现细节，即 token 嵌入、Segment 嵌入和 Position 嵌入。 简介 这是一张来自论文的图，它恰当地描述了 BER ....

[图片] 作者：章立 美团算法工程师 未经作者允许 严禁转载！ 问题定义 一段文字，例如：今夜月色真美。代表的是什么含义？如果在春天温度适宜的 9、10 点站在阳台的人对你脱口而出地说出这句话，你会怎么理解这句话，亦或者你会怎么回应他(她)呢？ 这句话是十九世纪末的文学家 夏目漱石对 I love ....

[图片] 分享嘉宾：魏天闻 小米人工智能部 编辑整理：李淑娜 内容来源：DataFunTalk 导读： 小爱同学是小米公司开发的智能语音系统，已广泛应用在手机、手环、音箱、电视等电子产品中，并支持闲聊、问答、语音控制等多种语音交互场景。语音系统中语音内容识别 ( ASR ) 的精准性，是影响智能语音 ....

作者：amitness 编译：ronghuaiyang 导读: ALBERT 作为 BERT 的一个变体，在保持性能的基础上，大大减少了模型的参数，使得实用变得更加方便，是经典的 BERT 变体之一。 BERT 的 youxiu 变体：ALBERT 论文图解介绍 考虑下面给出的句子。作为人类，当我们 ....

作者： Microstrong 本文概览： [图片] 1. Autoregressive 语言模型与 Autoencoder 语言模型 1.1 语言模型概念介绍 Autoregressive 语言模型：指的是依据前面（或后面）出现的单词来预测当前时刻的单词，代表有 ELMo， GPT 等。 Auto ....

Bert 最近很火，应该是最近最火爆的 AI 进展，网上的评价很高，那么 Bert 值得这么高的评价吗？我个人判断是值得。那为什么会有这么高的评价呢？是因为它有重大的理论或者模型创新吗？其实并没有，从模型创新角度看一般，创新不算大。但是架不住效果太好了，基本刷新了很多 NLP 的任务的最好性能，有些 ....

文章作者：张俊林 新浪微博 AI Lab 资深算法专家 内容来源：深度学习前沿笔记@知乎专栏 出品社区：DataFun 这两天，XLNet 貌似也引起了 NLP 圈的极大关注，从实验数据看，在某些场景下，确实 XLNet 相对 Bert 有很大幅度的提升。就像我们之前说的，感觉 Bert 打开两阶段 ....

作者： * 世恩、风引、调参 一个神经网络结构通常包含输入层、隐藏层、输出层。输入层是我们的 features (特征)，输出层是我们的预测 (prediction)。神经网络的目的是拟合一个函数 f*：features -> prediction。在训练期间，通过减小 prediction ....

一、前言 最近谷歌搞了个大新闻，公司 AI 团队新发布的 BERT 模型，在机器阅读理解顶级水平测试 SQuAD1.1 中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在 11 种不同 NLP 测试中创出最佳成绩，包括将 GLUE 基准推至 80.4％（绝对改进 7.6％），MultiNL ....

大数据文摘与百度 NLP 联合出品 编译：张驰、毅航、Conrad、龙心尘 编者按：前一段时间谷歌推出的 BERT 模型在 11 项 NLP 任务中夺得 STOA 结果，引爆了整个 NLP 界。而 BERT 取得成功的一个关键因素是 Transformer 的强大作用。谷歌的 Transformer ....

贝壳找房【语言模型系列】原理篇一：从 one-hot 到 Word2vec 贝壳找房【语言模型系列】原理篇二：从 ELMo 到 ALBERT 随着预训练模型在各大榜单的不断屠榜，学术界和工业界对于预训练模型的研究也愈加狂热。预训练语言模型一般基于海量语料，消耗大量的硬件资源以及时间成本，利用无监督的 ....