辛俊波 腾讯 | 高级研究员 导读： 在上一篇文章'推荐系统中的深度匹配模型'中介绍的推荐系统里的模型，大部分是对于各种神经网络的结构改造，基本不太涉及文本本身。而在本文接下来要介绍的搜索引擎中的模型里，可以发现由于 query 和 doc 本身都是由文本组成，模型的扩展性上有了大大的提升，在文本领 ....

[图片] 1.为什么不是 W 推向 0 来实现？ 2.对于 tanh，为什么第一层先于后层饱和？ [图片]

石士、书浅 阿里妈妈技术 ▐ 前言 随着号称“地表最强”的千亿参数规模 GPT-3 模型在 NLP 领域横扫各大数据榜单，大力出奇迹的暴力美学似乎成为了大数据场景建模的不二法门。搜索、推荐和广告场景的 CTR 模型也不例外，同样动辄千亿参数规模、上 T 体积大小的 CTR 模型成为了同行争相追逐的建 ....

深度神经网络（Deep Neural Networks， 以下简称 DNN）是深度学习的基础，而要理解 DNN，首先我们要理解 DNN 模型，下面我们就对 DNN 的模型与前向传播算法做一个总结。 1. 从感知机到神经网络 [图片]

[图片] 作者 | 李文哲（人工智能、知识图谱领域专家） 来源 | 贪心科技 导读： 从一开始的 Google 搜索，到现在的聊天机器人、大数据风控、证券投资、智能医疗、自适应教育、推荐系统，无一不跟知识图谱相关。它在技术领域的热度也在逐年上升。 本文以通俗易懂的方式来讲解知识图谱相关的知识、尤其对 ....

因为 seq2seq 模型在语法纠错上存在缺陷，微软亚洲研究院的自然语言计算团队近日提出了流畅度提升学习和推断机制，用于改善 seq2seq 模型的语法纠错性能。实验表明，改进后的模型取得了当前最佳性能，并首次在两个基准上都达到了人类水平。 用于语法纠错（GEC）的序列到序列（seq2seq）模型（ ....

基于机器学习方法对销售预测 刚刚过去的双十一，大家可能更关心的是双十一的折扣，什么商品打了什么折扣。但是对于天猫而言，他们可能更关心的是双十一当天的销售额是多少，因为知道销售额，他就能提前做一个准备，做到未雨绸缪。 2016 年我们这边有三组数据，第一组是在双十一的前十天，网上有一个专家预测，双十一 ....

[图片] 分享嘉宾：黄国平 腾讯 AI Lab 高级研究员 编辑整理：赵文娇 内容来源：DataFun AI Talk《人机交互式机器翻译研究与应用》 出品社区：DataFun 这个题目看起来比较小众，希望大家听我的讲座没有白听，可以学到一些东西，就是 AI 技术落地过程中的一些问题，以及解决策略和 ....

今日，ECCV 2018 COCO + Mapillary 联合挑战赛结果公布，来自国内的旷视科技、港中文 - 商汤联合实验室、北邮、滴滴等团队获得了这一挑战赛全部六大赛项的第一名。 当地时间 9 月 8 日，两年一度的欧洲计算机视觉顶级学术会议 ECCV 2018 在德国慕尼黑拉开帷幕。作为计算机 ....

导言 激活函数在神经网络中具有重要的地位。在 SIGAI 之前的公众号文章“理解神经网络的激活函数”中，我们回答了 3 个关键的问题： 为什么需要激活函数？ 什么样的函数能用作激活函数？ 什么样的函数是好的激活函数？ 这篇文章从理论的角度介绍了激活函数的作用。承接上篇，在今天这篇文章中，SIGAI ....

[图片] 文章作者：王科 某司资深算法工程师 内容来源：《YouTube 基于深度神经网络推荐系统剖析》 出品社区：DataFun YouTube 的推荐系统是近年来业内的佼楚之作。其经典之处不仅仅在于基于深度学习的解决方案，也有很多不属于纯技术范畴的设计抉择。 YouTube 转用深度学习做推荐系 ....

机器学习作为近几年的一项热门技术，不仅凭借众多“人工智能”产品而为人所熟知，更是从根本上增能了传统的互联网产品。在近期举办的 2018 ArchSummit 全球架构师峰会上，个推首席数据架构师袁凯，基于他在数据平台的建设以及数据产品研发的多年经验，分享了《面向机器学习数据平台的设计与搭建》。 一、 ....

文章作者：张俊林 新浪微博 AI Lab 资深算法专家 内容来源：深度学习前沿笔记@知乎专栏 出品社区：DataFun 这两天，XLNet 貌似也引起了 NLP 圈的极大关注，从实验数据看，在某些场景下，确实 XLNet 相对 Bert 有很大幅度的提升。就像我们之前说的，感觉 Bert 打开两阶段 ....

人工智能的迅速发展将深刻改变人类社会和世界的面貌，为了抓住 AI 发展的战略机遇，越来越多的国家和组织已争相开始制定国家层面的发展规划。近日，来自加拿大先进技术研究院（CIFAR）的政策研究员 Tim Dutton 对颁布了 AI 战略的一些国家进行了总结。本文在发布之后引起了 Yann LeCun ....

作者简介 张磊 机器学习爱好者 人工智能爱好者社区专栏作者 知乎：https://zhuanlan.zhihu.com/c_184412713 个人网站：novasky.top GitHub：https://github.com/zlxy9892 17 世纪莱布尼茨设想，能否创造一种通用科学语言，可 ....

作者： * 世恩、风引、调参 一个神经网络结构通常包含输入层、隐藏层、输出层。输入层是我们的 features (特征)，输出层是我们的预测 (prediction)。神经网络的目的是拟合一个函数 f*：features -> prediction。在训练期间，通过减小 prediction ....

王喆 之前已经有无数同学让我介绍一下 Graph Embedding，我想主要有两个原因： 一是因为 Graph Embedding 是推荐系统、计算广告领域最近非常流行的做法，是从 word2vec 等一路发展而来的 Embedding 技术的最新延伸； 二是因为已经有很多大厂将 Graph Em ....

[图片] 作者：Madison May 编译：ronghuaiyang 导读 Reformer 之前已经提过几次，这次带大家更加深入的了解一下这个方法的思想及背后的动机。 自从最初的'Attention is All You Need'论文在 NLP 社区掀起了 Transformer 热潮，似乎我 ....