摘要：以下为清华大学统计学研究中心邓柯分享的主题为“基于统计学模型的无指导中文文本分析”的演讲。 邓柯：今天下午非常荣幸参加这样的活动，也非常感谢活动的主办方，清华大学数据科学研究院的邀请。今天给大家分享一个我们最近做的工作。 刚才主持人介绍了我的教育背景。我本科和博士都是在北大念的，拿的统计学博士。北大毕业之后到哈佛大学统计系，做了几年博士后，做了一些研究…

摘要：本文以电信行业为例讲述如何做数据分析挖掘。 来源：豪研呓语

摘要：谈到中国电竞产业，LOL和DOTA2是两个无法回避的词。 基本上，DOTA2的玩家往往被LOL玩家嘲讽为“信仰粉”，而DOTA2玩家对这个名词并不太抗拒甚至引以为豪。但如果你对一个LOL玩家打“小学生”三个字的话，基本上这就等于是最高侮辱。这两款都脱胎于魔兽争霸自定义地图模式，在各方面相同点远多于不同点的MOBA类游戏，在用户自我定位上居然出现了如此巨…

1.现在有大数据、精准挖掘、人工智能等这么多概念及技术，它们之间的关系以及企业大数据实施的路线图应该是怎样的？来自用户 SmartMining 的回答： 大数据、数据挖掘、人工智能三者的关系可以简单的理解为：大数据是原材料，数据挖掘是加工厂，而人工智能是数据产品尤其是基于数据挖掘技术建立的专家系统的设计理念。 通过使用数据挖掘技术对大数据进行价值提取、加工，…

协同过滤推荐算法是诞生最早，并且较为著名的推荐算法。主要的功能是预测和推荐。算法通过对用户历史行为数据的挖掘发现用户的偏好，基于不同的偏好对用户进行群组划分并推荐品味相似的商品。协同过滤推荐算法分为两类，分别是基于用户的协同过滤算法(user-based collaboratIve filtering)，和基于物品的协同过滤算法(item-based col…

摘要：决策树是一种通过对历史数据进行测算实现对新数据进行分类和预测的算法。简单来说决策树算法就是通过对已有明确结果的历史数据进行分析，寻找数据中的特征。并以此为依据对新产生的数据结果进行预测。 决策树由3个主要部分组成，分别为决策节点，分支，和叶子节点。其中决策树最顶部的决策节点是根决策节点。每一个分支都有一个新的决策节点。决策节点下面是叶子节点。每个决策节…

在具体的研究过程中，分为外部调研和内部数据分析两个过程。 外部调研包括用户消费习惯和使用态度的研究，一是通过搜集用户基本属性信息以及使用产品的行为偏好信息来了解用户对产品的认知程度;二是通过搜集用户使用产品的反馈信息来了解用户对产品各方面的评价。 内部数据分析方法主要用来目标用户识别，依照用户的产品订购及使用行为，从多个维度对目标用户进行分析，以此了解用户使…

运营是介于产品开发和营销之间的一种运作状态。一般来说，随着业务的深入发展，以经验型为主粗放式运营必然转向以分析型为主的精细化运营。运营首先要处理好精确和准确的关系：准确是指真实值与测量值之间的误差程度小，精确表示在条件不变的情况下，真实值和测量值之间的误差程度能够反复再现。 运营分析需要保证结果的精确性，也就是常说的“次次如此、回回一样”，可以容忍一定程度上…

在这篇文章中，我们将仔细研究NLP和NLU的概念以及它们在AI相关技术中的优势。

在逐渐步入DT（Data Technology）时代的今天，自然语义分析技术越发不可或缺。对于我们每天打交道的中文来说，并没有类似英文空格的边界标志。而理解句子所包含的词语，则是理解汉语语句的第一步。汉语自动分词的任务，通俗地说，就是要由机器在文本中的词与词之间自动加上空格。

机器学习是未来。但机器会灭绝人类吗？

现实世界中的数据往往非常杂乱，未经处理的原始数据中某些属性数据缺失是经常出现的情况。另外，在做特征工程时经常会有些样本的某些特征无法求出。路漫漫其修远兮，数据还是要继续挖的，本文介绍几种处理数据中缺失值的主要方法。 一、常用方法 1. 删除 最简单的方法是删除，删除属性或者删除样本。如果大部分样本该属性都缺失，这个属性能提供的信息有限，可以选择放弃使用该维属…

我们将一个对象的一个属性扩展到多个对象的多个属性，就形成了矩阵。 上面就是一个矩阵的示例。 相异性矩阵： 相异度矩阵存储n个对象两两之间的相似性，表现形式是一个n×n维的矩阵。d(i,j)是对象i和j之间相异性的量化表示，通常为非负值，两个对象越相似或“接近”，其值越接近0，越不同，其值越大，且d(i,j)= d(j,i)，d(i,i)=0。 相异度矩阵是对…

数据挖掘有很高的专业门槛；然而用研、产品、运营们也不一定就会被数据科学家们“碾压”了。这篇文章不是数据挖掘教程，而是让用研、产品、运营及其它相关岗位的同学了解： 数据挖掘的特点； 数据挖掘可以做哪些事情、有什么应用价值； 要发挥数据的价值，你们应该怎么与数据挖掘岗协作，你们不可替代的价值在哪里。 文章有点长，良心出品，实在没时间看完全文的同学可以有选择地看。…

1、直方图 这个是用的比较多的一种图，可以直观的看出变化的趋势。 2、散点图 用于观察数值变量之间是否存在联系。在图中可以清晰看出数据的相关性。如果Y随着X的增大而增加，则为正相关，如果Y随着X的增大而减小则为负相关。 下图为男女的身高体重分布图：可以看出随着身高和体重呈正相关。 对于多个维度可以使用R语言进行相关性分析。 3、标签云 对于搜索及文字等的观察…

这是我在Tenant Assured上报告最初的样子，里面搜集了我的Facebook、Twitter、LinkedIn和Instagram数据。我已经修改了自己的个人邮箱和朋友信息。（Tenant Assured） 在反乌托邦科幻小说《玩家一号》（Ready Player One）中有这样的场景，剧中的主人公在一家大型科技公司网站上无意中看到了自己的档案。其…

1、数据对象 相当于类的概念，在销售系统中，对象可以是顾客、商品和销售情况。 属性：属性可以标签的、二元的、序列的或数值的。 标签属性：例如充值渠道中的各种充值类型，在数据库中表示为0、1、2这种，每个数字代表一个充值渠道，例如：1代表支付宝，2代表微信支付。在这种情况下众数是有意义的，就是出现最多或者最少的数。 二元属性：就是我们常说的bool属性。一种情…

本文作者系统介绍了用户体验评测指标体系的构建。

数据挖掘需要掌握的内容包括：统计学、机器学习、模式识别、数据库和数据仓库、信息检索、可视化、算法、高性能计算等。 下图比较清楚的画出了学习数据挖掘需要掌握的知识内容： 1、统计学 统计学是通过搜索、整理、分析数据等手段，以达到推断所测对象的本质，甚至预测对象未来的一门综合性科学。其中用到了大量的数学及其它学科的专业知识，它的使用范围几乎覆盖了社会科学和自然科…

看到这个题目，你可能想问：“拒绝推断”是什么？这样专业的术语，与征信业又有什么关系？本周，我们从一个模型的改进方案出发，向你展示完善的征信体系的重要性。