摘要：KDnuggets编辑给你“20个问题来分辨真假数据科学家”的答案，包括什么是正则化、我们崇拜的数据科学家、模型验证等等。 作者：Gregory Piatetsky, KDnuggets. 最近KDnuggets上发的“20个问题来分辨真假数据科学家”这篇文章非常热门，获得了一月的阅读量排行首位。 但是这些问题并没有提供答案，所以KDnuggets的小…

前言 推荐系统并不是新鲜的事物，在很久之前就存在，但是推荐系统真正进入人们的视野，并且作为一个重要的模块存在于各个互联网公司，还是近几年的事情。 随着互联网的深入发展，越来越多的信息在互联网上传播，产生了严重的信息过载。如果不采用一定的手段，用户很难从如此多的信息流中找到对自己有价值的信息。 解决信息过载有几种手段：一种是搜索，当用户有了明确的信息需求意图后…

智能投放是一个宽泛概念，千万不要把它理解得太狭隘

Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。

前言：数据科学融合了多门学科并且建立在这些学科的理论和技术之上，包括数学、概率模型、统计学、机器学习、数据仓库、可视化等。在实际应用中，数据科学包括数据的收集、清洗、分析、可视化以及数据应用整个迭代过程，最终帮助组织制定正确的发展决策数据科学的从业者称为数据科学家。数据科学家有其独特的基本思路与常用工具，秦陇纪全面梳理数据分析师和数据科学家使用的工具包，包括…

Facebook去年底挖来了一个机器学习大神Vladimir Vapnik，他是统计学习理论和支持向量机的主要发明者。Vladimir Vapnik被称为统计学习理论之父，他出生于俄罗斯，1990年底移居美国，在美国贝尔实验室一直工作到2002年，之后加入了普林斯顿的NEC实验室机器学习研究组，同时任哥伦比亚大学特聘教授。2014年，Vladimir Vap…

【文章摘要】什么是数据分析？数据分析是用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析的目的？把隐藏在一大批看似杂乱无章的数据背后的信息集中和提炼出来，总结出研究对象的内在规律。

摘要：这里是第二部分，就从我给大家准备的“特别提问”开始吧。作者Gregory Piatetsky,KDnuggets. 特别提问：解释什么是过拟合，你如何控制它 这个问题不是20问里面的，但是可能是最关键的一问来帮助你分辨真假数据科学家！ 回答者：GregoryPiatetsky 过拟合是指（机器）学习到了因偶然造成并且不能被后续研究复制的的虚假结果。 我…

摘要：提到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代，这不是说不用Hadoop，而是像NoSQL （Not Only SQL）那样，有其他的选型补充。 背景篇 Hadoop: 开源的数据分析平台，解决了大数据（大到一台…

最近几年，Python的使用增长率一直比R快，到今年，Python终于以微弱的优势超过了R的使用率 (52.6% Vs 52.1%)。

摘要：回顾两年来的心路历程，样本量N=1 原文：Doing Data Science at Twitter 原作者: Robert Chang 引子 2015年6月17日是我在Twitter工作两周年的纪念日。回想起来，两年间，数据科学在Twitter的应用方式和范围发生了很大变化： · 许多Twitter的非机器学习主导的核心产品中，机器学习的比重正在不断…

一手把“大数据”带进国内的阿里，正经历一场数据危机 所以，就像当初的来往，有些仗是不得不打。 “我们正处在人类历史上第三次技术革命，从IT时代走向DT时代，是真正的大释放。”这是今天马云在“2015杭州云栖大会”上的讲话。 事实上，在我们周围有很大一部分创业者是抱着“听马云讲互联网未来”的“朝圣心态”，穿越大半个主城区，来到云栖小镇参加这么一场大会的。至于，…

文/好甜 来自：PMCAFF产品经理社区 明确数据分析的目的 因为产品数据是在产品上线后收集到的，所以为了之后能够得到一系列全面合理的数据，需提前做好数据的规划，明确每一个数据所能产生的价值。 不同的分析目的，所需要的KPI数据不一样 对于产品经理来说，一般有三个场景中的数据应用： 1.每日观测的产品运行数据； 2.为了验证某个想法而做的产品实验数据，如A/…

咚咚是什么？咚咚之于京东相当于旺旺之于淘宝，它们都是服务于买家和卖家的沟通。 自从京东开始为第三方卖家提供入驻平台服务后，咚咚也就随之诞生了。 我们首先看看它诞生之初是什么样的。 1.0 诞生（2010 – 2011) 为了业务的快速上线，1.0 版本的技术架构实现是非常直接且简单粗暴的。 如何简单粗暴法？请看架构图，如下。 1.0 的功能十分简…

用户画像是数据运营的基础，也是做深度挖掘的一个不可或缺的模块。只有先打好画像基础，确保画像质量，后续的深挖行为才有突破的可能。

摘要：我们每天都会遇到各种转化率的问题，如电商行业关注的购买转化率、网站的注册转化率等等，其中很多运营者都会遇到转化率低的问题。那么如何解析背后的原因，下一步又该做什么呢？面对这些问题，我们又该如何去思考。 大家平时会从很多渠道获得很多看似“完美”的解决方案，那些方案看似很美，是不是真的有用呢？很多时候，问题和答案是不可复制的；一个方案在这里适用，但是在别的…

网络分析工具可以帮助你收集、预估和分析网站的访问记录，对于网站优化、市场研究来说，是个非常实用的工具。 每一个网站开发者和所有者，想知道他的网站的完整的状态和访问信息，目前互联网中有很多分析工具，本文选取了10款最好的分析工具，可以为你提供实时访问数据。 1. Google Analytics 这是一个使用最广泛的访问统计分析工具，几周前，Google An…

互联网是数字构成的世界，我们可以通过数据分析来解密互联网产品的各个关键。我们一般通过KIA分析和综合分析发现创新点和问题，并重新建立运营框架，以数据为驱动进行产品（包括营运方式）的升级换代。 KIA数据包括： Click Density Analysis 点击密度分析 Visitor Primary Purpose 访客首要目的 Task Completio…

随着比特币的不断发展,它的底层技术区块链也逐步走进公众视野,引起大众注意。本文用不到50行的Python代码构建最小的数据区块链，简单介绍了区块链去中心化的结构与其实现原理。

数据科学家如何变得性感的故事，大致也就是作为成熟学科的统计学如何与新兴学科计算机科学发生关系的故事。“数据科学”这个术语的出现较晚近，用来指代一个需要解读大量数据的职业。但解读数据这件事的历史很长，它已经被科学家、统计学家、图书馆员、计算机科学家以及其他人士讨论多年。下文的时间线追溯“数据科学”一词的演化，以及它的应用、对它进行定义的尝试和一些相关的术语。 …