一、数据挖掘术语 【算法】指的是用于实现某一数据挖掘技术－如分类树、辨识分析等等的特定程序。 【属性】也被称为“特性”、“变量”、或者从数据库的观点，是一个“域” 。 【个体】是关于一个单元的测量值的集合――例如一个人的身高、体重、年龄等等；它也被称作“记录”、 或 者“行”（每一行通常代表一个记录，每一列代表一个变量）。 【置信度】在形如“如果买了A和B，…

本文主要从架构和业务的角度介绍下携程信息安全团队的数据平台建设之路，以及如何为业务和风控提供支持的。

文/傅志华 信息流、物流和资金流三大平台是电子商务的三个最为重要的平台。而电子商务信息系统最核心的能力是大数据能力，包括大数据处理、数据分析和数据挖掘能力。无论是电商平台（如淘宝）还是在电商平台上销售产品的卖家，都需要掌握大数据分析的能力。越成熟的电商平台，越需要以通过大数据能力驱动电子商务运营的精细化，更好的提升运营效果，提升业绩。构建系统的电子商务数据分…

摘要：无论是产品经理，还是产品运营，数据分析都是每个产品汪/运营喵必备技能。 这篇读书笔记之前是存到Evernote的，现重新归纳共享。 相信这本书很多人都已经看过了，看过的朋友就当回忆了~没有看过的朋友牢记，对于数据分析方面来讲，这些内容用来打基础还是很有帮助的~ 同样，需要PDF的同学，底部有下载链接。 数据分析三字经： 1.学习：先了解，后深入；先记录…

联机事务处理OLTP（on-line transaction processing）主要是执行基本的、日常的事务处理，比如数据库记录的增、删、改、查。比如在银行存取一笔款，就是一个事务交易。 OLTP的特点一般有： 1.实时性要求高； 2.数据量不是很大； 3.交易一般是确定的，所以OLTP是对确定性的数据进行存取；(比如存取款都有一个特定的金额) 4.并发…

数据分析也讲究艺术，如何理解？

我主要分析了大数据平台架构的生态环境，并主要以数据源、数据采集、数据存储与数据处理四个方面展开分析与讲解，并结合具体的技术选型与需求场景，给出了我个人对大数据平台的理解。

网站用户管理的目标是发掘新用户，保留老用户。但仅仅吸引新用户还不错，还需要保持新用户的活跃度，使其能持久地为网站创造价值；而一旦用户的活跃度下降，很可能用户就会渐渐地远离网站，进而流失。所以基于此，我们可以对用户进行又一个细分——活跃用户和流失用户。 活跃用户与流失用户 活跃用户，这里是相对于“流失用户”的一个概念，是指那些“存活”着的用户，用户会时不时地光…

通过数据分析,可以调整产品的格局、标题以及相关的优化策略,数据分析也是提升店铺最科学有效的方法。那么数据分析,所谓的“数据”,具体指那些数据呢我们又怎么去分析呢今天给大家带来了速卖通大学王伟超老师的经验分享。 今天的课程主要分为三部分: 一、分析数据,调整产品布局 同行业对比分析 从上图中我们可以看到: 家纺和成套纺织用品访客数和成交额相当 窗帘的客单价比床…

摘要：KDnuggets编辑给你“20个问题来分辨真假数据科学家”的答案，包括什么是正则化、我们崇拜的数据科学家、模型验证等等。 作者：Gregory Piatetsky, KDnuggets. 最近KDnuggets上发的“20个问题来分辨真假数据科学家”这篇文章非常热门，获得了一月的阅读量排行首位。 但是这些问题并没有提供答案，所以KDnuggets的小…

前言 推荐系统并不是新鲜的事物，在很久之前就存在，但是推荐系统真正进入人们的视野，并且作为一个重要的模块存在于各个互联网公司，还是近几年的事情。 随着互联网的深入发展，越来越多的信息在互联网上传播，产生了严重的信息过载。如果不采用一定的手段，用户很难从如此多的信息流中找到对自己有价值的信息。 解决信息过载有几种手段：一种是搜索，当用户有了明确的信息需求意图后…

智能投放是一个宽泛概念，千万不要把它理解得太狭隘

Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。

前言：数据科学融合了多门学科并且建立在这些学科的理论和技术之上，包括数学、概率模型、统计学、机器学习、数据仓库、可视化等。在实际应用中，数据科学包括数据的收集、清洗、分析、可视化以及数据应用整个迭代过程，最终帮助组织制定正确的发展决策数据科学的从业者称为数据科学家。数据科学家有其独特的基本思路与常用工具，秦陇纪全面梳理数据分析师和数据科学家使用的工具包，包括…

Facebook去年底挖来了一个机器学习大神Vladimir Vapnik，他是统计学习理论和支持向量机的主要发明者。Vladimir Vapnik被称为统计学习理论之父，他出生于俄罗斯，1990年底移居美国，在美国贝尔实验室一直工作到2002年，之后加入了普林斯顿的NEC实验室机器学习研究组，同时任哥伦比亚大学特聘教授。2014年，Vladimir Vap…

【文章摘要】什么是数据分析？数据分析是用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析的目的？把隐藏在一大批看似杂乱无章的数据背后的信息集中和提炼出来，总结出研究对象的内在规律。

摘要：这里是第二部分，就从我给大家准备的“特别提问”开始吧。作者Gregory Piatetsky,KDnuggets. 特别提问：解释什么是过拟合，你如何控制它 这个问题不是20问里面的，但是可能是最关键的一问来帮助你分辨真假数据科学家！ 回答者：GregoryPiatetsky 过拟合是指（机器）学习到了因偶然造成并且不能被后续研究复制的的虚假结果。 我…

摘要：提到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代，这不是说不用Hadoop，而是像NoSQL （Not Only SQL）那样，有其他的选型补充。 背景篇 Hadoop: 开源的数据分析平台，解决了大数据（大到一台…

最近几年，Python的使用增长率一直比R快，到今年，Python终于以微弱的优势超过了R的使用率 (52.6% Vs 52.1%)。

摘要：回顾两年来的心路历程，样本量N=1 原文：Doing Data Science at Twitter 原作者: Robert Chang 引子 2015年6月17日是我在Twitter工作两周年的纪念日。回想起来，两年间，数据科学在Twitter的应用方式和范围发生了很大变化： · 许多Twitter的非机器学习主导的核心产品中，机器学习的比重正在不断…