摘要：要建立一个大数据系统，我们需要从数据流的源头跟踪到最后有价值的输出，并在现有的Hadoop和大数据生态圈内根据实际需求挑选并整合各部分合适的组件来构建一个能够支撑多种查询和分析功能的系统平台。这其中既包括了对数据存储的选择，也涵盖了数据线上和线下处理分离等方面的思考和权衡。此外，没有任何一个引入大数据解决方案的商业应用在生产环境上承担的起安全隐患 1、…

摘要：”数据可视化”可以帮助用户理解数据，一直是热门方向。 图表是”数据可视化”的常用手段，其中又以基本图表—-柱状图、折线图、饼图等等—-最为常用。 用户非常熟悉这些图表，但如果被问道，它们的特点是什么，最适用怎样的场合（数据集）？恐怕答得上来的人就不多了。 本文是电子书《Data V…

新零售的数据化运营，不仅仅是简单的上一套系统，分析分析数据！！

想用趣味的方式给《趣味数据挖掘系列》做一个哲学的总结，哲学常较深奥，深则难得有趣。因为选题含原生态冲突，写起来就费思量。拟借用一个交通肇事频率分析的例子，又百语千言，颇难开头。硬着头皮Try，还是从故事讲起，很久很久以前，It was long long ago…

文 | 刘建平Pinard 在矩阵分解在协同过滤推荐算法中的应用中，我们对矩阵分解在推荐算法中的应用原理做了总结，这里我们就从实践的角度来用Spark学习矩阵分解推荐算法。 1. Spark推荐算法概述 在Spark MLlib中，推荐算法这块只实现了基于矩阵分解的协同过滤推荐算法。而基于的算法是FunkSVD算法，即将m个用户和n个物品对应的评分矩阵M分解…

前言，本篇幅将进入大家熟知的互联网时代，数据平台发展史仅是自己经历过由传统数据平台到互联网数据平台发展一些简单回忆，在这一篇章中将引用部分互联网数据平台架构，在这里仅作案例。 相信很多从传统行业转到互联网时是各种不适应，适应短则几个月，长则一年以上。进入到互联网有种感觉，它是一个擅长制造流行新概念的行业，“数据平台“，”数据产品“也不幸免。数据平台这词Dat…

因为接下来要做卖家后台数据纵横的改版，对数据可视化这块儿又进行了研究和心得的整理，跟大家分享下数据可视化常用的五种方式，希望能给大家带来思路的拓展。 概念 借助于图形化的手段，清晰、快捷有效的传达与沟通信息。从用户的角度，数据可视化可以让用户快速抓住要点信息，让关键的数据点从人类的眼睛快速通往心灵深处。 数据可视化一般会具备以下几个特点：准确性、创新性和简洁…

存量客户维系的本质是通过改善产品和服务来提升客户和企业之间的双赢关系。

本次分享会以产品为核心，按照产品发展的过程，依次详细分析产品策略研究期、产品概念评估期、产品研发期、产品测试期、产品导入期、产品发展期、产品成熟期、产品衰退期这8个产品发展的必经阶段所必须做的数据挖掘工作。针对产品每一阶段的不同特点，分享了数据挖掘的核心技能，并指出了每一阶段数据挖掘需要避免的坑。

数据模式包括：特征化与区分、频繁模式、关联和相关性挖掘、分类与回归、聚类分析、离群点分析等。 任务可以分为两类：描述性和预测性数据。 数据特征化：汇总所研究类的数据。 数据区分：将目标类一个或多个可比较类进行比较。 频繁模式挖掘、关联和相关性： 频繁模式(Frequent Pattern)是频繁出现在数据集中的模式(如项集，子序列和子结构)。频繁模式一般可以…

数据服务产业链初现，大数据公司在其中扮演什么角色？

摘要：在《Redis集群技术及Codis实践》这篇文章介绍过Codis，今天云智慧的张克琛总监为我们带来了他在运维PB级数据过程中，对于Codis与数据库管理方面的实践经验，是非常有实操性的一篇分享。在把未知问题场景化、问题化、方案化等方面值得我们学习和借鉴。 面对PB级别数据存储，我们一路走来也踩过很多坑，这里就直接进入主题了，给大家分享一下监控宝系统架构…

Data slides are not really about the data, they are about the meaning of the data. ——《Slide:ology》 在传递信息时，有数据比没数据更有说服力，而一旦有了数据，那就牵涉到如何呈现。PowerPoint为我们提供了诸多图表，它们在一定程度上已经可以满足我们平时需求。当…

随着我们进入2017年下半年，是时候看看那些使用数据科学和机器学习的公司面临的共同挑战。假设你的公司已经在大规模收集数据，需要用到分析工具，而且你已经认识到数据科学可以发挥重大作用（包括改善决策或企业经营、增加收入等等），并进行了优先排序。收集数据和识别感兴趣的问题并非小事，但假设你已经在这些方面起了个好头，那么还剩下哪些挑战呢？ 数据科学是一个宽泛的话题，…

在R语言中，对数据进行回归建模是一件很简单的事情，一个lm()函数就可以对数据进行建模了，但是建模了之后大部分人很可能忽略了一件事情就是，对回归模型进行诊断，判断这个模型到低是否模型的假定；如果不符合假定，模型得到的结果和现实中会有巨大的差距，甚至一些参数的检验因此失效。

支持度，简单的字面理解就是支持的程度，一般以百分比表示。生活中常见的使用场合有投票、竞选、民意调查等，比如某校高一三班进行班委竞选，该班级共有学生50名，在班长一职的竞选中，张三得到40票。那么就可以说在该班班长竞选中，张三的支持度是:40/50*100%=80%。 该名词还常出现在数据挖掘的关联分析中，常跟 置信度(或可信性)一起出现。 如：某超市中有10…

蛮荒时代

导读：去年9月，百分点公司发布了“全球首款”大数据操作系统BD-OS（基于Lambda架构）。日前，百分点技术副总裁刘译璟和百分点BD-OS产品线高级研发总监刘国栋接受CSDN记者采访，结合BD-OS的设计、研发和架构，对大数据技术演进及应用实践的趋势进行了解读。 所谓“全球首款”，意味着Hadoop、Storm、Spark等当前主流大数据技术的相关从业者几…

摘要：数据是非常强大的。当然，如果你能真正理解它想告诉你的内容，那它的强大之处就更能体现出来了。 通过观察数字和统计数据的转换以获得清晰的结论并不是一件容易的事。必须用一个合乎逻辑的、易于理解的方式来呈现数据。 谈谈数据可视化。人类的大脑对视觉信息的处理优于对文本的处理——因此使用图表、图形和设计元素，数据可视化可以帮你更容易的解释趋势和统计数据。 但是，并…

对于线下的商超、零售店，关注的重点在于如何进行客流统计分析，并应用到商业化的提升之中。目前主流的方案是利用客流统计摄像头来精准采集客流数，跟踪店内行动轨迹，形成热点数据，对接POS/ERP数据，汇总成报表，形成单/多个门店、周期内的变化曲线，并掌握星期、天气、活动等因素给客流带来的影响，促进门店业绩增量。