摘要：本文是面向数据领域的一篇专业文章，里面有大量的专有术语，阅读完大约需要15分钟左右。 前言，这个数据平台发展史仅是自己经历过由传统数据平台到互联网数据平台发展一些简单回忆，文章引用了历史项目&平台规划架构，在这里不做更深入描述。 我是从2000年开始接触数据仓库，大约08年开始进入互联网行业，那时在互联网接触到数据平台与传统第三代数据架构还是…

在本文中优酷数据中台的数据技术专家门德亮分享了优酷从Hadoop迁移到阿里云MaxCompute后对业务及平台的价值。

本文将企业大数据体系的构建分为六个层级，但并非是线性过程，每个层级之间或有基础关系，但并不是说一定要逐层构建。

根据 Enterprise Strategy 机构最新研究，大数据分析平台正在模仿这种定义：供应商产品发布数量在增长，产品增强功能迅速翻倍，现在有多种部署选择支持。

让数据用起来，产生业务价值是数据中台建设的第一优先级。至于这个用起来的过程是否是自动化的，是否有大数据平台的支撑，是否用到了先进的技术，这些都是第二位的事情。

在整个迁移过程，除了前期踩坑阶段，期间线上基本没出什么问题，十分平滑的将2000左右的任务迁移到了sparkSql，而且也没耗费过多人力，这说明整个迁移方案的设计和实施是比较成功的。

构建一个数据平台，大体上包括数据采集、数据上报、数据存储、数据计算以及数据可视化展示等几个重要的环节。其中，数据采集与上报是整个流程中重要的一环，只有确保前端数据生产的全面、准确、及时，最终产生的数据结果才是可靠的、有价值的。 为了解决前端埋点的准确性、及时性、开发效率等问题，业内各家公司从不同角度，提出了多种技术方案，这些方案大体上可以归为三类： 第一类是…

目前携程利用自主研发的风控系统有效识别、防范这些风险。携程风控系统从零起步，经过五年的不断探索与创新，已经可以有效覆盖事前、事中、事后各个环节。

本文将对网易有数大数据平台的子产品，数据质量中心的现状及规划方向进行简要介绍。

京东商品搜索引擎是搜索推荐部自主研发的商品搜索引擎，主要功能是为海量京东用户提供精准、快速的购物体验。虽然只有短短几年的时间，我们的搜索引擎已经经过了多次618店庆和双11的考验，目前已经能够与人们日常使用的如谷歌、百度等全文搜索引擎相比，我们的产品与其有相通之处，比如涵盖亿级别商品的海量数据、支持短时超高并发查询、又有自己的业务特点： 海量的数据，亿级别的…

BI能够带给企业的价值：让每一次决定、每一个管理细节、每一层战略规划都有数据支撑。

摘要：本章是面向数据领域的一篇专业文章，涉及较前一章节(我所经历的大数据平台发展史-上篇 非互联网时代 1)更为专业术语， 阅读对象适合有一定数据基础的读者。阅读完大约需要12 分钟左右。 【前言】 ”数据模型“ 这个词只要是跟数据沾边就会出现的一个词，在数据库设计、数据仓库、数据挖掘上、业务里都存在，聚焦一下，这里提到的是数据平台中的”数据模型“。 这是一…

母婴相对一般的电子商务网站有一些特点：第一个特点是商品周期短，在母婴网站上的商品，在线的时间不会超过5-7天，第二个是用户需求的变化快，在母婴行业，可能是用户的需求变化最快的领域，比如是用户处在怀孕当中，关心的是孕妈的一些问题，几个月以后，随着宝宝的落地，就会准备一些纸尿裤和奶粉，而且随着宝宝的长大，纸尿裤和奶粉的类型也会变化。第三个是移动化，一般有90%的…

大家好，我是明略数据的佘伟。今天非常荣幸能给大家分享明略数据在大数据挖掘方面做的一些事情。 企业中的数据挖掘我们先来看看在企业中数据挖掘都是怎么做的，以及有着哪些问题。 图中的左边是SPSS在1999年提出的《跨行业数据挖掘标准流程》，在图中定义了数据挖掘的6个步骤。虽然这个图已经提出有10几年了，但是在大数据环境下，这个流程依然适用。 1.理解商业问题。这…

我们有软件即服务（SaaS）、平台即服务（PaaS）和数据即服务（DaaS），现在把它们全部揉杂在一起，再将所涉及的数据量大幅增加，就有了大数据即服务（BDaaS）。

对于一个外行人或刚入门的人来说，建立一个数据平台就是搭一个Hadoop集群而已。但基于这个集群，想要把它很好的用起来会暴露很多的问题。那么针对这些问题就需要研发很多系统来应对，所以建立统一数据平台是非常重要的。

本文介绍了如何使用开源软件迅速的搭建一个数据分析平台，包含数据导入，变形，分析，预测，可视化。

摘要：在数据分析中，有超过90%数据都是来自于非结构化数据，其中大部分的是日志，如运维、安全审计、用户访问数据以及业务数据等，但随着互联网快速的发展，数据规模也是水涨船高，从早前的GB级到现在的TB级，甚至PB级也只是短短几年光景。而移动互联网的时代到来，可以说每个人无时无刻不在产生数据，几乎成爆发式的增长。 如此多的数据早已压榨完单机的性能，在性价比的驱使…

今天给大家分享的是携程在实时数据平台的一些实践，按照时间顺序来分享我们是怎么一步一步构建起这个实时数据平台的，目前有一些什么新的尝试，未来的方向是怎么样的，希望对需要构建实时数据平台的公司和同学有所借鉴。

Spark是一个超有潜力的通用数据计算平台，无论是对统计科学家还是数据工程师。