在整个迁移过程，除了前期踩坑阶段，期间线上基本没出什么问题，十分平滑的将2000左右的任务迁移到了sparkSql，而且也没耗费过多人力，这说明整个迁移方案的设计和实施是比较成功的。

构建一个数据平台，大体上包括数据采集、数据上报、数据存储、数据计算以及数据可视化展示等几个重要的环节。其中，数据采集与上报是整个流程中重要的一环，只有确保前端数据生产的全面、准确、及时，最终产生的数据结果才是可靠的、有价值的。 为了解决前端埋点的准确性、及时性、开发效率等问题，业内各家公司从不同角度，提出了多种技术方案，这些方案大体上可以归为三类： 第一类是…

目前携程利用自主研发的风控系统有效识别、防范这些风险。携程风控系统从零起步，经过五年的不断探索与创新，已经可以有效覆盖事前、事中、事后各个环节。

导读：去年9月，百分点公司发布了“全球首款”大数据操作系统BD-OS（基于Lambda架构）。日前，百分点技术副总裁刘译璟和百分点BD-OS产品线高级研发总监刘国栋接受CSDN记者采访，结合BD-OS的设计、研发和架构，对大数据技术演进及应用实践的趋势进行了解读。 所谓“全球首款”，意味着Hadoop、Storm、Spark等当前主流大数据技术的相关从业者几…

这是一篇讲述维度数据模型设计的文章，偏向于数据平台而非数据分析，请读者根据自己的兴趣爱好阅读。

今天继续谈阿里的这本书，包括数据服务平台、数据挖掘平台、数据建模、数据管理及数据应用，希望于你有启示。

大家好，我是来自京东搜索与大数据平台部的王超，很高兴和大家介绍京东在这次618大促中在技术方面做的较大的一个尝试，那就是在京东各大平台的主会场和首页的重要位置上，实现了“智能卖场”。

光有数据，有什么用？只有靠形象的可视化展示，才能提取出数据背后的东西。

具备这6个关键功能才称得上大数据分析平台！

增强分析在 eBay 的实践

数据治理不是一蹴而就的，它是一个漫长而持续的过程，没有一拳顶破天的诀窍，也没有立竿见影的途径。目前国内已有部分数据治理平台可帮助企业实现数据治理。

在当今的大数据时代，如何利用好海量的大数据来为理财服务，是财富管理机构共同思考的问题。

Google是大数据时代的奠基者，其大数据技术架构一直是互联网公司争相学习和 研究的重点，也是行业大数据技术架构的标杆和示范。

本文讨论了不同的选择，并推荐了每种选择的适用场合。

DT时代，企业大数据团队能否基于大数据平台给予企业的营销赋能，成为驱动企业转型的关键所在。

怎么样从0到N来建一个大数据平台？

前言，本篇幅将进入大家熟知的互联网时代，数据平台发展史仅是自己经历过由传统数据平台到互联网数据平台发展一些简单回忆，在这一篇章中将引用部分互联网数据平台架构，在这里仅作案例。 相信很多从传统行业转到互联网时是各种不适应，适应短则几个月，长则一年以上。进入到互联网有种感觉，它是一个擅长制造流行新概念的行业，“数据平台“，”数据产品“也不幸免。数据平台这词Dat…

摘要：要建立一个大数据系统，我们需要从数据流的源头跟踪到最后有价值的输出，并在现有的Hadoop和大数据生态圈内根据实际需求挑选并整合各部分合适的组件来构建一个能够支撑多种查询和分析功能的系统平台。这其中既包括了对数据存储的选择，也涵盖了数据线上和线下处理分离等方面的思考和权衡。此外，没有任何一个引入大数据解决方案的商业应用在生产环境上承担的起安全隐患 1、…

摘要：提到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代，这不是说不用Hadoop，而是像NoSQL （Not Only SQL）那样，有其他的选型补充。 背景篇 Hadoop: 开源的数据分析平台，解决了大数据（大到一台…

我主要分析了大数据平台架构的生态环境，并主要以数据源、数据采集、数据存储与数据处理四个方面展开分析与讲解，并结合具体的技术选型与需求场景，给出了我个人对大数据平台的理解。