如果你正在尝试构建大数据应用或分析系统，你可能会清楚的意识到该领域缺少哪些功能。笔者将人们对大数据的愿景归纳为五大需求，分别是SQL(或SQL-like)分析、快速部署、高级分析、实时分析和网络分析选件。 好消息是人们正在努力应对这些问题，SQL分析选件就是其中之一。大批数据管理和数据分析专家们对SQL非常熟悉，自然想要利用SQL知识搞清楚Hadoop集群和…

Facebook一直是大数据技术最积极的应用者，因为它拥有的数据量极其巨大，一份资料显示2011年它拥有的压缩数据已经有25PB，未压缩数据150PB,每天产生的未压缩的新数据有400TB。

本文来自携程技术中心基础业务研发部的《应用架构涅槃》系列分享。

摘要：TA是一款面向第三方站长的免费网站分析系统，在数据稳定性、及时性方面广受站长好评，其秒级的实时数据更新频率也获得业界认可。本文将从实时数据处理、数据存储等多个方面带你深入探寻TA的系统架构及实现原理。 TA(Tencent Analytics，腾讯分析)是一款面向第三方站长的免费网站分析系统，在数据稳定性、及时性方面广受站长好评，其秒级的实时数据更新频…

本文主要从架构和业务的角度介绍下携程信息安全团队的数据平台建设之路，以及如何为业务和风控提供支持的。

我主要分析了大数据平台架构的生态环境，并主要以数据源、数据采集、数据存储与数据处理四个方面展开分析与讲解，并结合具体的技术选型与需求场景，给出了我个人对大数据平台的理解。

摘要：提到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代，这不是说不用Hadoop，而是像NoSQL （Not Only SQL）那样，有其他的选型补充。 背景篇 Hadoop: 开源的数据分析平台，解决了大数据（大到一台…

咚咚是什么？咚咚之于京东相当于旺旺之于淘宝，它们都是服务于买家和卖家的沟通。 自从京东开始为第三方卖家提供入驻平台服务后，咚咚也就随之诞生了。 我们首先看看它诞生之初是什么样的。 1.0 诞生（2010 – 2011) 为了业务的快速上线，1.0 版本的技术架构实现是非常直接且简单粗暴的。 如何简单粗暴法？请看架构图，如下。 1.0 的功能十分简…

摘要：在《Redis集群技术及Codis实践》这篇文章介绍过Codis，今天云智慧的张克琛总监为我们带来了他在运维PB级数据过程中，对于Codis与数据库管理方面的实践经验，是非常有实操性的一篇分享。在把未知问题场景化、问题化、方案化等方面值得我们学习和借鉴。 面对PB级别数据存储，我们一路走来也踩过很多坑，这里就直接进入主题了，给大家分享一下监控宝系统架构…

导读：去年9月，百分点公司发布了“全球首款”大数据操作系统BD-OS（基于Lambda架构）。日前，百分点技术副总裁刘译璟和百分点BD-OS产品线高级研发总监刘国栋接受CSDN记者采访，结合BD-OS的设计、研发和架构，对大数据技术演进及应用实践的趋势进行了解读。 所谓“全球首款”，意味着Hadoop、Storm、Spark等当前主流大数据技术的相关从业者几…

本文讨论了不同的选择，并推荐了每种选择的适用场合。

怎么样从0到N来建一个大数据平台？

对于企业用户来说，需要更好的了解大数据的含义，理解大数据实际上能做什么及其局限性是什么。

Google是大数据时代的奠基者，其大数据技术架构一直是互联网公司争相学习和 研究的重点，也是行业大数据技术架构的标杆和示范。

Twitter的大数据架构也是分为基于Hadoop的批处理和基于Storm的实时流计算等主要类型，主要基于开源项目中进行开发和发展。

摘要：经过近一年的运营，阿里巴巴的分布式数据库(DRDS)已经协助电商，电信，银行，政府等多种类型的系统进行过业务分布式改造，在系统实施的过程中，我们碰到和解决了哪些问题 他们是怎么解决的背后的思考是什么未来在何方 以下来分享下精彩内容。 DRDS简介 起源 DRDS 脱胎于 alibaba的cobra 分布式数据库引擎，06年上线使用，在alibaba有近…

通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。 通过这一阶段的调研总结，从内部机理的角度详细分析，HDFS、MapReduce、Hbase、Hive是如何运行，以及基于Hadoop数据仓库的构建和分布式数据库内…

数据中台需求的出现，是企业数字化转型的一个标志性的转折，数据中台成为热点，标志着在企业息化或者数字化的历史上数据从来没有距离业务这么近，数字化转型正从流程优先走向数据优先”。

导读：本文是酷狗音乐的架构师王劲对酷狗大数据架构重构的总结。酷狗音乐的大数据架构本身很经典，而这篇讲解了对原来的架构上进行重构的工作内容，总共分为重构的原因、新一代的大数据技术架构、踩过的坑、后续持续改进四个部分来给大家谈酷狗音乐大数据平台重构的过程。 眨眼就是新的一年了，时间过的真快，趁这段时间一直在写总结的机会，也总结下上一年的工作经验，避免重复踩坑。酷…

摘要：2个月的开发时间，微信后台系统经历了从0到1的过程。从小步慢跑到快速成长，经历了平台化到走出国门，微信交出的这份优异答卷，解题思路是怎样的 从无到有 2011.1.21 微信正式发布。这一天距离微信项目启动日约为2个月。就在这2个月里，微信从无到有，大家可能会好奇这期间微信后台做的最重要的事情是什么 我想应该是以下三件事： 1、确定了微信的消息模型 微…