为了更好的使大家了解行业现状，我们整理出了2016大数据版图英文对应公司的中文介绍，以飨读者。

Databricks最近对1400多家Spark用户进行了一次调查，结果显示这些用户对Spark Streaming的使用率与2014年相比增长了56%，另外，有48%的受访者将Spark Streaming标记为最常用的Spark组件。在Spark Streaming不断增长的用户群中，Uber、Netflix和Pinterest等家喻户晓的公司赫然在列，…

在云端中运行一个高性能的大数据架构（如Hadoop和Spark）到底是否可行呢？

大数据凉了？No，流式计算浪潮才刚刚开始！ 原创： AI 前线小组 译 AI 前线 1 周前 [图片] 策划编辑 | Natalie 翻译 ｜巴真 编辑 ｜Debra **AI 前线导读：**本文重点讨论了大数据系统发展的历史轨迹，行文轻松活泼，内容通俗易懂，是一篇茶余饭后用来作为大数据谈资的不严肃 ....

简介 为支持超大维度机器学习模型运算，腾讯数据平台部与香港科技大学合作开发了面向机器学习的分布式计算框架——Angel 1.0。 Angel是使用Java语言开发的专有机器学习计算系统，用户可以像用Spark, MapReduce一样，用它来完成机器学习的模型训练。Angel已经支持了SGD、ADMM优化算法，同时我们也提供了一些常用的机器学习模型；但是如果…

摘要：工具／产品／解决方案是数据科学家洞察数据的利器。KDNuggets网站对此观点进行了年度调查，来分析数据科学家在用哪些类型的工具，并提供了调查的匿名原始数据。 通过主成分析（PCA）法进行降维分析 对所有的工具同时进行关系分析，常规来说，PCA通过对大样本数据统计性质（eg, 协方差）的分析，试图用主要特征来解释关系。 分析结果： 当前分析的目标：通过…

作为数据科学家，我想把行业新的知识图谱总结并分享给技术专家们，让大数据知识真正转化为互联网生产力!

Streaming, Spark Machine Learning(MLlib)Spark SQL 和 Spark GraphX, 这些组件是当下互联网生态需求的大综合，可以说整个数据应用链，Spark 都完美的提供了解决方案，那么它不红，都没理由了!

本文将从大数据的基础特性开始，进而解释分而治之的处理思想，最后介绍一些流行的大数据技术和组件，读者能够通过本文了解大数据的概念、处理方法和流行技术。

赵健博 [图片] Kafka 系统在快手有着很广泛的应用，随着其业务的高速发展， Kafka 集群的规模也成指数增长，目前快手 Kafka 集群日消息处理总量达数万亿级别，峰值超过 1 亿 /s。与此同时，快手也面临了很多新问题与技术挑战。本文整理自快手高级架构师、大数据架构团队负责人赵健博在 QC ....

一、概述 日志是记录系统中各种问题信息的关键，也是一种常见的海量数据。日志平台为集团所有业务系统提供日志采集、消费、分析、存储、索引和查询的一站式日志服务。主要为了解决日志分散不方便查看、日志搜索操作复杂且效率低、业务异常无法及时发现等等问题。 随着有赞业务的发展与增长，每天都会产生百亿级别的日志量 ....

定义一个类 1 // 定义类，包含field及方法 2 scala> :paste 3 // Entering paste mode (ctrl-D to finish) 4 class HelloWorld { 5 private var name = 'leo' 6 def sayHell ....