成为顶尖数据科学家需要哪些素质？

在本系列之九的末尾提到，基因表达式编程GEP（Gene Expression Programming）是一种数据挖掘工具，是进化计算家族中较新的成员。

摘要：从数据分析、机器学习和结果三方面详解利用高性能分布式计算平台解决现实问题的过程。 近期，comSysto公司分享了该公司研发团队利用Spark平台解决Kaggle竞赛问题的经历，为Spark等平台应用于数据科学领域提供了借鉴。 主办方提供了一个包含5万个匿名驾驶员线路的数据集，竞赛的目的是根据路线研发出一个驾驶类型的算法类签名，来表征驾驶员的特征。例如…

你中枪了吗？

这篇突出资料性，先说三十年的十大算法，看数据挖掘的史上辉煌，再叙七年前提出的十大问题，证数据挖掘专家不是砖家；

在“数据为王”的今天，越来越多的人对数据科学产生了兴趣。数据科学家离不开算法的使用，那么，数据科学家最常用的算法，都是哪些呢? 最近，著名的资料探勘信息网站 KDnuggets 策划了十大算法调查，这次调查对数据科学家常用的算法进行排名，并发现最“产业”和最“学术”的算法，还对这些算法在过去 5 年间(2011~2016)的变化，做了一番详细的介绍。 这次调…

摘要：要建立一个大数据系统，我们需要从数据流的源头跟踪到最后有价值的输出，并在现有的Hadoop和大数据生态圈内根据实际需求挑选并整合各部分合适的组件来构建一个能够支撑多种查询和分析功能的系统平台。这其中既包括了对数据存储的选择，也涵盖了数据线上和线下处理分离等方面的思考和权衡。此外，没有任何一个引入大数据解决方案的商业应用在生产环境上承担的起安全隐患 1、…

摘要：”数据可视化”可以帮助用户理解数据，一直是热门方向。 图表是”数据可视化”的常用手段，其中又以基本图表—-柱状图、折线图、饼图等等—-最为常用。 用户非常熟悉这些图表，但如果被问道，它们的特点是什么，最适用怎样的场合（数据集）？恐怕答得上来的人就不多了。 本文是电子书《Data V…

新零售的数据化运营，不仅仅是简单的上一套系统，分析分析数据！！

想用趣味的方式给《趣味数据挖掘系列》做一个哲学的总结，哲学常较深奥，深则难得有趣。因为选题含原生态冲突，写起来就费思量。拟借用一个交通肇事频率分析的例子，又百语千言，颇难开头。硬着头皮Try，还是从故事讲起，很久很久以前，It was long long ago…

文 | 刘建平Pinard 在矩阵分解在协同过滤推荐算法中的应用中，我们对矩阵分解在推荐算法中的应用原理做了总结，这里我们就从实践的角度来用Spark学习矩阵分解推荐算法。 1. Spark推荐算法概述 在Spark MLlib中，推荐算法这块只实现了基于矩阵分解的协同过滤推荐算法。而基于的算法是FunkSVD算法，即将m个用户和n个物品对应的评分矩阵M分解…

前言，本篇幅将进入大家熟知的互联网时代，数据平台发展史仅是自己经历过由传统数据平台到互联网数据平台发展一些简单回忆，在这一篇章中将引用部分互联网数据平台架构，在这里仅作案例。 相信很多从传统行业转到互联网时是各种不适应，适应短则几个月，长则一年以上。进入到互联网有种感觉，它是一个擅长制造流行新概念的行业，“数据平台“，”数据产品“也不幸免。数据平台这词Dat…

因为接下来要做卖家后台数据纵横的改版，对数据可视化这块儿又进行了研究和心得的整理，跟大家分享下数据可视化常用的五种方式，希望能给大家带来思路的拓展。 概念 借助于图形化的手段，清晰、快捷有效的传达与沟通信息。从用户的角度，数据可视化可以让用户快速抓住要点信息，让关键的数据点从人类的眼睛快速通往心灵深处。 数据可视化一般会具备以下几个特点：准确性、创新性和简洁…

存量客户维系的本质是通过改善产品和服务来提升客户和企业之间的双赢关系。

本次分享会以产品为核心，按照产品发展的过程，依次详细分析产品策略研究期、产品概念评估期、产品研发期、产品测试期、产品导入期、产品发展期、产品成熟期、产品衰退期这8个产品发展的必经阶段所必须做的数据挖掘工作。针对产品每一阶段的不同特点，分享了数据挖掘的核心技能，并指出了每一阶段数据挖掘需要避免的坑。

数据模式包括：特征化与区分、频繁模式、关联和相关性挖掘、分类与回归、聚类分析、离群点分析等。 任务可以分为两类：描述性和预测性数据。 数据特征化：汇总所研究类的数据。 数据区分：将目标类一个或多个可比较类进行比较。 频繁模式挖掘、关联和相关性： 频繁模式(Frequent Pattern)是频繁出现在数据集中的模式(如项集，子序列和子结构)。频繁模式一般可以…

数据服务产业链初现，大数据公司在其中扮演什么角色？

摘要：在《Redis集群技术及Codis实践》这篇文章介绍过Codis，今天云智慧的张克琛总监为我们带来了他在运维PB级数据过程中，对于Codis与数据库管理方面的实践经验，是非常有实操性的一篇分享。在把未知问题场景化、问题化、方案化等方面值得我们学习和借鉴。 面对PB级别数据存储，我们一路走来也踩过很多坑，这里就直接进入主题了，给大家分享一下监控宝系统架构…

Data slides are not really about the data, they are about the meaning of the data. ——《Slide:ology》 在传递信息时，有数据比没数据更有说服力，而一旦有了数据，那就牵涉到如何呈现。PowerPoint为我们提供了诸多图表，它们在一定程度上已经可以满足我们平时需求。当…

随着我们进入2017年下半年，是时候看看那些使用数据科学和机器学习的公司面临的共同挑战。假设你的公司已经在大规模收集数据，需要用到分析工具，而且你已经认识到数据科学可以发挥重大作用（包括改善决策或企业经营、增加收入等等），并进行了优先排序。收集数据和识别感兴趣的问题并非小事，但假设你已经在这些方面起了个好头，那么还剩下哪些挑战呢？ 数据科学是一个宽泛的话题，…