疫情之下，在线教育需要时刻思考这些问题：怎么拉新，如何变现？如何留存，保持增长的密钥是什么？

前面讲了这么多篇，可能你有疑问那什么是大数据分析？它和传统的数据分析有何不同？我们要从大数据的概念开始讲起。 因为从事这一方向，这几年不断会有人问我什么是大数据？我一直都回答不好。在最近的几个月，我对这一概念思考的更多一些，结合看过的一些资料（如《大数据时代》、《数学之美》第二版、《硅谷之谜》、吴军的演讲材料等）和实际的经历，算是有了一些认识。与其说认识，还…

从模型到应用的AI落地案例分享。

根据数据源的流向不同，我们可以将互联网公司常用的数据分析方法分为三种： 1，通过嵌入SDK直接将数据发送到第三方平台，如使用友盟、百度统计、TalkingData等；2，直接基于业务数据库，通过写SQL的方式进行数据分析；3，在应用服务器端打印日志，基于日志写脚本进行分析，在百度的早期主要是这一种。 我们这篇文章逐一来分析这三种方法的优势和不足。 1 第三方…

摘要：Uber是一款提供出租车预订服务的智能手机应用，为需要搭车的用户和想要载客的司机搭建了沟通渠道。这项服务引起了很大争议，一方面普通的出租车司机抱怨Uber毁掉了他们的生计，另一方面民众担心Uber的司机缺乏监管。 但这些争议并没能阻止Uber取得巨大的成功：2009年发布时仅覆盖旧金山一地，到了现在，除了南极洲之外，已覆盖所有大陆的许多主要城市。 这家…

如今，IBM是大型企业级大数据及高级分析供应商之一。IBM大数据分析平台包括分析及数据管理、行业解决方案、Watson分析以及云数据服务，涉及数据分析、数据库、数据集成、数据治理、数据集市、数据连接、数据存储和开发者服务等在内的完整链条，这些服务全部可以通过云平台对外提供。

你的组织是否在考虑分析数据的最佳方式?以下是在你采用大数据分析之前，需要注意的有关大数据的6个误区。

据哈尔?瓦里安(Hal Varian)说，统计学家是下一个性感的工作。五年前，在《什么是Web 2.0》里蒂姆?奥莱利(Tim O’Reilly)说“数据是下一个Intel Inside”。但是这句话到底是什么意思?为什么我们突然间开始关注统计学和数据?

摘要：融合式基础架构系统为我们提供了很多有效地进行大数据分析所需的资源，包括处理Hadoop的能力以及大规模存储能力。

深度学习背景介绍 Google 在 2012 年透过 Google Brain 展现了前所未有的机器学习能力，2016年 Google 再次藉由 DeepMind 的 AlphaGo 于围棋上的胜利展现了深度学习的能力 [6]；深度学习 (英语：Deep Learning) 并不是凭空创造出来的运算技术，是归属于机器学习的分支，模仿神经网路的运算模式透过复杂…

大数据泄漏和大数据库为今年的美国大选设定了基调。被政客们当作武器的都是哪些类型的数据，这些数据又值多少钱呢？

在上一篇的最后，我把数据处理分成五个阶段，分别是数据采集、数据传输、数据建模/存储、数据统计/分析/挖掘、数据可视化/反馈。这篇主要讲解第一个环节数据采集相关的内容。 如果看过前面几篇，就会体会到我对数据源的重视程度是超乎想象的，认为数据源整好了，数据处理就搞定了一半。如果源头没有整好，后续用再复杂的算法，也不能解决数据缺失和错误所带来的问题，并且会花费许多…

痛定思痛，我们觉得主要问题出在数据源上。百度有上百条业务线(有一定业务规模的)，牵涉到数千个日志模块，每个模块的日志格式都是不一样的。甚至就连Web Server这层，有用Apache的，有用Lighttpd的，也有用Nginx的，用的软件版本可能还是不同的。日志格式五花八门，输出的是非结构化的文本字符串，比如Nginx一条日志： 219.136.113.4…

转眼到了2011年初，我感觉团队放在网页相关性部门，不利于发展。我的想法是要把团队面向全公司服务，甚至成为像NLP(自然语言处理)部门在厂长心中的地位。但网页相关性部门的上司觉得先服务好本部门就够了。我和基础架构部的一个经理(最早在百度负责维护和开发Hadoop团队的负责人，在他完成了Hadoop在全百度的推广之后，改为负责一个分布式存储团队了)商量了一下，…

随着需求的增长，计算资源也随之增长，每个季度有20%-30%。经过一年半，机器数从160台增长到了5000台。记得2009年产品发布后第一次提机器预算时，为了保证新产品部的核心统计能在员工上班之前跑出来，提了100多台，那个时候一个像百度知道这样的业务线也只是申请添加十几台机器满足正常的业务增长，经理都在担心部门是否会批。后来，再提需求都是以千台计，我的经理…

设计一套日志统计平台的需求来源主要是Nslog的RD和OP同学，整理了好几十条，并出了一个基本的方案。我当时觉得实现一个提升运维管理的系统不难，难的是怎么是好用的我很关心怎么提升需求处理的效率问题。这个时候其中一个人又被调到了一个基础库团队。也就是做这件事的就只剩我和校招新人了。而我们两个都还没做过需求处理，也不知道那几百个脚本里面都写的什么玩意儿。我说咱俩…

我2007年浙大研究生毕业后加入百度，先在百度知道做了一年的后端研发，2008年底开始负责日志统计的一个小团队，开发了一套基于Hadoop的日志统计平台，之后一直围绕数据这一方向，覆盖数据的采集、传输、建模存储、查询分析、数据可视化。今年4月份从百度离职创业，做一款针对互联网创业公司的数据分析产品Sensors Analytics，有兴趣的可以到sensor…

网络犯罪以及其他恶意行为的不断增加正促使企业部署更多的安全控制、收集越来越多的相关数据。结果，大数据分析方面的进展被用于以更宽和更深的分析为目的的安全监控中，以保护昂贵的企业资源。大数据安全分析技术融合了大数据的可扩展性，并将其与Advanced Analytic和安全事件管理系统（ security event and incident managemen…

本文从谷歌流感趋势2009年前后表现差异谈起，讨论了大数据分析容易面临的大数据自大、算法演化、看不见的动机导致数据生成机制变化等陷阱，以及对我国大数据产业发展的借鉴。本文认为，为健…

购买链接 Python金融大数据分析 需要电子书的同学可以去我们的数据圈交流星球问问看，可能有惊喜~~ 一本详细讲解使用Python分析处理金融大数据的专业图书；金融应用开发领域从…