[目录] 第一章：概述 第二章：整体数据分层 第三章：整体实现框架 第四章：元数据 第五章：ETL 第六章：数据校验 第七章：数据标准化 第八章：去重 第九章：增量/全量 第十章：…

[目录] 第一章：概述 第二章：整体数据分层 第三章：整体实现框架 第四章：元数据 第五章：ETL 第六章：数据校验 第七章：数据标准化 第八章：去重 第九章：增量/全量 第十章：…

from http://lxw1234.com/archives/2017/01/828.htm 再次调研这个东西，是为了满足下面的需求： 一张拥有50+字段的表，记录数大概5亿-…

from http://www.iteye.com/news/27628 在过去的十年中，计算世界已经改变。现在不仅在大公司，甚至一些小公司也积累了TB量级的数据。各种规模的组织开…

一. 背景 排行榜满足了人的攀比、炫耀心理，几乎每个产品都会涉及。SNG增值产品部的QQ会员、QQ动漫、企鹅电竞、游戏赛事等大量业务都对排行榜有强烈需求，特别是企鹅电竞等业务的发展…

腾讯推荐 “腾讯推荐”是腾讯大数据近期大力打造的开放服务平台，旨在集业务接入、数据上报、算法计算、实时推荐和效果监控于一体，对外提供全自动实时精准推荐服务。 腾讯推荐官网: tui…

来自 腾讯大数据 1.背景? 点击率预估（pCTR）是广告投放过程中的一个重要环节，精准的点击率预估对于广告投放系统收益最大化具有重要意义。pCTR的优化主要有算法优化，系统改进，…

来自腾讯大数据 简介   为支持超大维度机器学习模型运算，腾讯数据平台部与香港科技大学合作开发了面向机器学习的分布式计算框架——Angel 1.0。 Angel是使用Ja…

来自 http://tech.it168.com/a2016/0707/2772/000002772570.shtml 【IT168 翻译】业内有这样一种说法，SQL虽然在大数据分…

万物皆数据，数据藏大道。教你Know那些有趣、有用、有逼格的Data! 继续“术”篇，希望能更贴近实操。 “术”篇将包含数据收集、数据管理、建模、网站分析、个性化推荐、场景应用、数…

[图片] 分享嘉宾：周晖栋 bilibili 编辑整理：宋灵城 贝壳找房/东南大学 出品平台：DataFunTalk 导读： 本文主要介绍Flink实时计算在bilibili的优化，将从以下四个方面展开：① Flink-connector稳定性优化；② Flink sql优化；③ Flink-run ....

[图片] 分享嘉宾：邓威 腾讯 高级工程师 编辑整理：汪宸妃 武汉大学 出品平台：DataFunTalk 导读： 在腾讯金融场景，我们每天都会产生大量的数据，为了提升分析的交互性，让决策更加敏捷，我们引入了Impala来解决我们的分析需求。所以，本文将和大家分享Impala在腾讯金融大数据场景中的应 ....

定义合适的可视化图形，可以说是最为关键的。

在本报告里，Gartner预测了2020年BI行业的发展趋势，定义了现代型BI的5个评选用例及15大功能，并给出了入选魔力象限的厂商，可谓几家欢乐几家愁。

[图片] 作者：易同学 引言：把基于mapreduce的离线hiveSQL任务迁移到sparkSQL，不但能大幅缩短任务运行时间，还能节省不少计算资源。最近我们也把组内2000左右的hivesql任务迁移到了sparkSQL，这里做个简单的记录和分享，本文偏重于具体条件下的方案选择。 迁移背景 SQ ....

[图片] 以下文章来源于ApacheDoris ，作者ApacheDoris 背景介绍 在传统数据仓库方面，通常以 T+1 离线批量计算为主，按照数仓建模方式，把要处理的业务按照主题域划分，构建各种数据模型，来满足公司经营分析，财务分析等各种公司管理层的数据需求。 然而，随着在线教育快速发展市场竞争 ....

[图片] 分享嘉宾：王杰瑞 (前)网易 资深服务端研发 编辑整理：宋灵城 出品平台：DataFunTalk 导读： 网易严选作为一家品牌电商，对数据实时驱动业务有较高要求。在严选，实时计算被广泛应用在实时数仓、风控、业务监控等场景中。本文将分享网易严选实时计算平台的建设思路和实践，并介绍平台后续的一 ....

1 前言 OPPO的大数据离线计算发展，经历了哪些阶段？在生产中遇到哪些经典的大数据问题？我们是怎么解决的，从中有哪些架构上的升级演进？未来的OPPO离线平台有哪些方向规划？今天会给大家一一揭秘。 2 OPPO大数据离线计算发展历史 2.1 大数据行业发展阶段 一家公司的技术发展，离不开整个行业的发 ....

由于新的神经网络架构无时无刻不在涌现，想要记录所有的神经网络是很困难的事情。要把所有这些缩略语指代的网络(DCIGN，IiLSTM，DCGAN等)都弄清，一开始估计还无从下手。

作者：微信WeOLAP团队&腾讯云数据仓库 Clickhouse 团队 微信作为一款国民级应用，已经覆盖了社交、支付、出行等人们生活的方方面面。海量多样化的业务形态，对数据分析提出了新的挑战。为了满足业务数据分析的需求，微信 WeOLAP 团队联手腾讯云，共建千台规模、数据 PB 级、批流一 ....