[图片] 分享嘉宾：王杰瑞 (前)网易 资深服务端研发 编辑整理：宋灵城 出品平台：DataFunTalk 导读： 网易严选作为一家品牌电商，对数据实时驱动业务有较高要求。在严选，实时计算被广泛应用在实时数仓、风控、业务监控等场景中。本文将分享网易严选实时计算平台的建设思路和实践，并介绍平台后续的一 ....

来源： 何巨放 贝壳找房 稿 1. 背景 Flink作为新一代的实时计算引擎在贝壳越来越多的应用场景下被应用，比如实时指标、实时ETL、实时监控等。目前贝壳内部线上运行中Flink任务已经超过4K，日均处理数据量万亿级。如何提升大规模Flink任务的稳定性、资源利用率、运维效率是一个有挑战的问题。本 ....

为了搞清三者关系，我们来看一张图： 如图所示：人工智能最大，此概念也最先问世；然后是机器学习，出现的稍晚；最后才是深度学习。 从低潮到繁荣 自从 1956 年计算机科学家们在达特茅斯会议（Dartmouth Conferences）上确认人工智能这个术语以来，人们就不乏关于人工智能奇思妙想，研究人员也在不遗余力地研究。在此后的几十年间，人工智能先是被捧为人类…

要点 在常见的机器学习/深度学习项目里，数据准备占去整个分析管道的60％到80％。市场上有各种用于数据清洗和特征工程的编程语言、框架和工具。它们之间的功能有重叠，也各有权衡。数据整理是数据预处理的重要扩展。它最适合在可视化分析工具中使用，这能够避免分析流程被打断。可视化分析工具与开源数据科学组件之间，如R、Python、KNIME、RapidMiner互为补…

[图片] 分享嘉宾：何会会 有赞 数据开发工程师 编辑整理：xiaomei 出品平台：DataFunTalk 导读： 今天和大家分享一下数据地图相关知识，以及有赞在数据地图方面的实践。主要分为4个部分： 数据地图的背景 数据地图是什么 有赞数据地图实践 总结和展望 01 数据地图的背景 1. 数据地 ....

[图片] 分享嘉宾：李清华 贝壳 资深产品经理 编辑整理：赵敏 出品平台：DataFunTalk 导读： 数据治理经过多年的沉淀，积累了比较完善的理论体系；但是落地时候，治理范围如何聚焦，数据产品如何定位、具象设计和推广运营，不同公司有着不同的设计实现。本文会结合贝壳找房近两年的业务数据中心建设经验 ....

[图片] 分享嘉宾：付海涛 京东 技术专家 编辑整理：苏文进 怪兽充电 出品平台：DataFunTalk 导读： Flink是目前流式处理领域的热门引擎，在实时数仓、实时风控、实时推荐等多个场景有着广泛的应用。京东于2018年开始基于Flink+k8s深入打造高性能、稳定、可靠、易用的实时计算平台， ....

1 什么是数据倾斜 数据倾斜即指在大数据计算任务中某个处理任务的进程（通常是一个JVM进程）被分配到的任务量过多，导致任务运行时间超长甚至最终失败，进而导致整个大任务超长时间运行或者失败。外部表现的话，在HiveSQL任务里看到map或者reduce的进度一直是99%持续数小时没有变化；在Spark ....

前言 我们小伙伴应该都听说够消息中间件MQ，如：RabbitMQ，RocketMQ，Kafka等。引入中间件的好处可以起到抗高并发，削峰，业务解耦的作用。 [图片] 如上图： （1）订单服务投递消息给MQ中间件 （2）物流服务监听MQ中间件消息，从而进行消费 我们这篇文章讨论一下，如何保障订单服务把 ....

[图片] 作者：果贝，阿里云资深技术专家 ，实时数仓Hologres负责人 2022年1月7日，阿里云实时数仓Hologres举行了年度发布会，在发布会上，来自阿里的资深技术专家从阿里的核心场景出发，为大家解读了实时数仓的新发展趋势“在线化、敏捷化、一站式”。通过本文，我们将会深入解读实时数仓发展所 ....

[图片] 分享嘉宾：汤楚熙 美团 编辑整理：李瑶 DataFun 出品平台：DataFunTalk 导读： 大家好，我叫汤楚熙，来自美团数据平台中心的计算平台团队，当前主要工作内容是实时数仓平台的研发。今天和大家分享一下实时数据在美团的典型应用场景，实时数仓建设中的挑战和解决方案，包括一些关键的设计 ....

在这篇文章中，我们Spark的其它机器学习API，名为Spark ML，如果要用数据流水线来开发大数据应用程序的话，这个是推荐的解决方案。

文 | 董飞 大数据最大的价值不是事后分析，而是预测和推荐我们可以看到”精准推荐”在电商中的运用，预测性分析成为大数据在零售业的主流。 服装网站Stitch Fix例子，在个性化推荐机制方面，大多数服装订购网站采用的都是用户提交身形、风格数据+编辑人工推荐的模式，Stitch Fix不一样的地方在于它还结合了机器算法推荐。这些顾客提供的身材比例，主观数据，加…

袁一@工商银行 摘要： 本文整理自中国工商银行大数据平台负责人袁一在 Flink Forward Asia 2021 的分享 [图片] 一、工行实时大数据平台建设历程 工商银行从 2002 年开始建设数据集市，当时主要使用 Oracle 类单机版的关系型数据库。随着数据量不断增加，开始引入 TD、E ....

[图片] 分享嘉宾：赵海源 美团 流存储工程师 编辑整理：刘明 慕华信息科技 出品平台：DataFunTalk 导读： 本文将介绍Kafka在美团数据平台的实践，主要内容包括：① Kafka在美团数据平台的发展现状和面临的挑战，主要是海量数据下如何保证读写延迟的问题，以及大规模的集群管理与优化；② ....

丁香园大数据 稿 今天我们来聊一聊大数据时代的电商搜索问题，随着电商的普及，越来越多人开始在网上购物，电商搜索的目的在于如何从海量的商品当中找到用户需要的商品。目前，绝大多数的商品召回和排序都是基于embedding，如何构建商品向量、如何解决搜索词与商品名称之间的语义鸿沟问题、如何解决店铺特征稀疏 ....

摘要 ：本篇内容整理自美团数据平台工程师冯斐、王非凡在 Flink Forward Asia 2021 生产实践专场的演讲。主要内容包括： 一、相关背景 [图片] 美团 Flink 的应用场景覆盖了社区定义的三种场景： 应用比较多的是数据管道场景，比如数仓 ODS 层数据的实时接入，或跨数据源的实时 ....

导读：「以客户为中心，技术为产品服务」是爱番番线索管家团队一贯遵循的原则。技术架构规划首先应该围绕业务诉求展开，用合理的技术赋能产品，产品在不断的演进中又对技术提出更高的标准和要求。作为爱番番PV最高的页面，本文将详细介绍线索列表如何从快速交付的刀耕火种原始状态，逐步走向“高可用、高质量、高体验“的 ....

在这篇文章中，我们参考partial dependence的理念，尝试从以下三个角度去分析机器学习模型的预测机制…

随着大数据分析市场快速渗透到各行各业，哪些大数据技术是刚需?哪些技术有极大的潜在价值?根据弗雷斯特研究公司发布的指数，这里给出最热的十个大数据技术。