×
请登录
账号
密码
登录 Use it
博客
随笔
网盘
建站
资源
标签
毒鸡汤
程序员导航
登录
注册
标签: 大数据技术 共 150 个结果.
窥探大数据应用的未来发展方向
大数据应用的下一阶段发展方向在哪里?
star2017
1年前
2413
0
有赞搜索引擎实践(算法篇)
1. 搜索算法总体架构 在上篇文章(工程篇)中, 我们介绍了有赞搜索引擎的基本框架. 搜索引擎主要3个部件构成. 第一, hadoop集群, 用于生成大规模搜索和实时索引; 第二, ElasticSearch集群, 提供分布式搜索方案; 第三, 高级搜索集群, 用于提供商业搜索的特殊功能. 商业电商搜索由于搜索的特殊性, 独立的ElasticSearch集群…
star2017
1年前
2218
0
想要成为大数据工程师需要掌握的知识(二)
我们想要告诉大家的是成为大数据工程师需要掌握的知识体系,而作为初学者,你可以先从简单的入手,慢慢在学更深的知识,拿出高考的恒心和坚持来,肯定能行。
star2017
1年前
6404
0
有赞搜索引擎实践(工程篇)
随着互联网数据规模的爆炸式增长, 如何从海量的历史, 实时数据中快速获取有用的信息, 变得越来越有挑战性. 一个中等的电商平台, 每天都要产生百万条原始数据, 上亿条用户行为数据. 一般来说, 电商数据一般有3种主要类型的数据系统: 关系型数据库, 大多数互联网公司会选用mysql作为关数据库的主选, 用于存储商品, 用户信息等数据. 关系型数据库对于事务性…
star2017
1年前
3871
0
想要成为大数据工程师需要掌握的知识(一)
对于高速发展的大数据行业来说,行业人才的稀缺目前已成为抑致行业发展的重要因素。人才的稀缺性外加上诱人的高额薪资,使得互联网行业很多技术人员纷纷想要转型进入大数据领域,成为数据科学家、大数据工程师等等。今天,我们将为大家介绍大数据工程师所需掌握的技能,让小伙伴们有个参照。
star2017
1年前
6934
0
Spark性能优化指南——高级篇
前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。 数据倾斜调优 调优概述 有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解…
star2017
1年前
4514
0
你不需要Hadoop做数据分析的10个理由
为你的业务使用大数据技术是一个非常有吸引力的事情,现在Apache Hadoop使得它更加吸引人了。
star2017
1年前
6037
0
【实战】利用MapReduce分析明星微博数据
互联网时代的到来,使得名人的形象变得更加鲜活,也拉近了明星和粉丝之间的距离。歌星、影星、体育明星、作家等名人通过互联网能够轻易实现和粉丝的互动,赚钱也变得前所未有的简单。
star2017
1年前
2452
0
这5种必知的大数据处理框架技术,你的项目到底应该使用其中的哪几种
大数据是收集、整理、处理大容量数据集,并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限,但这种计算类型的普遍性、规模,以及价值在最近几年才经历了大规模扩展。
star2017
1年前
6780
0
数据开发系列篇:大数据处理和编程实践Hadoop
Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用,如亚马逊、Facebook和Yahoo等等。对于我来说,最近的一个使用点就是服务集成平台的日志分析。服务集成平台的日志量将会很大,而这也正好符合了分布式计算的适用场景(日志分析和索引建立就是两大应用场景)。 当前没有正式确定使用,所以也是自己业余摸索,后续所写的相关…
star2017
1年前
2631
0
大数据概念近乎透支,人工智能如何撩起下一波创业高潮?
摘要:大数据概念被热炒多年之后,我们是时候开始关注大数据与人工智能在具体领域中的应用问题。那么,目前大数据和人工智能领域还存在着哪些技术挑战如何找到大数据和人工智能的创业入口,利用数据挖掘和机器学习的能力创造出更大的商业价值 作为第四次工业革命的引领性领域,近年来的人工智能和大数据持续升温。最近的AlphaGo事件更是将人工智能的前沿技术呈现于大众面前。 大…
star2017
1年前
9856
0
教你怎么跟老婆解释MapReduce的概念?
摘要:我是如何向老婆解释MapReduce的? 昨天,我在Xebia印度办公室发表了一个关于MapReduce的演说。演说进行得很顺利,听众们都能够理解MapReduce的概念(根据他们的反馈)。我成功地向技术听众们(主要是Java程序员,一些Flex程序员和少数的测试人员)解释了MapReduce的概念,这让我感到兴奋。在所有辛勤的工作之后,我们在Xebi…
star2017
1年前
2373
0
1.3万亿条数据查询如何做到毫秒级响应?
知乎,在古典中文中意为“你知道吗?”,它是中国的 Quora,一个问答网站,其中各种问题由用户社区创建,回答,编辑和组织。
star2017
1年前
4580
0
Spark2.0:真实力还是纯套路?
在Databricks的Spark峰会上,支持结构化处理和SQL 2003的Spark2.0 呈现在众人面前,此外,R-to-Spark接口也在该峰会上崭露头角。 近日在旧金山举行的Spark峰会上,Spark发起人Databricks 展示了这款通用分析引擎Spark的2.0版本,并介绍了该版本的详细更新细节。包括IBM、Microsoft在内的一众公司都…
star2017
1年前
6123
0
前优酷土豆大数据平台研发负责人杨大海:建立统一数据平台的重要性
对于一个外行人或刚入门的人来说,建立一个数据平台就是搭一个Hadoop集群而已。但基于这个集群,想要把它很好的用起来会暴露很多的问题。那么针对这些问题就需要研发很多系统来应对,所以建立统一数据平台是非常重要的。
star2017
1年前
3140
0
海量数据挖掘最优解?机器学习!
摘要:机器学习是大数据挖掘的一大基础,本文以机器学习为切入点,分享达观在大数据技术实践时的一些经验。 大数据时代里,互联网用户每天都会直接或间接使用到大数据技术的成果,直接面向用户的比如搜索引擎的排序结果,间接影响用户的比如网络游戏的流失用户预测、支付平台的欺诈交易监测等等。 互联网的海量数据不可能靠人工一个个处理,只能依靠计算机批量处理。最初的做法是人为设…
star2017
1年前
7679
0
Hadoop之父DougCutting眼中大数据技术的未来
摘要:1985年毕业于美国斯坦福大学的Doug Cutting并不是一开始就决心投身IT行业的。但又如何成为了Hadoop之父?以及这10年中,Hadoop的发展和未来期待又是如何的? 上次见到(膜拜)Hadoop之父Doug Cutting是在2年前,2014中国大数据技术大会上。今年Hadoop10岁,刚看到他的Hadoop十周年贺词,感觉时间飞逝。最近…
star2017
1年前
6276
0
R语言突破大数据瓶颈:Shiny的Spark之旅
摘要:我对如何开发和部署”Shiny-SparkR”的应用一直很感兴趣,本文目的将展示如何使用 SparkR 来驱动 Shiny 应用。 什么是SparkR SparkR是一个为R提供了轻量级的Spark前端的R包。 SparkR提供了一个分布式的data frame数据结构,解决了 R中的data frame只能在单机中使用的瓶颈,…
star2017
1年前
2669
0
大数据不同的瑞士军刀:对比Spark和MapReduce
摘要:Apache 基金会下的 Spark 再次引爆了大数据的话题。带着比 Hadoop MapReduce 速度要快 100 倍的承诺以及更加灵活方便的 API,一些人认为这或许预示着 Hadoop MapReduce 的终结。 作为一个开源的数据处理框架,Spark 是如何做到如此迅速地处理数据的呢?秘密就在于它是运行在集群的内存上的,而且不受限于 Ma…
star2017
1年前
7463
0
ApacheSpark介绍及案例展示
2013年年底,我第一次接触到Spark,当时我对Spark所使用的Scala语言产生了较大的兴趣。一段时间后,我做了一个预测泰坦尼克号船上人员生存概率的数据科学项目。事实证明这是一个更深入了解Spark概念和编程框架的绝佳途径。我强烈建议任何希望学习Spark的开发者都寻找一个项目入手。 如今,诸如亚马逊、eBay和雅虎等公司都开始采用Spark技术。许多…
star2017
1年前
2772
0
1
...
3
4
5
...
8
本文目录
热门标签
程序员导航
热门文章
1.
如何学习Python数据科学(2018)
2.
31个与大数据有关的非常不错的资源和文章(附全链接)
3.
这可能是人工智能、机器学习和大数据领域覆盖最全的一份速查表
4.
onlyoffice 20并发限制处理,up to 20 maximum
5.
史上最全的“大数据”学习资源(上)
6.
一篇文章,带你了解美国大数据产业
阿里云新老用户最新优惠
阿里云新老用户最新优惠
最新发布
1.
祝福不只嘴上说!爆款CQ9《寿星大发》用奖金说话
2.
docker 查看容器分配的内部ip
3.
简单Dify调用MCP服务笔记
4.
主流向量数据库一览
5.
docker 镜像没安装vi可以使用命令修改~/.bashrc
6.
Dify大模型集成工具本地部署运行笔记
最新评论
签到
?
签到
签到
签到,学习
签到