谈到大数据与高性能分析信息

star2017 1年前 ⋅ 701 阅读

谈到大数据与高性能分析信息

我们在大数据时代-但我们怎么意思?在我们看来,大数据是一个相对的,不是绝对的,长期。这意味着,该组织的需要处理,存储和分析数据(其批量,多品种,速度,多变性和复杂性)超过其目前的产能,并已超越了IT的安乐窝。[1]大数据是经典的双双刃剑-双方潜在的资产和可能的诅咒。大多数人认为,有显著的,有意义的,在数据的专有值。但很少组织津津乐道的成本和简单的收集,存储和传输的庞大数据量的挑战。甚至更少知道如何利用这个值,把数据转化为信息。

谈到大数据与高性能分析信息是企业IT部门对电视的“囤积”等待发生的仅仅是一个插曲-还是我们真正想办法找到了被掩埋越来越越陷越深在我们的数据中山区战略价值的信息?很简单:我们该怎么做所有这些数据的?

从本质上讲,高性能分析提供了一个简单,但功能强大,承诺:不管你如何存储数据,或有多少是存在的,复杂的分析程序仍然可以访问这些数据,建立强大的分析模型使用的数据,通过使用在计算环境中的资源的全部潜力快速,准确地提供答案。

随着高性能分析,我们不再主要关注的地方的数据驻留。今天,我们的计算能力已经远远超过了我们的移动大量的数据从磁盘到磁盘的能力。相反,我们使用分而治之的方法来巧妙地发送加工出来以数据就在这里。

由于我们的场景本章开头所示,最终,HPA是关于速度的价值及其对企业行为的影响。如果分析的基础设施需要每天提供一个单一的计算结果,你可能会简单地接受它提供了答案。但是,如果你可以使用HPA得到答案在一分钟内,你的行为变化。你问更多的问题。你探索更多的选择。您运行更多的场景。而你追求更好的结果。

但是,我们如何把高性能分析的权力,这种规模的数据量?我们认为有三个基本支柱 – 三大创新方法 – 把HPA到大数据:

  • 网格计算:分配工作量几个计算引擎之间-网格计算使分析师自动使用一个集中管理的网格基础设施,提供负载均衡,高可用性和并行处理业务分析工作和过程。随着网格计算,更容易和更具成本效益,以适应跨适当可用硬件资源的计算密集型应用程序和用户越来越多,并确保业务分析应用的持续高可用性。可以创建一个管理,共享的环境,以处理大量的节目以有效的方式。
  • 数据库内分析:移动分析过程更接近数据 -随着数据库的处理,分析功能是使用本地数据库的代码数据库引擎中执行。传统的编程可以包括将数据复制到辅助位置,并且该数据被使用的数据库之外的编程语言进行处理。在数据库处理的好处包括减少数据移动,更快的运行时间,并充分利用现有的数据仓库投资的能力。
  • 内存分析:分配工作量和数据以及数据库 -在这种方法中,大数据和复杂的分析计算,在内存中处理和分布在一组专用的节点产生高度精确的见解,以解决近实时的复杂问题时间。这是一个关于运用高端的分析技术,解决了在内存环境中的这些问题。为了获得最佳性能,数据被拉动,并置于一个专用数据库器具用于分析处理的存储器内。

怎样才能取得成功与高性能分析?

HPA不只是一个增量的纪律。它涉及到我们如何对待分析问题创新转变。我们认为他们的不同,并继续寻找新的方法来解决这些问题。它不仅仅是简单地把一个串行算法,并分解成块。成功需要多种学科和重新思考我们的业务流程的能力更深入,更广泛的算法。

根据我们的经验,HPA解决复杂的业务问题需要沿着两个不同的层面的创新。首先,算法和建模技术必须发明和建造利用的大规模并行计算环境的力量在三个主要方面:

  • 描述性分析-您可以报告并生成历史业绩,可以帮助你看看什么蒸发更为明显比以往任何时候的描述性统计。
  • 预测分析-您可以使用数据关系进行建模,预测和预测的业绩令人印象深刻的方式,并预测未来事件和结果。
  • 规范性分析-可以识别变量开发优化建议,把你的预测和预报的优势,预计每个决策选项的可能产生的影响之间的关系。[2]

 

其次,HPA工具和产品,必须建立,将这些高性能分析技术,启用以下三个目的:

  • 可视化和海量数据的探索。
  • 创建使用多学科的方法,如统计,数据挖掘,预测,文本分析和优化分析模型。
  • 特定领域的解决方案,结合了两种具体的分析技术,以及业务流程,以支持决策的复杂问题中的应用。

是什么让HPA如此引人注目跨越频谱企业 – ,使他们愿意承担分析这一根本性的反思 – 是要处理和解决必须从根本上改变企业本身的性质,潜在的业务转型问题的能力。通过处理数十亿的意见和成千上万的变量在近实时,HPA被释放动力和能力,是没有先例的。您的企业可以看到同样的结果,例如,通过采取以下步骤:

  • 实施数据挖掘工具,对庞大的数据卷创建预测和描述性模型。
  • 使用这些变量来预测哪些客户可能会放弃一个在线应用程序,并为他们提供奖励,以继续他们的会话。
  • 比较这些诱因对彼此的预算,实时,以确定最佳的报价为每一位客户。

这是一种有力的值,HPA可以提供和为什么它今天继续争取了众多企业的关注。

结论

令人惊讶的,高性能的分析学科继续前进以迅猛的速度。随着存储变得更加实惠,更大量的处理能力变得日益便宜,很容易让我们设想“分析流”实时那里的见解不是离散的事件,但都是企业的分钟按一分钟操作的一部分,织成每一个有意义的业务流程的织物。进一步向下移动的成本曲线将使我们能够进一步民主化分析和移动它超越了专业的分析师和到几乎每一位员工手中,保值增值的广度和深度。通过推出这种风格的HPA的力量,我们有机会实现快速分析的新水平成倍带动收益丰厚。

转载请注明:数据分析 » 谈到大数据与高性能分析信息

喜欢 (0)or分享 (0)
更多内容请访问:IT源点

相关文章推荐

全部评论: 0

    我有话说: