颖源科技分享IBM大数据平台应用实践
【已经过期】：请登录重发或删除过期商品

详细信息

数据库双机热备(http://www.expresscluster.net.cn/)

从2011年推出至今，IBM大数据平台核心产品BigInsights在国内已经拥有许多合作伙伴，并涌现出不少优秀的应用运行在BigInsights大数据平台上。在刚刚结束的2013 IBM技术峰会上，来自深圳颖源科技的时俊杰先生向TechTarget中国记者介绍了基于IBM BigInsights的大数据分析应用落地经验。

在IBM BigInsights平台上开发了一套股市情绪分析系统。基于行为金融学理论和客观的机器学习算法，对股市涨跌数据、社交媒体言论数据进行采集和挖掘。分析得出的结果能够帮助投资者去洞察股市的情绪，从而预测市场。

股市情绪分析系统背后包含了信息采集系统和情绪分析引擎，前者会通过开放接口高效地采集所需要的投资者对于股市的评价以及对于市场涨跌情绪的表达；后者包含一系列复杂的语义分析算法。而在这两个核心功能的背后，IBM BigInsights提供了非常可靠并且健壮的企业级大数据后台支持，包括企业级的Hadoop功能、文本分析的加速器、可视化管理工具、易于使用的开发工具以及系统管理界面等。

我们可以把BigInsights看作是IBM的Hadoop发行版，它在支持原生态的Hadoop数据存储功能之外，还提供了一系列针对IBM软件进行优化的工具，比如DB2、Cognos的连接。然而Hadoop本身是一个开放的生态系统，Apache社区也提供了相当丰富的工具集，比如ZooKeeper以及2.0版本中的YARN等。更重要的是，Apache Hadoop是免费的，用户无需向供应商购买许可证就可以搭建自身的Hadoop大数据平台。

针对在开源Hadoop和BigInsights之间的选择问题，时俊杰的回答十分干脆，颖源科技在搭建分析应用之初就没有考虑过使用开源Hadoop，因为开源虽然免费，但碰到一个问题可能很长时间都解决不了，因为技术支持跟不上。时俊杰认为，开源Hadoop只适合具有强大技术储备的互联网公司使用。而传统企业级用户很可能无法达到预期效果，他们更适合使用像IBM BigInsights这样的成熟的解决方案。

在颖源科技的大数据分析应用中，IBM BigInsights相比于开源Hadoop的优势主要体现在以下几个方面：1、它是企业级的Hadoop平台，能够消除单点故障；2、提供了性能保证，分析速度大幅提升；3、提供了可扩展的、丰富的信息集成工具；4、提高了生产效率以及可管理性；5、容易学习并掌握，提供了丰富的培训资源。

这套基于IBM BigInsights的股市情绪分析系统将在近期发布。时俊杰介绍，未来这一应用也将考虑添加更多的数据源，并在更多的维度上进行情绪分析，为用户提供更精准的体验，包括BigInsights以及Stream在内的IBM大数据平台在国内不同领域已经积累了很多合作伙伴，颖源科技就是其中之一。未来IBM还会紧密地与合作伙伴一起，推动不同行业的大数据应用真正落地。