[干货]智唐科技赞助Alluxio(前Tachyon)北京见面会

[干货]智唐科技赞助Alluxio(前Tachyon)北京见面会

2016年8月7日,Alluxio(前Tachyon)北京见面会于北京航空航天大学圆满落幕,这是Alluxio首次在国内的正式亮相。会上,Alluxio创始人李浩源为大家分享了Alluxio项目所取得的最新进展。本次见面会盛情邀请了百度美国研究所Leo Wang博士、去哪儿网工程师李雪岩、北航计算机学院ACT实验室的张扬扬博士来到现场,并作出精彩分享。

智唐科技作为本场见面会的赞助商,对活动给予了大力支持,智唐科技是一家新三板挂牌企业,本次赞助Alluxio北京见面会,旨在通过此平台连接国内顶尖大数据技术企业,加速其在企业数字营销云服务的战略布局。

(Alluxio见面会现场座无虚席)

会上,Alluxio创始人李浩源首先为大家分享了本项目所取得的最新进展,在Alluxio开源的三年的时间里,该社区已汇集全世界100多家公司的超过300名贡献者,成为大数据领域内历史上成长最快的项目之一。目前,Alluxio系统已经被部署使用在例如百度、巴克莱银行、去哪儿网等公司的生产环境中,Alluxio已经其中一些部署应用中运行了一年多,管理着PB级别的数据。

在过去一年的活跃社区开发中,Alluxio在读写性能、可扩展性以及用户体验方面都得到了极大的提升。此外,功能方面,Alluxio还增加了一系列新功能,比如可扩展的分层存储、透明的UFS数据读写、统一命名空间等。这些功能为Alluxio用户带来更多的价值和更高效便捷的集群存储管理。与此同时,Alluxio生态系统还扩展了对不同的存储系统和计算框架的支持。现在Alluxio支持多种存储系统包括Amazon S3、谷歌云存储、Gluster、Ceph、HDFS、NFS和OpenStack Swift等;支持多种主流大数据处理框架,包括Spark,MapReduce,Flink等。这些生态系统的发展使Alluxio可以与更多大数据生态系统组件配合起来为用户带来更多的价值。

(Alluxio创始人李浩源)

统一的文件名称空间与层级存储管理

本次活动发起人范斌与Alluxio工程师富羽鹏为大家详细讲解了Alluxio的分层存储管理机制与统一命名空间的设计与使用,并演示如何在Alluxio中配置内存、SSD、HDD,以及Alluxio内部对数据在不同层之间迁移的机制与策略。

(活动发起人、Alluxio软件工程师范斌)

范斌在演讲中表示,“未来,为了更广泛的用户人群可以使用Alluxio,我们会着重提高Alluxio的安全性、支持新语言以及进一步增加稳定性和对资源的有效使用。此外,我们还会探索新的API,让应用程序能够更有效地访问和管理数据。”

(Alluxio软件工程师富羽鹏)

“Alluxio帮助去哪儿网酒店数据业务最高提速300x”

去哪网工程师李雪岩为大家分享了Alluxio与去哪网的合作案例,他介绍到,Alluxio帮助去哪儿网酒店数据业务最高提速300x。“通过使用Alluxio,我们的实时仓库系统效率得到了很大提升,我们的模型训练效率也有显著提升。”

(去哪网工程师李雪岩)

百度无人车背后的巨大数据挑战

Leo Wang来自百度美国研发中心无人车团队,作为系统架构师,他目前负责百度无人车在线运算系统和离线数据工程。

“百度的目标是实现Level 4自动驾驶的商业化和产业化,在2016年,我们计划部署数十辆无人车,在北美和中国同时展开大量的道路测试。”

(百度系统架构师Leo Wang)

大数据处理平台RING及内存计算技术

北京航空航天大学计算机学院的张扬扬向听众介绍北航计算机学院ACT实验室在内存计算、大数据处理方面的系统和研究工作;

ACT是实验室基于Alluxio、HBase、Elastic Search、Kafka、Spark、Spark Streaming等构建了面向实时流式大数据的基于内存的分布式处理平台RING。并对各部分组件进行修改和优化,使得RING可以支持通用内存计算;增量式的、类SSP(Stale Synchronous Parallel)模式的分布式图计算;以及基于分布式共享内存的高效参数服务器和机器学习计算。

(百度系统架构师Leo Wang)

未来,为了帮助更多人群使用到Alluxio,该团队还将在安全性、新语言支持方面进行进一步的完善和稳定性升级,有效匹配对应资源。另外,Alluxio还将探索新的API,让应用程序更有效的访问及数据管理;

相关领域
人物