今年2月,Spotify的很多后端服务选择从AWS迁移到Google的云平台。Spotify的工程师Igor Maravi撰写了《Spotify’s Event Delivery – The Road to the Cloud》,分3篇文章介绍了事件交付系统的上云之路。届时,Igor Maravi将来到QCon上海,着重分享事件交付系统中的ETL部分。他们将ETL系统做成了一组微服务,打包为容器,并通过容器Orchestration工具来部署。 魏自立,2011年加入360,高级工程师、资深顾问。参与建设了全世界首个也是目前全世界最大的云查杀安全系统,也是360搜索引擎的核心开发。在分布式网络服务器架构与计算、大规模系统性能调优等方面积累了大量实践经验,目前负责360核心安全业务线的云引擎服务团队。他将分享《如何打造一个百万亿级的日志搜索引擎:Poseidon》。 Poseidon系统是一个日志搜索平台,可以在百万亿条、100PB大小的日志数据中快速分析和检索。360公司是一家安全公司,在追踪APT(高级持续威胁)事件,经常需要在海量的历史日志数据中检索某些信息,例如某个恶意样本在某个时间段内的活动情况。 在Poseidon系统出现之前,都是写Map/Reduce计算任务在Hadoop集群中做计算,一次任务所需的计算时间从数小时到数天不等,大大制约了APT事件的追踪效率。Poseidon系统就是为解决这个需求而设计的,能在数百万亿条规模的数据集中找出我们需要的数据,只需要花费几秒钟时间,大大提高工作效率;同时,数据不需要额外存储,节省了大量存储和计算资源。该系统可以应用于任何海量(从万亿到千万亿规模)的查询检索需求。 听众受益:Poseidon系统是大数据领域又一个简洁高效的解决方案。在数据规模达到万亿级别之后,ES等系统就解决不好了,而且相较于HBase等方案,Poseidon系统更加节省存储空间,用户友好性更好,对现有Map/Reduce、Spark等任务都无侵害性。 另外,京东云平台资深架构师鲍永成将分享超大规模容器集群的运维与监控,Spotify技术经理Sebastiano Armeli将分享Spotify的管理之道,南潮(ruff.io)架构师周爱民(Aimingoo)也将分享他的架构感悟。 |