ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

超大量数据如何处理? 京东技术开放日第二期实战解析大规模分布式存储

时间:2014-07-28 10:58:21来源:互联网编辑:星辉

对于一家大型互联网企业,稳定承受海量的用户请求和爆发式增长的数据是必须面对的技术问题。特别在电子商务领域,每逢大型促销,数据的增长都是成倍的,作为国内最大的自营式电商,京东在今年的618店庆活动中成功支持了同比去年增长超过100%的下单量,这与其坚实的核心基础系统和过硬的技术力量密不可分。近日,在京东技术开放日第二期活动中,来自京东技术研发部的顶级技术人员与业内众多同行分享了诸多经验。

此次活动的分享主题是“大规模分布式存储实战解析”。曾带领团队自主研发了京东文件系统、分布式缓存与高速KV服务、新消息队列、新服务框架、新图片系统的京东架构委员会主任、云平台首席架构师、系统技术部负责人刘海锋以“大规模分布式存储的持续研发”为议题进行了讲解。如今大型互联网公司中海量请求和爆发式增长的数据和用户,令NoSQL数据库越来越受到开发者的关注。刘海锋以京东自主研发的高速KV(key-value)存储服务和分布式文件系统作为落地实践,分享了高性能海量存储的架构改进与性能优化、热点数据常驻内存、弹性容量扩展、高可用自动故障切换、细粒度监控、建立PB级别高可靠强一致存储平台等经验。

对企业而言,PB级的数据管理是衡量其数据规模和管理能力的一个重要标尺,刘海锋重点介绍了京东自主研发的文件系统JFS(Jingdong Filesystem),它不仅实现了海量小文件、对象存储、块存储、新图片系统、元数据表结构存储、Hadoop集成等功能,同时还在分布式存储方面满足了精确故障检测、自动故障切换、两级存储层次、在线纵向扩展以及在线横向扩容等需求,具有很强的指导性。

本次活动的第二个议题是分布式MySQL集群技术开发与实践,由京东资深技术讲师秦波带来,他针对当前热门的分布式MySql系统的设计和实现、应用以及未来的发展方向,深度总结了京东自身在分布式MySQL集群设计和实现阶段,解决整体架构及部署TOPO、分库分表,自动扩展等实战项目积累的经验。

作为技术圈内的一项交流会议,京东技术开放日由京东技术研发部发起,口号是“交流、分享、融合、创新”,旨在通过众多业内技术人士的现场交流,将有价值的技术资源整合推出,让更多的技术人开始分享技术,获得价值,让技术的汇聚成为创新的源泉。截至目前,京东技术开放日活动已成功进行了两期,未来仍将挑选技术领域的热门主题进行分享,与业内同行共同成长,以不断提升众多用户的使用体验。

关于京东(JD.com):

京东(JD.com)是中国领先的自营式电商企业。公司致力于为顾客提供最好的网络消费体验。通过其内容丰富且使用便捷的网站www.jd.com以及移动客户端,京东以具竞争力的价格,向消费者提供大量精选的正品,并通过可靠快速的配送服务将产品送到消费者手中。

截至2014年3月,京东在其平台上提供4020余万库存单元(SKU)的13大类产品。京东相信其拥有全国电商行业中最大的仓储设施:京东在全国范围内拥有7大物流中心,在36座城市建立了86个大型仓库,总面积达到150万平方米,并拥有1620个配送站和214个自提点,覆盖全国495个城市,配送人员均为京东员工。京东目前在43个城市提供保证当天送达的“211限时达”服务,并在另外256座城市提供隔天送达的配送服务。

更多热门内容
不负全球玩家期待!全AI掠夺者家族50系新品重磅开售!
在高端电竞本领域,掠夺者一直以先锋姿态引领行业发展,全新掠夺者·战斧18 AI等新品在CES 2025展会一经亮相,便将2025高端AI电竞本的期待值拉满。超前的设计理念和以玩家体验为核心的产品思路,贯穿掠夺者三款重磅新品:从发烧友的终极梦想至尊机皇掠夺者·战斧18 AI,

2025-06-06

餐桌底下的清洁高手!萤石云视觉商用清洁机器人BS1革新食堂清洁模式
在智能化浪潮席卷商业领域的当下,清洁行业正迎来一场革命性变革。2024 年,萤石首款云视觉商用清洁机器人 BS1 正式亮相市场,凭借前期先锋客户端的试运行测试及系统深度对接,迅速在全国各大写字楼、展厅、银行、食堂、酒店等场景崭露头角,开启智能清洁新篇章。AI 视

2025-05-23

京东新品国补立省 潮玩新次元游戏本华硕天选6 Pro来袭
5月16日京东新品日,打开京东APP来新品频道,买华硕天选6 Pro新品享国家补贴20% #京东新品 #京东重磅新品日,到手6999元起。华硕天选6 Pro搭载RTX 5070笔记本电脑GPU,至高可选AMD锐龙9 9955HX或Intel酷睿Ultra 9 275HX高性能平台,采用全新模具和散热系统,集卓越性能

2025-05-19

一加官宣首次将风驰游戏内核写入天玑平台,并与MediaTek联合发布天玑9400系列新芯片
2024年5月14日,一加宣布将与MediaTek联合举办“芯旗舰 新上限”游戏战略沟通会暨芯片发布会,双方将在游戏技术共融、芯片定制、内核重构、技术联合等多方面展开前所未有的深度战略合作。一加将自研的芯片级游戏技术「风驰游戏内核」首次注入天玑旗舰芯片,让游戏体验再破

2025-05-13

MiTAC 神雲科技发布搭载最新AMD EPYC™ 4005系列处理器产品
【加州纽瓦克电—2025年5月13日】—作为专业的服务器设计与制造商,神达控股股份有限公司(股票代号:3706)旗下子公司神雲科技股份有限公司(MiTAC Computing Technology Corp.)推出了支持AMD EPYC™ 4005系列处理器的最新产品。这些更新的服务器解决方案可提供更高的性能和

2025-05-13