Introduction of the use of Java technique at taobao.com

1. 淘宝技术专场 [email_address]

4. 淘宝网的架构变迁

6. V1.0 ：小而快 2003.5 – 2004.5

8. V2.0 ：多层次结构，开始做自己的软件 2004.2 – 2008.3

13. V3.0 ：产品化思维及服务导向框架 2007.10-2009.11

16. V4.0 ： 系统化、智能化、专业化 2009.8-

19. 基于 Java 技术的基础产品

20. 计算机组成 计算机硬件结构图 外存 内存 运算 器 控制 器 输入设备 输出设备 数据、程序 CPU 主机 数据、程序 数据、程序 冯 . 诺依曼型计算机

23. 网站结构示意图 LoadBalancer WebApp WebApp Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台

25. 中间件 LoadBalancer WebApp WebApp Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台

29. 服务框架 调用者 服务提供者 调用者 服务提供者 服务注册查找中心

30. 中间件 LoadBalancer WebApp WebApp Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台

32. 消息中间件 传统方式 使用消息中间件方式

35. 中间件 LoadBalancer WebApp WebApp Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台

36. 数据层

37. 数据层 User User1 User2 User1-M User2-M User2-S User1-S 分库分表 读写分离 数据库架构的演进

38. 数据层 User1-M User2-M User2-S User1-S TAtomDataSource TGroupDataSource TDataSource 数据源的三层重构 业务可以灵活选择

40. LoadBalancer WebApp WebApp Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台

41. HBase 图来源于： http://goo.gl/d1T3Q

44. LoadBalancer WebApp WebApp Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台

45. 终搜架构

47. Hbase 应用在历史库的搜索上

48. LoadBalancer WebApp WebApp Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台

52. LoadBalancer WebApp WebApp Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台

53. CSP 业务架构

54. CSP 逻辑单元 逻辑单元 逻辑单元 逻辑单元 逻辑单元 收集 分析器 db 应用 系统 收集 分析器 db 收集 分析器 db 收集 分析器 db 收集 分析器 db 控制 服务 中心 应用 系统 应用 系统 应用 系统 应用 系统 应用 系统 应用 系统 应用 系统 应用 系统 应用 系统 应用 系统 应用 系统

59. LoadBalancer WebApp WebApp Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台

61. LoadBalancer WebApp WebApp Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台

62. 业务中特色系统介绍

63. SNS Feed 分发系统

64. 整体结构 14 台 Consumer, 高峰支撑 1500W Feed 的分发 , 下可线性扩展 10 台 Provider, 日均处理 3.5 亿次接口调用 , 其中 Feed 查询接口为 1 亿 6 台 EntityCache, 主数据区占用 100G, 命中率在 90% 以上 12 台 IndexCache, 已使用 60G, 可保证不发生淘汰

65. 核心流程

67. 商品排查系统

68. 前端 Hadoop SST 查询 Zookeeper/DB 调度 处理中心 商品中心 生命周期 DFSProxy SST 排查 Job SSTBuildJob LifecycleMerge IVM-IFDL Common-Join MR-Job 数据源 生成指标 数据源 数据源 TimeTunnel && XData && 淘宝数据集市 @ DW&BI 生命周期数据 实时监控 整体结构

70. CTU 系统

71. CTU 系统

73. PMC 系统

74. 整体结构

77. SHINE

78. 整体架构 一个 Shine 的应用由服务自己的领域服务加上 Shine 平台上的资源构成。 Shine 平台负责页面的渲染，权限控制，调用服务等。

81. TOP

82. 系统层次

83. 系统部署

84. 运行状况 2011 年 6 月 27 日 服务总访问： 11.1 亿 /day 服务有效访问： 10.24 亿 /day 成功访问： 9.82 亿 /day 上行数据流量： 1.2 T/day 独立用户数： 155w 业务平均处理时间 32ms 平台平均处理时间 5ms 有调用量的服务： 397 ， 112 （ > 10w/day ）， 18 （ >1000w ） 服务提供者系统错误率： 3‰ 开放平台系统错误率： 0.001‰ 有服务调用应用总数： 3.7 w 服务访问： 11600 (> 1w/day) ， 57 (> 100w/day) ， 10( > 1000w/day)

86. 淘数据

87. 存储层 权限管理 基础平台 业务系统 统一访问门户（ https://dw.taobao.ali.com ） 系统日志 WIKI MYSQL （ M/S ） 入口 应用层 框架层 UI Framework (YUI, TDC Common js framework) Web && business Framework (velocity 、 webx 、 spring) DB Persistent Framework (ibatis 、 hive 、 sshjdbc) HSF TFS SERVER TDC WEB Server Cluster （ 2 节点） dwsam ( 单节点 ) Apache + Jboss + Lucene 云梯 FTP JDBC SSH IDATA HSF XML ORACLE （ 4 节点） JDBC 全文搜索 自定义查询系统 报表系统 KPI 管理系统 数据质量监控系统 页面点击 卖家云图 路径分析 活动直播间 Redis （ M/S ） Jedis mstrweb IS1 IS2 BO web

89. 广告实时结算系统

91. Thanks !