掌握大数据服务总线技术 看这一篇就够了

       产品介绍

　　大数据服务总线是云计算平台内平台服务层的核心支撑组件，承载着可提供的数据服务资源，并对服务提供者和使用者搭建一个可交互共享的服务中介平台，兼容适配异构多云，解决分布式数据访问和不同应用间访问调用的差异问题，将跨地域、跨层级、跨部门的应用系统及数据有机地联系与整合在一起，实现了全网分布式信息共享和资源综合利用。

　　总体技术架构示意图

　　通过建设大数据服务总线，提供统一化、标准化和规范化的数据服务及应用服务的接口管理与调度，屏蔽应用直接访问数据带来的风险，屏蔽应用直接访问服务接口带来的不可管控与审计，降低信息共享的难度，从而实现服务入口统一、服务智能调度、服务策略可管控，服务情况可追朔，构建上下级联、横向贯通、安全可控的服务共享交换体系。

技术浅析

　　传输可观察

　　提供可观察性，实现传输过程的可见、透明、白盒化

　　●日志采集+解析：指标度量、分布式链路、结构化日志、传输账单

　　●标准数据格式和上报API

　　●开放数据格式和采集API

高可靠传输

　　网络可靠：检测-重传机制

　　●差错检测：数据摘要/指纹→错误重传

　　●丢包检测

　　●发送方检测：定时检查等待的确认→超时重传

　　●接收方检测：协商连续编号/数据清单→选择重传

　　●重复检测：唯一性数据标识/摘要指纹→冗余过滤

　　●顺序检测：时间戳/有序编号→重新排序

　　节点可靠性

　　●本地持久化缓冲，支持断电保护、异常恢复

　　●滚动WAL和异步落盘，降低持久化影响

　　●节点HA集群

　　对账支持

　　●输出边界账单，供外部对账

可靠与性能的平衡

　　高性能传输

　　并发模型

　　●非阻塞异步IO：epoll多路复用、Reactor线程模型

　　协议效率

　　●七层HTTP 四层TCP

　　●减少报文冗余，支持二进制格式(压缩透传)

　　大报文：超过发送缓冲区大小

　　●分块并发：切分参数支持静态配置、动态统计更新

　　●流水线并发、多链路并行、多核心并行

　　●内部编号，确保接收端的可靠拼装

　　●断点续传

　　文件系统

　　●零拷贝

　　●小文件合并：拼包，对齐MTU;减少新建连接数

适应性传输

　　根据功能、部门及业务等因素动态构建差异化、隔离的专用虚拟通道

　　●绑定资源池( CPU、线程、内存、网络、磁盘)、传输策略(优先级、可靠性等)

　　适应不同优先级、可靠性、安全要求、传输策略的精准、平衡需要

　　●高可靠 vs. 高吞吐

　　●大报文&大文件传输 vs. 普通请求服务

应用场景

　　逻辑上把请求过程和响应过程分成异步的两部分，但在具体的物理协议适配上：

　　●对于HTTP这种同步请求响应的协议，在节点侧同步阻塞响应，保持物理的同步调用

　　●对于PCI这种异步请求响应的协议，就原生支持了;当然目前提供的PCI Client API的封装版本rbsp api，有实现应用侧的异步仿真同步。