最新消息: USBMI致力于为网友们分享Windows、安卓、IOS等主流手机系统相关的资讯以及评测、同时提供相关教程、应用、软件下载等服务。

TDengine在同花顺组合管理业务中的优化实践

IT圈 admin 28浏览 0评论

2024年3月21日发(作者:线兴发)

TDengine在同花顺组合管理中的优化实践

前言

同花顺每天需要接收海量交易所行情数据,确保行情数据的数据准确。但由于该部

分数据过于庞,而且使用场景颇多,每天会产生很多的数据,而组合管理(PMS)还

会使用到行情数据。之前虽然采用了Postgres+LevelDB作为数据的存储方案,但

仍然有不少痛,所以必须对存储方案进行改造。

通过对ClickHouse、InfluxDB、TDengine等时序数据存储方案的调研,最终们选

择了TDengine。数据监控采用TDengine后,在稳定性、查询性能等方面都有较

的提升。

背景与问题

同花顺私募之家组合管理一个集多资产管理、实时监控、绩效分析、风险分析、舆

情分控、报表输出等功能于一体的智能投资组合管理。为券商、基金、私募等机构

客户实时准确的投研。

数据层面主要依赖实时数据及日级别数据,为所支持的股票、基金、债券、美股、

股、期权、期货资产类别的监控和分析支持。

其中,实时数据主要用于资产监控,由于使用场景会对数百个不同的标的进行资产

监控,数据刷新频率在1秒左右。因此,整个系统对实时数据的读写性能及延时

有着比较高的要求。

此外,日级别数据主要用于投资组合的各种分析。分析所涉及的标的数量,相较实

时资产监控更多,在时间上的跨度会长至10数年。此外在输出分析报告时,还会

叠加多种分析指标和分析模型。在整个分析过程中,涉及巨量的数据集。这对数据

库的读写性能又提出了更高的要求。

由上述架构图可以看到,该内需要量的基础数据支撑,像实时行情、行情。

针对行情数据支撑,涉及多个证券品种的数据,包括股票、债券、基金、股、美股、

期货、期权。数据跨度周期从数天到数年不等。页面返回的数据计算结果,而计算

依赖的数据层数据和量行情数据。这个计算过程包含了行情数据请求。尤其在展示

结果包含多证券标的和长周期的情况下,产生一个分析报告可能达到 5s,而行情

获取耗时占比达到80%以上。而且,输出报告面临并发情况,这种情况带来的拥

堵会进一步恶化用户的使用体验。

2024年3月21日发(作者:线兴发)

TDengine在同花顺组合管理中的优化实践

前言

同花顺每天需要接收海量交易所行情数据,确保行情数据的数据准确。但由于该部

分数据过于庞,而且使用场景颇多,每天会产生很多的数据,而组合管理(PMS)还

会使用到行情数据。之前虽然采用了Postgres+LevelDB作为数据的存储方案,但

仍然有不少痛,所以必须对存储方案进行改造。

通过对ClickHouse、InfluxDB、TDengine等时序数据存储方案的调研,最终们选

择了TDengine。数据监控采用TDengine后,在稳定性、查询性能等方面都有较

的提升。

背景与问题

同花顺私募之家组合管理一个集多资产管理、实时监控、绩效分析、风险分析、舆

情分控、报表输出等功能于一体的智能投资组合管理。为券商、基金、私募等机构

客户实时准确的投研。

数据层面主要依赖实时数据及日级别数据,为所支持的股票、基金、债券、美股、

股、期权、期货资产类别的监控和分析支持。

其中,实时数据主要用于资产监控,由于使用场景会对数百个不同的标的进行资产

监控,数据刷新频率在1秒左右。因此,整个系统对实时数据的读写性能及延时

有着比较高的要求。

此外,日级别数据主要用于投资组合的各种分析。分析所涉及的标的数量,相较实

时资产监控更多,在时间上的跨度会长至10数年。此外在输出分析报告时,还会

叠加多种分析指标和分析模型。在整个分析过程中,涉及巨量的数据集。这对数据

库的读写性能又提出了更高的要求。

由上述架构图可以看到,该内需要量的基础数据支撑,像实时行情、行情。

针对行情数据支撑,涉及多个证券品种的数据,包括股票、债券、基金、股、美股、

期货、期权。数据跨度周期从数天到数年不等。页面返回的数据计算结果,而计算

依赖的数据层数据和量行情数据。这个计算过程包含了行情数据请求。尤其在展示

结果包含多证券标的和长周期的情况下,产生一个分析报告可能达到 5s,而行情

获取耗时占比达到80%以上。而且,输出报告面临并发情况,这种情况带来的拥

堵会进一步恶化用户的使用体验。

发布评论

评论列表 (0)

  1. 暂无评论