技能库 1355 个
更多分类(194)
交易系统数据库模型设计
设计适配高频/量化交易场景的数据库表结构,优化数据分区与索引策略,提升查询与写入性能
时序数据库选型与配置
评估InfluxDB、TimescaleDB等时序库在金融行情数据存储中的适用性,并配置压缩与保留策略
数据库灾备与一致性方案设计
针对量化交易与金融科技场景,设计跨机房同步、主从切换机制,确保交易数据的RPO/RTO达标
数据库安全审计规则编写
基于审计日志编写SQL注入检测与异常访问告警规则,适用于量化交易与金融科技场景
容量规划与压测脚本生成
使用 sysbench 等工具模拟交易峰值负载,输出数据库扩容建议,适用于金融数据库架构师(量化交易与金融科技)。
数据库文档自动生成
从元数据自动生成金融量化交易数据库的数据字典、ER图及字段说明文档
实时计算指标开发(Flink SQL / CEP)
基于Apache Flink的SQL和CEP引擎,开发实时波动率、价差、订单簿不平衡等量化交易核心指标
Flink状态后端调优 —— 配置RocksDB状态后端参数,优化大状态场景下的性能与内存使用
为量化交易与金融科技场景中的Flink流处理作业,提供RocksDB状态后端的参数调优方法,重点优化大状态下的性能与内存管理。
实时数据质量检查 —— 编写数据完整性校验并自动修复
编写并执行针对实时金融数据流的完整性校验,包括序列号连续性、时间戳单调性等,并在检测到异常时触发自动修复逻辑。
实时数据流管道搭建
使用Kafka/Flink构建低延迟数据管道,确保订单、行情数据毫秒级传输
Tick级数据清洗与对齐
处理交易所原始tick数据,实现去重、时间戳对齐与异常值过滤,为量化交易与金融科技场景提供高质量实时行情数据。
延迟监控与告警配置
为量化交易与金融科技场景设置端到端延迟监控(如Prometheus+Grafana),并配置阈值告警,确保低延迟数据管道稳定运行
Kafka主题分区优化
根据数据量和消费速度调整分区数、副本因子,避免数据倾斜,提升实时数据管道的吞吐与稳定性
数据回放与调试
从历史数据存储(如 InfluxDB)回放实时流,复现生产问题并调试实时数据处理管道
市场数据清洗与预处理
对原始市场交易数据进行去重、缺失值填充、异常值检测与处理,生成高质量、可用的金融时间序列数据集
因子计算与验证
实现常见量化因子(如动量、波动率)的计算,并进行IC/IR分析验证有效性,支持市场数据工程师在量化交易与金融科技场景中快速评估因子质量。
数据管道搭建与维护
使用 Airflow 等工具构建自动化数据管道,确保市场数据从源到数据库的稳定、可靠、高效流转,满足量化交易与金融科技场景的低延迟与高一致性要求。
Tick级数据聚合
将高频Tick数据按时间或交易量聚合为K线、VWAP等标准格式。
数据质量监控与告警
为量化交易与金融科技场景设置数据延迟、缺失、异常等指标的监控规则,并配置告警通知,确保市场数据可靠性与及时性。
时序与 SQL 数据库查询优化
针对市场数据工程师在量化交易与金融科技场景下,优化 InfluxDB 或 SQL 数据库查询,降低响应延迟
回测数据准备
根据回测需求生成无未来函数、对齐时间戳的标准化历史数据集,确保数据准确性和可重复性。
API数据接口开发
设计RESTful API或WebSocket接口,为量化策略提供实时或历史数据服务
行情数据链路故障诊断
快速定位行情数据接收、解析、分发过程中的延迟或中断问题,并修复
运维脚本自动化
编写Python/Bash脚本实现量化交易平台的日常巡检、数据备份与日志轮转等自动化任务,提升运维效率与系统稳定性。