做量化回测总缺数据？数字货币历史K线获取与本地存储实操
做量化回测，最头疼的就是找数据。数字货币历史K线散落在各交易所API里，格式不统一，直接拿来分析根本用不了。我折腾几年做量化回测总缺数据？数字货币历史K线获取与本地存储实操，整理出这套从拉取到存储的完整流程。
各交易所API端点不同数字货币历史数据获取，但核心逻辑差不多。我常用Binance和OKX的公开行情接口，GET请求指定symbol、interval、startTime就能拿到历史K线。注意单次最多返回1000多条，跨页拉取得自己写循环，加个sleep防限频。返回的JSON数组每条含开、高、低、收、量五个字段。
原始数据坑很多。时间戳是毫秒级，得转成UTC；不同交易所字段名不统一，偶尔混进异常值。我用pandas转DataFrame后按时间排序去重，对成交量做z-score检测，超3倍标准差的标出来人工复核。这步看着琐碎，但不清洗直接回测，策略曲线全是假象。
存哪儿很关键。早期全用CSV，文件多了读起来慢得受不了。后来换Parquet，列式存储，读取速度比CSV快一个量级，自带类型不用每次重新解析。目录按"交易所/币种/周期"三层分，比如binance/BTCUSDT/1h.parquet，查找直观。数据量大了就上SQLite，单表扛几百万行没问题。
历史数据不是一次拉完就完的。我写了个定时脚本，每天凌晨跑一次，记录上次拉取的最新时间戳，下次只增量拉新数据，省流量也不重复存储。脚本里加try-except，网络抖一下不会整个任务崩掉，下次自动补拉缺口。跑了几个月，本地攒了上亿条K线，回测再也不用临时抓数据了。
标签： 数字货币历史数据获取
