历史专业财务数据 pytdx.crawler

参考

• issue from @datochan https://github.com/rainx/pytdx/issues/133

• 通达信专业财务函数文档

• 财务指标的名称含义，参考 issue #163 https://github.com/QUANTAXIS/QUANTAXIS/blob/master/QUANTAXIS/QAData/financial_mean.py

pytdx.crawler

crawler 其实本来想叫做downloader或者fetcher, 专门来处理 http 协议的数据的下载和解析，分为两个阶段，下载阶段我们会使用 urllib 来下载数据，数据可以下载到临时文件（不传入path_to_download参数）或者下载到指定的位置（提供path_to_download参数），也支持指定 chunk 的分段下载进度的提示（使用reporthook传入处理函数）， 下面是一个 reporthook 函数的例子

def demo_reporthook(downloaded, total_size):
    print("Downloaded {}, Total is {}".format(downloaded, total_size))

获取历史专业财务数据列表 pytdx.crawler.HistoryFinancialListCrawler

实现了历史财务数据列表的读取，使用方式

from pytdx.crawler.history_financial_crawler import HistoryFinancialListCrawler
crawler = HistoryFinancialListCrawler()
list_data = crawler.fetch_and_parse()
print(pd.DataFrame(data=list_data))

结果

In [8]: print(pd.DataFrame(data=list_data))
            filename  filesize                              hash
0   gpcw20171231.zip     49250  0370b2703a0e23b4f9d87587f4a844cf
1   gpcw20170930.zip   2535402  780bc7c649cdce35567a44dc3700f4ce
2   gpcw20170630.zip   2739127  5fef91471e01ebf9b5d3628a87d1e73d
3   gpcw20170331.zip   2325626  a9bcebff37dd1d647f3159596bc2f312
4   gpcw20161231.zip   2749415  3fb3018c235f6c9d7a1448bdbe72281a
5   gpcw20160930.zip   2262567  8b629231ee9fad7e7c86f1e683cfb489
..               ...       ...                               ...

75  gpcw19971231.zip    434680  316ce733f2a4f6b21c7865f94eee01c8
76  gpcw19970630.zip    196525  6eb5d8e5f43f7b19d756f0a2d91371f5
77  gpcw19961231.zip    363568  bfd59d42f9b6651861e84c483edb499b
78  gpcw19960630.zip    122145  18023e9f84565323874e8e1dbdfb2adb

[79 rows x 3 columns]

其中，filename 字段为具体的财务数据文件地址， 后面的分别是哈希值和文件大小，在同步到本地时，可以作为是否需要更新本地数据的参考

获取历史专业财务数据内容 pytdx.crawler.HistoryFinancialCrawler

获取历史专业财务数据内容

使用上面返回的filename字段作为参数即可

from pytdx.crawler.base_crawler import demo_reporthook
from pytdx.crawler.history_financial_crawler import HistoryFinancialCrawler

datacrawler = HistoryFinancialCrawler()
pd.set_option('display.max_columns', None)
result = datacrawler.fetch_and_parse(reporthook=demo_reporthook, filename='gpcw19971231.zip', path_to_download="/tmp/tmpfile.zip")
print(datacrawler.to_df(data=result))

通过 reader 读取数据

如果您自己管理文件的下载或者本地已经有对应的数据文件，可以使用我们的 HistoryFinancialReader来读取本地数据，使用方法和其它的 Reader 是类似的, 我们的 reader 同时支持.zip和解压后的.dat文件

from pytdx.reader import HistoryFinancialReader


print(HistoryFinancialReader().get_df('/tmp/gpcw20170930.dat'))

通过命令行工具hq_reader读取并保存到 csv 文件

-->rainx@JingdeMacBook-Pro:/tmp$ hqreader -d hf -o /tmp/gpcw20170930.csv /tmp/gpcw20170930.dat
写入到文件 : /tmp/gpcw20170930.csv