Skip to content

20200201

ziyouzy edited this page Feb 2, 2020 · 3 revisions

关于整体系统的设想与总结:

1.go端只负责csv至mysql的导入操作,之后要完善通过多线程来提高导入速度的构思,比如把最大携程数,最大连接数,账户同时最大在线数都设置为10000,同时需要完善日志,将录入过程中产生的错误导入到文档

2.python端设计csv文档的补全操作,也就是说对于历史记录的加工:

(1)先通过csv合成好信号,先录入到当前csv文档

(2)在通过go端的程序导入数据库

3.之后数据的实时采集与录入数据库,还是要使用golang的携程来完成

4.python除了csv文档的补全操作,还要做每日的mysql补全操作

总结:

python需要完成的功能模块:

(1)csv历史记录的矩阵数据补全

(2)每日mysql的行数据补全:从tushare获取复权数据,并加工,然后录入

golang需要完成的功能模块:

(1)补全后csv文档的历史记录多线程录入

(2)未补全日数据的网络多线程获取以及录入mysql//这个方式弃用了,因为新浪无法返回前复权数据,而golang无法使用tushare

test2

Clone this wiki locally