[专题] 2024-09-16 圈点235
摘要:股票所有公告采集数据记录
股票所有公告的采集:
逻辑步骤:
网圵形如:
http://stock.jrj.com.cn/action/getNoticeListByDiffCondition.jspa?vname=_notic_list&type=0&date=1999-07-15&page=1&psize=10000&_dc=1491152477988
date是变量
返回数据形如:
var _notic_list={summary:{dateTime:'2017-06-27 21:12:12', total:2, page:1, pages:2}, column:{oid:0, declaredate:1, title:2, stockcode:3,
stockname:4, acce_route:5, cls_name:6}, data:[['00000000000000o3t6', '1993-08-20', '深圳中华自行车(集团)股份有限公司一九九三年中期业绩报告
', '000017', '深中华A', '', '中期报告'],['00000000000000o3t6', '1993-08-20', '深圳中华自行车(集团)股份有限公司一九九三年中期业绩报告 ',
'200017', '深中华B', '', '中期报告']]};
截取数据形如:
[['00000000000000o3t6', '1993-08-20', '深圳中华自行车(集团)股份有限公司一九九三年中期业绩报告 ', '000017', '深中华A', '', '中期报告'],
['00000000000000o3t6', '1993-08-20', '深圳中华自行车(集团)股份有限公司一九九三年中期业绩报告 ', '200017', '深中华B', '', '中期报告']]
注意过滤掉特殊字符:
\
'(引号中间的)
\r\n
\t
解析如上数据得到List
可以用eval和ast.literal_eval
收集入库
最大ID:
2,942,344
2,950,251
上一篇[专题]vsftpd实践配置参数示例