股票所有公告采集数据记录

[专题] 2024-04-18 圈点232

摘要:股票所有公告采集数据记录

股票所有公告的采集:


逻辑步骤:

网圵形如:
http://stock.jrj.com.cn/action/getNoticeListByDiffCondition.jspa?vname=_notic_list&type=0&date=1999-07-15&page=1&psize=10000&_dc=1491152477988
date是变量

返回数据形如:
var _notic_list={summary:{dateTime:'2017-06-27 21:12:12', total:2, page:1, pages:2}, column:{oid:0, declaredate:1, title:2, stockcode:3,

stockname:4, acce_route:5, cls_name:6}, data:[['00000000000000o3t6', '1993-08-20', '深圳中华自行车(集团)股份有限公司一九九三年中期业绩报告

', '000017', '深中华A', '', '中期报告'],['00000000000000o3t6', '1993-08-20', '深圳中华自行车(集团)股份有限公司一九九三年中期业绩报告 ',

'200017', '深中华B', '', '中期报告']]};

截取数据形如:
[['00000000000000o3t6', '1993-08-20', '深圳中华自行车(集团)股份有限公司一九九三年中期业绩报告 ', '000017', '深中华A', '', '中期报告'],

['00000000000000o3t6', '1993-08-20', '深圳中华自行车(集团)股份有限公司一九九三年中期业绩报告 ', '200017', '深中华B', '', '中期报告']]

注意过滤掉特殊字符:
\
'(引号中间的)
\r\n
\t

解析如上数据得到List
可以用eval和ast.literal_eval

收集入库

最大ID:
2,942,344
2,950,251

股票公告采集  

感谢反馈,已提交成功,审核后即会显示