今天把数据抽取的代码整理了下,做了个控制台程序,这个程序主要抓取了新浪网的行业数据、股票信息,股价日、周、月线的数据,并把数据存储到数据库。文章末尾提供代码下载网址,代码可运行,设置好数据库连接字符串后,即可抽取数据了。
数据抽取主要是找到合适的数据源,分析和提取数据。
一、数据源
免费的接口主要是各大门户网站和财经类网站,比如新浪网易的财经频道,或者东方财富和和讯网站等。
专门做接口的聚合数据股票接口等。
另外如果想了解各种指数的成分股,比如上证50,深户300等指数的成分股,可以参考 上海证券交易所 深圳证券交易所,这两个网站提供两市的所有股票数据,提供了Excel下载,下载以后导入到数据即可。
二、分析和提取数据
通过浏览器的F12或者Fiddler查看网络请求数据,数据最好返回的是json格式,json格式的数据非常容易提取,利用Newtonsoft.Json把json对象转换成dynamic对象,访问json数据真是方便极了,没有用dynamic对象之前,一直是建立和json对象一致的类,然后在反序列化,现在不需要了,代码示例如下:
public IList<DataAccess.Stock> GetStocks(DataAccess.StockCategory category) { var url = "http://vip.stock.finance.sina.com.cn/quotes_service/api/json_v2.php/Market_Center.getHQNodeData?page=1&num=900&sort=symbol&asc=1&node={0}&symbol=&_s_r_a=init"; url = string.Format(url, category.code.Trim('"')); string content = getRequestContent(url); dynamic stocks = Newtonsoft.Json.JsonConvert.DeserializeObject(content); IList<DataAccess.Stock> list = new List<DataAccess.Stock>(); foreach (var stock in stocks) { list.Add(new DataAccess.Stock { code = stock.code, symbol = stock.symbol, name = stock.name }); } return list; }
如果返回数据不是json格式,那就需要用正则表示来提取了,这方面就要看情况了,我的代码里部分用到了正则表达式。
另外,为了防止网站接口变化,你需要建立一个接口类,为应用多做几个接口的实现,应对后续网站接口的变化。
源码可以看原文地址,关注微信公众号获取
相关推荐
可以从yahoo,MSN money上自动抓取股票数据,和balance sheet等属性值。
从腾讯证券接口自动抓取股票数据,区分上证、深证等
如标题
StockAnalytics每天抓取股票数据,保存到mongodb。使用Spark进行分析后保存到Mysql中。WEB界面展示技术架构:SpringMVC + Spring + Mybatis + Spring data MongoDB一阶段:(完成)每天抓取股票数据,保存到mongodb...
抓取新浪财经上股票数据的matlab代码
stocks 每天从网上抓取股票数据并保存到本地以供分析
python中tushare包抓取股票实时数据。有美股。
C#抓取网页股票年报数据程序源代码 程序使用httprequest,httpresponse实现网页的提交数据与页面抓取,并整理存储到Access数据库中。
本人用VFP写的从互联网上下载股票权息资料,附(原代码)
Python爬虫抓取东方财富网股票数据并实现MySQL数据库存储,很有参考借鉴意义
python编程应用之爬虫篇: 用爬虫算法来抓取股票数据。
#STOCK_TOOL 智能股票软件抓取数据模块 获取股票基本信息 运行 stock_main.py 引入stock_get.py,可使用下列函数 获取全部股票代码、名称 get_all_stock_list() 获取股本结构数据 get_stock_structure 获取分红配息...
通过编写爬虫,将指定日期时段内的全部上市公司股票数据爬取下来,并按照股票代码保存到相应的 Excel 文件中。 这个案例主要分为两大步骤: (1)要知道上市公司有哪些; (2)根据每一个上市公司的股票编号爬取数据...
每天股票数据抓取源码,通过sina公开接口,亲测有效,已经抓了半个月了,c# 的源码,包括数据字段说明
这篇文章主要介绍如何使用 Python 爬取股票数据和实现数据接口。 1.定时抓取和解析数据 2.存储数据到 MongoDB 3.缓存数据到 Redis 4.配置 Nginx 和数据接口
抓取基金公司详细信息,采集基金持股详细数据,然后进行汇总统计,即可查询某一股票被多少家基金持有、被基金持有总股数、被基金持有总市值等数据,还可查看基金重仓股票排行榜、基金公司排行榜、基金产品排行榜等...
主要介绍如何使用Python股票数据和实现数据接口。1.定时抓取和解析数据2.存储数据到 MongoDB3.缓存数据到 Redis4.配置 Nginx 和数据接口。 1.定时抓取和解析数据 2.存储数据到 MongoDB 3.缓存数据到 Redis 4.配置 ...
项目实战1:网络爬 虫与抓取股票数据; 项目实战2:数据可视化与股票数据分析; 项目实战3:开发PetStore宠物商店项目; 项目实战4:开发Python版QQ2006聊天工具。 为便于读者高效学习,快速掌握Python编程方法。...
项目实战1:网络爬 虫与抓取股票数据; 项目实战2:数据可视化与股票数据分析; 项目实战3:开发PetStore宠物商店项目; 项目实战4:开发Python版QQ2006聊天工具。 为便于读者高效学习,快速掌握Python编程方法。...