沪深股广发同花顺票信息的文本分类
詹劲松,李立耀,苏宝英
【摘 要】从网上收集相关的文本信息,用ICTCLAS进行分词,用Java编程处
理、转化为Weka的ARFF格式,再利用StringToWordVector过滤器转换为
向量矩阵,最后用三种分类器分别进行分类的股票信息文本分类方法。实验表
明取得了不错的效果。
【期刊名称】福建师大福清分校学报
【年(卷),期】2016(000)002
【总页数】4
【关键词】股票文本,ICTCLAS,文本分类
0 引言
在经济高速发展的今天,股票作为我国金融市场的重要组成部分,有效促进我
国经济发展。股票市场目前正处于发展阶段,上市公司和股民数量正在增加。
股票成为了不少家庭重要的投资领域。如何更好地对股票投资做出正确的决策
显得至关重要。目前国内外关于股票预测的文章很多,有些还取得不错的效果。
文本分类方面的文章也很多,然而将文本分类技术用于我国沪深股票信息的预
测的文章我们还未从文献中看到。
股票网站上关于股票的不同看法、策略的文章或者评论等琳琅满目。大量的股
票文本资料看似毫不相关,却隐藏着一些具有潜在价值的模式和知识。想要从东华科技股吧
这些股票文本中大唐发电股吧获取相关股票的有用的信息,从而指导自己的股票投资行为,
那么对股票文本进行正确而有效的分类显得尤为重要。传统的人工分类和信息
检索方法已经不再适用于目前的大数据时代。因此,基于机器学习的股票文本
分类方法成为一个重要的技术。
本文将用汉语分词器对自然语言的处理应用到股票文本,通过分析文本的特点,
合理选择预处理方法,以及准确高效的股票文本分类算法,最后得出一个|持仓是什么意思较为
合理的股票文本分类的判断[1]。文章的重点和难点在于根据沪深股票的实际
情况建立合理的、经实验验证可行的模型。
1 股票文本分类的过程
文本分类是目前研究和应用最多的文本挖掘技术之一。股票文本的分类是按照
事先定义好的主题类别,为文档集合中的每一个文档确定一个类别。股票文本
分类的主要处理过程如下:首先获取文本信息即股票的文本数据集。要使文本
中的词或词语区分出来600720股吧,采用中国科学院的ICTCLAS分词技术,作为文本信息
的预处理。此时的样本是非结构化的文本,现有的分类技术无法直接应用。因
此,要先将股票文本转化为ARFF格式,然后再转换为矢量模型。最后利用机
器学习各种方法来实现股票文本分类。总之分为如下四个步骤:
从新浪财经、搜狐财经网站收集股票文本用来作为训练集和测试集。我们请经
验丰富的投资人士将这些股票文本进行人工分类。
中科院的开源系统ICTCLAS是功能强大分词工具,我们利用它实现股票文本的
分词。
自己编写Java代码,将分词后的股票文档处理并股票行情排行转化为ARFF格式。
利用数据挖掘平台Weka,对所得到的股票ARFF文件进行过滤处理和分类。
2 预处理和结果调优涉及的概念和技术
2.1 分词技术ICTCLAS
搜集到的000657中钨高新股票文本是中文文本,词与词没有分隔符将它们分隔开,每一个句子
都是由一串连续的词语组成,再加上股票文本天津自贸区概念股龙头中的词具有不同的长度,相同的
字可出现在许多不同的词中,还有许多词是由单个字组成,这使得对股票文本
中文分词是一项较难的工作,需要快速有效的技术。对于大量的股票文本集,
手工分词已经不再适用,因为它不仅繁琐耗时间,而且分词的准确性也不高。
中国科学院ICTCLAS汉语分词不仅是一款分词速度快,而且也是一款分词精度
高的分析器。以此为基础才能继续进行相关的文本分类工作,所以,利用
ICTCLAS分词是股票文本分类工作重要的文本信息预处理过程[2]。
2.2 字符串转换成向量
将字符串型属性转换成一个向量,即将分词后的股票文本转换成一个样本矢量
的数据矩阵,然后像分类一般数据集那样使用分类器进行分类。我们使用的是
Weka的无监督过滤器StringToWordVector。它为每个数据集创建一个词典,
每个文档中如果有某个单词,对应的属性就为1,否则为0。该过滤方法也可
以将TF-IDF设鹏华国防160630净值为真值,就可进行文本特征值的提取,即提取常用的词频-逆文
档频率。
2.3 信息增益的特征提取方法
股票文本分类中的属性数量往往也比较多,其中可能存在一些与挖掘不相关的
属性,或者歧义的词语影响Weka的机器判断。高纬度的特征值不仅导致独立
性差,还会使得算法的准确率受到影响。所以,信息增益的特征提取方法减少
不必要的噪声就显得更加的重要。信息增益是信息论中的一个重要概念。它表
示某一个特征项的存在与否对类别预测的影响,定义为考虑某一特征项在文本
中出现前后的信息熵之差。在信息增益中,重要性的衡量标准就是看特征能够
为分600898股吧类系统带来多少信息,带来的信息越多,该特征越重要。信息增益来评估
股票0022582021年4月27日发(作者:全球排名前十手机品牌*ST九有(600462))埃克森美孚石油公司简介及主要产品简介 2010-11-09 17:10 来源:网上车市网站 同花顺小财神 编辑:梁一平 公司简介: 埃克森美孚公...
银行汇率、外汇汇率|玉米价格行情2021年4月26日发(作者:这个基金是新能源基金吗广发高端制造股票A(of004997))合兴包装公司天津新建环保预印纸箱项目 作者:沈镇平 作者机构:不详 来源:造纸化学品 ISSN:1007-2225...
2021年4月26日发(作者:宋城演艺宋城演艺(300144)) [目前银行贷款利率是多少钱]目前银行贷款利率是多少 目前银行贷款利率是多少 目前银行贷款利率是多少?下面是小编整理的目前银行贷款利率是多少,供大家参考! 现在银...
2021年4月28日发(作者:平煤股份(601666)平煤股份)广而告之无【期刊名称】《广告导报》【年(卷),期】2006(000)005【摘要】广而告之有限公司,历经10年风雨,始终规范有序、和谐诚信地为客户提供央视媒体资源、传播策略支持...
002440股票 2021年4月26日发(作者:通裕重工(300185)通裕重工) 平 安 普 惠 贷 款名 称寿险贷年 龄23-55额度(万)2-30准入规则区间利率入件资料 富国医疗1、身份证2、工作单位名称+单位固定电话...
太阳纸业贴吧2021年4月28日发(作者:3.24金银汇综述外汇(waihui))风电概念股与风能概念股(风电上市公司) ( 新能源发电概念板块目前主要包括核电概念股、太阳能概念股、风电概念股和生物质电概念股。其中风能作为蕴藏...