沪深股票信息的文本分类
詹劲松,李立耀,苏宝英
【摘 要】从网上收集相关的文本信息,用ICTCLAS进行分词,用Java编程处
理、转化为Weka的ARFF格式,再利用StringToWordVector过滤器转换为
向量矩阵,最后用三种分类器分别进行分类的股票信息文本分类方法。实验表
明取得了不错的效果。
【期刊名称】福建师大福清分校学报
【年(卷),期】2016(000)002
【总页数】4
【关键词】股票文本,ICTCLAS,文本分类
0 引言
在经济高速发展的今天,股票作为我国金融市场的重要组成部分,有效促建信成长进我
国经济发展。股票市场目前正处于发展阶段,上市公司和股民数量正在增加。
股票成为了不少家庭重要的投资领域。如何更好地对股票投资做出正确的决策
显得至关重要。目前国内外关于股票预测的文章很多,有些还取得不错的效果。
文本分类方面的文章也很多,然而将文本分类技术用于我国沪深股票信息的预
测的文章我们还未从文献中看到。
华东科技股吧
股票网站上关于股票的不同看法、策略的文章或者评论等琳琅满目。大量的股
票文本资料看似毫不相关,却隐藏着一些具有潜在价值的模信邦制药股票式和知识。想要从
这些股票文本中获取相关股票的有用的信息,从而指导自己的股票投资行为,
那么对股票文本进行正确而有效的分类显得尤为重要。传统的人工分类和信息
检索方法已经不再适用于目前的大数据时代。因此,基于机器学习的股票文本
分类方法成为一个重要的技术。
本文将用汉语分词器对自然语言的处理应用到股票文本,通过分析文本的特点,
合理选择预处理方法,以及准确高效的股票文本分类算法,最后得出一个|持仓是什么意思较为
合理的股票文本分类的判断[1]。文章的重点和难点在于根据沪深股票的实际
情况建立合理的、经实验验证可行的模型。
1 股票文本分类的过程
文本分类是目前研究和应用最多的文本挖掘技术之一。股票文本的分类是按照
事先定义好的主题类别,为文档集合中的每一个文档确定一个类别。股股票600098 票文本
分类的主要处理过程如下:首先获取文本信息即股票的文本数据集。要使文本
中的词或词语区分出来,采用中国科学院的ICTCLAS分词技术,作为文本信息
的预处理。此时的样本是非结构化的文本,现有的分类技术无法直接应用。因
此,要先将股票文本转化为ARFF格式,然后再转换为矢量模型。最后利用机
器学习各种方法来实现股票文本分类。总之分为如下四个四川水泥股步骤:
从新浪财经、搜狐财经网站收集股票文本用来作为训练集和测试集。我们请经
验丰富的投资人士将这些股票文本进行人工分类。
中科院的开源系统ICTCLAS是功能强大分词工具,我们利用它实现股票文本的
分词。
自己编写Java代码,将分词后的股票文档处理并转化为ARFF格式。
利用数据挖掘平台Weka,对所得到的股票ARFF文件进行过滤处理和分类。
2 预处理和结果调优涉及的概念和技术
2.1 分词技术ICTCLAS
搜集到的股票文本是中文文本,词600759股票与词没有分隔符将它们分隔开,每一个句子
都是由一串连续的词语组成,再加上股票文本中的词具有不同的长度,相同的
字可出现在许多不同的词中,还有许多词是由单个字组成,这使得对股票文本
中文分词是一项较难的工作,需要快速有效的技术。对于大量的股票文本集,
手工分词已经不再适用,因为它不仅繁琐耗时间,而且分词的准确性也不高。
中国科学院ICTCLAS汉语分词不仅是一款分词速度快,而且也是一款分词精度
高的分析器。以此为基础才能继续进行相关的文本分类工作,所以,利用
ICTCLAS分词是股票文本分类工作重要的文本信息预处理过程[2]。
2.2 字符串转换成向量
将字符串型属性转换成一个向量,即将分词后的股票文本转换成一个样本矢量
的数据矩阵,然后像分类一般数据集那样使用分类器进行分类。我们使用的是
Weka的无监督过滤器StringToWordVector。它为每个数据集创建一个词典,
每个文档中如果有某个单词,对应的属性就为1,否则为0百年一人的博客。该过滤方法也可
以将TF-IDF设为真值,就可进行文本特征值的提取,即提取常用的词频-逆文
档频率。
2.3 信息增益的特征南化股份提取方法
股票文本分类中的属性数量往往也比较多,其中可能存在一些与挖掘不相关的
属性,或者歧义的词语影响Weka的机器判断。高纬度的特征值不仅导致独立
性差,还会使得算法的准确率受到影响。所以,信息增益的特征提取方法减少
不必要的噪声就显得更加的重要。信息增益是信息论中的一个重要概念。它表
示某一个特征项的存在与否对类别预测的影响,定义为考虑某一特征项在文本
中出现前后的信息熵之差。在信息增益中,重要性的衡量标准就是看特征能够
为分类系统带来多少信息,带来的信息越多,该特征越重要。信息增益来评估
2021年4月28日发(作者:通辽市经济开发区工委书记、通辽市副市长近日因涉嫌犯罪被)海南自贸区自贸港政策解读系列之(二)作为中国最大的经李飞新浪博客济特区,海南一直是中国改革的“试验田”和“排头兵”,海南的发展已经成为中国改革开放的奇迹之...
2021年4月28日发(作者:交通银行(601328)交通银行)微电子公司好名称 微电子企业企业名字 分析家股票软件下载 核心提示:微电子企业企业名字。微电子技术是微电子学中的各项工艺技术的综合。21世纪是信息经济的时代,国民经济的增长与微...
2021年4月26日发(作者:华润置地(hk01109)华润置地东)人民币的兑换 教学内容: 人教版小学数学教材四年级下册45~47页 教学目标: 知识与华安基金查询技能:能应用小数点位置移动引起小数大小变化的规律进行整十整百整千整万人民币...
2021年4月28日发(作者:惠威科技:专业音响和公共广播是增长的重点惠威科技(00288)十大家纺品股票300008 牌排行榜 Revised by Jac...
2021年4月28日发(作者:恒铭达恒铭达(002947))宁德锂电新能源产业小镇创建规划研究陈丽梅【摘 要】“特色小镇”是国家推进新型城镇化在新时期、新常态下的新举措、新模式。对于特色小镇的发展,生态环境的保护塑造是基础,产业体系的构建布...
博时裕富基金净值2021年4月26日发(作者:360的主营业务是什么?靠什么赚钱?感到就是个泡沫三|吉恩镍业股票六零(6)中航三鑫甩掉亏损包袱中航通用飞机成海南特玻第一大股东 作者:; 作者中兴通讯a股机构:; 来源:建筑玻璃与工业玻璃 年...