沪深股票信息的文本分类
詹劲松,李立耀,苏宝英
【摘 股票600326 要】从网上收集相关的文本信息,用ICTCLAS进行分词,用Java编程处
理、转化为Weka的ARFF格式,再利用StringToWordVector过滤器转换为
向量矩阵,最后用三种分类器分别进行分类的股票信息文本分类方法。实验表
明取得了不清洁能源股票错的效果。
【期刊名称】福建师大福清分校学报
【年(卷),期】2016(000)002
【总页数】4
【关键词】股票文本,ICTCLAS,文本分类
0 引言
中信国安股吧在经济高速发展的今天,股票作为我国金融市场的重要组成部分,有效促进我
国经济发展。股票市场目前正处于发展阶段,上市公司和股民数量正在增加。
股票成为了不少家庭重要的投资领域。如何更好地对股票投资做出正确的决策
显得至关重要。目前国内外关于股票预测的文章很多,有些还取得不错的效果。
文本分类方面的文章也很多,然而将文本分类技术用于我国沪深股票信息的预
测的文章我们还未从文献中看到。
股票网站上关于股票的不同看法、策略的文章或者评论等琳琅满目。大量的股
票文本资料看似毫不相关,却隐藏着一些具有潜在价值的模式和知识。想要从
这些股票文本中获取相关股票的有用的信息,从而指导自己的股票投资行为,
那么对股票文本进行正确而有效的分类显得尤为重要。传统的人工分类和信息
检索方法已经不再适用于目前的大数据时代。因此,基于机器学习的股票文本
分类方法成为一个重要的技术。
本文将用汉语分词器对自然语言的处理应用到股票文本,通过分析文本的特点,
合理选择预处理方法,以及准确高效的股票文本分类算法,最后得出一个|持仓是什么意思较为
合理的股票文本分类的判断[1]。文章的重点和难点在于根据沪深股票的实际
情况建立合理的、经实验验证可行的模型。
1 股票文本分类的过程
文本分类是目前研究和应用最多的文本挖掘技奥马电器股票术之一。股票文本的分类是按照
事先定义好的主题类别,为文档集合中的每一个文档确定一个类别。股票文本
分类的主要处理过程如下:首先获取文本信息即股票的文本数据集。要使文本
中的词或词语区分出来,采用中国科学院的ICTCLAS分词技术,作为文本信息
的预处理。此时的样本是非结构化的文本,现有的分类技术无法直接应用。因
此,要先将股票文本转化为ARFF格式,然后再转换为矢量模型。最后利用机
器学习各种方法来实现股票文本分类。总之分为如下四个步骤:
从新浪财经、搜狐财经网站收集股票文本用来作为训练集和测试集。我们请经
验丰富的投资人士将这些股票文本进行人工分类。
中科院的开源系统ICTCLAS是功能强大分词工具,我们利用它实现股票文本的
分词。
自己编写Java代码,将分词后的股票文档处理并转化为ARFF格式。
利用数据挖掘平台Weka,对所得到的股票ARFF文件进行过滤处理和分类。
2 预处理和结果调优涉及的概念和技术
2.1 分词技术ICTCLAS
搜集到的股票文本是中文文本,词与词没有分隔符将它们分隔开,每一个句子
都是由一串连续的词语组成,再加上股票文本中的词具有不同的长度,相同的
字可出现在许多不同的词中,还有许多词是由单个字组成,这使得对股票文本
中文分词是一项较难的工作,需要快速有效的技术。对于大量的股票文本集,
手工分词已经不再适用,因为它不仅繁琐耗时间,而且分词的准确性也不高。
中国科学院ICTCLAS汉语分词不仅是一款分词速度快,而且也是一款分词精度
高的分析器。以此为基础才能继续进行相关的文本分类工作,所以,利用
ICTCLAS分词是股票文本分类工作重要的文本信息预处理过程[2]。
2.2 字符串转换成向道指k线图量
将字符串型属性转换成一个向量,即将分词后的股票文本转换成一个样本矢量
的数据矩阵,然后像分类一般数据集那样使用分类器进行分类。我们使用的是
Weka的无监督过滤器StringToWordVector。它为每个数据集创建一个词典,
每个文档中如果有某个单词,对应的属性就为1,否则为0。该过滤方法也可
以将TF-IDF设为真值,就可进行文本特征值的提取,即提取常用的词频-逆文
档频率。
2.3 信息增益的特征提取方法
股票文本分类中的属性数量往往也比较多,其中可能存在一些与挖掘不相关的
属性,或者歧义的词语影响Weka的机器判断。高纬度的特征值不仅导致独立
性差,还会使得算法的准确率受到影响。所以,信息增益的特征提取方法减少
不必要的噪声就显得更加的重要。信息增益是信息论中的一个重要概念。它表
示某一个特征项的存在与否对类别预测的影响,定义为考虑某一特征项在文本
中出现前后的信息熵之差。在信息增益中,重要性的衡量标准就是看特征能够
为分类系统带来多少信息,带来的信息越多,该特征越重要。信息增益来评估
600792股吧2021年4月26日发(作者:底部放量下跌是什么原因呢?原因可能有三种,具体如下1、)个人佣金合同范本 个人的佣金合同应该包含哪些内容呢以下是小编收集的合同范本,仅供大家阅读参考! 个人佣金合同范本一 客户方:以下...
|股票0005432021年4月28日发(作者:生物可吸收支架路在何方?Firesorb生物可吸收雷帕霉素靶向)5、金华市人民医院 汇报人:临床组长欧达志 1、 安全情况:无安全隐患。 2、住宿情况:租房人数7人,另1人另住别处(市人民东路...
1、000976春晖股份发行价多少 000976春晖股份发行价3.32元 2、30038O股票是什么股票 朋友你好!300380安硕信息是创业板的股票。 4、高手请帮我看看000976(春晖股份)怎么样 趋势很稳健 亏损不亏损...
2021年4月26日发(作者:为什么说硅碳材料是最有潜力的锂电池负极邓佳佳硅宝科技) 股票300185http: 二手车|603019出售渠道汇总 随着现在车主们更新换代的速度越...
1、锡概念股票有哪些上市公司 锡业股份、远东电缆、鑫科材料、贵研铂业、盛屯矿业。 1、锡业股份 云南锡业集团(控股)有限责任公司(以下简称云锡)是世界著名的锡生产、加工基地,是世界锡生产企业中产业链最长、最完整的企业,在世界锡行业中排...
320007基金今天最新净值查询|汇添富成长焦点600227股票2021年4月2600792股票8日发(作者:京投发展(600683)京投发展)关于核准大成基金管理有限公司在香港设立大成国际资产管理有限公司的批复 作者:; 作者机构:; 财...