基于Attention-Based LSTM模型的文本分类技术的研究

张冲, 南京大学 发表时间:2016-05-01 硕士

...在研究分析和总结文本向量表示技术和深度学习模型LSTM原理的基础上,对运用深度学习模型解决文本分类问题做了深入的研究。本文的主要研究工作如下:(1)针对文本分类中数据表示的高维度难以训练和向量表示特征无关的问题,采用了Word Embedding机制,将文本数据映射到一个低维度的实数向量,避免了高维度的输入导致LSTM模型产生维度灾难的问题。同时Word Embedding机制训练出的词向量具有同义词向量相似的特征,作为LSTM模型的输入,提高了分类器的性能。(2)针对文本...


基于机器学习算法的研究热点趋势预测模型对比与分析——BP神经网络、支持向量机与LSTM模型

李静; 徐路路, 现代情报 发表时间:2019-03-28 期刊

...度分析学科领域热点主题发展脉络并对利用机器学习算法对未来发展趋势进行准确预测研究。[方法/过程]提出一种基于机器学习算法的研究热点趋势预测方法与分析框架,以基因工程领域为例利用主题概率模型识别WOS核心集中论文摘要数据研究热点主题并进行主题演化关联构建,然后选取BP神经网络、支持向量机及LSTM模型等3种典型机器学习算法进行预测分析,最后利用RE指标和精准度指标评价机器学习算法预测...


基于LSTM神经网络的美股股指价格趋势预测模型的研究

孙瑞奇, 首都经济贸易大学 发表时间:2015-12-08 硕士

...未来走势从而获取巨额收益。其中神经网络机器学习算法被广泛使用,这是由于神经网络自身的高度自学习性,稳定性以及抽象模拟能力,相比于统计学以及计量经济学中的数学模型,神经网络用于预测金融时间序列更具优势。本文在深入分析股票价格短期预测面临的问题和比较多种股票价格预测方法的基础上,探讨BP神经网络、RNN神经网络和LSTM神经网络对股票价格进行短期预测的可行性并作出相应对比,研究模型准确性。在此基础上对LSTM模型进行了算法改进以...


基于云模型的双向认知计算方法研究

许昌林, 西南交通大学 发表时间:2014-09-01 博士

...表现在以下几个方面:(1)在已有高阶正态云变换算法基础上,以递归的形式给出了高阶正态云的定义,研究并推导了正态云的相关数学性质,进一步深化了云模型的数学基础.首先基于条件概率推导了二阶正态云确定度在不同情形下的概率分布,并对文献中给出的二阶正态云云滴与其确定度的联合概率分布进行了修正.其次,在高阶正向正态云变换算法的基础上,以递归的形式定义了高阶正态云模型,推导出高阶正态云确定度的概率密度函数,得到了高阶正态云确定度的概率密度函数既与高阶正态云的数字特征无关,也与阶数无关这...


基于主题模型的多标签文本分类和流文本数据建模若干问题研究

李熙铭, 吉林大学 发表时间:2015-06-01 博士

...具有重要的意义。主题模型是现今最有效的文本分析算法族之一,本文基于主题模型,研究两个亟待解决的文本分析问题:多标签文本分类问题和流文本数据建模问题。多标签文本分类:本文针对现存有监督主题模型存在模型可扩展性较差,没有考虑标签相关性,标签出现频率和词项的标签频率等问题,提出一些改进算法,包括SL-LDA模型,LSTM算法,FLDA模型,DFLDA模型和CPTM算法。实验结果表明,相比常用的经典分类算法,所提出算法的多标签分类性能更优;特别地,所提出算法对于偏斜文本集的分类性能...


基于深度学习的图像描述算法研究

朱欣鑫, 北京邮电大学 发表时间:2019-06-06 博士

...于多注意力机制和并行堆叠递归神经网络的图像描述算法,基于字典控制门和自适应自监督增强学习的图像描述算法,基于堆叠注意力机制和多级监督的图像描述算法。本文的主要创新工作如下:(1)基于多注意力机制和并行堆叠长短时记忆网络的图像描述模型。针对图像描述任务中,如何使描述文本在不同的时刻都能更加有效地利用图像局部信息的问题,提出了一种多注意力机制的改进方法。传统的注意力机制,仅仅考虑了如何在长短时记忆网络的输入阶段融合图像的局部信息,本文为了多阶段地融合图像的局部信息提出了一种多注...


基于Tensorflow的循环神经网络模型在上海市空气质量预测中的应用

刘蕾, 上海师范大学 发表时间:2019-06-05 硕士

...元(longshort-termmemory,LSTM)的循环神经网络建立动态预测模型,同时采用基于时序的反向传播(BPTT)算法逐步更新网络权值进行网络训练,期望能够建立影响空气质量指标的2,2,3,10,2.5,CO这6种污染物的小时均值级别的空气污染物浓度预测模型。本文的主要工作及贡献如下:利用灰色关联分析法与主成分分析法分别对大气污染物浓度预测模型中的输入变量进行筛选,筛选出对预测监测因子浓度影响较大的污染物并建立相关的预测模型。然后基于测试数据,...


基于LSTM的移动对象位置预测算法

高雅; 江国华; 秦小麟; 王钟毓, 计算机科学与探索 发表时间:2018-05-21 09:55 期刊

...位置服务的重要组成部分。现有的移动对象位置预测算法有基于马尔可夫链的算法、基于隐马尔可夫模型的算法、基于神经网络的算法等,然而这些算法都无法解决移动对象轨迹数据中位置过多带来的维数灾难问题。为了解决这一问题,提出了位置分布式表示模型(location distributed representation model,LDRM)。该模型将难以处理的表示位置的高维one-hot向量降维成包含移动对象运动模式的低维位置嵌入向量。随后,将该模型与基于长短期记忆网络(long sho...


改进粒子群算法优化LSTM神经网络的铁路客运量预测

李万; 冯芬玲; 蒋琦玮, 铁道科学与工程学报 发表时间:2018-12-15 期刊

...管理非常重要,为提高预测的精度,提出改进粒子群算法(IPSO)和将粒子群算法(PSO)与长短时记忆神经网络相结合的预测模型(IPSO-LSTM)。LSTM与传统的全连接神经网络不同,其避免梯度消失,具有记忆过去信息的能力。由于LSTM的神经元数量、学习率和迭代次数难以确定,利用IPSO对这些参数进行优化。提出利用非线性惯性权重变化来提高PSO的全局寻优能力和收敛速度。将相关性分析得到的铁路营业里程、国家铁路客车拥有量、国内生产总值和年末总人口作为铁路客运量的影响因素并对铁路...


基于神经网络的社交网络信息传播预测算法研究

党凯乐, 南京邮电大学 发表时间:2016-11-18 硕士

...,节点状态转移方程建立的因素过于单一,或者预测算法使用不合适,都会导致信息传播预测准确性不够高。为此,本文将重新构建社交网络信息传播模型,解决上述预测模型的状态转移方程构建问题,并采用神经网络领域的算法对社交网络信息传播预测进行优化,以提高信息传播预测的准确性。本文着重研究社交网络混合信息传播模型和社交网络信息传播预测算法,主要工作如下:(1)构建社交网络混合信息传播模型,该模型考虑网络拓扑结构对信息传播的影响,在信息传播过程中引入用户对信息的感兴趣程度、信息价值、信息热度...


基于LSTM算法在新闻分类中的应用

朱肖颖; 赖绍辉; 陆科达, 梧州学院学报 发表时间:2018-12-15 期刊

针对传统的RNN算法存在梯度消失的缺陷,在面对海量新闻数据,规模大且分类属性多的情况下存在效率低的问题,该文应用了传统的RNN模型改进后的LSTM神经网络算法,加入了预训练的word2vec模型。首先对新闻数据进行去除停用词及标点、格式转化、分词等预处理;其次进行特征提取、分类模型构造;最后进行了分类模型训练与测试。测试数据表明,在大数据量的情况下,使用LSTM算法具有较高的模型准确度和良好的扩展性。...


时间序列数据的胶囊式LSTM特征提取算法研究

郑毅, 华中师范大学 发表时间:2018-05-01 硕士

...学习技术在实际应用中表现优异,其中关于特征提取算法的研究取得明显进展。长短时记忆网络(Long Short Term Memory,LSTM)作为深度学习中循环神经网络的一种变体,对时间序列具有长时间的记忆能力。然而,传统的LSTM网络结构中提取的特征是以标量的形式在各个时刻中传递,在提取特征的过程中会一定程度的丢失特征之间的语义与时序关系。针对这一问题,本文将胶囊网络与LSTM网络相结合,提出了一种胶囊式LSTM网络结构提取特征,网络以矢量的形式传递特征信息,从而保留了特...


基于机器学习的蜂窝网络基站流量分析与预测研究

蒋品, 北京邮电大学 发表时间:2019-06-03 硕士

...类基站的流量变化特性;在此基础上,利用神经网络算法进行基站流量预测研究。主要工作内容如下:1)本论文综述了蜂窝网络数据挖掘相关研究,总结了蜂窝网络数据的特征及相关研究方向,梳理了数据挖掘常用方法以及数据挖掘方法应用于蜂窝网络流量分析与预测领域的相关研究现状。2)针对不同基站的流量序列之间具有时空相关性的特征,本论文利用聚类算法对基站进行聚类分析。将基站流量序列包含的趋势信息融入到聚类算法的距离度量中,得到新的距离度量TBD(Trend-Based Distance)。由于距...


基于FPGA的高能效比LSTM预测算法加速器的设计与实现

张奕玮, 中国科学技术大学 发表时间:2018-05-21 硕士

...为主流的神经网络模型包括DNNs,CNNs以及LSTM等,而LSTM由于其固有的时序特性,在语音识别、语义分析、图像识别等领域都有应用。LSTM网络的特点是存在大量连接,参数规模巨大,并且计算过程也较为复杂。如何实现高性能、低功耗的LSTM神经网络是当前学术界和工业界的热点问题之一,其中采用低功耗硬件实现神经网络加速器便是有效的解决办法。作为一种硬件加速手段,FPGA的高性能和低功耗的特点使其被广泛应用。本文基于FPGA设计与实现了一款LSTM神经网络预测算法的硬件加速器,...


基于LSTM循环神经网络的故障时间序列预测

王鑫; 吴际; 刘超; 杨海燕; 杜艳丽; 牛文生, 北京航空航天大学学报 发表时间:2017-10-13 14:05 期刊

...护活动等具有重要的指导意义。从复杂系统的历史故障数据出发,提出了一种基于长短期记忆(LSTM)循环神经网络的故障时间序列预测方法,包括网络结构设计、网络训练和预测过程实现算法等,进一步以预测误差最小为目标,提出了一种基于多层网格搜索的LSTM预测模型参数优选算法,通过与多种典型时间序列预测模型的实验对比,验证了所提出的LSTM预测模型及其参数优选算法在故障时间序列分析中具有很强的适用性和更高的准确性。...


深度学习模型的高效训练算法研究

陈凯, 中国科学技术大学 发表时间:2016-04-01 博士

...文敏感区块(CSC)的时域后传(BPTT)训练算法及其相应的解码算法。该算法将长...


基于多元特征融合和LSTM神经网络的中文评论情感分析

李科, 太原理工大学 发表时间:2017-06-01 硕士

...征词向量的基础上,进一步对其优化,借鉴特征权重算法为多元特征词向量分配权重,从而突出对分类更重要的词。本文提出的基于权重分配的多元特征词向量的文本表示方法对传统的文本表示方法从两方面进行了改进,丰富了对文本语义的表达,将其作为神经网络分类模型的输入,更适合神经网络模型对文本进行深层次特征捕捉与情感分类。(4)本文使用LSTM神经网络模型挖掘文本的深层特征。用基于权重分配的多元特征词向量表示文本,并作为LSTM神经网络模型的输入,然后利用LSTM神经网络能够学习文本中远距离依...


基于LSTM神经网络的PM2.5预测

周永生, 湖南大学 发表时间:2018-05-21 硕士

...具有重要的现实意义和社会价值。本文设计了改进型LSTM(长短时记忆型)循环神经网络PM2.5预测模型,是因为PM2.5的形成机理和过程比较复杂,组成成分多,具有不确定、不稳定性,在时间和空间上具有非线性,数据维度多。LSTM(长短时记忆型)循环神经网络结构复杂,能够对PM2.5相关数据进行非线性拟合,有效的考虑输入数据的时序性,实现时间序列数据的编码和解码。LSTM(长短时记忆型)循环神经网络模型通过对大数据样本的深度学习,自行进行特征选择,能更好地揭示PM2.5与影响因子...


微博文本情感分类研究

陈思, 吉林大学 发表时间:2016-04-01 硕士

...问题,我们提出了一种点互信息和信息检索相结合的算法来自动扩充情感词典。对于传统模型分类精度较低且构建传统模型对语言背景知识要求等一些问题,构建了一种基于深度学习的微博文本情感分类模型,针对构建深度模型的训练语料库的问题提出了结合传统模型和深度学习模型的算法,具体工作如下:第一,新词识别,微博情感词典的自动扩充。为了解决传统模型下情感词典自动扩充的问题,提出了PMI-IR算法(点互信息与信息检索相结合的方法)来对微博的未登录词、新词进行识别,然后再更新到情感词典当中。第二,构...


面向工业大数据的时间序列预测关键技术研究

宋扬, 哈尔滨工业大学 发表时间:2018-06-01 硕士

...题主要提出针对于工业大数据中时间序列数据的建模算法。传统的工业大数据分析方法往往重视统计学模型而忽略工业数据的时间相关性,所以本课题从数据的时序性角度出发,从三个方面对现有算法进行改进,从而提出了时间序列数据相关的预测算法。本文的主要工作包括:首先,提出了基于时间序列的流量预测算法-多变量调优的LSTM算法。该算法对传统的LSTM算法进行改进,利用数据的周期波动特性将时间序列数据转化为监督学习序列,从而提高了预测的精度。其次,提出了基于迁移学习的故障预测算法-基于时间窗口的...


相关搜索
 找到 1,639 条结果 
123456789下一页
关于iData
iData是第三方交流学术成果的公益互联网项目,旨在促进知识的传播和最新学术科技的共享,所有信息均来自公开、透明的互联网查询网站,iData重新对这些信息进行整合和优化,从而高效地输出有用信息,提高人与知识的连接效率。iData从创建之初便提供免费的学术文献浏览和下载。