亚洲区一_久久综合激情_亚洲97_午夜影院在线视频_国产成人福利_亚洲一区二区精品视频

首页 优秀范文 大数据论文

大数据论文赏析八篇

发布时间:2022-06-24 16:07:06

序言:写作是分享个人见解和探索未知领域的桥梁,我们为您精选了8篇的大数据论文样本,期待这些样本能够为您提供丰富的参考和启发,请尽情阅读。

大数据论文

第1篇

会计信息化是我国“十二五”期间会计改革与发展的重要内容之一,也是很多企业提高会计系统效率的有效途径.会计信息化是信息社会的产物,是将计算机、网络通讯等先进的信息技术引入会计学科,促进企业会计系统网络化发展的过程.大数据的兴起、云计算的增速和以云计算为基础的云会计的应用为会计信息化的发展提供了技术支持和平台.企业会计信息化的深度发展对于大数据的需要与日俱增.

1企业会计信息化的现状

1.1、会计信息披露具有偏向性,导致信息不对称

传统的会计信息系统会诱使企业选择特定的会计方法而造成企业管理人员利用自身是信息提供者这一优势,不断地美化会计报表,这对于外部使用者而言是非常不公平的.

1.2、内部自我约束能力弱,导致数据不真实

在传统会计信息系统下,一些企业为了眼前经济指标的提升或者任务的完成,常常通过人为调整会计报表来应付各机构的检查,自我约束能力弱,数据失真.还有很多企业对现有的政策法规钻空子、打球的现象屡禁不止.聘请的第三方审计机构也本着“企业利益最大化”的审计目标,对企业不真实的数据进行舞弊,以点盖面.

1.3、核算量大,导致信息披露不完全

传统的会计信息系统下,会计的信息系统发展越来越不能适应高速发展的经济业务,很容易造成信息披露不完全.信息经济时代下,应该更多的提供企业未来价值的知识资源,而不是沉浸在企业过去的财务数据中.

1.4、企业信息数据单一,导致信息缺少指导性

传统的会计信息系统主要是对企业财务信息的反映,往往忽视了非财务信息.企业自身变化的社会经济形势要求我们不能只依靠过去的财务数据对未来发展做出预测.对企业未来的发展预测用某些非财务信息可能会更加合理.如企业的环境成本、社会责任等信息都需要非财务信息的提供.

1.5、信息传递滞后,导致会计信息缺乏时效性

传统的会计信息系统采用先发生交易事项后进行记录的程序,无法满足当代企业对信息时效性的要求.企业以及社会各机构、投资者越来越需要了解随时发生的财务信息,对其进行更好的决策,这就要求企业不定期的提供会计信息,对于会计期间的定义也不再以年为单位了.因此,现有的会计信息滞后的时效性严重影响使用者的需求和投资者的决策.综上可知,传统的会计信息系统逐渐出现了不适应当今经济发展的事态,高效、全面的信息化系统变得越来越重要.在大数据时代下会计信息的不断创新,快速发展势在必行.

2大数据对企业会计信息化的促进作用

大数据时代下,对会计信息化的促进作用主要表现在:信息结构更加客观,既强调了会计信息的精准性,又不失相关性;财务会计信息管理的程序化;会计人员工作转向宏观信息管理;多元化的计量单位.在大数据时代下非结构化数据成为主导,在会计信息中可以更好的融合结构化和非结构化数据,更好的提高数据的相关性,并且不会人为的进行舞弊.程序化的会计信息管理也将出现,财务部门逐渐将不再作为一个部门,而是作为一个类似于“企业”的独立个体,数据的获取可以不通过部门的上报来实现,而是通过财务部门设定的独立软件获取,这也提升了财务本身的独立性,同时也可以为其他部门提供共享服务;财务部门不需要对数据进行处理,而是转变成为数据的使用和管理者.在大数据时代下,多元化的计量单位将会出现,会计计量单位会出现相关的时间、数量单位等.

3大数据时代下会计信息化面临的挑战

大数据时代下,企业会计信息化系统是通过互联网来实现与客户、供应商、银行、税务等机构互通的,其提高企业财务管理效率的作用是显而易见的.但目前因为大数据的发展尚未成熟,这就为会计信息化的快速发展带来了较大的挑战.

3.1数据的来源以及处理方式

大数据时代下最令人关注的问题就是数据从何而来,以及数据的处理方式.①美国数据科学家维克托•迈尔•舍恩伯格在《大数据时代》一书中提出,“以前一旦完成了收集数据的目的之后,数据就会被认为已经没有用处了.比如,在飞机降落之后,票价数据就没有用了;一个网络检索命令完成之后,这项指令也已进入过去时.但如今,数据已经成为一种商业资本,可以创造新的经济利益.”大数据时代下,数据的来源无孔不入,互联网平台上的任何一种资源都可以成为其来源方式.网络平台对用户使用的信息一览无余,一个简单的第三方软件就可以知道我们需要什么,需要何种服务,经济状况如何,经常偏爱哪种东西等等.企业在云端储存的数据对于云端后台的信息维护人员来说,获取变的轻而易举.防止恶意程序以及提高用户的安全系统,?;な莸囊绞呛苣呀饩龅奈侍?在通过各种方式获取了用户的数据信息之后,要用这些数据干什么以及如何使用就成了关键性问题.大数据时代下的信息处理是通过特定的程序来完成的,这样的结论更加客观,同时结论的得出也具有局限性.大数据理论过于依赖数据的汇集,那么一旦数据本身有问题,就很可能出现满盘皆输的局面,因为数据的问题,做出的错误预测和决策,导致一个数据有问题,由此相关的数据而产生的信息本身都是问题所在.这对于数据来源的要求是非常高的,一旦有提供者造假,大数据带来的危害是不可忽视的.

3.2传统用户对云计算、云会计的排斥

对于不知道云计算如何使用、互联网软件能带来什么效益的用户来说,这项工作还是很难完成的,大数据的推广受到了很大的阻碍.对于云会计更广泛的应用,改变传统的用户观念以及现有的会计信息系统,使网络平台更容易被用户所接受是一个非常艰难的过程.

3.3超满负荷的网络传输问题

大数据时代下,会计信息化系统必须依赖于网络,这就要求企业应具备一个良好的网络传输环境.就目前而言,网络的堵塞和数据的延时都是大量的数据存储和数据交换造成的,超满负荷的数据传输成为会计信息化中的一个瓶颈,网络技术的发展目前还不能完全满足包括网络自我恢复、故障检测、问题警告等功能的实现.

二大数据时代下会计信息化所面临问题的解决建议

大数据对会计信息化的影响是一个渐进的过程,在这个过程中,财务工作者应该积极把握大数据时代给我们带来的机遇和挑战.针对大数据时代下会计信息化面临的问题提出如下建议:

1建立并掌控企业的核心数据

提供可靠的云会计服务平台.大数据会计的服务数据是基于云储存平台上的,虽然数据安全机制都很高,但对于企业的会计与经济信息的完全控制并不能保证.因此,企业在选择使用云会计模块时应当根据自己的实际情况判断其可行性,对于重要程度高的信息应合理判断是否应该交由数据服务商管理.对于企业会计信息化的实施安全性而言,数据服务提供商的选择是至关重要的,要在对提供商的综合评价之后再进行决定.为保证云会计服务的安全稳定,企业可根据自身业务需求灵活地进行模块组装以及完善的技术支持,企业的云会计应该适合自己的特色.除此之外,为了防止会计信息的滥用,对于每一个可接触信息的人都要进行身份验证,并且对安全级别进行评估.

2进行高效的企业机构设置变更

由于传统会计的深入人心,企业云会计的推广还是非常困难的.解决这一问题可以考虑当云会计引入之后,对机构设置进行变更,让每一个财务人员都能感受到这一改变带来的高效性.企业应结合自身的实际情况,设置最适合企业云会计应用的高效组织机构.

3有选择性地进行云计算

第2篇

近几年随着社会的发展,信息技术和计算机在迅猛发展,在各个领域都需要大量的数据,这有利于企业了解市场,而这个时代的数据大爆炸已经不能被现代化的计算机所消化了。在信息化社会,到2020年,全球以电子形式存储的数据量预计将达到35ZB,而这其中,企业数据正在以55%的速度逐年增长。IDC预测,大数据技术与服务市场将在2015年达到169亿美元,年增长率甚至达到40%,这是大数据时代到来的趋势。我们将这些数据称为“海量数据”,这个概念其实在2008年时就已经被提出来了,最早提出是在谷歌成立10周年的庆祝典礼上,被称为“BigData”,后来也曾在杂志上讨论,我们应该如何面对现在的数据大爆炸时代,这不仅是机遇,也是一种挑战??梢哉饷此担笫菔贝切畔⑸缁岬谋涓?,是信息化和科技发展的产物,它具有很强的紧迫性,对我们这个时代也有重要意义,如何将数据整理、分析、归纳和共享成为全世界都在关注的事情。大数据时代的到来对于企业来说是更大地挑战,如何在这样的一个时代加强自己的竞争力,把握住每一个客户的资料和数据,成为企业提高国际竞争力的关键。数据流的广泛应用使企业不断审视自己的IT管理模式,逐渐形成规?;?、多样化和高速化的企业管理模式,可以说大数据时代的到来对于企业既是机遇又是挑战。

2相关概念

在信息化时代“,数据”成为一个热门词汇,如今数据已经深入到每一个行业和领域,并成为促进生产的重要因素。而“大数据”这样的概念是在数据的基础上逐渐流行起来的,这最早源于美国“。大数据”指的是运用更先进软件和科技对数据进行管理和分析,将数据流整合,将海量的数据进行处理,也就是说,传统的数据管理技术已经不能适应现在的大量数据了,我们要进行新技术的开发,迎接大数据时代的到来。大数据(Bigdata)一般指的是软件工具难以捕捉、管理和分析的大容量数据,其单位通常是“TB”。大数据是一个企业在创造了大量非结构化和半结构化数据后,组成一个数据集,其具有4V特性:(1)容量大(Volume)。非结构化数据的超大规模和增长;占总数据量的80%~90%;比结构化数据增长快10到50倍,是传统数据仓库的10~50倍。(2)格式多(Variety)。异构和多样性;很多不同的形式,如文本、图像、视频、机器数据等;没有模式或者模式不明显;不连贯的语法或句义。(3)价值高(Value)。大量的不相关信息的提纯;对未来趋势与模式的可预测分析;深度复杂分析(机器学习、人工智能VS传统商务智能咨询、报告等)。(4)速度快(Velocity)。实时分析而非批量式分析数据输入、处理与丢弃,立竿见影而非事后见效。数据之间的跨应用和跨系统的结构化和非结构化数据体现着数据与数据的复杂关系,这些数据相互之间关联却又相对独立,大量的数据通过储存和分享进行交换和联系。通过对大量数据进行分析、整合和交换,不断创造新的价值,加快生产,发现新领域和新知识,将数据流最大价值化和最大应用化,这是大数据的实质与内涵,简单来说,就是将大数据内部信息进行关联和挖掘。

3大数据给公司带来的挑战

新疆新捷股份有限公司成立于1995年8月,是专业从事天然气终端销售及综合利用的企业。公司秉承中国石油“奉献能源、创造和谐”企业宗旨,坚持昆仑能源“低碳经济、绿色发展”理念,努力将公司建设成为国内一流的天然气终端销售企业。从企业战略着眼,信息就是财富,企业如果对这些大数据管理得当,就可以发掘出更为强大可靠的决策信息。目前大数据时代给企业管理者带来的挑战有如下几个方面。

3.1如何获取大数据现在很多企业所能获取的数据信息有限,仅仅是冰山一角,大约为总数据的15%以下,并且对数据整合程度不够,存在很多非结构化数据和半结构化数据。无法获取足够的数据成为企业发展的障碍,这些对于现代企业来说是一个很大的难题,传统的商业智能系统对大量信息数据的标准化和结构化整合已经不能适应,海量数据的产生需要企业运用先进的手段获取更多,并对信息数据加以整合,这样才能通过大量的数据分析市场需求,增加客户,提高企业的服务质量,不断提升企业的国际竞争力。因此,如何获取大数据成为新疆新捷股份有限公司的一个挑战。

3.2对管理团队的挑战新疆新捷股份有限公司的传统管理模式是高层决策者凭借自己的经验和决策能力下决定,其他管理人员负责完善决策和执行。在大数据时代来临前数据量较小,信息有限且获取信息的成本较高,因此这种传统的管理模式还可以适应企业发展。但随着信息化社会的发展和大数据时代的到来,这种传统的管理模式已经不能适应海量的数据,这更多的是需要新疆新捷股份有限公司通过大量的数据进行分析,结合企业自身的特点,组成管理团队进行决策,这样才能不断适应社会的发展,增强企业的竞争力。决策者在决策过程中的直觉主义已经不能适应大数据时代,这是企业在管理上遇到的一个挑战。

3.3对企业管理流程的挑战多数企业的管理流程是逆向思维方式,也就是说通过在经营过程中出现的问题进行分析,通过一个管理团队的讨论和协商,制定出一套解决方案,这样的管理流程有一定的好处,但也会因为有一些管理问题还没有出现,导致管理上的疏漏,而新疆新捷股份有限公司就曾是这样的管理流程。对于现在海量数据的产生,新疆新捷股份有限公司不能再按照逆向思维模式进行管理了,其应该尽量运用正向思维的管理方式,根据现在大数据时代的特点,进行数据收集,找出数据之间潜在的关系,对客户信息进行整理分析,充分了解客户的需求,进而提出优化方案,这样更有利于企业发现自身的问题,并走在其他企业前面,提高竞争力。

4大数据时代企业管理变革

随着信息流动、网络新生代的成长和数据量的增加,过去传统企业可能通过强大的体制控制力,或者信息不对称的优势地位进行封闭企业管理的模式,在今天已经越来越行不通了。面对海量数据,我们要以数据体现的内容为先决条件,不断适应大数据时代的变革,同时,对企业的管理进行改进和变革,大数据时代下企业管理需要做出变革几点如下。

4.1获取数据在大数据时代,企业最重要的是进行数据的获取,收集一定的数据才能更好地对企业进行管理和实施决策。大数据需要有一个平台,需要进行一个数据的抓取,它有传输、分析、建模、优化等作用,最后产生认知,这些都是在大数据这个平台上所必须具备的一些特性。这些特性使得企业间可以通过大数据平台进行跨行业交流。大数据平台会把全世界的数据进行共享,使得全世界在物理空间的活动都得以体现在大数据平台上,这是一个很重要的概念。对于企业来说,要不断融入这个平台,通过共享数据和收集数据,开发潜在客户。

4.2管理团队的挑战大数据时代的到来对于企业的管理既是机遇又是挑战,对于企业的管理者来说,这有利于数据的收集和分析,我们在面对大数据的挑战时,首先要将数据量化,量化的数据有利于管理效率的提升,管理者通过大量的数据信息掌握公司的业务和客户,对公司内部和外部客户进行管理,提升管理和决策的质量。我们可以通过以下三个方面面对挑战。

4.2.1转变管理模式企业在管理上要与时俱进,要在大数据时代充分了解数据是什么,并通过数据进行有利于自己企业发展的分析,要根据大数据转变管理模式。海量数据是管理的主线,我们应该通过数据说话,利用数据进行潜在客户的挖掘。以往的管理模式都是由高层人员根据自己的经验进行决策和管理,而在大数据时代,我们应该建立一个管理团队,对海量数据进行管理和收集,通过分析数据得出结论,再通过研究讨论,最终确立决策方案。这种管理方式可以给企业带来巨大的商业价值,实现企业对客户进行增值服务的附加值,以数据为主的管理模式更合理,更科学,也更符合大数据时代的特点,此外,还有利于企业增强竞争力,提高管理和决策的效率。

4.2.2转变思维模式面对大数据时代,企业管理者需要对大数据进行量化分析,这和传统的思维模式并不相同,因此需要转变管理者的思维模式。在面对重大决策和企业管理时,要先进行数据查找和数据分析,从数据上得出结论,分析结果,最后再进行决策和管理,这种方式不但会提高管理者的效率,也会提高其他工作人员的积极性和业务执行能力。另外,我们要允许数据做主,也就是说提高数据分析的力度,将来自一线的数据进行分析,通过数据判断决策是否正确,大数据的整理和分析是需要较长的时间来完成的,这对企业来说也是一种挑战。

4.2.3培养人才资源在大数据时代人才资源是一个企业发展的重要因素。如今的高级管理人才越来越稀缺,拥有综合能力的管理人才不多,因此企业应该进行管理人才的培养,只有将人才、科技、管理、决策进行融合和调整,才能使企业清晰自己的发展目标,制定适合自己的发展战略。企业可以在管理人才的选择上挑选一些经验丰富、学历较高的人才,再进行岗前培训和在职培训,提高他们的管理能力和应对大数据时代的能力。企业通过培养视觉化、系统化人才,将企业的海量数据进行快速、高效的整理和分析,从而提高企业竞争力,使企业能充分迎接大数据时代带来的挑战,更好地把握大数据时代出现的机遇。

5结语

第3篇

紧跟大数据时代的步伐,农业银行积极推进大数据平台建设及大数据的价值应用,确立了“大数据体系建设必须以应用为核心,数据平台开发与业务应用统筹考虑,要做好内部的数据治理,逐步拓展数据来源范围,充分利用内外部数据资源,不断提升对全行经营管理的支撑水平。”的总体战略思想,即:数据是基础,应用是目标,平台是支撑,治理是保障。

1.强化数据治行理念大数据革命必将颠覆银行传统观念和经营模式。通过营造“数据治行”的文化,建立分析数据的习惯,落实全行的数据标准和数据治理,切实提升“大数据”开发利用的综合能力,将现有数据转化为信息资源,让决策更加有的放矢,让发展更加贴近市场需求。

2.建设大数据平台构建处理能力强、扩展性好、开放度及共享度高的大数据存储加工平台,整合行内外、各种形态、跨历史周期的海量数据,并构建统一、全面、稳定的企业级数据模型,为大数据的分析利用提供基础的数据、环境、模型及配套工具等全方位立体式支撑。

3.打造数据分析应用体系构建适应大数据分析的多功能、跨渠道、多粒度的分析挖掘模型和应用体系,为服务质量改善、经营效率提升、金融模式创新提供支持。通过对海量数据的深度分析,全方位调整产品结构、营销模式,从根本上提高风险管理、成本绩效管理、资产负债管理和客户关系管理水平。

4.实现智慧银行的目标智慧银行是指,通过大数据技术不断优化业务办理流程,高效配置金融资源,敏锐洞察并引领客户需求的高度智能化的金融商业形态。智慧银行可提供“银行始终在客户身边”的全场景金融服务,为客户创造最佳服务体验。

二、农业银行大数据平台概述

经过多年的努力探索,农业银行在大数据平台建设的道路上锐意开拓,大胆创新,逐步形成了以四大基础平台、五类数据服务为核心的大数据平台。

1.四大基础平台(1)企业级数据仓库随着银行业数据利用能力的逐步提升,业务分析呈现跨领域分析、高度整合分析、长周期历史分析等特点,企业级数据仓库通过对行内跨领域海量数据的高度整合和模型化,形成对客户、账务、产品等的统一视图,使大数据分析成为可能。农业银行企业级数据仓库以存储和处理结构化数据为主要目标,全面涵盖了农业银行存、贷、中间业务等行内业务条线的核心类数据,实现PB级数据的高效存储,可以满足全行在各个领域数据分析和价值发现的各类需求,并为全行数据治理提供有力的支撑。如通过网点的多维度、全方位、长历史周期数据挖掘给出网点资源配置建议,提升运营效率,优化业务流程。(2)信息共享平台信息共享平台以存储和处理行内非结化数据为主,辅以来自行外的社会数据?;诜墙峁够莸姆治龊蜕疃韧诰颍诳突Ч叵倒芾?、中小企业信贷、风险管理、品牌建设等众多领域发挥了重要的作用。如基于对社交网络各类非结构化数据的综合分析可以获取行外目标客户;通过机器学习、语音识别、情绪识别等技术,对客服语音记录进行深度挖掘,发现客户的需求。(3)实时流计算平台传统数据计算平台多以批量计算为主,数据处理能力较强,但时效性较差。农业银行的实时流计算平台采用业界最先进的流计算框架,实现数据的快速采集、交换、处理和应用,主要用于实时营销、实时客户服务、欺诈监控、大额动账监控、系统运营监控等各类对时效性要求比较高的业务场景。如结合持卡人的行为偏好为客户实时推荐精准的营销信息、优惠信息和特惠商户信息,并为特定客户群体提供实时的有针对性的服务提示。(4)高性能数据处理平台海量数据的分析挖掘亟须一个高性能环境的支撑,农业银行高性能数据处理平台采用大内存处理、分布式、闪存等新技术,以高性能计算为主要特点,实现对海量结构化数据、非结构数据等进行综合处理、全面分析和深度挖掘。如通过大数据语义分析和情绪分析追踪海量网络信息蕴藏的经济金融“微信号”,借此判断未来的市场走势,为前瞻性风险管理提供参考。

2.五类数据服务农业银行基于四大基础平台的优势,大力发展应用系统建设,形成了五大类数据服务形式有机结合的数据服务体系。(1)指标检索服务通过构建全行统一的指标库,为各个业务条线提供常用指标的检索服务,在此基础上提供各类经营管理、监管报送等指标采集、加工及报送服务。(2)即席查询服务采用特定的工具,构建功能强大的查询支持库,满足各类灵活查询、临时查询及特殊复杂查询需求。如果说报表是经营管理的瞭望塔,那么灵活的即席查询就是执行经营决策的指南针。以客户营销为例,即席查询服务可以为全行的客户经理提供多角度的客户信息查询,针对当前市场热点,提供具体的业务指导。(3)定制化信息服务通过iReport智能资源视窗对信息进行统一管理、分层检索、灵活配置和个性展示,并针对用户的不同需求、不同层次及不同偏好,提供定制化、个性化的信息订阅,联动邮件、短信、微信等渠道提供主动信息推送服务。(4)多维分析服务多维分析可以帮助业务人员实现多维度、多视图、多层次的分析,并可以通过下钻、上钻、切片、旋转等操作,提供更加动态、智能的数据分析,发现数据背后的规律。如从机构、时间、客户、产品类型、渠道、营销活动等多个维度对产品盈利情况进行综合分析,进而有效推动产品优化和创新。(5)深度数据挖掘服务海量数据中蕴含的规律和价值通常不直观,大数据的显著特点之一就是海量数据的知识发现和数据挖掘。农业银行基于大数据平台构建了多个特定领域或主题的数据挖掘实验室,包括客户洞察及精准营销、信用评价及风险评估、舆情分析与客户情感管理等,紧跟市场发展动态,直面业务热点、难点,充分挖掘大数据的巨大价值,为业务发展和经营决策提供更加深入的洞察和更加有力的支撑

三、农行大数据应用实践

农业银行在构建大数据体系时坚持以应用为核心,统筹部署数据平台开发与业务应用,加强业务创新与数据利用的良性迭代,实现传统业务和新型业态的融合发展,充分发挥了数据对全行业务发展和经营管理的支撑作用。借助大数据这把利剑,实现了“营销更精准、服务更贴心、管理更精细、监管更透明、风险更可控、决策更智能”,有效促进了全行经营理念、业务运营、组织流程的不断创新,为全行业务发展和经营管理提供了有力的科技引擎。以下三类应用案例可充分说明情况。

1.精准营销基于大数据的客户营销“三步曲”:获取客户、客户画像、精准营销(如图1所示)。通过大数据强大的信息获取和处理能力,充分挖掘行内外的潜在客户;通过大数据实现对客户的360°立体画像,在掌控客户行为、洞察客户情感的基础上,准确地预测客户需求,从而实现精准营销及交叉营销。以贵宾客户信用卡精准营销为例,农业银行通过综合行内外数据,应用聚类分析、关联规则发现、决策树等数据挖掘算法,构建了完整的精准交叉营销模型库和应用体系,动态实现目标客户识别、客群划分、优先级划分、产品推荐、渠道推荐等功能。在合适的时间,以合适的渠道,通过合适的方式,为合适的客户推介甚至定制合适的产品,实现差异化、个性化的精准营销。2.热点分析农业银行基于大数据平台构建了热点问题专题分析模型库,对当前的热点事件进行定期跟进、深度分析和动态监测,为策略制定、产品创新及运营模

式优化等提供有力支持。以互联网理财客户分析为例,该项分析旨在揭示个人客户购买互联网理财产品与农业银行资金流失的关系。首先采集研究机构等第三方数据,融合内部数据,对整体购买规模进行分析;挖掘购买互联网理财客户的特点,对这一特定客户群体进行综合画像。从而知道“正在发生什么。”然后,采用神经网络、回归等方法,对即将流失的客户进行智能识别,针对不同的客户特点制定不同的客户挽留措施,知道“即将发生什么?!弊詈?,通过对客户和资产流失的深度分析,提出产品层面的创新策略,并给出具体建议;产品优化和创新后,再次综合分析新产品的市场效果,并对产品进行持续优化,实现数据挖掘和产品创新的迭代。

第4篇

对于新媒体文学意味着什么大数据让新媒体文学回到“去作者化”的共在混融状态:在传统声音媒介时代,读者与作者共同创作、修改诗歌;到了纸质媒介时代,作者的地位上升;在新媒体文学时代,读者可以对作家进行积极主动的反馈,但这种反馈呈现出信息零碎化、评价随性化以及无法把握所有地域、身份、族裔的不完整状态;到了大数据时代,新媒体文学借鉴《纸牌屋》的数据挖掘模式,可以对读者信息进行全数据收集整理,以最大的吸引力呈现一个文本(其中包括一种可能性,即同一个故事开头,针对不同人群有不同的故事演进和情节,乃至人物设置)。舍恩伯格认为,“大数据是指不用随机分析法这样的捷径,而采用所有数据的方法”,因此,我们分析的大数据其实应该被称为“全数据”。在网络新媒体时代,人类所有的网络行为都可以被数据化,而这些数据又能完全被收集、存储、交换和分析。人们在不经意之间产生的数据总量大到我们难以想象的程度?!熬萦泄匮芯勘ǜ妫?013年中国产生的数据总量超过0.8ZB,相当于2009年全球的数据总量。预计到2020年,中国产生的数据总量将超过8.5ZB,是2013年的10倍,一个大规模生产、分享和应用数据的崭新时代正在到来?!毙旅教逦难г诜⒄构讨械比灰采舜蠊婺5氖荩庑┦荻孕旅教逦难б馕蹲攀裁茨?第一,以PC和移动终端为主要载体的新媒体文学产生巨大的相关信息数据库,比如新媒体小说阅读量排行榜、新媒体作家数据库、读者阅读时间和习惯、哪些文学章节被反复阅读等等。与此同时,因为网络媒介的公开性和“无门槛”标准,新媒体文学的阅读者和创作者数量达到了文学史上前所未有的奇迹。2014年,中国网络文学的读者已突破5亿人,保守估计整体收入突破65亿元。这样大规模的用户群保证了巨大的数据量,也使文学网站拥有所有与网络文学相关的数据。网络文学带来的巨大经济效益成为对网络文学进行大数据分析的资本基础和动力。作为迄今为止最为强大的分析技术,大数据的重要价值在于预测趋势,即“正在发生的未来”。通过对这些大数据的分析,内容生产者可以有针对性地将作品推送给受众,而这种经过精心设计的文学作品恰好就是受众所需要的。这是因为大数据分析可以采用理想状态的全数据分析(目前还不能完全达到),而全数据分析由于分析的数据量巨大,单个数据的误差可以在分母巨大无比的全数据海洋之中被忽略。相反,在数据量有限的时代,我们就只能追求单个数据的精准。“因为收集信息的有限意味着细微的错误会被放大,甚至有可能影响整个结果的准确性?!钡笔萘砍中墼黾邮保缘ジ鍪莸木夹宰非蟛皇侨莸姆绞剑牌夹?、适度接受不精准性,仍然不会影响其结果。这类似于医用手术无影灯,从各个角度照射对象,永远不会存在盲区。盛大文学董事长邱文友认为,事实上国内文学网站在10年前就在运用大数据思维了:文学网站上有200多万名作家,700多万部作品,怎么在茫茫作家海中找出下一个唐家三少?靠数据分析。此外,在网络连载过程中,作家跟读者之间有互动,这些讯息也是数据?!氨热缱骷冶鞠肴眉兹⒁遥墒蔷蟛糠侄琳呦M兹⒈?,这时候作家可以选择,是按原来思路,还是按小说可能延伸的商业价值去改写结局?所有决策的因素、动机跟方式,也是数据分析?!爆仮灛嫷鞘芡缂际醴⒄沟南拗疲笔毙旅教逦难У氖萃诰虿豢赡芟裣衷谡庋沟缀腿妗5诙?,大数据时代新媒体文学批评走向多元化。当前的新媒体批评既包括传统精英式的学院派批评,也包括点赞、跟帖式的草根批评;学院派批评以黄鸣奋、欧阳友权为代表,草根批评以崔宰溶为代表。“黄鸣奋和欧阳友权以从西方新媒体技术层面发展出来的超文本理论作为理论生发点,对网络文学进行后现代性的学理探讨。”瑏瑢而崔宰溶认为,对中国网络文学的研究需要从原著理论(vernaculartheory)和网络性理论入手,才能真实地对新媒体文学进行研究。新媒体文学的接受者并不会以文化精英式的方式来俯视作品,他们对新媒体文学的批评是纯感受性的、本能直观的和零散局部的。这种自下而上的反叛式文学批评,迥异于传统精英式的学院批评。对中国新媒体文学的研究必须从网络的“原著居民”(网络文学读者)出发,由于他们大部分时间栖居于网络之中,因而对新媒体文学具有不受传统文学理论影响的本性感受力和知识系统。瑏瑣笔者认为,无论是西方网络文学理论还是原著理论,在大数据时代,它们都会被作为大数据库中的一个组成部分,再结合“总点击量”“总推荐”“月排名”等进行分析,从而寻找出读者最有可能喜欢的作品。无论如何,大数据时代给新媒体文学研究带来一种新实证研究路径。米埃尔(Miall)认为,文学的实证研究像灰姑娘一样总是被人们忽视或反对,早晚会有一天,实证研究将统领整个文化研究领域。人们会通过实证来研究理论观念,反思文学的本质和文化地位。瑏瑤网络技术的发达与新媒体文学的繁荣促成了大数据分析对于新媒体文学的数据实证性研究。

二、大数据思维给新媒体文学带来的理论思考新媒体文学的大数据分析

从学理上带来三组思考:一是大数据推动了新媒体文学的发展,然而新媒体文学能被彻底数据化吗?如果不能,那在什么样的层面上可以被数据化?新媒体文学与大数据思维融合的真正重要意义在何处?二是新媒体文学遭遇大数据思维之后,是否意味着对于新媒体文学的研究可以完全转换为数据式的实证研究?如果不能,对新媒体文学的研究还有哪些方面是大数据不可能涉及和完成的?三是当我们将文学接受者的大数据作为文学创作的唯一和最高标准之后,新媒体文学在题材选取、形式美学和叙事节奏等方面是否走向绝对迎合读者的趋势?如果是的话,新媒体文学作家的意义何在?他们又应该采取迎合还是引领的姿态呢?

第一,新媒体文学活动都发生在网络之上,因而可以被充分数据化。大数据自产生之日起,就迅速与人类已有的知识和学科产生了极强的关联,比如医疗健康、交通规划、公共管理、教育培养等领域都在你看不见的地方悄悄运作着大数据分析?!按笫菔贝木醚А⒄窝А⑸缁嵫Ш托矶嗫蒲爬喽蓟岱⑸薮笊踔帘局实谋浠头⒄梗跋烊死嗟募壑迪低?、知识体系和生活方式。哲学史上争论不休的世界可知论和不可知论都将转变为实证科学中的具体问题?!爆伂彚灤笫莸拇酥智魇聘从谒芙型缧形莼哪芰?,比如在新媒体文学活动之中,我们可以轻松采集到作家和读者的数量、年龄层、分布地域、经济状况、教育程度、阅读习惯、题材喜好,等等。除此之外,大数据可以分析:哪种题材的文学受众最多?同一种题材之中,什么样的文学桥段让读者喜欢?幽默、推理、悬疑还是浪漫?文学作品之中什么样风格的语言会更受哪种人的喜爱?什么样的故事情节发展路线和结局是最受人欢迎的?等等。这些方面都可以通过读者的评论和阅读数据反馈到内容提供商和文学作家那里,从而对作品进行实时调整。但是,我们不能因为大数据有这样的效果,就认为新媒体文学可以被完全大数据化。其实,作为技术和艺术合一的新媒体文学在多个维度上是不能被量化的,比如作家的灵魂高度、文学思想的深邃性、文学的意境、文学的美感、文学的终极关怀和文学对人性的探测等都不能被量化,而这些维度恰恰是文学之为文学最核心的内容。不管大数据技术怎么发达,它所追求的绝对客观性其实在数据产生之初就不存在。数据无论在表面上看起来多么客观地再现对象情况,它本身其实是在一种具有倾向性和差异性价值观基础上被建构的。因而,大数据的生成和分析永远不可能摆脱自己天生就具有的价值主观性。我们能看到的数据是研究者有能力或者热切希望看到的数据,若非如此,即便大量数据生成了,也不能被数据识别系统发现。这就好比雷达效应,你的关注点除了对象之外别无他物,但是“他物们”却客观大量地存在于你的意识之外,只不过你无意或不能去抓取它们。所以,大数据不管看起来多么科学客观,背后其实与主观价值判断是分不开的?!按笫荨辈⒉坏韧凇按笾腔邸保词拐加写罅康氖?,还必须有对数据具有专业化分析能力的人。Netflix的CEO里德•哈斯廷斯利用数据分析的方法也是受他前期从事碟片租赁服务的启发。他一方面熟悉在网络上怎么通过数据分析为别人推荐自己喜欢的电影和电视剧,另一方面他在无数的观影之中对影片具有极强的审美鉴赏能力??萍己腿宋牡慕岷先盟哂卸浴吨脚莆荨肥萁胁杉头治龅哪芰Γ獠攀荖etflix进军艺术界成功的原因。所以,同样的大数据在不同主体那里得出的结论或者采取的应用是相距甚远的。就好比同样是医学CT扫描,仪器是相同的,照出的片也是相同的,为什么大家愿意去权威医院检查呢?问题的根源在于对CT成像进行分析的医生水平,同样的CT成像,在拥有不同经验的医生那里得出的结论很可能有天壤之别。大数据作为一种技术在教育、电影、艺术等人文领域广泛运用已是不争的事实,除了让人文领域的成果与经济效益直接产生关联之外,它的最重要意义其实是在哲学思维层面。大数据分析使我们抛弃传统哲学一直追求的现象背后的原因,而转向为关注事物和事物之间的关系性,即从因果关系转变为相关关系?,伂悽炚庵炙嘉绞阶涫撬秤κ贝氖涤眯枨蠖?。一方面,大数据思维不去深究因果关系,而是绕开因果关系,退到因果关系的上层———相关关系(包含因果和非因果关系)。这种搁置因果的选择更是由于因果关系和相关关系之间复杂的关系:“(1)两个事物间有因果关系时,这两个事物间往往会有相关关系;(2)两个事物间不存在因果关系时,这两个事物间也可能会有相关关系(虚伪相关关系);(3)两个事物间有因果关系时,这两个事物间也有出现零度相关关系的可能(虚伪零度相关关系)?!爆伂憿灥甭怨庑└丛庸叵?,只关注“相关关系———结果预测”,就会省去无数不必要的麻烦,而直接得出需要的答案?!跋喙毓叵档暮诵氖橇炕礁鍪葜抵涞氖砉叵?。相关关系强是指当一个数据值增加时,其他数据值很有可能也会随之增加。”瑏瑨2004年,沃尔玛公司分析顾客消费时的各种数据时,意外察觉到数据和数据之间的相关性:飓风来之前,手电筒和蛋挞都销量增加,因而超市毫不犹豫地将它们放在飓风用品附近。这个例子就表明在大数据时代,深究原因并不一定能找到答案,而对数据进行相关性分析才是其核心。另一方面,大数据带来的相关性分析由于技术的成熟变得比因果分析更容易。丹尼尔•卡尼曼(DanielKahneman)甚至认为,人类之所以一直热衷于因果关系思维,是因为在信息不发达的社会采用因果思维可以快速地作出决定。相反,在那个时代如果采用相关思维会特别费力且不可能有任何结论。大数据由于技术的支撑完全可以支持相关性思维,但我们在现实之中会发现传统因果思维得出的结论被置于大数据时代后是有问题的。

第二,新媒体文学的学术研究与新媒体文学的大数据研究不能混为一谈,二者采用的研究方法不同,而这两种方法也只有被局限在一定范围之内才能发挥出自己的长处。19世纪,类似大数据思维的实证主义就已经僭越过文学的领地。当时实证主义提出,表象本身才是具有研究确定性的对象,对象背后所谓的本质是并不存在的。实证主义“反对追求绝对的知识,它停止去探求宇宙的起源和目的,拒绝认识诸现象的原因,只专心致志地去发现这些现象的规律,换言之,去发现各种现象的承续与类似的关系”瑏瑩。实证主义的“只研究怎么样(how),而不研究为什么(why)”瑐瑠主张与大数据思维追求相关关系而悬置因果关系的方式极为相似。文学虽然作为语言的艺术具有强烈的主观情感色彩,但是对文学的研究在很大程度上可以采用实证主义的方法,比如对文学流派、文学史、作家时代背景、作品传播状况的研究等。实证主义既要有“实”,又要有“证”:从研究对象入手得到大量材料,在此基础上,还需要进行分析论证的过程,否则材料只是死物。反过来,我们认为实证主义精神只能限定在以上研究领域才是对文学研究有益的。如果实证精神进入文学意义范围,文学的灵魂、精神和审美只能被理性实证逻辑消解磨灭,最后成为他者的“嫁衣”。从传统的实证主义对文学的研究经验可知,任何一种研究方法是不可能包打天下的,对文学研究不同的维度只能用不同的方法。针对新媒体文学的实证主义(大数据思维),只能研究新媒体文学的,即对新媒体文学的传播效果进行分析,预测新媒体文学会怎么样,提供什么样的文学作品其传播力更强等。然而,对新媒体文学研究本身就不能是技术式的,而应该是美学式的。在具体研究方法上,新媒体文学与传统文学走的是不同的理论路线。但就其艺术品格来说,文学应该研究的依然逃不脱深层的价值审视:从感官刺激的表层能否将读者引向一般生活状况,如生死、战争、世俗、宗教等,进而感受人类的终极意义和终极关怀。即使新媒体文学从表征上带有后现代的去中心、平面化和反经典的倾向,但我们还是坚信好的文学与人性追求是同一的,狂欢式的浅薄带来的是“娱乐至死”的悲哀。

第5篇

1.1大数据时代的特点研究

随着信息数据的增多,云储存、云计算等云服务平台应运而生。由此可见,在大数据时代下,更好地利用数据储存系统将民间艺术?;び氪⒋嫦吕矗忻窦湟帐踝龀鐾怀龅墓毕?。

1.2传统民间艺术的现状研究

(1)传统民间艺术的主要研究领域。传统民间艺术主要涵盖了物质产品和精神产品两个方面,物质方面主要包含了以实用为主的一些可视化的具有民族特色的生活生产用品。精神方面主要是指能够满足人们精神需求的民间艺术现象、艺术活动以及一些具有民族特色的民间艺术品。传统的民间艺术具有强烈的民族性,它能够反映每一个民族的精神信仰、思维观念以及文化传统,并且是博大精深的中华文化的体现。

(2)传统民间艺术的存在现状及其重要性。随着社会的发展,人们的生活方式以及生活观念不断地受整个社会环境的影响而发生着改变,人们的视野越来越多的关注在所谓的现代化的产品以及所谓的潮流上面,而对于真正的传统却越来越少的人去关注。据调查显示,每年有大量的民间手工艺品、民间纺织工具、民间交通工具以及民间交通器具在大量的消失,并且就算是能够满足人们精神需求的民间戏曲、民间舞蹈、民间艺术活动每年也都在大量的丢失。民间艺术这一现状应该引起我们所有人的反思,如果我们连我们传统的东西都?;げ缓?,拿什么去发扬我们的中国传统文化。传统民间艺术的发展及其生存环境,如果我们不将其?;び氪邢吕矗不崴孀殴ひ瞪缁岬姆⒄乖馐茏湃缤匀蛔试春蜕肪骋谎钠苹怠?/p>

2对传统民间艺术的?;び氪兴媪俚奈侍庋芯?/p>

对传统民间艺术的?;び氪兴媪俚闹饕侍馐瞧渥陨淼亩捞匦远淖陨淼南拗啤4蠖嗍拿窦浯澄幕灿诿窦洌⑶曳植荚谌鞯兀庖步谴趁窦湟帐醣;び氪兴媪俚淖畲笪侍狻S捎诖趁窦湟帐跎婕懊娑喽悖饧由厦窦湟帐醮右等嗽钡牟蛔悖阅壳岸悦窦湟帐醯谋;ぶ煌A粼诖车牟杉掌占锲芬约胺梦始锹嫉确矫妗2⒚挥杏氪笫菔贝执畔⒓际跸嘟岷希远源趁窦湟帐醯谋;ぶ煌A粼诒砻?,并不能真正地把民间艺术传承下来。

3大数据时代下对传统民间艺术的?;び氪醒芯慷圆?/p>

大数据时代的到来,对于数据的研究与开发也越来越深入,数据处理与储存技术的开发与应用也越来越广泛。我们应该利用这一特点,很好地将民间艺术储存起来。

3.1将数字信息技术与民间文化遗产相结合

大数据时代的到来,为数字信息技术的发展提供了强有力的平台。同时也促使了数字信息技术突飞猛进的跨越。将数字信息技术与传统的民间艺术相结合,突破了我们传统的对于民间艺术记录收藏的形式,其方便快捷的将民间艺术整合、收藏、记录了下来,并且也为民间艺术的保护节省了劳力成本与时间成本,同时也方便了人们对于感兴趣的民间艺术的查阅与展示。同时,我们也可以利用数字信息技术研发民间艺术图案辅助设计系统,使民间传统融入现代设计中。使传统民间文化真正地为“生活服务”。在当代的艺术和设计有史以来最商业化的时候,保持艺术和学术纯粹的张力和良知,将传统民间文化与当代设计相结合,赋予当代设计别样的韵味。例如,爱马仕的中国品牌“上下”就是利用中国传统的纹样、雕刻、染织等技术对于产品进行再设计,很好地利用了传统民间工艺的商业价值,赋予现代设计独特的魅力。同时很好的传承与发展了博大精深的中国传统文化。总的说来,现代化数字技术的应用也是使传统的民间艺术能够更好地?;び氪邢吕?,使其不再停留在没有人观望的层面,其已经成为一种非常重要的非物质文化遗产,它的?;び氪?,能够让更多的人去了解它们独特的文化。

3.2中国民间艺术云端服务平台的建设

注重于打造一个具有云储存、云计算、云分析、大数据等功能的云端服务平台。本系统是基于云端系统的文件存储平台,管理用户上传关于民间艺术资源遗产的相关文件到云服务器端,上传文件类型包含普通文件、图片、音频、视频等各种类型文件,并对文件进行相关属性说明。系统通过集群式应用、网格技术和分布式文件系统将上传的大量的各种类的文件存储在一个分布式的不同类型的存储设备中,通过应用软件协同工作共同对外提供数据文件的数据存储和业务访问,但这些对用户来说是黑匣子式的,用户只需要关注文件的文性,专注于非物质文件遗产的整理,而无需关心实现的方式和方法,系统将高度智能化的为用供数据的存储和整理工作。用户在访问时可以通过WEB或手机APP等方式进行文件的检索和访问,云服务将自动计算采用最优的访问路径为用户提供文件的检索和访问。

3.3数字民间艺术博物馆的建立

在大数据时代下,要使民间艺术得到很好的?;ず痛?,数字民间艺术博物馆的建设将会是推动其?;び氪械淖詈梅绞?。数字民间艺术博物馆将拥有强大的数据库将民间艺术品很好的储存起来,并且方便人们查阅以及观赏,增加民间艺术品的生命力。

3.4民间艺术品网站的建设

第6篇

来自生物、医药、医械、临床实验与健康管理等各个方面的数据,构成生物医学的各类大数据资源,它们形式多样,具有自身的特殊性,主要表现在以下几个方面:

(1)原始数据量大,且呈异构、多样性。

(2)难以用数学方式表达其结构及特征。例如:医生对医学影像、信号和其他临床数据的解释多是非结构化的语言或文字形式自由的口述,难以标准化。

(3)数据可能包含冗余的、无意义的或不一致的属性,并且数据经常要更新。

(4)数据采集很难完全避免噪声干扰,而噪声往往会影响处理结果。生物医学大数据处理包括数据的收集、抽取与集成、分析与挖掘、解释和共享等诸多方面,涉及数据库、信息科学、统计学、高性能计算、网络科学、心理学等多个领域。

2生物医学信息处理

2.1数据挖掘在生物医学信息分析中的应用

数据挖掘是对海量数据进行处理和分析,找出数据间的隐含联系,发现未知规律,最终获得知识的过程。挖掘的过程包括信息收集、数据集成、数据规约、数据清理、数据变换、数据挖掘、模式评估和知识表示8个步骤[5]。近年来,数据挖掘是生物医学信息分析的常用手段,尤其是在循证医学研究、基因组和蛋白质组的研究领域中有很广泛的应用价值。KDNuggets在2011年全球数据挖掘应用行业调查的结果表明:健康行业位居10大数据挖掘应用领域的第3位。生物医学领域大数据多是不完整的、不一致的、有噪声的,数据具有独特的复杂性、丰富性、规模和重要性,需要数据挖掘的特殊关注。数据挖掘经典算法,如:分类、聚类、关联分析、序列等在生物医学数据挖掘时都可使用。

2.1.1 分类(Classification)

分类是根据己知数据的特征和分类结果,为每个类找到合理的模型(构造分类器),然后用这些模型对新数据进行分类。K最邻近算法、决策树、支持向量机、神经网络等是常用的分类模型构造方法。疾病的诊断和鉴别就是典型的分类过程。例如:美国学者利用数据挖掘软件Clementine,以决策树算法为模型,分析挖掘了医疗机构HealthOrg的数据仓库中有关年龄、BMI指数、腰臀比和周锻炼次数等数据,得出糖尿病患病危险因素的分析结果。此外,还有一些国内外研究者针对肺癌、乳腺癌的诊断数据,通过分类挖掘的方法提高诊断的精确性。

2.1.2 聚类(Clustering)

分析聚类分析是将有共同特征或相似度高的数据对象实例聚成一类的过程,常用来研究样品或指标分类问题。聚类分析在生物医学领域已经得到广泛的应用,例如:可以根据流行病学特征属性的相似程度将病例数据划分成若干类,通过比较各个类别之间的临床医学状态特征属性的差异来分析某类疾病。国外学者选取SEER数据库中的217558例肺癌病例,通过分析每个病例的22个临床医学特征属性和23个流行病学特征属性的相似度后,将这些病例划分为20类,这就是典型的聚类分析。

2.1.3 关联(Association)分析

关联反映的是一个事件和其他事件之间依赖或关联的知识,可以通过表征事物特征的两个或多个变量的取值之间存在的某种规律性,找出数据之间隐藏的关联关系。关联现象在生物医学领域普遍存在,例如:临床上的某些疾病会同时呈现几种不同的病症,这些病症之间就表现为一定程度的关联性,而医生诊断病症的过程常常以观察症状为基础。

2.1.4 序列挖掘(SequenceMining)

序列是指按一定顺序或规律排列构成的一系列符号、数值或事件。存储于DNA、RNA和蛋白质中的遗传和功能信息可用符号序列表示,分析序列数据能找到其统计规律或发现序列组成部分片段之间的相似性或相同性,这是生物信息学研究中最常用方法。此外,还可用时间序列数据进行某些疾病的研究与治疗,例如:欧盟资助的T-IDDM(TelemetricManagementofInsulinDependentDiabetesMellitus)项目通过Internet采集糖尿病患者的连续监测数据,经时间序列分析后找到患者一天内血糖水平变化的规律和趋势,为医生调整或精确胰岛素治疗方案提供有效的数据和支持。

2.1.5 图挖掘(GraphMining)

利用待研究的数据对象构建图这种数学模型,然后从图中寻找频繁出现的子图,从而挖掘出有价值的信息。例如:美国学术界整合出2003年H5N1禽流感感染风险地图,经过图挖掘分析出2013年H7N9人类病例区域[11]。此外,从政府管理角度来看,公共卫生部门可以针对覆盖全国患者的电子病历数据库进行图挖掘,从而完成全面疫情的监测。

2.2文本挖掘——生物医学文献信息的大数据处理

2.2.1 文本挖掘

目前,全球医药类期刊近3万种,每年200多万篇,并且以每年7%速度递增,互联网上的信息资源约有30%以上的是与医学信息相关的。文本挖掘(Text-Mining)和信息可视化(InformationVisualization)是分析这些数据,揭示知识领域的内在联系的最有效手段。文本挖掘主要结合文字处理技术,利用智能算法,分析大量的半结构化和非结构化文本源(如文档、电子表格、电子邮件、网页等),抽取散布在文本文件中的有价值知识,并转化为可利用的知识的过程,其工作流程如图2所示,挖掘前要完成包括文本收集、文本分析和特征修剪三个步骤的预处理工作。文本挖掘多以计算机技术实现,文档聚类、文档分类和摘要抽取是应用最多的技术。文档聚类主要完成大规模文档集内容的概括、识别文档间隐藏的相似度、减轻浏览相关、相似信息等功能。文档分类多以统计方法或机器学习自动实现,简单贝叶斯分类法,矩阵变换法、K最邻近分类算法以及SVM等都是其常用的分类方法。摘要抽取主要是利用计算机自动地从原始文档中提取全面、准确反映该文档中心内容的简单连贯的短文。此外,文本挖掘的结果评价常用分类正确率、查准率、查全率、支持度和支持度置信度等世界公认的重要参数进行评价。生物医学信息处理领域所涉及的DNA序列综合特征分析、蛋白质功能和相互作用分析、疾病基因发现、药物作用靶点预测等都与文本挖掘技术密不可分。在我国,已经有一些研究者利用文本挖掘技术来研究医学文献背后隐藏的知识。临床上,医生用文本挖掘技术对疾病的处方和中药用药规律进行了分析。

2.2.2 信息可视化

信息可视化是一种运用计算机图形学和图像处理技术,将信息转换为具有一定意义图形或图像,并进行交互处理的理论、方法和技术。它能有效发掘、过滤和研究海量数据,以更直观、有效的方式使研究人员更容易发现隐藏在信息内部的特征和规律,深层次地发掘包括生物医学领域在内的多个学科的研究热点和研究前沿信息,为研究人员把握研究方向提供帮助。信息可视化的常用工具有TDA、CiteSpace、Histcite、Vxinsight等软件,主要完成数量统计、共现分析和统计图表、共现矩阵、节点链接图、技术报告展示等功能。例如:国外学者针对PubMed数据库中2002年到2011年的文献,分析了以“电子健康档案”、“医疗记录系统”和“计算机辅助诊疗”为主题的文献的引用情况后,用可视化工具展现其研究结果,使相关领域的科研人员很直观的了解了该领域的研究状况。

3总结与展望

第7篇

大数据有四个层面的特点:第一,数据体量大。从TB级到PB级;第二,数据类型多,包括视频、图片、位置等;第三,价值密度低。比如长时间的监控,有用的数据可能仅仅只有一两秒;第四,处理速度快。这也是与传统数据挖掘技术有着本质不同的一点。业界将上述归纳为4个“V”———Volume,Variety,Value,Velocity。如今已是一个爆炸性的大数据时代,推动社会发展,已从“动力驱动”转为“数据驱动”。越来越多的国家和企业意识到了大数据的重要。2012年1月,“大数据,大影响”作为重要议题在世界经济论坛年会中被提出。2012年3月22日,美国又启动“大数据研究和发展计划”,目的是提高从海量数据中提取知识的能力,加速其在科学与工程领域的研究。2012年5月,联合国相继了《大数据开发:机遇和挑战》报告,明确指出大数据对各国发展都将是一个巨大的机遇。大数据风靡全球的同时,我国政府也加快了对大数据相关技术的攻关,在工信部的《物联网十二五规划》里,提出信息处理技术是关键技术创新工程。广东省在2012年12月了《广东省实施大数据战略工作方案》,率先在国内启动大数据战略,首先是采用行政收集、网络搜取、群众提供和有偿购买等方式拓宽数据来源渠道,建立政务数据中心,接着在政府各部门设立数据开放试点,并利用网站向社会提供下载和分析使用的数据,依此进一步推进政务公开。

二、大数据与交通信息管理的联系

(一)在交通信息管理中的应用

随着社会经济的发展,机动车辆数量大幅增加,与此同时交通管理的复杂性也逐渐增大。而大数据技术可将其虚拟性、集成性、智能型和预测性四个方面的优势运用到交通信息管理之中。首先虚拟性有利于跨区域的信息管理,只需多方共同遵守信息共享原则,就可以在已有的行政区域内解决跨域管理问题;第二,信息集成性有助于建立综合立体的交通信息体系,通过收集不同范围、区域和领域的“数据仓库”,发挥整体通功能;而其智能分析处理,可以辅助交通管理制订出较好的统筹与协调方案,减少人力和物力的使用,合理利用道路交通资源;除此之外,准确分析并提炼各部门数据,模拟出相应的交通预测模型,这将可以有效地推测未来交通运行状态,并验证技术方案的可行性。

(二)存在的问题

1.信息的孤立。不同部门的交通信息系统导致很多数据在物理上彼此隔绝,缺少信息互通。

2.缺乏多样性。由于缺乏处理大数据的技术和能力,分析对象通常是统计学中的抽样样本,将导致分析结果的不全面和不精确。

3.缺乏有效的信息提取与处理。实时动态交通数据包含大量信息,但通常不需要使用全部原始信息。如何对数据信息进行快速提取,是交通数据管理面临的又一难题。

4.海量数据困于长期存储。现代交通数据具有来源丰富、数量庞大、分秒增长的特点,因此需要大容量的存储空间和长期保存的功能,以保障其记录历史和推测未来的功能。

5.多类型数据难以统一管理。多类型交通数据即指传统的数字信息,多元化的空间定位和先进的遥感图像等数据。将其进行统一有效的管理,是交通数据管理需要重点研究的方向。

三、对交通信息管理教学的需求

(一)各高校教学现状

将大连海事大学、上海交通大学、北京交通大学、东南大学、西南交通大学和武汉理工大学六所高校的课程进行对比。从六所高校对交通运输专业的开设的基础课程上看,与信息管理??橛泄氐目纬袒故瞧?,有些学校甚至没有开设相关课程。

(二)传统教学存在的问题

1.主干课程安排不合理。部分高校所设置的主干课程不能满通信息管理??樗璧幕≈叮虼四岩允迪指咝?、系统、完整的人才培养体系。

2.缺少专业选修课的引导。对于一个涉及面较广的专业,多数高校的教学模式仍偏向专业必修,而忽视专业选修课。

3.教材更新缓慢。已有的教材存在片面性和过时性的问题,从而无法满足学生对前沿知识全面而准确的了解。

4.形式单一。传统教学主要为理论教学,对大数据技术背景的认识不够充分,不能将学生的工程实践能力和科技创新意识相结合。

5.缺乏实践。传统教学侧重于对理论教学的解释、验证和简单延伸,没能及时将知识消化。

6.实习多流于形式。高校虽然有相关实践和实习的要求,但这些都大多流于形式。有些企业担心没有经验的实习生会影响正常的生产秩序,因而不愿接受实习生,这样使得实习通常是走马观花。

(三)新教学模式提出的要求

1.分层次的培养模式。大数据时代的交通信息管理人才不仅需要有扎实的专业基础,同时还应满足不同层次的需求。例如本科毕业生将会面临两条出路,一部分走向社会生产,一部分会继续深造,所以不同的毕业去向对于学生的能力要求也必然不同。因此,面对不同类型人才的能力培养需求,高校应当制订分层次的培养方案,这样在满足不同企事业单位对就业学生工作能力的要求的同时,也能培养继续深造的学生的科研能力和素养。实现分层次的培养方案,必然需要利用自主选课模式,加大社会需求类相关的选修课比重可以使学生在教学方案之内、教学计划之外选择适合自己的选修课,促使学生的专业知识结构从简单型向复杂性转变。

2.启发式教学方法。教学方法上,要积极开展创新型教学研究,探索灵活多变、立体化的教学手段。启发式教学的基本精神是根据辩证唯物主义的认识论,引导学生积极探索、发现问题、分析原因和找到解决方案,将知识转化为能力和实力。在传授基本知识的同时,力求将最新的科研成果纳入到课堂之中,让学生的知识与创新意识都能与时俱进。此外,教材也应及时更新,让学生及时接触到前沿信息。

3.提升教师的实践教学水平。要改变学生实践能力,必须从提高教师的实践能力方面着手。加强师资队伍多元化建设,实现双导师制。双导师型教师是指既具有高校教师任职资格,又具有较强专业实践能力的教师。提高实践能力方面可从以下两方面入手:①优化科研环境,鼓励教师积极参与横向课题研究。这样,青年教师不仅能深入了解本学科的前沿知识及工程实践的应用,而且可以使基础理论、专业知识与工程实践紧密结合,从而培养和提高分析、解决工程问题的能力。②校企挂钩,教师的工程实践经验和能力主要通过工程实践锻炼而获得。高校和企业合作,不仅为青年专业教师工程实践创造条件,同时还能为企业提供理论支持。

4.重视实践能力的考核。构建客观的、可操作性强的学生实践能力评价体系。要求评价考核的标准和方法能够将学生成绩分解为一定的量化指标,从而客观科学地评定其实践能力。

四、总结

第8篇

基于大数据的智慧云公交调度管理系统建立于智慧公交调度之上,以公交调度业务为主线,在公交车上部署GPS一体化设备、视频监控设备等,以2G/3G/4G为网络通道,上位机上部署服务器、调度工作站、维护工作站、监管工作站等硬件设备,以及相关的调度作业、实时监管、远程维护等软件系统,实现上下位数据交互。

2技术框架及功能设计

为了确保公交数据多年的数据不丢失,公交系统运行稳定、快速高效,整个系统采用数据仓库、云技术、大数据、虚拟网络等高端技术设计,实现从终端数据采集、基础数据运维、调度作业、实时监管、高级挖掘分析等功能。服务器集群由GPS前置机、时实库处理服务器、数据库服务器、WEB应用服务器、文件服务器、流媒体服务器等服务器及相关的交换机、路由器等组成。放在中心机房,统一管理和维护。公交车安装GPS一体化设备、视频监控设备等,实时传输车辆的运行状况数据、接收并处理调度中心发出的信息、报站及预报站,与后台管理中心进行双向信息交流和通话。同时,车载终端系统还会对车辆速度、行车线路、停靠站点等进行智能分析,当某些参数超过标准值时,终端系统会自动报警,司机可采取相应措施,使公交车更加安全可靠。同时,调度中心能掌握路上运行车辆载客量、速度、???、等各种情况信息,可根据车辆位置速度等因素预计出车辆到站时间、距离等,并将这些预报信息通过GPRS发送到各电子站牌显示出来,乘客通过电子站牌可清楚了解等车情况,极大方便了乘客,提高了公交服务质量。调度中心和二级调度通过调度管理系统,将电子地图、公交线路网分别或同时,全部或局部显示在屏幕上,通过操作可以在电子地图上选取车辆并显示此时车辆的运行状态、速度、方向、线路号、车牌号码、车型等,实现监视、调度、管理各自管辖的公交车,并对公交车、司机等进行上下班、里程、正点率、完成率、油耗、材损等考核和独立核算。

3关键技术分析

3.1数据仓库设计、数据挖掘实现

公交GPS数据每10s上传1包(约100个byte),每辆车平均运行14个小时,1万辆车1个月的GPS实时数据大约为151M,加上调度排班、报警、加油加气、维修保养、票款收入等数据,每个月的实时数据大约500M,若加上视频监控报警采集数据(1个月约30G)将达到1年就是366G,存储10年就是3.7T,这样大规模的数据要快速存取,用以往的关系型数据库管理已经很难满足要求,所以采用大数据技术对这些数据进行存储、清洗、梳理、钻取,按需求将数据分布统维度和粒度生成熟数据保存,采用数据挖掘算法,快速为用户按需提供数据是必然,也是实现基于大数据的云智能公交调度管理系统的基础。

3.2云技术服务技术

大数据存储在数据中心,而应用存在各个离散的终端,网络资源不一致,通讯速度也千差万别,大规模数据快速访问而不耽误公交实时调度,用原始的方法几乎是不可能满足需求,利用云技术,将数据分块、切片、缓存、差异化数据交互等处理,建立云服务及云端应用机制,实现全网硬件资源综合利用的大虚拟网络环境,充分利用网内所有硬件资源,实现公交快速调度作业是该系统的关键所在。

4结论

主站蜘蛛池模板: 在线一区二区三区视频 | 和老外做的h文 | 偷拍福利视频一区二区三区 | 午夜手机在线视频 | 午夜时刻免费实验区观看 | 免费观看视频91 | 国产欧美日韩一区二区在线 | 97超碰导航| 亚洲欧美韩国 | 国产精品久免费的黄网站 | 国产综合亚洲精品 | 国产电影久久久久久 | 国产成人精品一区二区免费看京 | 91视频在线网址 | 91啦在线观看 | 91亚洲综合 | 国产精品一区不卡 | 国产日韩久久久久 | 九一视频在线观看 | 91精品久久久久久综合 | 国产一级片免费观看 | 国产精品日韩一区 | 国产一区二区三区高清视频 | 久成人免费精品xxx 亚洲国产aⅴ精品一区二区 | 中文字幕精品久久 | 9191在线观看| 亚洲久视频 | snh48国产大片永久 | 色翁荡息又大又硬又粗又视频图片 | 午夜免 | 国产欧美视频一区 | a在线一区 | 91欧美视频在线 | 91精品中文字幕一区二区三区 | 国产精品天堂网 | 国产成人毛片 | 欧美日韩精品一区二区 | 久久久久国产一区二区三区四区 | 国产免费一区二区三区四区五区 | 热九九精品| 亚洲免费在线播放 |