泓域咨询/昆山大数据软件设计项目投资计划书目录第一章 项目绪论 7一、 项目概述 7二、 项目提出的理由 7三、 项目总投资及资金构成 8四、 资金筹措方案 8五、 项目预期经济效益规划目标 9六、 项目建设进度规划 9七、 研究结论 9八、 主要经济指标一览表 9主要经济指标一览表 9第二章 行业和市场分析 12一、 行业未来发展趋势 12二、 大数据行业市场规模 16三、 创建学习型企业 17四、 大数据市场构成 22五、 4C观念与4R理论 22六、 行业未来面临的机遇与挑战 25七、 企业营销对策 32八、 大数据行业发展背景 32九、 营销组织的设置原则 38十、 大数据全生命周期管理阶段 40十一、 体验营销的概念 44十二、 以消费者为中心的观念 45十三、 选择目标市场 47第三章 公司筹建方案 52一、 公司经营宗旨 52二、 公司的目标、主要职责 52三、 公司组建方式 53四、 公司管理体制 53五、 部门职责及权限 54六、 核心人员介绍 58七、 财务会计制度 59第四章 企业文化 67一、 企业伦理道德建设的原则与内容 67二、 企业家精神与企业文化 72三、 建设新型的企业伦理道德 77四、 企业先进文化的体现者 79五、 企业文化是企业生命的基因 85第五章 SWOT分析 88一、 优势分析(S) 88二、 劣势分析(W) 90三、 机会分析(O) 90四、 威胁分析(T) 91第六章 人力资源分析 99一、 培训效果评估的实施 99二、 绩效管理的职责划分 106三、 精益生产与5S管理 109四、 组织结构设计后的实施原则 112五、 录用环节的评估 114六、 人力资源费用支出控制的作用 117第七章 公司治理分析 118一、 管理腐败的类型 118二、 董事会模式 120三、 股东大会决议 125四、 经理人市场 126五、 债权人治理机制 131六、 公司治理结构的概念 134七、 机构投资者治理机制 136第八章 经营战略分析 139一、 企业技术创新战略的基本模式 139二、 企业经营战略环境的特点 140三、 人力资源的内涵、特点及构成 142四、 总成本领先战略的风险 146五、 企业战略目标的构成及战略目标决策的内容 148六、 市场营销战略决策的内容 150七、 营销组合战略的类型 152第九章 财务管理 156一、 影响营运资金管理策略的因素分析 156二、 短期融资券 158三、 财务管理原则 161四、 财务可行性评价指标的类型 165五、 营运资金的特点 167六、 筹资管理的原则 169七、 企业财务管理目标 170第十章 经济收益分析 179一、 经济评价财务测算 179营业收入、税金及附加和增值税估算表 179综合总成本费用估算表 180固定资产折旧费估算表 181无形资产和其他资产摊销估算表 182利润及利润分配表 183二、 项目盈利能力分析 184项目投资现金流量表 186三、 偿债能力分析 187借款还本付息计划表 188第十一章 投资估算及资金筹措 190一、 建设投资估算 190建设投资估算表 191二、 建设期利息 191建设期利息估算表 192三、 流动资金 193流动资金估算表 193四、 项目总投资 194总投资及构成一览表 194五、 资金筹措与投资计划 195项目投资计划与资金筹措一览表 195报告说明随着海量及异构数据的数据分析需求增长,需要的计算、存储和IO等资源也在极速增加。
集中式架构通过改善硬件配置来提升存储和处理能力,但单台主机可配置的资源存在上限,因此传统的集中式架构软件难以满足海量及异构数据的数据集的处理和分析需求而为了处理TB以及PB级别以上的数据规模,分布式的架构将数据分散在网络上多个通过高速网络互联的节点上联合计算因为数据分布在不同节点,在进行计算任务时,任务也会被切分成多个子任务,分发到多个节点上同时进行计算,能充分利用整个集群各个节点的计算资源、存储资源和IO资源,可线性提升集群的存储和处理能力因此,分布式架构能较好的处理该类问题,这也是分布式架构相对于传统单机架构的核心优势根据谨慎财务估算,项目总投资3926.30万元,其中:建设投资2626.05万元,占项目总投资的66.88%;建设期利息29.28万元,占项目总投资的0.75%;流动资金1270.97万元,占项目总投资的32.37%项目正常运营每年营业收入14400.00万元,综合总成本费用11371.69万元,净利润2221.67万元,财务内部收益率44.61%,财务净现值6075.35万元,全部投资回收期4.11年本期项目具有较强的财务盈利能力,其财务净现值良好,投资回收期合理该项目的建设符合国家产业政策;同时项目的技术含量较高,其建设是必要的;该项目市场前景较好;该项目外部配套条件齐备,可以满足生产要求;财务分析表明,该项目具有一定盈利能力。
综上,该项目建设条件具备,经济效益较好,其建设是可行的本报告基于可信的公开资料,参考行业研究模型,旨在对项目进行合理的逻辑分析研究本报告仅作为投资参考或作为参考范文模板用途第一章 项目绪论一、 项目概述(一)项目基本情况1、项目名称:昆山大数据软件设计项目2、承办单位名称:xxx有限公司3、项目性质:技术改造4、项目建设地点:xx园区5、项目联系人:武xx(二)项目选址项目选址位于xx园区二、 项目提出的理由中国大数据市场在过去五年间经历快速增长,整体市场规模增长速度快于全球整体市场2019年,中国大数据市场规模达到627亿元,2015-2019年复合增长率达到31.9%其中,大数据硬件为市场主要的收入来源,2019年大数据市场硬件收入达到247亿元基本建成社会主义现代化大城市,打造在长三角城市群中具有鲜明特色和影响力的开放创新之城、智慧生态之城、人文魅力之城、和谐幸福之城,综合竞争力、经济创新力和文化软实力大幅跃升,人均地区生产总值、人均可支配收入在2020年的基础上实现翻一番以上,人民群众过上现代化高品质生活,成为“强富美高”新江苏建设的样板区、我国建设社会主义现代化强国的县域范例。
率先基本建成体现高质量发展要求的现代化经济体系,率先基本形成共同富裕的民生发展格局,率先基本实现人与自然和谐共生的绿色低碳发展,率先基本实现县域治理体系和治理能力现代化三、 项目总投资及资金构成本期项目总投资包括建设投资、建设期利息和流动资金根据谨慎财务估算,项目总投资3926.30万元,其中:建设投资2626.05万元,占项目总投资的66.88%;建设期利息29.28万元,占项目总投资的0.75%;流动资金1270.97万元,占项目总投资的32.37%四、 资金筹措方案(一)项目资本金筹措方案项目总投资3926.30万元,根据资金筹措方案,xxx有限公司计划自筹资金(资本金)2731.31万元二)申请银行借款方案根据谨慎财务测算,本期工程项目申请银行借款总额1194.99万元五、 项目预期经济效益规划目标1、项目达产年预期营业收入(SP):14400.00万元2、年综合总成本费用(TC):11371.69万元3、项目达产年净利润(NP):2221.67万元4、财务内部收益率(FIRR):44.61%5、全部投资回收期(Pt):4.11年(含建设期12个月)6、达产年盈亏平衡点(BEP):3984.56万元(产值)。
六、 项目建设进度规划项目计划从立项工程竣工验收、投产运营共需12个月的时间七、 研究结论本项目符合国家产业发展政策和行业技术进步要求,符合市场要求,受到国家技术经济政策的保护和扶持,适应本地区及临近地区的相关产品日益发展的要求项目的各项外部条件齐备,交通运输及水电供应均有充分保证,有优越的建设条件企业经济和社会效益较好,能实现技术进步,产业结构调整,提高经济效益的目的项目建设所采用的技术装备先进,成熟可靠,可以确保最终产品的质量要求八、 主要经济指标一览表主要经济指标一览表序号项目单位指标备注1总投资万元3926.301.1建设投资万元2626.051.1.1工程费用万元1740.301.1.2其他费用万元836.251.1.3预备费万元49.501.2建设期利息万元29.281.3流动资金万元1270.972资金筹措万元3926.302.1自筹资金万元2731.312.2银行贷款万元1194.993营业收入万元14400.00正常运营年份4总成本费用万元11371.69""5利润总额万元2962.23""6净利润万元2221.67""7所得税万元740.56""8增值税万元550.73""9税金及附加万元66.08""10纳税总额万元1357.37""11盈亏平衡点万元3984.56产值12回收期年4.1113内部收益率44.61%所得税后14财务净现值万元6075.35所得税后第二章 行业和市场分析一、 行业未来发展趋势1、分布式系统成为行业技术架构主要的发展方向传统数据库以集中式架构为主,集中式架构由一台或多台主计算机组成中心节点,数据存储以及整个系统的业务单元都集中部署于该中心节点中,系统所有的功能均由中心节点集中处理。
每个终端或客户端仅仅负责数据的录入和输出,而数据的存储与控制处理完全交由主机完成分布式架构下,软件组件分布在不同主机上,主机之间通过网络连接进行通信和协调随着海量及异构数据的数据分析需求增长,需要的计算、存储和IO等资源也在极速增加集中式架构通过改善硬件配置来提升存储和处理能力,但单台主机可配置的资源存在上限,因此传统的集中式架构软件难以满足海量及异构数据的数据集的处理和分析需求而为了处理TB以及PB级别以上的数据规模,分布式的架构将数据分散在网络上多个通过高速网络互联的节点上联合计算因为数据分布在不同节点,在进行计算任务时,任务也会被切分成多个子任务,分发到多个节点上同时进行计算,能充分利用整个集群各个节点的计算资源、存储资源和IO资源,可线性提升集群的存储和处理能力因此,分布式架构能较好的处理该类问题,这也是分布式架构相对于传统单机架构的核心优势在大数据场景下,分布式系统在扩展性、容错性、经济性、灵活性、可用性和可维护性方面具有明显优势,能够较好的满足大数据分析的需求此外,近年来,分布式技术不断发展,在提供高弹性、支持高并发的同时,支持关系型数据库中强事务性的特性,成为大数据技术的重要发展方向。
2、数据管理软件趋向于统一多数据模型的平台数据模型是决定数据库系统逻辑的重要因素,并从根本上决定以何种方式存储、组织和操作数据,包括传统的关系模型和NoSQL数据模型(文档模型、键值模型、图模型等)大多数数据库管理系统只能支持一种或少数几种数据模型,因此企业通常只能使用多种数据库产品联合的方案来应对日益增长的异构数据模型处理需求随着大数据厂商技术实力的提升,逐渐出现了能够提供多数据库模型的大数据平台技术相比多种数据库产品的集成方案,多种数据库模型统一的大数据平台的优势包括:(1)提升场景效率同一份数据可以分别采用多种数据模型存放,解决不同场景的处理效率问题;(2)统一分析管理关联不同模型的数据,统一分析管理;(3)降低运维成本无需维护多种数据库,降低运维成本;(4)降低数据持有成本,同一份数据在不同的数据模型当中不需要全量存储,不同模型只需要存储必要的数据内容即可,在查询时可以通过关联的方式获取全量信息未来多模型数据平台将通过不断提高计算、存储引擎的处理能力,从操作响应速度、数据并发能力、数据管理成本等多个角度优化企业的数据需求,成为多模大数据平台的重要发展趋势3、云原生大数据平台架构成为未来的主要发展方向云原生的代表技术包括容器、服务网格、微服务、不可变基础设施和声明式API,这些技术能够构建容错性好、易于管理和便于观察的松耦合系统。
结合可靠的自动化手段,云原生技术使工程师能够轻松地对系统作出频繁和可预测的重大变更云原生技术有利于各组织在公有云、私有云和混合云等新型动态环境中,构建和运行可弹性扩展的应用面对客户日益增长的海量数据、多种数据结构的实时化、智能化处理需求,云原生的大数据平台架构凭借计算存储解耦、资源池化、Serverless等核心技术,提供了高弹性拓展、海量存储、多种数据类型处理及低成本计算分析的能力相比传统数据库,云原生数据库及数据管理平台天然具备灵活性,能够提供强大的创新能力、丰富多样的产品体系、经济高效的部署方式和按需付费的支付模式4、国家加速数据要素市场建设,推动数据安全流通技术的商业化加速根据《中共中央国务院关于构建更加完善的要素市场化配置体制机制的意见》,我国将搭建统一开放、竞争有序的数据要素市场体系,政策鼓励产业链各环节的市场主体进行数据流通和交易,促进数据要素流通当前,丰富的数据要素资源已经涵盖了政府、金融、运营商、房地产、医疗、能源、交通、物流、教育以及制造业、电商平台、社交网站等众多领域同时,由于数据的流通和利用是数据要素价值创造的前提而跨域、跨中心的数据融合计算需求,以及数据要素在开放流通环节中的安全需求(包括“可用不可见”、“可用不可得”、“可用不出域”等),都使得数据的安全可信流通成为数据要素的市场化配置的重要一环,也是各行业数字化转型过程中和过程后的必由之路。
随着《数据安全法》、《个人信息保护法》的实施,以安全为前提的数据开放利用将迎来新一轮发展机遇隐私计算是在处理、分析计算数据的过程中保持数据不透明、不泄露、无法被计算方以及其他非授权方获取的一种技术解决方案,能够在充分保护数据和隐私安全的前提下,实现数据价值的转化和释放,应用前景和商业价值巨大在国家加速数据要素市场建设和重视数据安全和隐私保护的大背景下,数据安全防护技术、隐私计算技术的应用普及和商业化在加速进行二、 大数据行业市场规模1、全球大数据市场发展情况全球大数据市场规模由2015年231亿美元增长至2019年的496亿美元,年复合增长率约为21.1%,全球整体市场规模有望在2024年超过800亿美元,2019至2024年复合增长率约为11.8%在2015年,大数据服务仍然是全球大数据市场最大的收入来源,约为91亿美元,而硬件和软件收入分别达到73亿美元和67亿美元随着硬件成本的下降以及软件附加值的提升,预计未来全球大数据市场中硬件及服务收入贡献占比将逐渐减少,软件将超过服务和硬件,成为全球大数据市场最主要的收入来源全球大数据软件市场规模由2015年的67亿美元增长至2019年的170亿美元,年复合增长率为26.2%,超过硬件和服务收入增速,并且预计软件市场规模将在2024年达到377亿美元,年复合增长率约为17.3%。
在大数据软件中,随着大数据管理平台和数据应用中间件产品的成熟,未来将贡献更多的收入占比2、国内大数据市场发展情况中国大数据市场在过去五年间经历快速增长,整体市场规模增长速度快于全球整体市场2019年,中国大数据市场规模达到627亿元,2015-2019年复合增长率达到31.9%其中,大数据硬件为市场主要的收入来源,2019年大数据市场硬件收入达到247亿元中国大数据软件市场由2015年的52亿元增长至2019年的146亿元,年复合增长率为29.5%伴随着中国对数据运用重视程度日益提高,用户对于大数据软件采购预算增加趋势明确,中国大数据软件市场将在未来五年继续保持高速增长,整体软件市场规模将在2024年达到492亿元,2019-2024年复合增长率为27.5%虽然现阶段大数据软件收入占比较小,但得益于较高的细分市场规模增速,未来大数据软件将占据更多的市场份额三、 创建学习型企业彼得˙德鲁克在1988年就指出:“我们正在进入变革的第三阶段:从命令一控制型组织、分成许多部门与科室的组织,转变为以信息为基础、由知识专家组成的组织……但是,我们还远没有做到真正建立起以信息为基础的组织—这是将来会遇到的管理上的挑战。
为迎接知识经济时代的挑战,企业必须以知识作为决策及决策之后的资源分配工作的根据和基础也就是说,企业要建立新的组织机制,使之懂得如何倾听市场的条件信号,从所听到的内容及其经验中学习,然后在所学知识的基础上提高其自身能力,以其创造并满足顾客的产品和服务领先于他人企业对倾听、学习和领先这三项挑战性工作做得如何,将决定其业务经营的成功或失败程度一)倾听倾听,或称探察,是指企业感知外部世界的所有活动企业倾听有明确的目的性,就是建立知识基础,以便作出面向市场的决策市场调研一直是企业常用的感知手段但过分依赖市场调研部门,乃至完全依赖营销部门来倾听,并不能保证企业通过有效的倾听达到成功决策通过相当狭小的感知渠道寻求众多对象的反映,调研机构和信息处理人员对信息的控制、保管和理解,都会成为企业有效倾听的障碍要克服这些障碍,企业需要建立跨职能决策体系,设计出能促进信任、共享信息、积累知识和建立学习制度的各种决策方法有效倾听必须保证企业能听取多种声音这些声音主要来自与企业决策休戚相关的三,组群体:顾客、社区和企业其中,顾客包括消费者和相关销售系统中的个人;社区包括政府有关部门、特殊利益集团和竞争者;企业除自身外,也包括供应商和投资者。
倾听多种声音的目的是协调不同群体之间的利益关系多种声音往往会互相冲突,如洗衣粉生产商可能发现顾客想要含磷的洗衣粉洗出“更加洁白”的效果,而社区则要求禁止磷化物污染公共水源,使水“更加干净”这时,企业(股东和员工)则要求生产一种既令顾客满意,又符合企业对环保的责任感,而且还能盈利的产品企业的责任是,充分听取三大群体的意见,了解和分析它们之间存在的进行合作和造成冲突的可能性和条件,以作出面向市场的决策二)学习通过倾听取得的信息,需要转化为进行决策所需要的情报、知识、理解和智慧,否则就不会使企业得到任何改善解决问题的办法就是建立企业的学习体系企业欲在快速变化的复杂环境中获得成功,必须要求其每一个成员不断地学习、快速地学习,同时也必须要求这些个人学习有益于强化企业对内部和外部环境所拥有的共同知识(即组织知识),促进个人行为与建立在组织知识之上的集体行动保持一致组织知识是每一个组织成员在解决具体问题时,与集体相关的知识中得到一致认可、共同拥有的那部分知识组织知识不是所有人知识的总和,而是相关的和共同的知识,是个人知识的有机综合它比任何个人知识丰富得多,而且为所有与之相关的人深刻理解和内部化企业学习系统不仅要重视解决将个人学习和建立的知识转化为组织知识(共识)问题,而且要解决彼此独立的职能部门的组织知识与其他组织成员的共享问题,亦即将部门相对福狭的各自“共识”,转化为企业组织知识问题。
为此,加强各职能部门的沟通和相互学习,就显得十分重要企业还必须将每一项业务程序视为学习过程,明确地将业务程序设计成鼓励学习并从中获得知识的程序完成一项业务程序要求具备一定的知识状态例如,在开发和设计一种新型汽车时,来自销售和服务、生产工艺、工程制造等部门和设计室的人需要有共同知识,以便能够共同明确规定设计过程所需要的信息和要求这个共享知识的过程应当使他们每个人都能充分利用各自的知识状态,包括其根据经验获得的信息这些人一致同意共享的信息就是该业务程序的组织知识状态企业可以通过连续执行共同业务过程,不断地学习和更新组织知识状态,提高适应市场的能力三)领先倾听和学习的结果,必须落实到做出更好的决策而实现“领先”上这里的领先是指通过决策过程而比竞争对手做得更好许多企业都有领先的追求实践证明,达到领先不易,保持领先更难能持续领先的企业,大都具有下列共性1)系统地倾听顾客和社区、竞争对手及企业内部的声音;(2)系统地学习上述声音随时间变化而变化的道理,以及把这些声音综合起来的方法;(3)拥有促进倾听和学习以及对变化做出快速反应的共同业务程序;(4)企业要具备这些领先要素,就必须建立一个决策网络,把组织的战略方针同资源分配和许多为实行该方针必须做出的决策紧密地结合起来。
企业的这种决策网络的主要特征有下面两点1)以资源分配来定义决策即认为决策实质上是决定如何分配资金、信息、人员、时间及其他企业资源这一认识将有利于决策的执行和分清责任如提高市场占有率决策就是用具体的资源分配来降低价格、加强促销、改进产品特性等这样定义决策,有利于经理执行并对其执行结果负责另外,也有利于决策者明确地解决相关的各种冲突如决定提高市场份额,就意味着用于其他业务单位的资源有可能减少决策者必须预先解决这些冲突,否则,决策的执行就会受到干扰2)建立以市场为依据的决策方法这种方法是组织负责做决策和负责执行决策的两组人员进行有条理的对话这两组人员共同学习、工作,建立起决策所依据的知识,在决策过程的四个阶段(即确定问题、提出备选方案、分析和建立联系)充分对话企业决策网络最终使组织知识得以不断增加,并以此加强了部门之间的联系与合作,保证了企业能更好地实施市场(顾客)导向的营销观念四、 大数据市场构成大数据行业主要解决大数据的存储、处理、分析和价值发现等问题,实现大数据的业务价值从产品和服务来看,大数据市场产品和服务包括三个主要部分,即大数据硬件、大数据软件、大数据专业服务包括针对数据仓库、数据湖、数据集市、运营平台、知识图谱、智能决策、情报搜索等方面的数据应用系统,以及基于大数据技术的行业或业务线应用软件,如应用于数字化运营、数字化决策、智能制造、预测分析、数字营销、智能风控、政府行业的一网通办、疫情防控等领域的应用软件五、 4C观念与4R理论20世纪90年代以来,人们从传统家庭价值观的压力下解放出来,有更多的生活形态可以选择。
一方面,是产品的同质化日益增强,另一方面是消费者的个性化、多样化日益发展1990年,罗伯特˙劳特朋在《广告年代》上发表《4P退休,4C登场》一文,提出了4C理论,认为营销需持有的理念应是“请注意消费者”而不是传统的“消费者请注意”随后,唐˙E.舒尔茨在《整合营销传播》一书的开始便提出“4P(产品、价格、通路、促销)已成明日黄花,新的行销世界已经转向4C了”于是日渐兴起的4C观念,要求“暂时忘掉”传统的4P理论,更新和强化以消费者需求为中心的营销组合1)消费者:指消费者的需要和欲望企业要把重视顾客放在第一位,强调创造顾客比开发产品更重要,满足消费者的需要和欲望比产品功能更重要,力求提供顾客确实想购买的产品2)成本:指消费者获得满足的成本,或是消费者满足自己的需要和欲望所愿付出的成本价格全部成本包括:企业生产适合消费者需要的产品成本;消费者购物成本,不仅指购物的货币支出,还有时间耗费、体力和精力耗费以及风险承担新的定价模式是:消费者支持的价格—适当的利润=成本上限企业要想在消费者支持的价格限度内增加利润,就必须努力降低成本3)便利:指购买的方便性在销售过程中,强调为顾客提供便利,让顾客既购买到商品,也购买到便利。
在各种邮购、订购、代购代送等方式出现后,消费者能在家里就能买到自己所需的物品企业要深入了解不同的消费者有哪些不同的购买方式和偏好,把便利原则贯穿于营销活动的全过程在售前及时向消费者提供充分的关于产品性能、质量、价格、使用方法和效果的准确信息;售货地点,要提供自由挑选、方便停车、免费送货、咨询导购等服务;售后应重视信息反馈和追踪调查,并及时处理和答复顾客意见,对有问题的商品主动退换,对使用故障积极提供维修方便,大件商品甚至终身保修为方便顾客,很多企业已开设热线服务4)沟通:指与用户沟通企业可以尝试多种营销策划与营销组合,如果未能收到理想的效果,说明企业与产品尚未完全被消费者接受这时,不能依靠加强单向劝导顾客,要着眼于加强双向沟通,增进相互的理解,实现真正的适销对路,培养忠诚的顾客4C一开始就是以挑战者的角色出现的,矛头直指4P,意图创立新的营销理论框架唐,E.舒尔茨后来又进一步提出了4R理论,并以此作为IMC的基础4R较4C更突出顾客的核心地位,强调营销的核心从交易走向关系4R是:Relevance(关联),与顾客建立紧密的关联,形成互助、互求、互需的关系,减少顾客的流失;Reaction(反应),提高企业对市场的反应速度,倾听顾客的反馈并及时做出反应;Relationship(关系),建立和顾客的互动关系;Reward(回报),一切营销活动必须以为顾客和公司创造价值为目的。
营销理论界不少人认为:4P、4C、4R三者不是取代关系而是完善、发展的关系由于企业层次不同,情况千差万别,市场、企业营销还处于发展之中,所以在一定时期内,4P还是营销的一个基础框架,4C也是很有创新精神的思路,4R是在4P、4C基础上的发展在了解新世纪市场营销理论的新发展的同时,根据企业的实际,把三者结合起来指导营销实践,可能会取得更好的效果有位营销学者这样说:“用4C来思考,用4P来行动,用4R来发展六、 行业未来面临的机遇与挑战1、行业面临的机遇(1)产业政策集中出台,多层次政策体系日益健全十八届五中全会提出“实施国家大数据战略”以来,国务院及发改委、科技部、工信部等部门相继出台一系列大数据鼓励扶持政策,在国务院印发的《促进大数据发展行动纲要》指出,建立安全可信的大数据技术体系是推进大数据产业基础研究和核心技术攻关的重要目标2021年3月,在我国“十四五”规划和2035年远景目标纲要提出,培育壮大人工智能、大数据等新兴数字产业,充分发挥海量数据和丰富应用场景优势,促进数字技术与实体经济深度融合,赋能传统行业转型升级,打造数字经济新优势2021年3月国务院在政府工作报告中提出,加快数字化发展,打造数字经济新优势,协同推进数字产业化和产业数字化转型,加快数字社会建设步伐,提高数字政府建设水平,营造良好数字生态,建设数字中国。
同时,自“新基建”在2018年12月中央经济工作会议上被首次提出以来,中央和各地政府已经密集部署了一系列围绕“新基建”建设的方针和政策2020年4月,国家发改委明确了“新基建”是以技术创新为驱动,以信息网络为基础,面向高质量发展需要,提供数字转型、智能升级、融合创新等服务的基础设施体系其中,“在新一代信息技术关键领域锻长板的重要举措包括:推动新一代信息技术与制造业融合发展,加速工业企业数字化、智能化转型,提高制造业数字化、网络化、智能化发展水平,推进制造模式、生产方式以及企业形态变革,带动产业转型升级未来新兴产业及数字经济的发展将更依赖于数据资源,数据基础设施建设也是支撑5G、数据中心、工业互联网等新一代信息技术基础设施的基础,因此大数据是“新基建”的重要组成部分,也将推进大数据底层软件等核心国产软件的快速发展国家层面的积极政策为大数据行业的快速发展营造了良好的政策环境,企业和政府大力推动数字化转型,旨在实现企业运营和社会治理的效率提升政府和企业持续加大在IT产品和服务方面的投入,以满足日益增长的业务数字化需求,大数据行业作为企业及政府数字化转型的关键基础软件,有望受数字化转型趋势的推动而带来重大发展机遇。
2)数据管理软件国产化趋势明显,国产大数据产品有望实现换道超车国内数据管理软件基本被Oracle、IBM和微软为代表的国外关系型数据库厂商主导,国产软件产品渗透率低随着国内客户越来越重视数据与信息安全,国产软件产品在关键领域实现替代成为其中重要环节,越来越多的客户已经开始或计划相关软硬件的采购计划大数据时代下,数据管理软件正在逐步由集中式架构软件向分布式架构软件演进,国产大数据产品有望实现换道超车,对国外数据管理软件进行替代从功能来看,基于新兴分布式架构的国产大数据产品已经能满足市面上绝大多数数据应用场景基础需求但国产大数据产品能否在市场竞争中胜出、占据更多的市场份额,仍然取决于国产大数据产品能否构建自主研发的生态以及产品的全球竞争力目前,为保障国家信息安全,自主研发的国产大数据生态体系正在形成,此前国产软硬件发展面临的格局分散、生态基础不完善、规模用户群体缺乏等障碍正被逐步攻克随着国产大数据生态体系进入快速协同发展阶段,国产大数据产品与服务迎来较好的发展机遇3)数据成为新生产要素,各行业的大数据应用需求巨大2020年4月,《中共中央国务院关于构建更加完善的要素市场化配置体制机制的意见》指出,数据已成为继土地、劳动力、资本、技术之后的新一代生产要素,是数字经济发展的基础性、关键性、决定性的生产要素,对经济发展、社会治理、人民生活产生着重大而深刻的影响。
激活数据要素潜能,加快数字经济、数字社会、数字政府建设,以数字化驱动生产方式、生活方式和治理方式变革成为我国当下发展的重点企业建设数字化能力,高效解决企业运营中的问题,优化企业业务流程、提高效率,成为企业发展的核心竞争力之一,在金融、交通、能源、制造等国民经济重要领域实际提升数字化能力需求巨大此外,在政府、企业数字化程度提高后,数据走向资源化是大势所趋,在数据资源化的过程中,建立行业间高效的数据交换机制,实现数据的互联互通、信息共享、业务协同,以成为整合信息资源,深度利用分散数据的有效途径加快数字化转型,构建数据共享服务体系,促进数据与业务应用快速融合,将助力中国经济从高速增长转向高质量发展,推动数字中国建设4)大数据应用的快速发展,推动大数据管理平台需求的快速增长近年来,大数据增长集中于物联网设备、多媒体、日志、社交信息等,这些数据具有数据类型多、数据量大、流转速度快、价值密度低的特点传统关系型数据库无法满足处理半结构化及非结构化数据需要,具有综合能力的大数据管理平台有易于扩展、无序存储、分布式架构的特性,相比传统关系型数据库,更能满足对这些数据的存储需求大数据管理平台不仅具有存储管理海量数据能力、数据处理性能高和易于扩展的特性,还可以保持传统关系数据库支持ACID和SQL查询等特性,支持关系数据模型。
在大数据市场发展下,大数据管理平台需求快速增长5)数据价值的深度挖掘需求将带动智能分析工具的快速发展智能分析工具主要专注于为数据预处理、特征工程、数据建模、预测分析等数据分析挖掘关键过程提供工具和相关解决方案,是企业实现对海量数据的深度挖掘的重要工具随着大数据环境下,数据分析复杂程度的加深,数据科学平台需要持续优化其平台流程、协作及模型治理特性,以保持与软件开发中最佳实践一致同时,数据科学平台厂商也将通过整合针对算法筛选、分布式模型训练、模型管理、知识图谱和高性能推理等任务的创新解决方案来实现差异化竞争为了在大数据环境下快速帮助客户实现人工智能赋能的商业决策,智能分析工具将迎来快速发展机遇,在云原生、AI工程化、低代码、隐私安全、云边一体等方面发挥更大的作用2、大数据行业的挑战(1)技术创新与支撑能力有待进一步提高技术创新是推动大数据产业发展的内在动力,但是目前我国技术创新对于大数据产业的引领作用仍然不强一方面,国内企业对大数据核心技术、开源技术和相关生态系统影响力总体较弱另一方面,大多数大数据企业的创新仍以模仿性、渐进性创新为主,突破性、颠覆性创新偏少,自主研发具有国际影响力的先进技术较少,同质化竞争日益加剧。
此外,由于我国基础科学技术水平研发投入相对不足,大数据底层技术投入与国外存在较大差距,虽然具有大数据应用的需求,但较少通过扎实的底层技术手段来推动创新,我国大数据技术创新能力有待持续提高2)对开源体系的依赖程度相对较高基于开源的数据库技术,或部分开源的功能方案,已经成为当前众多企业的软件技术建设重要模式,目前数据库开源体系由国外主导众多软件开发者对于开源软件的认知较有限,甚至误以为开源软件等同于免费软件,可以不受限制地随意使用事实上,开源软件的著作权既没有被放弃也没有过期,其修改和发行等仍然要受到版权法或者开源软件许可证的制约,开源软件知识产权风险分为版权侵权风险,专利侵权风险、商标侵权风险三大类因此市场对待目前开源体系的法律风险意识有待提高,自主研发的国产数据库软件市场占有率有待进一步提升,降低对国外开源体系的依赖3)企业对于数据价值的认知及运用能力有待提高近年来,越来越多企业认识到数字化转型的必要性,但是对于数据管理的认知水平较多停留在收集数据、存储管理数据的层面,对于如何把数据有效运用及相关认知有待提高,对数据平台、数据技术的资源投入不足企业往往只是在部分业务实现数字智能化,各个板块的协同不足,各个部门的信息孤岛现象明显,整个企业的数智化缺乏完整规划,企业对数字化转型的目标和路径不够清晰。
在此环境下,中国数据管理软件服务厂商在聚焦于内部产品研发和技术迭代的同时,也需加强对下游实际的业务场景和大数据使用需求的逐步理解、适配,使得更多企业可以容易的运用大数据解决发展面临的数字化转型需求4)专业人才短缺问题成发展瓶颈我国仍存在严峻的大数据人才短缺问题,尤其紧缺基础技术研发、专业咨询、数据分析挖掘等方面的专业人才以及兼具专业运营能力、行业动态理解力、解决问题能力的多学科复合型人才,难以满足大数据产业的高速发展需求一方面,我国高科技人才储备不足,高科技人才储备难以应对与日俱增的大数据人才市场需求另一方面,我国大数据人才培养体系不完善,大数据人才培养体系起步晚,规模小,层次和模式相对单一,技能知识和理念落后,难以有效匹配产业发展速率虽然近几年随着我国产业数字化转型的发展,数字科技行业的从业人员逐步增多,但从事基础软件领域研究的专业人员仍然稀缺,尚不能满足大数据行业对于高端专业人才的需求大数据人才的不足一定程度上影响到大数据产业的发展,业内公司为争取优秀人才,造成行业内人才竞争不断加剧七、 企业营销对策用上述矩阵法分析、评价营销环境,可能出现4种不同的结果在环境分析与评价的基础上,企业对威胁与机会水平不等的各种营销业务,应分别采取不同的对策。
对理想业务,应看到机会难得,甚至转瞬即逝,必须抓住机遇,迅速行动;否则,丧失战机,将后悔莫及对风险业务,面对其高利润与高风险,既不宜盲目冒进,也不应迟疑不决,坐失良机,应全面分析自身的优势与劣势,扬长避短,创造条件,争取突破性的发展对成熟业务,机会与威胁处于较低水平,可作为企业的常规业务,用以维持企业的正常运转,并为开展理想业务和风险业务准备必要的条件对困难业务,要么是努力改变环境,走出困境或减轻威胁,要么是立即转移,摆脱无法扭转的困境八、 大数据行业发展背景1、大数据时代下传统数据管理软件面临多种挑战近年来随着互联网、移动互联网、物联网、5G等信息通信技术及产业的不断发展,全球数据量呈爆发式增长态势数据作为和土地、资本、劳动力、技术一样的生产要素,在数字经济不断深入发展的过程中,地位愈发凸显我国是数据资源大国,IDC研究报告指出,到2020年,中国数据量约12.6ZB,较2015年增长7倍,年复合增长率为124%2025年中国的数据量预计达到48.6ZB,约占全球数据总量的30%数据资源总体呈现出“4V”的特点,即海量的数据规模(Volume)、多样的数据类型(Variety)、价值密度低(Value)、快速的数据流转(Velocity)。
海量的数据规模指数据量大,包括采集、存储和计算过程中所涉及数据量都非常大大数据的起始计量单位通常是PB(约1,000TB)、EB(约100万TB)或ZB(约10亿TB)多样的数据类型指数据种类和来源多样化,包括结构化、半结构化和非结构化数据,具体表现为关系型数据、日志、音频、视频、文本、图片、地理位置信息等类型数据,多类型的数据对数据的处理能力提出了更高的要求价值密度低指有价值数据所占比例低随着互联网以及物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,通过结合业务逻辑并通过强大的机器算法来挖掘数据价值,是大数据时代需要解决的重要问题之一快速的数据流转指数据增长速度快,处理速度要求快,时效性要求高例如实时监测场景中,企业需要对物联网设备数据进行实时处理并做出反应;零售电子商务应用类软件将消费者所持的移动设备的地理位置信息和其个人偏好相结合,推送有针对性的促销信息这是大数据区别于传统数据使用的显著特征随着信息技术以及实际业务需求的快速发展,传统数据管理软件在处理大数据场景时不能很好适应数据的“4V”特性,面临较多技术挑战因此,传统数据管理软件迫切需要技术革新2、传统集中式软件栈向新兴分布式软件栈演进1970-2000年,数据管理软件主要为集中式架构的关系型数据库,其软件产品具备不可分割性(atomicity)、一致性(consistency)、隔离性(isolation,又称独立性)、持久性(durability)即“ACID”功能特性,占据了数据管理软件的主导地位。
关系型数据库技术出现在20世纪70年代,经过二十余年的发展,到90年代已经成熟市场上具有代表性的集中式架构关系型数据库产品包括Oracle、IBMDB2以及微软SQLServer等2000年以来,随着互联网和计算机技术的快速发展,需要处理的数据量更大、类型更丰富、速度要求更快,传统集中式计算架构已无法适应数据海量、异构、多源等特点,在部署的扩展性、容错性、经济性、灵活性等方面有一定局限性谷歌于2003年-2006年间的三篇论文奠定了分布式存储和计算的基础,而后行业从业者基于以上理论建立了Hadoop、Spark等大数据分布式系统框架,并交由Apache软件基金会托管;2009年,在JohanOskarsson开源分布式数据库的讨论中,来自Rackspace的EricEvans重提NoSQL概念,用以指代非关系型的分布式数据存储系统针对于不同的场景,分别产生了图数据库、搜索引擎、文档数据库、键值数据库等NoSQL数据库,代表性NoSQL数据库提供商包括MongoDB、Elastic等2010年以来,随着数字化转型的逐步深化,快速变化的业务场景呈现了复杂化、多样化的态势复杂的业务场景往往需要使用多种数据模型,以及数据模型间的融合。
这个时期的,行业内大部分数据库都是面向单一数据模型而设计的,用以解决特定业务场景的特定问题例如,使用传统的关系型数据库解决结构化数据的存储和处理问题、使用图数据库解决图相关的存储和处理问题、使用文档数据库解决文本相关的存储和处理问题由于结构化数据和非结构化数据通常以不同的格式和模式存储,单模型数据库虽然优化了数据存储和处理,却难以满足日趋增长的、多样的业务场景需求当同一业务需要用到不同类型数据的时候,受限于单模型数据库的处理能力,客户往往需要部署多个相互独立的单模型数据库,在对不同模型数据进行联合处理的时候,需要对数据进行搬迁或融合,导致架构复杂度高、开发成本高、运维成本高以及数据处理效率低由此,催生了从单一数据管理系统到融合型、多模型数据管理系统的技术需求此外,随着云计算技术的大规模应用,传统各类软件产品都开始由独立部署模式向云服务模式转变其中数据库作为信息系统核心软件,逐渐附加云化能力形成云原生数据库,以服务的形式对外提供技术支撑云原生数据库按照部署方式可以分为公有云部署和私有云部署其中,私有云部署模式由企业提供云数据库依赖的底层物理资源,数据库服务商负责部署云原生数据库软件,后期企业和数据库服务商约定运维维护工作的具体职责分工等,特点是“自有资源池化”,“数据不外流”等。
相比公有云部署下的云数据库,私有云模式更加关注信息安全,能够实现对数据安全性和服务质量最有效控制,仅限于企业员工和取得授权的合作伙伴使用多模型、数据库云原生相关技术已经成为信息产业的未来发展方向,促使大数据软件进一步革新,规模呈现快速增长趋势,代表性企业如Snowflake、AWS等相较于国内外的现状,私有云在面向国计民生的相关行业更受客户欢迎,面向私有云模式的云原生数据库预计在未来将获得快速增长随着技术不断成熟,分布式架构将逐渐成为主流自底向上,传统的集中式资源管理调度逐渐向基于云原生技术的分布式统一资源管理平台发展;数据管理软件技术架构也会因为计算模式的转变发生重大变革,传统的集中式数据库逐渐向分布式、多模型数据库发展;传统数据分析软件逐渐向新型的分布式数据开发和智能分析软件发展3、国产基础软件迎来爆发式增长阶段当前,中国大数据软件领域处于发展的历史机遇期,我国高度重视大数据在经济社会发展中的作用,十八届五中全会提出“实施国家大数据战略”,国务院印发的《促进大数据发展行动纲要》指出,建立安全可信的大数据技术体系是推进大数据产业基础研究和核心技术攻关的重要目标十四五”规划和2035年远景目标纲要提出,培育壮大人工智能、大数据等新兴数字产业,充分发挥海量数据和丰富应用场景优势,促进数字技术与实体经济深度融合,赋能传统行业转型升级,打造数字经济新优势。
全球新一代信息产业处于加速变革期,大数据相关底层技术处于创新突破期,国内市场需求处于爆发期,为国内基础软件厂商带来明确的增长机遇同时,随着国内基础软件人才的不断增加,在应对新一代场景,不断积累技术经验过程中,国内已形成具备自主研发实力且能与国外厂商竞争的基础软件厂商,并开始实现规模产业化落地九、 营销组织的设置原则企业的具体情况各异,营销机构不可能、也无必要都按一种模式但有一些共性原则需要注意和遵循:(一)整体协调和主导性原则协调是管理的主要功能之一因此设置营销机构需要注意:(1)设置的营销机构能够协调企业与环境,尤其是和市场、顾客之间的关系满足市场、创造满意的顾客,是企业最根本的宗旨和责任;能比竞争者更好地完成这一任务,也是组建营销部门的基本目的2)设置的营销机构能够与企业内部其他机构相互协调,在服务顾客、创造顾客方面发挥主导性作用3)营销部门的内部结构、层级设置和人员安排能够相互协调,充分发挥营销职能的整体效应总之,营销职能部门应当面对市场、面对顾客时能代表企业,面对内部各部门、全体员工时能代表市场、代表顾客同时内部具有相互适应的弹性,是一个有机的系统这是构建“现代营销企业”重要的组织基础。
二)精简以及适当的管理跨度与层级原则组织建设要“精兵简政”,切忌机构雁肿一是防止因事设职、因职设人,人员要精干;二是内部层级不宜太多内部层级少,信息流通快,还能密切员工之间关系,利于交流思想、沟通情感,提高积极性和工作效率最佳的机构是既能完成任务,组织形式又最为简单的机构这涉及管理跨度与层级问题管理跨度又称管理宽度或管理幅度,指领导者能够有效地直接指挥的部门或员工数量,是一个“横向”的概念;管理层级又称管理梯度,指一个组织属下不同层级的数目,是一个“纵向”的概念管理的职能、范围不变,一般来说,管理跨度与管理层级是互为反比关系的:管理跨度越大、层级越少,组织结构越扁平;反之,跨度越小,则管理的层级越多通常情况下,管理层级过多容易造成信息失真与传递过慢,可能影响决策的及时性和正确性;管理跨度过大,超出领导者能够管辖的限度,又会造成整个机构内部的不协调、不平衡营销部门要真正做到精简,在设置机构时能否把握营销工作的性质和职能范围,是十分重要的前提三)有效性原则效率是衡量组织水平的重要标准一个机构的效率高,说明结构合理、完善直观地讲,“效率”是指一个组织可在一定时间内完成的工作机构的效率表现在能否在必要的时间内,完成规定的任务;能否以最少的工作量,获取最大的成果;能否很好地吸取,过去的经验教训,业务上不断创新;能否维持机构内部的协调,及时适应环境、条件的变化。
十、 大数据全生命周期管理阶段1、大数据集成大数据集成包括大数据采集和大数据整合大数据采集主要是通过各种技术手段将分散的海量内容数据(文本、音频、视频等)、行为数据(访问、查询、搜索、会话、表单等)、工业生产数据(传感器数据、监控数据)等从业务系统中收集出来由于大数据本身具有分散、海量、高速、异质的特征,采集难度较大,因此保证数据采集的稳定性、可靠性、高效性、可用性和可扩展性等是主要的技术目标,越来越多的企业开始选用专业的数据采集服务大数据整合的目标是将各种分布的、异构的数据源中的数据抽取后,进行清洗、转换,最后加载到数据仓库或数据集市中,作为数据分析处理和挖掘的基础;这个过程常常也被称为ETL(Extract/抽取,Transform/转换,Load/加载),通常ETL占到整个数据仓库开发时间的60%~80%大数据时代,数据整合软件的市场也开始了整体的技术升级,主要解决两个主要技术问题,一是独立的ETL应用服务器的计算能力普遍不足,二是无法处理半结构化和非结构化数据经过几年的技术发展,ETL过程逐步演进为ELT,即数据抽取后直接加载(Load)到大数据平台中,再基于大数据平台的计算能力来实现数据转换(Transform),不再依赖ETL应用服务器做抽取和转化工作,这样可以解决ETL应用服务器的处理能力不足问题,充分利用大数据平台的分布式计算能力提升数据集成的效率和稳定性。
2、大数据存储和处理大数据存储与处理要用服务器及相关设备把采集到的数据存储起来,使得数据能够被高效地访问和运算由于数据量的爆发式增长,尤其是非结构化数据的大量涌现,传统的单机系统性能出现瓶颈,单纯地提高硬件配置已经难以跟上业务的需求,产生的海量数据没有合适的存储场所,企业被迫放弃大量有价值的数据;数据处理的速度和性能出现瓶颈,业务的深度和广度受到限制因此,过去十年间,计算机系统逐步从集中式向分布式架构发展分布式架构及相关技术通过增加服务器的数量来提升系统的处理能力,每个节点都是一个可独立运行的单元,单个节点失效时不会影响应用整体的可用性分布式系统在扩展性、容错性、经济性、灵活性、可用性和可维护性方面具有明显优势3、数据治理根据国际数据管理协会的定义,数据治理是对数据资产管理形式权利和控制的活动集合数据治理是一个管理体系,包括组织、制度、流程和工具,随着集成和存储的数据量增加,数据治理的难度也逐渐增加,牵扯的关联方也越来越多,因此需要一套适合企业的方法论来开展工作业界逐渐形成了DAMA、DCMM等较完整的数据治理体系框架,一般包括制定数据治理战略、定义数据治理工作机制、通过各个业务专题来落实相关数据治理工作内容,并最终落实到数据治理工具上来实现高效持续的数据治理的执行流程。
具体到数据治理的内容,一般包括元数据管理(包括元数据采集、血缘分析、影响分析等)、数据标准管理(包括标准定义、查询与发布等)、数据质量管理(包括质量规则定义、质量检查、质量报告等)、数据资产管理(包括数据资产。