网站建设改变某个表格大小,快速提升网站关键词排名,使网站有流量,google play 安卓下载原文地址#xff1a;https://cloud.tencent.com/developer/article/1052576 中国建设银行中国建设银行信息技术管理部资深经理林磊明▼▼1、银行压力越来越大从十二五走到十三五期间#xff0c;银行业面临的各方面的压力越来越大#xff0c;从我们的年报数字可以看出去年四大…原文地址https://cloud.tencent.com/developer/article/1052576
中国建设银行中国建设银行信息技术管理部资深经理林磊明▼▼1、银行压力越来越大从十二五走到十三五期间银行业面临的各方面的压力越来越大从我们的年报数字可以看出去年四大行的利润增长基本上趋近于零增长。在这样的情况下我们怎样通过IT的引领提升传统银行的竞争力这是摆在我们面前的一个很重要的课题。2、过去十多年期间银行业务出现两个拐点大数据怎么样能够在智慧银行的方向上起到更大的作用呢 通过银行的历程佐证这样一个观点。过去十多年期间银行基本上有两个拐点第一个拐点就是发生在互联网银行慢慢取代柜员IT支持从支持几万十几万的柜员到支持面向所有的互联网客户这里面发生了一个根本性的变化无论是服务的形态还是IT的支撑都发生了很根本的变化这是移动和云要在里面发挥作用。下一个拐点是什么银行要从原来做的账务性的、交易性的处理转向能够渗透到经济生活的方方面面这是一个场景化如果抓不住这个拐点银行就要被互联网金融颠覆或者管道化。3、三大互联网渠道已建立具备大数据基础这几年银行三大互联网渠道已经建立手机银行已达到1.8亿多 网上银行我们有2亿 微信银行它占的客服服务总量已经超过了传统的客户服务这意味着我们的渠道、我们场景化的实践已经见到了效果另外我们做大数据要具备的基础已经存在。4、大数据要解决3大问题谈大数据对传统银行来讲要解决3大问题怎么样提升对于客户的识别 怎么样对于客户的营销 怎么样提升对于风险的防范所以无论是用传统的结构化的数据还是用现在互联网形态下面非结构化的数据要解决的问题都是这些只不过我们现在有了更丰富的数据源有了更好的对于数据处理的方法。目前建设银行已经成立了上海大数据分析中心这不属于技术部门属于信息管理部门。5、建行大数据平台设计思路从设计目标有这几条 策略上架构先行我们已经有很好的基础架构。1、基础能力上我们在做一些基础的大数据分析工具的搭建。2、要想明白用数据做什么我一直不太同意你先不要管你做什么先把平台搭起来我不太清楚有多少人从做数据仓库过来当时提的很多的概念是垃圾进垃圾出到了大数据时代没人提这个事情了好像所有大数据都是质量很高的但这方面要警惕。功能架构设计和大家都差不多从采集、存储、分析、展现到应用。我要强调的是从这个结构来说这是很完美的一个结构但要能够实时或者及时地反映到你的业务流程当中去反映到你的营销当中去。不要拘泥于一个结构。数据设计我们有一个演变过来的整体的结构。这里面我想强调一点大数据是数据的一部分结构化的数据是大数据的一部分这两个东西不要割裂来看。6、建行大数据成果我们的大数据平台取得了一些成果 实时的数据仓库上我们能够对客户经理做实时的数据提供和交付提供无论是并发的访问还是实时服务方面。 从数据的应用模式上我们总结了六类数据应用模式包括挖掘类、数据实验室、机器查询、仪表盘、固定报表、自动查询等等。 建立“模型实验室”现在越来越发挥了更大的作用我们能够基于结构化和非结构化的数据支持大数据模型的研发这个模型研发出来我们能够很快地把它部署到生产当中去能够为一些决策未风先管理服务。 在非结构化大数据的应用方面做探索比如客户行为偏好的数据录音文本、地理数据的应用、能耗数据的应用、媒体信息、员工行为数据等等。通过位置服务终端识别的新技术新数据的采用拒绝可疑风险事件上半年避免1.9万起避免客户损失1.4亿这种数据越来越大。7、未来场景化、标准化、平台化
刚才我提到了场景化我们希望能够把金融数据的服务将来标准化和平台化平台化之后能够在基础的大数据能力、基础数据的提供甚至一些分析数据的提供基础应用客户花香、征信评级的监测为无论是内部的客户还是外部的客户提供更好的大数据技术这是从技术方面来看大数据下一步做的工作。中国工商银行
中国工商银行软件开发中心信息科技专家王晓平
▼▼
1、工行大数据面临的挑战
如何处理数据量的快速增长首先全行的数据量的快速增长包括我们现在工行每天的交易量外部互联网金融工行的三大互联网平台造成用户的交易数据和行为数据有大幅的增长。 如何快速智能分析历史数据 工行从2000年开始建立数据仓库以来拥有了庞大的历史数据资产在新的环境下怎么能够快速地智能分析对我们提出了更高的挑战。
如何使用内外数据描述客户特征在数据源方面除了本单位数据也需要采纳外部的数据来配合进行分析。工行已经引入了征信数据、税务数据等怎么做到比较全的数据去描绘我行的客户特征这是作为我们的一个新的课题。
2、工行大数据战略思路
工行整个的战略思路是通过我们行的两库一司的建设来完善大数据体系。
两库是信息库和数据仓库数据仓库在工行的建设和银行的建设中都是比较传统的主要是应对我们之前的银行交易数据、账户数据采用结构化的数据存储来进行相关的处理。前两年的时候工行启动了信息库的建设主要指非结构的数据。
通过两库的建设我们还建设了一支分析师队伍能够对这些庞大的数据进行相关业务的加工处理和分析。3、发展阶段
工行大数据的发展历程可以分几个阶段从TB级已经进入了PB级的建设阶段接下去在可预见的几年内会进入EB级的庞大体量。
最早工行是2000年初那个时候大数据的领域更多的还是应用在一些报表的快速展现所以那个时候我们是基于比较传统的Oracle和SaaS做了T1的动态报表行领导和管理层能够在第二天上班前看到我们行昨天的经营数据这是最早建立的。 2007年工行基于当时最先进的企业级的数据仓库的体系架构启动了工行的企业级数据体系的建设做了全行统一的管理数据的大集中。
2010年基于我们的数据仓库的数据支持我们推出了工行的MOVA管理会计系统做了全行绩效考核的管理系统。
2013年随着外部形势的发展大量数据爆发式的出现我们引进了大数据领域在业界最流行的Hadoop技术在Hadoop基础上搭建了信息库发展是非常快的。
2014年工行基于大数据原来的大数据采用连机异部批量的方式通过文件存储的方式不管是数据仓库还是信息库在时效上相对来说比较慢所以自主研发了一个流数据平台能够提供实时或者准实时的流数据处理。
2015年下半年和今年正在推动分布式数据库的落地工作会和企业级数据仓库做一个互补。这是大数据的主要技术演进。
4、大数据体系
在大数据平台上我们可以把它抽象成如下几层
第一层是数据采集统一针对外部和内部的数据进行相关的数据收集包括日志信息、行为信息和业务信息。 再上面一层计算层是我们不单单提供了传统数据仓库的批量计算的能力也通过一些流数据的技术提供了实时的计算能力。
再上面一层应用层抽象了大数据相关的应用包括用户可以自定义的查询功能。通过这些信息的服务把这些服务抽象到我们的业务系统中通过我们的管理会计系统通过分析师平台、风险系统、营销系统为我们在数据的运营、风险控制和营销方面都提供相关的支持这就是主要的大数据分层体系。
4、分布式、开源、通用成为趋势
从大数据的起源开始数据仓库到目前的大数据新形势下数据仓库已经在做非常大的升级换代和变化。2014年工行从高成本封闭的专业系统如Teradata开始向高性价比、通用设备和开放技术的系统转变。
转型有两个原因
第一是数据量太大了原来只需要处理TB级已经转向需要处理PB级甚至以后EB级的数据量。如果是这么大的数据量运用传统的设备没有办法进行相关的处理。第二性价比我们做过测量通过开放式的弹性可扩展的普通PC服务器的方式比传统设备在成本上介绍十几分之一或者几十分之一。我们在新平台上一方面引进了Hadoop平台基于普通的PC服务器进行搭建短短一两年的时间已经扩展到150个节点存储空间已经超过1PB超过建设了十几年二十年的Teradata的数据容量。
另外我们在研究也会尽快落地的分布数据库会基于开源的底层架构基于普通的PC服务器完成数据仓库体系的扩充。后续在大数据的处理加工方面会基于分布数据库进行处理。
从目前的分析角度来看Teradata会保留着重在高端的分析师分析挖掘的探索性的工作方面。后续工行的大数据体系会采用多种技术路线、多种技术平台共存的方式。
5、非结构化数据信息库通过搜索
非结构化数据信息库的建设情况建行已经介绍了工行也有点像。信息库的建设原则因为非结构化的数据的量是非常大的所以我们的原则是信息库建设没有把非结构化建设进行物理存储的集中我们只是通过统一的搜索引擎让用户能够快速地搜索找到他需要的非结构化的信息。
6、风险防控是落地最快、最有成效的应用
工行在大数据应用方面主要侧重在风险方面。
工行通过大数据在事前、事中、事后三个环节的运用进行风险的柔性控制。简单地举一个例子事前比如银行卡的授信过程中或者信贷要进行发放做净值调查中数据能给它一个支撑。事中比如银行卡最近比较多地发生盗刷行为我们可以在事中通过大数据的方式发现银行卡的盗刷行为。事后可以根据事后的交易或者发生的事件进行相关的分析分析我们后续在业务的拓展或者风险控制方面有哪些需要进一步改进或者补救的工作。
这里举了几个简单的案例。非常好的大数据的应用场景
第一交易反欺诈需要利用大数据流数据的技术用户在做交易的过程中采用主机旁路技术交易没有完成之前通过大数据在内存中进行一个判断。 第二大数据怎么运用模型通过比较好的用户特征的总结和模型做一个监控。通过标签信息比如我们定义了两个标签一个是用户开户的地区比较广泛另一个他持有比较多的借记卡我们可以认为他涉嫌倒卖银行卡的嫌疑我们通过大数据的计算可以把这些人员抓出来可以进行后续的业务处理和防空。这也是大数据应用的比较好的方面。
第三现在各个银行业碰到的比较大的困境信贷资产的质量问题。工行持续在推动运用大数据驱防控信贷风险工行成立了信贷防控中心运用大数据技术在进行相关的防控。
中国农业银行
中国农业银行软件开发中心的专家赵维平
▼▼
1、银行在技术选择上相对保守
我们在2003年初开始搞大数据当时有很多困惑首先感觉到大数据到来了现在各个行业中央台什么东西都用大数据说话我们在银行业我们能做什么呢
早期在十几年前我们大家做数据仓库的时候大家可能选择面都很窄四大行除了我们没用TD其他都是用TD做的数据仓库。我们当时某系统也很痛苦计算资源可以扩但IO能力就在那里。当时觉得列存储带来很大的优势处理通用的数据量减少了很多IO。平台选用什么还用传统的吗新型的怎么样
金融在有些技术的选择上还是相对比较保守的我们不会用最新的技术不会用最新的版本这也因为金融工委和国家人民银行对于我们的连续服务要求特别高一旦出了事情领导交不了差。
2、自主可控我们从几点入手
在自主可控上基础硬件、基础软件、数据模型、工具平台和制度管理都是自主可控的。
硬件方面采用华为的RH2288系列2C、docore、256内存、12 4T硬盘不同时期买的硬盘的容量是不一样的后来是4T之前是3T。 基础软件方面我们引进了国产的南大通用做的MPP架构数据库我们在原形试运行阶段从2013年圆形环境开始投产采用28个数据节点2014年3月份把它扩到56个节点。非结构化结构化的数据上游生产数据基本都是放在MPV架构数据库里使用起来技术上更流畅效率更好。Hadoop方面非结构方面目前使用的是CDH开源版大概有100个左右的Datanode。
数据模型方面我们结合先进的建模理论我们融合了范式和维度的思路。我们在主库核心层面基本是范式建模减少重复。维度方面由业务驱动的方式建立维度模型为主。
基础的工具方面大家知道有ETL、批量调度、源数据的管理这些东西都是我们自主开发的。我们制定了一套比较完备的规范、制度、方法、标准。
3、整体逻辑架构图
这是我们整体的逻辑架构图
数据源层上游的生产系统几乎全行所有的生产系统的数据到今年底已经全部进来了金融交易类百分之百都进来了现在有60多个上游系统通过一个交换平台交换平台不仅仅为大数据服务负责上游生产和下游数据消费系统总分行之间、总行各应用系统间数据交互的平台。数据处理层淡黄色指关系型的数据库也就是MPP架构数据库。操作数据区、非结构化数据区、历史数据平台、流计算流计算用Hadoop Stam架构。下面是Hadoop的东西。我们在整个大数据平台的结构化主库里分了基础数据库、共性加工区和指标区非结构化有操作数据区、非结构化处理和历史数据平台。影像那部分早期已经建好了为了减少网络压力基本上存在分行。跟传统不一样的是大数据平台的日加工时间目前在七八个小时早期批量一个是优化不到位一个是处理的分层所以用了Hadoop把ETL和操作数据区都放在Hadoop里因为可以节点多、计算能力强完成了ET的过程上游来的全量数据在这里做了归类生成了一个纯层量的数据减少了一天的批量时间几个小时提升33%的性能。数据集市层现在规划8个数据集市跟其他行没有太多区别客户营销、风险管控、外部监管对分行服务的集市各行服务的对象都是一样的。底下研了数据提取平台外部监管和数据提取任务特别重早期都得到生产去导带生成现在我们通过单独建一个环境把一些数据预加工好基本以宽表的模式以前做加法的事情变成了做减法至少80%的提出需求都在我的环境里直接提取大大减轻了人力。底下是分析挖掘平台ODM、SaaS都是农行已有的云大数据只是它的用户而已我们在Hadoop分装了应用为全行的分期挖掘提供服务支撑。对上层应用的服务有直接访问数据文件和外部服务和数据快速复制等技术和应用进行连接。应用主要是对资产负债领域、电子银行领域、信用卡和个人金融领域、风险和财务提供了一些支撑。大数据平台和集市我们建成了4个集市有3个集市在建的过程中今年分行下半年要搞分行集市的试点。应用我们提供统一的数据展示和服务。展示服务一个是对所有全行业的用户对所有行业监管的各种报送因为各种报送比较零乱点也比较多趋向不同部署也不一样底层做了统一调度、统一监控和ETL对全行描述类数据进行了统一管理包括我们的数据标准和数据质量管理都在这里统一进行。
4、硬件环境如何进行有效支撑
这是硬件的环境
在Gbase方面56是生产环境现在实现了56环境的双活这两个56环境同时在工作一个做T1当天的数据加工一个做隔一天的连级服务这样的话连级服务的能力按实侧的话会比以前做TD的测试中更强一点另外个人客户集市、资产负债集市还做了数据挖掘层次Gbase集成了WODM和SaaS。Hadoop的生产环境是92个datanode和2个namenode。我们现在Gbase有236个节点库内主副本的整个容量有5.2PB数据Hadoop的集群是150个节点容量是4.3PB。
568是56个数据计算环境8个是加载机56个环境每个节点是12块3T的硬盘有2块做Read1是存放操作系统和重要的参数信息和数据库环境其他10个环境是Read5来存放数据一个节点存放有效数据10几个T56的环境里有效数据将近300个TGbase有5到10的压缩比各个字段可以选择压缩去300个TB的数据换算成仓外的文本量就算简单乘以300T也是1.5PB以上现在折算成1.8PB左右是PB级的。我们跟Gbase从这个时候开始合作我们在八方面跟他们共同做了一些优化工作跟Gbase做了大量优化有近百个优化的细项。MPP数据库我们搭建了双活机制两个库之间的同步加验证现在每天大概是22TB的数据仅需要3小时。早期在给主库做备份的时候100TB的数据有小40个小时后来我们用了Hadoop做备份100TB用了不到10小时大家用TB备份一直是比较难的事情在Hadoop方面我们做了大量基础性的工作非结构化的数据、文件的服务、数据的备份等等。我们做了MPP和Hadoop的交互有些应用要交互我们做了非结构化MPP和HDFS之间的融合。后来启用了MPP和Hadoop之间的备份大大提高了效率300T也需要将近20个小时所以我们做了双活如果双活稳定的话我们就不用备份数据了。开发的基础工具包括ETL工具、批量调度、整个的监控和统一访问层监控这块我们还做了健康检查通过SaaS把半年的日志交过去最后生成一些模型给我预测整个系统运行的安全状况。数据混搭的模型设计我们有一套完整的方法论能保证数据的准确、稳定、完整和可用。同时我们在方法论、开发规范、数据规范和流程规范都积攒了一系列文档。整个模型是分层的操作数据区、基础数据区、共性加工区、指标层和集市层完成了客户的统一试图、产品的统一管理和客户的精准营销和风险管控等等。通过6个方面对大数据平台的数据进行了全生命周期的管理包括建模、验证、清理、准入、数据地图和一些规范。
4、如何充分体现大数据的价值
我们在大数据的建设中充分体现了数据的价值
分析挖掘上跟业务融合分别在多个领域写出了20多份分析报告有精准营销和业绩价值等九个方面都落到不同的应用去尝试实现。培养的人才对SaaS、Spack、R语言熟悉这些算法对聚类、分类、回归、神经网络等等进行了研究要好用建立一套多场景的实验环境流水线式的作业、组建化的模型集脱拉拽式的服务使业务人员能更快地使用我的系统。多个技术对用户来讲是透明的用户要使用的话非常方便。我们展示了非常完整的服务对基础环境融合对资源的管理展现进行全覆盖部署的模式也是收放自如的展现也突破了传统的思维我们在报表展示层面是可交付的、动态的可以放大缩小可以按某一列去排序可以锁定表头不是一个静态的页面报表是可操作的。
中国银行
中国银行总行软件中心上海分中心副总经理牛晓峰
▼▼
1、思考大数据没有成功的原因是什么
2015年下半年将近年底Ganner对这1000多家企业和机构做了另外一次调查大数据项目成功上马的不到9%为什么Ganner对他们没有成功做了原因的分析其中比较重要的几条是这样的。
排在第一位的是无法挖掘出数据的价值是什么 第二位是企业或机构没有明确的大数据的战略目标和战略规划 第三是缺乏核心技术 第四是无法有效的整合数据资源 第五是企业的内部无法对大数据的实施和规划达成共识。 总结了这样一些不太顺利的原因之后我觉得有一个清晰的完整的系统性的战略规划对中国银行以后大数据的建设的作用是非常巨大的。
2、中行特别之处
中行的战略方向
以平台为支撑构建大数据的技术体系 以数据为基础充分整合数据资源 以应用为驱动深入挖掘数据价值 以人才为核心提升数据分析能力以平台为支撑构建大数据的技术体系。我们把大数据的技术体系分成战略层面、规划层面和设计及交付层面在这里面最重要的是大数据的体系架构分为业务架构、应用架构、信息架构和技术架构四个不同的架构在这四个不同的架构里分别支撑我们的业务流程和端到端的场景及应用的组建及分析模块最后是设计跟交付。
我们在实施的方面采用分行试点的模式有很多的调查机构在对大企业实施大数据项目做了总结之后发现大数据的项目实施方法上分两个流派一个流派是自顶向下的上来规划很大的大叔据的东西从地层往下逐渐延伸累了大量的数据在这里面做清洗分析在这里面找规律再看这个企业怎么从数据里得到什么样的东西。另一个流派是从底向上的先看需要哪些东西再对这些数据进行整合。我看了很多相关的实例之后后一个方法在现阶段的效果会更明显有了清晰的需求才会更准确的对位需求的产品。所以我们在大数据实施的策略上采取小步快跑、快速迭代、迅速试错的方式。
3、中银开放平台是中行大数据实施例子之一
中银开放平台2014年IDC金融的大奖去年获得人民银行的奖亚洲金融家组织把它评为今年最佳的金融云服务产品这个产品是我们对大战略的落地实施的例子。这个产品的主要设计思路是我们把整个中国银行的大数据进行了归并整理之后开发了1000多个标准的API接口这些API接口可以用与我们的分行甚至我们的客户在我们规划的未来里可以通过这些API访问和使用中国银行的数据用于加工得到自己想要的相关结果。
目前已经有很多分行利用这样的平台开发出了很多比较受欢迎的产品大家如果有兴趣的话可以在苹果的APP Store或者安卓的平台下载这个产品看一下。
4、让数据发挥最大价值
1、我们非常希望在合规的前提下充分利用银行外部的数据服务。因为银行或者金融企业的数据在深度上不是一般的互联网企业能够比拟的如果我们金融行业跟其他的相关企业进行有效的数据交换大家彼此利用对方的优势就能够使我们这个数据得到更完美的使用。
2、以应用为驱动深入挖掘数据价值。做大数据应用的场景产品。此外中国银行还推出来口碑贷、中银沃金融的服务都是按照这个思路去进行我们产品的组合规划和设计。
3、精准地建设客户的营销平台把线下的客户信息和线上的客户行为统一在一起把结构化的数据和非结构化的数据有机地提炼并且整合争取能够精确地描述客户的各项属性特征。
农行专家大数据时代智能风控体系建设实践 https://www.secrss.com/articles/4496 「最全最新」农业银行数据库使用实践和发展规划 http://www.sohu.com/a/318297857_374240 大数据分析的集中化之路—建设银行大数据应用实践 http://www.360sdn.com/bigdata/2017/1229/16485.html?oalerkke2zy2 中兴通讯大数据平台在中国农业银行的应用 https://blog.csdn.net/sunhf_csdn/article/details/80133233
