金融数据中心网络架构与技术（银行数据中心网络架构）

今天给各位分享金融数据中心网络架构与技术的知识，其中也会对银行数据中心网络架构进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！

本文目录一览：

• 1、数据中心为什么需要大二层网络
• 2、数据中心网络架构扁平化到两层的方式有何弊端？
• 3、如何搭建现代化的云计算数据中心？
• 4、互联网金融平台开发技术架构到底是怎样的
• 5、数据中心是什么？其系统结构和工作原理是怎样的呢？

数据中心为什么需要大二层网络

数据中心为什么需要大二层网络？

在开始之前，首先要明确一点，大二层网络基本上都是针对数据中心场景的，因为它实际上就是为了解决数据中心的服务器虚拟化之后的虚拟机动态迁移这一特定需求而出现的。对于普通的园区网之类网络而言，大二层网络并没有特殊的价值和意义（除了某些特殊场景，例如WIFI漫游等等）。

所以，我们现在所说的大二层网络，一般都是指数据中心的大二层网络。

1 传统数据中心网络架构

我们看到，这种网络架构其实和园区网等网络的架构是一样的，这种架构相当于零售行业的“加盟店”形式，而与之相对应的“三层到边缘”架构，以及我们下面要谈到的“大二层”架构，就相当于“直营店”了。

之所以***用这种网络架构，是因为这种架构非常成熟，相关的二三层网络技术（二层VLAN+xSTP、三层路由）都是成熟的技术，可以很容易的进行部署，也符合数据中心分区分模块的业务特点。

但是这种网络架构对于数据中心来说，其实是隐藏着一个弱点的，是什么呢？

2 服务器虚拟化趋势

由于传统的数据中心服务器利用率太低，平均只有10% 15%，浪费了大量的电力能源和机房***。所以出现了服务器虚拟化技术。

服务器虚拟化技术是把一台物理服务器虚拟化成多台逻辑服务器，这种逻辑服务器被称为虚拟机（VM），每个VM都可以独立运行，有自己的OS、APP，当前也有自己独立的MAC地址和IP地址，它们通过服务器内部的虚拟交换机（vSwitch）与外部实体网络连接。

通过服务器虚拟化，可以有效地提高服务器的利用率，降低能源消耗，降低客户的运维成本，所以虚拟化技术目前得到了广泛的应用。（至于为啥有这些好处，我就懒得去说了，有兴趣的话可以自己问一下度娘，总之服务器虚拟化就是个好东东啦）

PS：VMware是服务器虚拟化领域的市场领先产品和创新品牌，提供一整套VM解决方案的软件。除了VMware之外，业界还有微软Hyper-V和Xen等服务器虚拟化软件。

3 虚拟机动态迁移

我们继续回到数据中心网络上来。

本来，服务器虚拟化对于数据中心网络来说，也没啥特别大的影响，无非就是接入的主机规模变大一些而已（原来一台物理服务器算一个主机，现在每个VM算一个主机），还是可以用二三层网络架构来连接的，规模变大了，多划分一些二层域就行。

但是服务器虚拟化之后，带来了一项伴生的技术，那就是虚拟机动态迁移，这就给传统的数据中心网络带来了很大的麻烦。当然在讲麻烦之前，我们先得搞清楚虚拟机动态迁移是怎么回事。

所谓虚拟机动态迁移，就是在保证虚拟机上服务正常运行的同时，将一个虚拟机系统从一个物理服务器移动到另一个物理服务器的过程。该过程对于最终用户来说是无感知的，从而使得管理员能够在不影响用户正常使用的情况下，灵活调配服务器***，或者对物理服务器进行维修和升级。

说白了，动态迁移就是让虚拟机搬家，但是要求搬家的时候，虚拟机上运行的业务还不会中断，外面的用户察觉不到。

搞清楚虚拟机动态迁移是怎么回事之后，我们来看到底这个技术给网络带来了什么麻烦。

4 虚拟机动态迁移对网络的影响

对于数据中心来说，二三层网络架构是有一个弱点的，那是什么弱点呢？这个弱点就是服务器的位置不能随便在不同二层域之间移动。

因为一旦服务器迁移到其他二层域，就需要变更IP地址，TCP连接等运行状态也会中断，那么原来这台服务器所承载的业务就会中断，而且牵一发动全身，其他相关的服务器（比如WEB-APP-DB服务器之间都是相互关联的）也要变更相应的配置，影响巨大。

（这和园区网不一样，园区网里面接入的办公PC等，换一个办公区，换一个二层域，重新获取一下IP地址，对于业务来说，几乎没什么影响）。

幸好在传统的数据中心中，物理服务器位置的跨二层域迁移的场景是非常少见的，而且即使发生迁移，也都是物理层面的，业务肯定都已经中断了，更换IP地址所以这个隐患并不明显。

但是在服务器虚拟化之后，虚拟机的动态迁移会成为一种经常出现的场景。为了保证迁移时业务不中断，就要求在迁移时，不仅虚拟机的IP地址不变，而且虚拟机的运行状态也必须保持原状（例如TCP会话状态），所以虚拟机的动态迁移只能在同一个二层域中进行，而不能跨二层域迁移。

而传统的二三层网络架构限制了虚拟机的动态迁移只能在一个较小的局部范围内进行，应用受到了极大的限制。

所以，为了打破这种限制，实现虚拟机的大范围甚至跨地域的动态迁移，就要求把VM迁移可能涉及的所有服务器都纳入同一个二层网络域，这样才能实现VM的大范围无障碍迁移。

就好比你原来住在南京，现在迁移到苏州了，原来各城市的社保系统是独立的（小二层网络），所以你要办理社保关系迁移（IP地址变更），办过的人都知道这有多痛苦。

而据说从2015年开始整个江苏省的社保系统现在纳入统一管理了（大二层网络），那么从南京迁移到苏州，人过去就行了，社保关系不需要任何变更（IP地址不变，业务不中断）。

这就是大二层网络！一个真正意义的大二层网络至少要能容纳1万以上的主机，才能叫做大二层网络。

数据中心网络架构扁平化到两层的方式有何弊端？

个人觉得从传统的三层到二层，其实不能说有什么弊端，只是说是还是有其缺点所在。

认真来说数据中心网络架构从传统的三层架构到二层扁平化架构演进，技术路径是正确的，在二层架构上带来了大量的性能和管理上的好处，这些内容估计您已经听够了。

然而,在面对数据中心访问层提出了新的要求,特别是在相同的VLAN虚函数在网络部署的要求,网络供应商经常会将架构推向极端,例如,思科的DFA技术。他们做的唯一一件事就是把我的网络作为一个大的开关，然后你拿起这个端口，随机的Vlan，虚拟机被任意地部署，而第二层是任意扩展的。

但是制造商错估了需求，市场还没有准备好，所以客户现在还不买账，你可以看看现在有多少客户在使用它。

至于缺点,技术不成熟是一方面,我认为这个问题实际上是客户的商业模式的本质并没有改变,原来是划分业务区的，现在部署在了Juniper的VC上也好，Cisco的7-5-2上也好，业务还是划分区域的，只是改变了服务器***的位置,仅此而已。因此，变革的本质是商业模式的转变。好的技术没有相应的商业模式支持也是一堆废铁…

当然，变更成本太高，也应该是它的一个弊端了。

最后说一下，现在的每一种架构，理论上来讲都是有前一种架构升级而来的，所以对方之前的都应该会是更有优势的，但在流行性方面还需要人们花时间去改变。

如何搭建现代化的云计算数据中心？

在云计算和大数据遍地开花的今天，很多个人及企业级客户对自己的数据存放环境并没有一个很直观的认识，包括电商从业者（云主机，云空间），私有云、公有云及混合云企业用户等等。

而数据中心内部结构繁多、组成复杂，经过多年行业积累，客户在选择数据中心时主要关注数据中心等级、选址标准、建筑与结构、电力、暖通、消防、监控和网络这几个方面。

数据中心内部整体结构

1、数据中心分级标准

目前对数据中心的分级，最常用的有国内和国际两种标准：

1）在国内标准《电子计算机机房设计规范》（GB50174-92）中主要从机房选址、建筑结构、机房环境、安全管理及对供电电源质量要求等方面对机房分级，可分为A（容错型）、B（冗余型）、C（基本型）三个级别（建议企业选择A级别和B级别的机房）；

2）在美国标准TIA-942《数据中心的通信基础设施标准》中主要是根据数据中心基础设施的“可用性”、“稳定性”、和“安全性”分为四个等级：Tier Ⅰ，Tier Ⅱ，Tier Ⅲ，Tier Ⅳ（企业更多会青睐于Tier Ⅲ和Tier Ⅳ级别的机房）。

2、选址标准

从数据中心基本选址要求角度出发，需满足以下条件：

1）  距离停车场≥10米；

2）  距离铁路或高速公路≥100米（不包括各场所各自身使用的机房）；

3）  距离飞机场≥1600米（不包括各场所各自身使用的机房）；

4）  距离化学工厂中的危险区域\垃圾填埋场≥400米（不包括化学工厂所各自身使用的机房）；

5）  距离***库≥1600米（不包括***库所各自身使用的机房）；

6）  距离核电站的危险区域≥1600米（不包括核电站所各自身使用的机房）；

此外，不允许在有可能发生洪水的地区、地震断层附近或有滑坡危险区域、高犯罪率地区设置机房。

3、建筑与结构

1）  建筑结构建议***用钢筋混凝土框架结构或钢筋混凝土框架加剪力墙结构；

2）  抗震设防分类应不低于丙类，抗震烈度不低于7级；

3）  楼层层高≥4.6米；

4）  楼板承重需满足以下条件：

主机房楼板承重：800~1000 Kg/㎡；

不间断电源系统室楼板承重：800~1000 Kg/㎡；

电池室楼板承重：1600 Kg/㎡；

钢瓶间楼板承重：800 Kg/㎡；

5）  防静电活动地板的高度≥400mm。

4、电力系统

高等级数据中心电力需满足以下条件：

1）  电力供应需满足整体所需电力；

2）  两路市电接入，分别来自同城2个不同的变电站；

3）  不间断电源系统（UPS）电池备用时间不能少于15分钟；

4）  配置备用柴油发电机组N+1模式。

5、暖通系统

暖通系统由空调机组和新风系统组成。

机房内冷通道和热通道需分离，冷通道内温度需控制在18-28℃，机房湿度需控制在30-70%。

6、消防系统

消防系统主要由灭火系统和火灾报警系统组成。

机房内常用灭火系统主要有两种，分别是FM200气体灭火系统和IG541气体灭火系统；辅助区域设置水喷淋系统。

7、监控系统

监控系统包括环境监控、设备监控、安全监控和大屏幕显示监控。

其中，环境监控系统包括：配电监控、空调监控、机房环境监控、柴油发电机监控、UPS电池组监控和机柜电流监控；

安全监控包括：门禁系统、***监控系统和防盗报警系统。

8、网络

网络需***用不同的骨干链路接入物理路由，实现双链路双冗余。

机房标识小知识

机房标准：

随着云计算的不断发展，企业对数据中心的级别要求越来越高，高等级机房越来越成为当今的趋势。所以本篇我们会着重介绍A级机房以及Tier 3、Tier 4级别机房的标准。

A级机房

A级机房，是指其场地设备不应因操作失误、设备故障、外电源中断、维护和检修而导致电子信息系统运行中断，可达到容错型要求的机房。在保证系统正常运行的标准中，电力系统和暖通系统是最为关键的。

什么行业需要使用A级机房

不同行业对机房的要求是不一样的，其中金融行业的要求最为严格。金融数据中心需满足安全可靠的标准，主要表现为对基础设施的要求非常高。那么，何为安全可靠的数据中心？体现在两点：基础设施满足符合国家A级机房标准；消除单点故障隐患点。除此之外，其他行业也有部分客户对数据中心的要求非常高，此类企业也多会选择A级机房，用来保证业务、数据等各方面的稳定性和连续性。

Tier 3和Tier 4级别标准的主要差别

有孚网络云计算数据中心等级

有孚网络拥有强大的云计算数据中心***，以北京、上海、广州、深圳为核心分布至各个区域，总建筑面积100,000㎡+，机房面积60,000㎡+，接入电信、联通、移动、铁通等多家运营商的骨干网络，并拥有覆盖全国的优质BGP***。

在众多***中，有孚网络云计算数据中心均按照高等级标准建造，达到国家A级标准或国际Tier 3级别以上标准，基础设施配置完善，服务内容全面，部分机房可根据客户需求进行机房***独享模块定制化，在提供高等级数据中心***的同时，提供高标准的专业化服务。

安得广厦千万间，又如何才能风雨不动安如山？古代寒士道出此番领悟，感叹怎样才能得到千万间宽敞高大的房子，房子在风雨中也不为所动，安稳得像是山一样？对于企业来说，要满足其IDC未来业务发展需求，找到安稳坚固的数据中心，显得尤其重要。那么，我们就来谈谈数据中心选址和建筑的那些事儿。

选址标准和建筑结构，作为企业对数据中心外部环境和建筑物考虑的一个重要因素，涉及到很多方面，并且随着数据中心发展的成熟以及客户需求的不断提高，高等级数据中心已是大势所趋。金融行业，作为高标准高要求的行业，所选数据中心首先必须满足国家A级机房的选址和建筑要求。

选址标准

我们可以先简单了解下国家A级机房在机房位置选择上的主要要求：

距停车场的距离要在20m及以上；

距铁路或高速公路的距离要在800m及以上；

距飞机场的距离要在8km及以上；天

周边400m内不得出现化工厂危险区域及垃圾填埋场；

周边1.6km内不得出现***库、核电站危险区域等。

建筑结构

同样，国家A级机房在建筑结构上也设定了相关的要求，主要标准如下：

抗震烈度不低于7级；

楼层层高≥4.6米；

楼板承重需满足以下条件：

主机房和不间断电源系统室楼板承重：800~1000 Kg/㎡；

电池室楼板承重：1600 Kg/㎡；

钢瓶间楼板承重：800 Kg/㎡。

防静电活动地板的高度≥400mm。

金融业的选择标准

事实上，金融行业在考虑数据中心地理位置及建筑结构的时候，除了以上这些必不可少的因素外，还有更加严格的要求标准。

地理位置：周边不得有危险品工厂，并且极少有自然灾害发生；

建筑条件：机房要有能力提供单独的VIP包间；

周边配套设施：周边配套设施需完善，选择交通便利的数据中心（靠近地铁站或距市中心近），在现场访问及后期维护的时候能够带来极大的交通便利；周边要配备餐饮、超市等设施，并且3km内需要有能租住的配套完善的公寓、大型居民区、酒店式公寓等；

周边环境考察：在北京、上海、广州这几个数据中心聚集地区，都会有金融行业的数据中心集群区域，那么金融行业在选择第三方数据中心的地理位置时必然会优先考虑这些区域。 除此之外，周边金融环境、数据中心入驻的金融客户等都会成为选址考虑的因素；

电力因素：金融行业数据中心必须有双路市电引入且来自两个不同变电站，以保证电力的持续供应，故在选址时应考虑数据中心市电接入的两个变电站的供电情况。

有孚网络云计算数据中心有哪些优势？

上海有孚网络股份有限公司拥有大型的自建云计算数据中心以及合作的高等级云计算数据中心***，运营管理经验超过15年。以北京、上海、广州、深圳为核心辐射各个区域，机房毗邻地铁沿线，可提供丰富的机房***独享模块定制服务，包括网络、带宽、电力、机房面积、运维服务、可扩展性、容灾、***预留等。此外，部分大型云计算数据中心建在当地金融行业数据中心集群区域内，受周边成熟金融数据中心的辐射影响，具有得天独厚的地理优势。

现代数据中心供电系统的典型架构：

现代数据中心供电系统的典型架构

有孚网络自建及合作的云计算数据中心已经覆盖北京、上海、广州、深圳等地，并通过这些核心节点辐射各大区域。高等级标准建造，电力系统满足A类机房要求，每个云计算数据中心均引入来自不同变电站的双路市电，拥有双路UPS并行输电，并配置双路柴油发电机，提供不间断电源，保障业务安全、稳定、可持续发展。

对于金融行业数据中心来说，要满足其安全可靠的要求，供电系统需达到A级标准。那么，在A类级别的数据中心中，它的供电系统又是怎么要求的呢？

1、  由来自两个不同的变电站引入两路市电电源，同时工作、互为备用；

2、  机房内设有能够满足UPS电源、机房空调、照明等设备用电的专用柴油发电机，且备用有同样标准的柴油发电机，即柴油发电机系统需达到：(N+X)冗余 (X=1，2，3，4……)的要求；

3、  为了使数据中心的电力持续供应，需使用两套独立的UPS供电系统，来保证数据中心的供电，即UPS系统需达到：2N或M(N+1) 冗余 (M=2，3， 4……)的要求；

4、  其中，市电电源间、市电电源和柴油发电机间均可通过ATS（自动切换开关）进行切换，电源列头柜用来进行电源分配和供电管理，以提高供电系统的易管理性。

金融行业在供电方面除了需要满足以上要求外，还需满足其他相关电力要求：

1、  市电中断，发电机30秒自启动；

2、  市电电源为10KV以上；

3、  空调设备***用双路电源供电；

4、  不间断电源电池单机容量备用时间大于等于15分钟；

5、  要求***用专用配电箱(柜)，专用配电箱(柜)应靠近用电设备安装；

6、  用于电子信息系统机房内的动力设备与电子信息设备的不间断电源系统应由不同回路配电；

7、  自动转换开关检修时，不应影响电源的切换。

云计算与存储是未来商业的发展趋势，无论是互联网界还是传统企业通过搭建数据中心可以更好的掌握用户数据，为用户提供可靠的定制服务。从用户的角度来讲，企业搭建数据中心也是用户的选择。

（注：本文特约上海十佳IDC服务商之一的有孚网络（共承担了6项国家及地市级专项课题），将云计算数据中心的最佳实践与众多相关从业者分享。上海有孚网络股份有限公司创立于2001年，拥有超过15年的IDC运营管理经验，并形成了一套完整的自有云计算数据中心体系，为成千上万家客户提供专业的产品与服务。）

互联网金融平台开发技术架构到底是怎样的

有的平台***用外包或购买技术平台，没有能力去进行系统的研发和升级，面临着极高的风险。因为系统来自外部，代码完全失控;企业自身也没有安全评估能力，没有专职人员制定安全方案，安全风险极高!

而且因为没有开发能力，当市场发生剧烈变化时候，技术平台无法快速适应市场变化;哪怕对系统功能做简单的修改，也要联系外包团队修改系统，需要跨公司沟通、讨价还价，而且外包团队常常也无***确理解业务需求，效率低下，反应极慢!!

有些靠谱的优秀理财平台，很快意识到在IT技术实力是互联网金融的核心竞争力之一。有意识的逐渐加强技术力量，建立专业互联网技术团队。这样的技术团队自主开发系统，代码完全在本企业的控制之下;并有专业队伍不断跟踪最新安全动态，制定完善的安全方案，安全风险可控制;同时也能够对系统进行持续研发和精心规划下的升级改造，从而更好的适应市场变化，服务平台内部和外部的用户。

因此面临行业机遇期的融资理财平台，应该建立起自己的技术团队，打造专业化的互联网技术能力。

现在是移动互联网时代，普通用户可以通过多种客户端进行投资理财。有实力成规模的融资理财平台的技术开发，除了需要开发传统的PC版投资网站，还需要开发移动平台，包括：IOS版与安卓版APP、微信端、手机版WAP网站等面向普通理财者的投资平台;为了提高风险控制能力，提高工作效率，应该要将风控能力系统化、程序化，不断实现与各种数据对接，包括第三方征信数据接入工作也要不断推进。

为了更好的承载各项业务发展，在具体技术架构方面，服务端技术应该***用业界先进的开发框架，比如选定的开发框架应该***用选定的架构下，应该能够很方便的扩展，使用、再开发或再发布扩展;要尽量***用了大量久经考验，开箱即用的技术特性，从而大大提高技术开发效率;团队应该始终对开发趋势和其他框架和其他项目中最佳实践保持密切关注，随时准备引入先进的各种技术手段。

针对移动端技术架构，基于同一工程分层，界面处理及业务逻辑分开处理，实现高内聚，低耦合的设计目的;网络层***用成熟稳定的技术方案，通过数据压缩、加密，提升网络连接的高效性及安全性;界面层***用自动适应策略，实现一套方案，多机型适配，节省开发成本，增强项目可维护性。

另外，作为一家互联网金融企业，技术团队要始终把安全放在第一位，竭尽全力保障投资人的资金安全与信息安全。参照国家信息系统安全等级保护的要求 ，制定综合的安全治理措施，主要应该包括3个方面：

1. 基础技术设施安全建设

***用企业级防火墙

HTTPS数据传输加密

分布式数据存储与备份

抗DDOS服务

跟踪最新漏洞，及时系统升级

2. 提高代码的安全性

制定代码规范和各种开发规范，确保开发人员能够写出安全的代码

开发代码扫描工具，扫描代码

代码审查，代码交叉审核

单元测试与自动化测试

3. 建立监控与反馈系统

1. 及时发现潜在的问题，化被动为主动;

2. 为可能发现的问题，制定应急预案;

3. 监控重点敏感数据与功能，发现异常及时进行阻断和报警;

最后，技术团队要为整个技术平台，制定出长期的改善目标，比如应该包括：

1. 持续改善系统架构,更好地支持业务扩展

2. 降低系统耦合,提升对变化的响应速度

3. 建立更完整 的公共平台、基础框架、基础类库，提高开发效率

4. 合理地增加或减少系统间交互，提升系统性能、稳定性

5. 完善配置、监控、预警、日志系统，提升系统运维效率及发现问题的速度

互联网金融趋势刚兴起不久，各种业务还在持续快速发展变化。技术架构的改进也没有止境，高达软件作为18年软件服务商未来的路还很长，系统功能需要不断丰富，各项工作还需要改进。只有始终深耕互联网金融技术领域，不断满足用户的期望，全力打造一个值得信赖的融资理财平台，才能与信赖我们的客户一起实现更多更大的梦想!

数据中心是什么？其系统结构和工作原理是怎样的呢？

一直想整理一下这块内容，既然是漫谈，就想起什么说什么吧。我一直是在互联网行业，就以互联网行业来说。

先大概列一下互联网行业数据仓库、数据平台的用途：

整合公司所有业务数据，建立统一的数据中心；

提供各种报表，有给高层的，有给各个业务的；

为网站运营提供运营上的数据支持，就是通过数据，让运营及时了解网站和产品的运营效果；

为各个业务提供线上或线下的数据支持，成为公司统一的数据交换与提供平台；

分析用户行为数据，通过数据挖掘来降低投入成本，提高投入效果；比如广告定向精准投放、用户个性化推荐等；

开发数据产品，直接或间接为公司盈利；

建设开放数据平台，开放公司数据；

。。。。。。

上面列出的内容看上去和传统行业数据仓库用途差不多，并且都要求数据仓库/数据平台有很好的稳定性、可靠性；但在互联网行业，除了数据量大之外，越来越多的业务要求时效性，甚至很多是要求实时的 ，另外，互联网行业的业务变化非常快，不可能像传统行业一样，可以使用自顶向下的方法建立数据仓库，一劳永逸，它要求新的业务很快能融入数据仓库中来，老的下线的业务，能很方便的从现有的数据仓库中下线；

其实，互联网行业的数据仓库就是所谓的敏捷数据仓库，不但要求能快速的响应数据，也要求能快速的响应业务；

建设敏捷数据仓库，除了对架构技术上的要求之外，还有一个很重要的方面，就是数据建模，如果一上来就想着建立一套能兼容所有数据和业务的数据模型，那就又回到传统数据仓库的建设上了，很难满足对业务变化的快速响应。应对这种情况，一般是先将核心的持久化的业务进行深度建模（比如：基于网站日志建立的网站统计分析模型和用户浏览轨迹模型；基于公司核心用户数据建立的用户模型），其它的业务一般都***用维度+宽表的方式来建立数据模型。这块是后话。

整体架构下面的图是我们目前使用的数据平台架构图，其实大多公司应该都差不多：

请点击输入图片描述

逻辑上，一般都有数据***集层、数据存储与分析层、数据共享层、数据应用层。可能叫法有所不同，本质上的角色都大同小异。

我们从下往上看：

数据***集数据***集层的任务就是把数据从各种数据源中***集和存储到数据存储上，期间有可能会做一些简单的清洗。

数据源的种类比较多：

网站日志：

作为互联网行业，网站日志占的份额最大，网站日志存储在多台网站日志服务器上，

一般是在每台网站日志服务器上部署flume agent，实时的收集网站日志并存储到HDFS上；

业务数据库：

业务数据库的种类也是多种多样，有Mysql、Oracle、SqlServer等，这时候，我们迫切的需要一种能从各种数据库中将数据同步到HDFS上的工具，Sqoop是一种，但是Sqoop太过繁重，而且不管数据量大小，都需要启动MapReduce来执行，而且需要Hadoop集群的每台机器都能访问业务数据库；应对此场景，淘宝开源的DataX，是一个很好的解决方案（可参考文章 《异构数据源海量数据交换工具-Taobao DataX 下载和使用》），有***的话，可以基于DataX之上做二次开发，就能非常好的解决，我们目前使用的DataHub也是。

当然，Flume通过配置与开发，也可以实时的从数据库中同步数据到HDFS。

来自于Ftp/Http的数据源：

有可能一些合作伙伴提供的数据，需要通过Ftp/Http等定时获取，DataX也可以满足该需求；

其他数据源：

比如一些手工录入的数据，只需要提供一个接口或小程序，即可完成；

数据存储与分析毋庸置疑，HDFS是大数据环境下数据仓库/数据平台最完美的数据存储解决方案。

离线数据分析与计算，也就是对实时性要求不高的部分，在我看来，Hive还是首当其冲的选择，丰富的数据类型、内置函数；压缩比非常高的ORC文件存储格式；非常方便的SQL支持，使得Hive在基于结构化数据上的统计分析远远比MapReduce要高效的多，一句SQL可以完成的需求，开发MR可能需要上百行代码；

当然，使用Hadoop框架自然而然也提供了MapReduce接口，如果真的很乐意开发J***a，或者对SQL不熟，那么也可以使用MapReduce来做分析与计算；Spark是这两年非常火的，经过实践，它的性能的确比MapReduce要好很多，而且和Hive、Yarn结合的越来越好，因此，必须支持使用Spark和SparkSQL来做分析和计算。因为已经有Hadoop Yarn，使用Spark其实是非常容易的，不用单独部署Spark集群，关于Spark On Yarn的相关文章，可参考：《Spark On Yarn系列文章》

实时计算部分，后面单独说。

数据共享这里的数据共享，其实指的是前面数据分析与计算后的结果存放的地方，其实就是关系型数据库和NOSQL数据库；

前面使用Hive、MR、Spark、SparkSQL分析和计算的结果，还是在HDFS上，但大多业务和应用不可能直接从HDFS上获取数据，那么就需要一个数据共享的地方，使得各业务和产品能方便的获取数据； 和数据***集层到HDFS刚好相反，这里需要一个从HDFS将数据同步至其他目标数据源的工具，同样，DataX也可以满足。

另外，一些实时计算的结果数据可能由实时计算模块直接写入数据共享。

数据应用

业务产品

业务产品所使用的数据，已经存在于数据共享层，他们直接从数据共享层访问即可；

报表

同业务产品，报表所使用的数据，一般也是已经统计汇总好的，存放于数据共享层；

即席查询

即席查询的用户有很多，有可能是数据开发人员、网站和产品运营人员、数据分析人员、甚至是部门老大，他们都有即席查询数据的需求；

这种即席查询通常是现有的报表和数据共享层的数据并不能满足他们的需求，需要从数据存储层直接查询。

即席查询一般是通过SQL完成，最大的难度在于响应速度上，使用Hive有点慢，目前我的解决方案是SparkSQL，它的响应速度较Hive快很多，而且能很好的与Hive兼容。

当然，你也可以使用Impala，如果不在乎平台中再多一个框架的话。

OLAP

目前，很多的OLAP工具不能很好的支持从HDFS上直接获取数据，都是通过将需要的数据同步到关系型数据库中做OLAP，但如果数据量巨大的话，关系型数据库显然不行；

这时候，需要做相应的开发，从HDFS或者HBase中获取数据，完成OLAP的功能；

比如：根据用户在界面上选择的不定的维度和指标，通过开发接口，从HBase中获取数据来展示。

其它数据接口

这种接口有通用的，有定制的。比如：一个从Redis中获取用户属性的接口是通用的，所有的业务都可以调用这个接口来获取用户属性。

实时计算现在业务对数据仓库实时性的需求越来越多，比如：实时的了解网站的整体流量；实时的获取一个广告的曝光和点击；在海量数据下，依靠传统数据库和传统实现方法基本完成不了，需要的是一种分布式的、高吞吐量的、延时低的、高可靠的实时计算框架；Storm在这块是比较成熟了，但我选择Spark Streaming，原因很简单，不想多引入一个框架到平台中，另外，Spark Streaming比Storm延时性高那么一点点，那对于我们的需要可以忽略。

 我们目前使用Spark Streaming实现了实时的网站流量统计、实时的广告效果统计两块功能。

做法也很简单，由Flume在前端日志服务器上收集网站日志和广告日志，实时的发送给Spark Streaming，由Spark Streaming完成统计，将数据存储至Redis，业务通过访问Redis实时获取。

任务调度与监控在数据仓库/数据平台中，有各种各样非常多的程序和任务，比如：数据***集任务、数据同步任务、数据分析任务等；

这些任务除了定时调度，还存在非常复杂的任务依赖关系，比如：数据分析任务必须等相应的数据***集任务完成后才能开始；数据同步任务需要等数据分析任务完成后才能开始； 这就需要一个非常完善的任务调度与监控系统，它作为数据仓库/数据平台的中枢，负责调度和监控所有任务的分配与运行。

前面有写过文章，《大数据平台中的任务调度与监控》,这里不再累赘。

总结在我看来架构并不是技术越多越新越好，而是在可以满足需求的情况下，越简单越稳定越好。目前在我们的数据平台中，开发更多的是关注业务，而不是技术，他们把业务和需求搞清楚了，基本上只需要做简单的SQL开发，然后配置到调度系统就可以了，如果任务异常，会收到告警。这样，可以使更多的***专注于业务之上。

关于金融数据中心网络架构与技术和银行数据中心网络架构的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。