eygle.com   eygle.com
eygle.com eygle
eygle.com  
 

November 15, 2017

千丝万缕:Oracle扩展统计信息虚拟列引发OGG 1161错误

昨天有朋友在微信群提出一个问题,Oracle 12c GoldenGate 在复制时出现错误 OGG-01161 。

提示在 Trail 文件中,本应有 79 列,事实上出现了 93 列。

错误信息如下:

Bad column index (93) specified for table T_INITIAL_PREM, max columns = 79.

在检查数据表时,的确发现多出来很多列,这些列以 SYS_STS 开头,如果以 SYS_STS% 过滤,可以找到这些列:

WechatIMG12.png

那么这些列是怎么得来的?

查了一下文档确认:这是扩展统计信息生成的虚拟列 - Extended Stats Column 。

删除扩展统计信息,这些列就被清除了:

DBMS_STATS.DROP_EXTENDED_STATS(OWNNAME => 'MISBI',TABNAME => 'T_INITIAL_PREM',EXTENSION =>'("SALE_SVC_ID","SALECHNL","CTFLAG","CTVALIDATE","BANK_SELL_TYPE")');

这个案例提示我们,要注意学习Oracle的新特性,也要认真思考这些新特性可能带来的级联影响,按照六度关系理论,数据库中任何的修改都可能快速的关联到整个系统的核心稳定性上。

Posted by eygle at 9:39 AM | Permalink | Case (156)

November 7, 2017

百花齐放:十二大亮点抢鲜看,数据技术嘉年华11.17日北京盛放

毫无疑问,数据库领域已经进入了一个百花齐放的时代,一方面甲骨文公司携甲骨文和的MySQL的的两大数据库产品独占鳌头,一方面各种开源分支蓬勃发展衍生无数;一方面国外产品攻城略地,一方面国产数据库独树一帜。而随着数据库技术的发展,云化平台的广泛应用,数据智能化,运维智能化正在成为现实。我们相信未来企业都将是数据企业,而运未来维也。都将的英文智能运维。

2017年数据技术嘉年华大会,秉承汇聚专家,分享前沿技术,引领行业发展的理念,第七次盛放北京。(文末有详细的日程表与嘉宾主题介绍)

本次数据技术嘉年华大会,以『数据价值,未来智胜』为主旨,以『云,数据,智能』为核心议题,汇聚行业专家,共同探讨在云时代,如何让数据驱动业务,走向更加智能的数据时代

在大会即将拉开帷幕之际,让我总结大会日程亮点,向大家预告11.17〜11.18两日的精彩嘉年华。

1,风起云涌,云领未来 - 汇聚云技术的实践和创新

在云计算的下半场,云技术已经进入细分领域的落地阶段。本次大会汇聚了来自各个领域的技术前沿和客户应用实践,包括甲骨文,阿里云,腾讯云,京东云,EasyStack,云和恩墨,数人云,袋鼠云,上海富麦等企业的创新技术,也包括来自恒丰银行恒丰金融云,海通证券海通云的最佳实践。

众多专家齐集探讨云未来,{甲骨文副词总裁吴承杨将分享倍受关注的甲骨文的的PaaS的IaaS的战略,状语从句:恩云墨创始人盖国强将分享云恩状语从句:墨对于云时代,数据驱动及智能化运维大未来的理解和实践;阿里云的专家张云扬分享阿里云的下一代数据库PolarDB,腾讯专家李海翔分享金融云分布式数据库的事务处理技术;京东云专家王向飞将分享京东云数据库架构实践。

而来自国内云领域的创业企业,谷原歌数架构师人云王璞博士,开源的开栈领域的创新企业EasyStack总裁{副词周崇毅,他们将为大家带来关于容器化的云技术架构创新,云和恩墨产品状语从句:研发负责人熊军,也将分享云和恩墨集团团队专家和基于对数据行业的深入理解打造的zCloud数据库的PaaS云平台,来自袋鼠云的技术专家镇伟将分享基于阿里云的数据库云解决方案。

恒丰银行科技的服务管理部副总经理郑淼,他将和大家分析恒丰金融云探索实践,来自海通证券的云架构师王朝阳将大家状语从句:海分享通证券金融云思考与实践,上海来自富麦架构师的鲍琳将分享构建金融级数据库云的的实践经验。

11.JPG

2,数据时代,各取所需 - 12大数据库产品,汇聚精华前

本次嘉年华大会,设置『云时代的数据库』专场,汇聚国内外领先和广泛应用的数据库产品和解决方案,让大家各取所需,了解数据库领域的前沿。除了甲骨文公司的三大产品的甲骨文,MySQL,Timesten之外,国产数据库包括KDB,OceanBase,PolarDB,TDSQL,SequoiaDB,TiDB,Oushu数据库(HAWQ),还有广泛应用的开源产品ElasticDB,CockroachDB。

阿里在ElasticSearch数据库的使用上大有创新,更将之打造为具有搜索能力的分布式OLTP数据库,程实将首次对外分享这些创新;而CockroachDB作为受到谷歌的扳手项目启发而诞生的OLTP数据库,在百度内部已然被广泛应用,_来自_百度专家的严龙将分享小强数据库的应用实践。

12.JPG

数据时代,百花齐放,也给了用户更多的自由,可以各取所需,大会分享的大多数产品都是在中国特有的双11大考之后,来到大会分享最新的第一手经验,这必将是精彩纷呈的饕餮盛宴!菜已备好,客官请赶早!

3,创新创业,国际一流 - 国产数据库各展风流;

在本次嘉年华大会上,第一次有许多国产数据库的身影汇聚,而且各具代表性,KDB是传统关系型数据库,SequoiaDB是NoSQL的,TiDB是NewSQL分布式关系型数据库,Oushu数据库是源自HAWQ的企业级MPP数据库。当然这其中还包括MySQL的的PolarDB,TDSQL,以及阿里研发的Oceanbase。其实我们发现,国产数据库已经能够覆盖传统的关系型应用的NoSQL,NewSQL,MPP大数据库处理,以及几乎支撑中国互联网的整个江山。

这一次来自KDB数据库的人掌门江豫京,SequoiaDB巨杉数据库的创始人王涛,Oushu数据库的创始人常雷博士,TiDB总裁{副词申砾,首席架构师唐刘齐聚一堂。江豫京来自浪潮,代表了国产数据库传统模式的突围,王涛出自IBM,代表了DB2的理念的革新,而常雷博士曾任EMC高级研究员,EMC / Pivotal研发部总监,是Apache HAWQ创始人,申砾和唐刘都是国际开源项目的活跃者,从国内到国际,又从国际到国内,说英雄,谁是英雄?看数据,谁是数据之王?快来数据技术嘉年华!

13.jpg

4,两大VP,五位专家 - 尽展18c,MySQL 8.0理念 ;

次本嘉年华大会邀请了甲骨文公司{副词总裁及大中华区技术产品事业部总经理吴承杨先生状语从句:甲骨文来自总部的{副词总裁安德鲁霍尔兹沃思,为大家分享的甲骨文的18C产品创新,甲骨文的IaaS 2.0战略,同时还有来自甲骨文研发的宋利兵分享MySQL 8.0新技术,内存数据库产品经理杨琳分享了最新技术,此外还有Oracle首席云架构师郑军分享Oracle Cloud架构和最佳实践;除此之外,安德鲁牵头的RWP团队将再次线上精彩演出,曲卓,董志平一起带来精彩的18C展示分享和论坛。

5,阿里巴巴,双11 总结 - 蚂蚁金服,阿里云节后首秀;

今年的嘉年华大会,我们特别将时间定在双11之后,希望也由此可以获得最新鲜的年终大考总结。这其中所有游戏来自蚂蚁金服专家韩富晟的OceanBase主题,来自阿里云的专家张云扬分享阿里云的下一代数据库PolarDB,来自以及阿里巴巴运维团队的王佳毅,为大家分享双11的运维实践,阿里巴巴的CloudDBA-数据库智能优化理念探索也深受行业关注胡航丽将为大家分享这一产品设计理念和突出成果。


6,腾讯金融,京东金融 - 互联网金融集齐,分享创新变革;

本次大会,非常荣幸的邀请汇聚到来自主流互联网金融企业的技术专家,分享其大平台之后的数据架构,运维实现,产品理念。这其中包括来自腾讯的Oracle ACE,姜承尧先生分享MySQL在腾讯金融支付的应用实践,财付通也是最早就使用开源的MySQL数据库系统支撑整个金融支付业务的平台,这个主题将包括大家最感兴趣的微信支付,手Q支付,红包转账,商业支付等后台架构;同样来自的腾讯专家李海翔,将分析金融云分布式数据库的事务处理技术,在这个主题中,海翔将和大家分享腾讯的TDSQL是如何应对挑战,以技术推动互联网金融业务发展的。而来自京东金融的团队数据库人负责高新刚将大家状语从句:分享京东金融MySQL的运维的高可用与自动化,智能化实践,以及京东金融的后台数据库架构,上再加蚂蚁金服专家韩富晟的OceanBase主题,一次获取主流互联网金融企业 的核心经验,就在数据技术嘉年华大会。

技术百花齐放,各路专家齐聚一堂,你是否也想来加入他们?心动不如行动,第七届数据技术嘉年华,目前限免报名中。

时间: 2017年11月17日 - 18日

地址:北京丽都皇冠假日酒店

识别二维码申请免费参会

更多技术亮点

7,传统企业,电信金融 -互联网+历程和技术创新 ;

互联网金融的蓬勃发展,带来了一轮蓬勃的互联网+浪潮,众多企业逐浪其中。本次大会还邀请了这些企业的代表,分享其业务创新,技术革命,互联网不独其美,传统企业各领风骚

作为国内数据技术的深度应用和领先企业,我们还邀请了最有发言权的电信企业客户,农历来自联通软件研究院院长耿向东将大家状语从句:主在分享会场关于农历联通的数据应用经验状语从句:创新,浙江参与来自移动的架构师钟储建分享『后IOE时代的数据平台架构实践』。农历来自翼电信支付数据库团队负责人张小虎,将和大家分享他们带领团队的上云改造,全力打造的具有金融属性的甜橙云数据库智能运维体系

恒丰来自银行的科技服务管理部副总经理郑淼,他将和大家分析恒丰金融云探索实践,恒丰银行近年在金融创新上的举措行业瞩目,其成果和经验尽在此时分享;来自福建农信社的架构师谢方恺,分享基于金融核心系统的SQL审核和应用质量管控实践;来自海通证券的云架构师王朝阳将状语从句:大家分享,海通证券金融云思考与实践;而来自渤海保险的卢彬彬将和大家分享渤海财险数据架构智能化演进,保险行业处于快速发展的黄金时代,来自保险行业的技术架构创新也非常值的关注;九鼎来自借贷宝的技术专家谭怀远,将和大家分享甲骨文数据库在互联网金融行业的应用实践,借贷宝的独特互联网金融创新模式,一直倍受关注,这一次我们可以一窥其数据平台的技术架构

TIM截图20171106103036.png

8,数据安全,固若磐石 - 安全守护数据价值;

数据承载着企业的核心信息,数据安全的重要性也不言而喻,在本次大会,我们精心组织了一系列关于数据备份和数据安全的主题和专场,帮助企业构建核心数据的防护战线。浪擎科技的CTO 郑战伟 先生将和我们分享云计算、大数据下灾备行业发展和解决方案,郑总身出华为,带领团队创建了全融合灾备云平台;而国内复制软件的杰出企业迪思杰创始人 韩宏坤 先生,也带来了基于数据复制的 DSG 复制云解决方案;在MySQL技术领域,数据安全同样引人瞩目,CRUG创始人 强昌金 将为我们分享MySQL数据安全体系,而老一辈的Oracle ACE、平民科技创始人 楼方鑫,出自Ebay、支付宝的经历,使他从Oracle转向MySQL并构建了一系列基于Proxy的产品体系,这次他带来的正是过去的积累在Oracle数据库网关生产实践;而这一次来自企业端的客户也将为我们带来真实场景中的安全实践,来自云南电网的 彭晓平 先生将和我们分享电力企业在数据安全方面的创新和安全实践,云和恩墨的数据安全产品经理 刘振宇,将和大家分享在四川电信客户每月4亿条安全审计日志的生产实践。海量数据,高速网络,来自Mellanox的专家 张辉 也将和大家分享在大数据时代网络加速和一体机的核心加速之路。

9、自动运维,智能运维 - 从自动化到智能化,告别人力时代;

Oracle在2017年10月的OOW大会,宣布推出了全球第一款自治数据库 - Oracle 18c,引起了行业的广泛关注,而关于运维自动化和智能化的发展,已经成为所有科技企业的共识,本次大会,我们邀请了来自阿里、京东、去哪儿网、云和恩墨、美团等企业专家,共同分享和探讨自动化和智能化运维的现状和未来。这其中包括来自阿里巴巴 胡航丽 的『CloudDBA-数据库智能优化服务』主题,去哪儿网数据库总监、Oracle ACED、ACMUG主席 周彦伟 先生,分享『利用开源工具,实现MySQL优雅运维』的主题,云和恩墨互联网事业部总经理 郑隐,分享『基于大数据分析和机器学习的数据库智能诊断平台』主题,京东金融 高新刚 的『稳中求进-打造京东金融MySQL运维的高可用与自动化』主题,云和恩墨应用研发部总经理 张中靖 分享『基于事前优化的MZ3 SQL诊断优化平台的DevOps最佳实践』,来自美团的数据库专家 龙雪刚,分享『SQL优化利器之SQLAdvisor』。

10、DBA时代,职业规划 - Cloud DBA和DBA 3.0,DBA何去何从;

数据库自动化之后,DBA何去何从?Oracle 18c的自治数据库推出之后,Larry Ellison曾经亲自为DBA们指点迷津,这一次大会,我们也专门邀请了几位专家,畅谈各自经验履历,指点数据库职业生涯,他们分别是Oracle领域的 侯圣文,新浪微博的MySQL技术专家 肖鹏,Oracle ACE、源于Oracle转型MySQL的 杨建荣,以及云和恩墨的MySQL技术专家 田朋。来自恩墨学院院长、Oracle ACED 侯圣文 的『从RDBMS向大数据演进的未来职场必备技能』主题;新浪微博的元老专家 肖鹏 将为大家解读『MySQL的核心技术和职业演进』,想了解那些明星引发的峰值挑战,这一场你不能错过;来自竞技世界 杨建荣 的主题『Oracle和MySQL DBA的进阶之路』,则为跨界的DBA们指出一条进阶之路,云和恩墨的MySQL技术专家 田朋 则将为大家分享来自实践的MySQL DBA案例和实战经验。

11、性能优化,诊断案例 - DevOps时代一线经验总结;

产品再佳,也要实战为王,所以我们组织了来自生产实战的优化案例、诊断案例分享,希望以实战予以大家经验,这其中包括来自Oracle ACE 李真旭 的『细致入微:Oracle 经典案例分享』,以十数个生产案例与大家分享实战;来自云和恩墨招商银行服务团队的专家 曾令军,分享『RAC 性能优化实战』;来自ITPUB全国SQL大赛冠军得主 罗海雄 的『Oracle数据库统计信息的秘密』,通过大量核心客户SQL案例解读统计信息的内部秘密;来自前Oracle ACS高级顾问、云和恩墨二线专家 邝志辉 的 『系统级跟踪诊断方法及案例』;以及 SQL优化专家 怀晓明 的 『拨云见日-深入解析 TX 行锁』,这是来自中国移动核心系统的一系列精彩案例。在SQL优化专场,你还可以看到来自 江苏移动服务专家 刘旭 关于SQL审核的实战分享,云和恩墨西区技术专家 黄廷忠 关于『子查询优化的最佳实践』。

企业的SQL开发团队、性能优化团队,来听这两个场次就没错了!

12、专注专业,专家云集 - Oracle ACE大集结;

数据技术嘉年华大会,是一次Oracle ACE大集结的盛会,这其中包括几乎国内所有的ACED。感谢Oracle社区的专家们:MySQL ACED 周彦伟,MySQL ACE 姜承尧王朝阳 ; Oracle ACED 盖国强,熊军杨廷琨侯圣文,Oracle ACE 李真旭杨建荣 ;前Oracle ACE 楼方鑫

心动不如马上行动,大会现在限时开放免费注册申请中:

时间: 2017年11月17日 - 18日

地址:北京丽都皇冠假日酒店

识别二维码申请免费参会

最新日程表

2017-11-06_102626.jpg

知己知彼,创新求变,才不至于被淘汰!

愿我们都在奋斗的路上,与时代一起成长。

数据

Posted by enmotech at 12:24 PM | Permalink | Activity (151)

October 23, 2017

数据架构:从AT&T到青海移动的多租户数据整合实践

在数据库的世界里,我们经常面对的一个现实就是:分久必合,合久必分。大多数企业都在这样一个轮回中不断革新比如国内的银行,早期多数是按省市分布式布局,随着技术发展进步,慢慢建立了区域中心,全国中心,将数据库合并起来。而很多互联网企业,比如支付宝,数据库是从单台发展状大,又不得不进行拆分,变成分布式架构去支撑海量并发。

提示:获取下文AT&TPPT,可以关注本公众号(OraNews),回复:2017OOW找到)

41.jpg

除了业务压力负载的原因,很多企业早期粗放式的IT建设也是形成这样问题的原因之一,一个业务一套系统在企业级存在了很久,而今天在硬件能力不断提升,成本压力不断趋重的情况下,很多企业开始选择进行整合,在使用甲骨文数据库的场景下,整合带来的成本消减是非常显着的。

42.jpg

在Oracle 11g中,整合只能采用多用户的模式,往往多库之间存在的用户冲突就会带来很多工作量。但是从村落式走向集约化,已经成为企业数据架构规划的必由之路。

43.jpg

为了应对用户的整合聚集需求,降低整合或者拆分的复杂度,Oracle 12c推出了多租户这一新特性,可以提供便捷的数据库分分合合。

44.jpg

但是整合的前提是要有好的硬件基础架构支撑青海移动作为中国移动的西部省份,对于简化运维,降低成本的要求尤为迫切,早在2015年,青海移动就联合云和恩墨,通过基于X86的分布式存储架构,替换了原来的小型机和集中式存储,实现了去IE的分布式演进。同时数据库采用了12c的多租户,将原来的分散式部署的数据库,全部集中整合起来

即实现了成本节约,又实现了性能提升,做到了『降成本,增效能』的设计目标:

45.jpg

通过以ZDATA为核心的分布式存储一体机,客户既实现了弹性的灵活扩展,又实现了资源的充分利用,软硬件成本和运维成本都获得了显着的降低。两年来客户应用不断成熟,已经将统计,结算,电渠,计费等核心数据库全部融合起来,构成多租户数据库云平台,系统的高可用性也获得了极大提升

46.jpg

在今年的Oracle OOW大会上,AT&T也公布了其基于多租户的架构实践。非常值得参考,AT&T在2017年5月和Oracle签订战略协议,将逐步将其2000多个Oracle数据库全部迁移到Oracle Cloud上来

对于AT&T来说,他们看中的是多租户的以下收益,包括快速部署,简化管理,成本优化等:

47.jpg

同样,AT&T自从2015年开始采用多租户,其中myAT&T销售平台就运行在多租户环境之上,该系统共使用了3个CDB,超过50个PDB,部署概要如下:

  1. Container1由16 GB SGA的24个PDB;

  2. Container2由22 GB SGA的21个PDB;

  3. Container3由15GB SGA的7个PDB;

开发和测试可以借助多租户快速克隆生产环境,用于功能测试和准生产测试,由于多租户的稳定性和性能,资源使用率更佳,并且使得DBA团队的工作效率提升了4倍以上。

48.jpg

当前AT&T正在将其超过2000个数据库,近10PB的数据量迁移到Oracle的Cloud平台上。

49.jpg

目前,他们的分层模型大致是这样的:

50.jpg

迁移步骤是这样的:

51.jpg

获取AT&T以上内容的PPT,可以关注本公众号(OraNews),回复:2017OOW,找到这个文档。

了解多租户的特性,参考文章如下:

12C多租户数据库的创建,克隆与复制

看了这篇文章,少踩12C多租户很多坑

下附青海移动客户案例介绍

IT基础架构变更在路上
青海移动的去 "IE" 之旅

1

近两年一场由互联网企业掀起的86化浪潮已呈蔓延之势,迅速波及到传统行业。

2

传统的小型机和集中式存储的架构越来越不适应当前业务需要IT快速响应的要求。基础架构云化是简化IT架构,降低IT系统建设和运维成本,实现业务需求敏捷响应的必由之路。

3

IT系统的云化意味着对底层架构的改造,这将是一个漫长的过程。如何规划好技术路线,如何扎实地走出第一步,非常关键,也是一个不容易决策的过程。

4

青海移动由于地理位置原因,IT人才相对匮乏。对于传统集中式架构越来越不适应当前需求以及较高的运维成本,他们有更深刻的体会,对改造IT基础架构的愿望也更为迫切。基于这些原因,青海移动启动了IT基础架构的变革路线,并在2014年6月份迈出了关键一步。


下定决心去 "IE"

青海移动刚刚实现了将统计库从原来小型机和EMC存储迁移到了基于分布式存储的甲骨文数据库上,这个项目的成功对他们而言意义重大。青海移动的大部分系统都是运行在小型机和集中式存储上。小型机和传统的磁盘阵列在硬件可靠性上比较占优势,但随着技术的发展特别是集群技术和软件方法的改进以及资源池化概念的再次提出,86平台在应用软件风险的规避和分散上已经有了长足的进步。

虽然青海移动此前也利用过虚拟化技术建设了86平台云资源池,但主要是用来运行一些应用软件,并没有在其上承载生产系统的数据库。在现代软件技术的运用下,应用软件系统几乎都是模块化的,非中心化的部署,硬件基本不会影响应用软件的运行。但是作为IT系统核心的数据库,是属于绝对中心化的部分。如果数据库或数据出现问题,将会严重影响生产的运行。

在此之前,青海移动对于x86的服务器运行数据库几乎没有经验,将甲骨文数据库迁移到x86的服务器上,如何保障系统的长期可靠,稳定运行?青海移动有着非常大的顾虑。在此种情况下,青海移动决定选择与国内数据库服务商云和恩墨合作,正式启动迁移项目。从项目开始到正式迁移历经了半年时间,并在今年5月实现了统计库从传统架构迁移到x86的分布式存储平台。到目前为止,系统运行非常稳定。可以说,青海移动成功地完成了的Oracle数据库去 "I(BM)E(MC)" 的第一步。

性能,成本,运维:去"IE"给青海移动带来积极效果

在青海移动看来,这次成功的去 "IE" 项目,实现了以下两个目标:

1. 成本的大量降低。原来的小型机已经超期服役,磁盘阵列的存储容量也已经不能满足需求,需要更换小型机和进行存储扩容。而使用新的架构,其成本大幅低于原有架构。从长期的运维来看,TCO成本还会更低。

2. 性能的大幅提升。迁移后,系统的各个业务模块的性能普遍都得到提升,不少业务性能甚至获得了十倍以上的提升

比较重要的是,通过一个多月的实际感受,业务人员反映系统变得更快,更流畅了,并希望将其他系统也迁移到新的环境中。业务部门的正面反馈和积极配合,对于推动青海移动IT基础架构的真正变革将起到非常重要的作用。据了解,青海移动已经着手将结算系统迁移到新的基于分布式存储架构的x86的平台上,并与原来的统计库实现整合,从而达到减少的Oracle数据库分割管理数量的目的。而这正是业界针对 "去IOE" 口号的另一种声音,即 "去IE减○" 的实际践行。

青海移动前景规划

以下青海移动项目负责人对未来的一些规划,以及如何付诸实现,表明了其对IT基础架构改造的决心和信心:

1. 将边缘系统迁移到x86的平台上,从0开始构造新的基础架构,并实现去"IE"方案的验证和经验积累。

2. 逐步将周边系统迁移到新的架构上,在此过程中实现数据库整合,实现"减O"的方案的验证和经验积累。

3. 将一些重要系统迁移到新的架构上,最终形成数据库云平台的架构模式。

在前期项目成功的基础上,青海移动通过构建分布式存储架构上的数据库,实现更多系统的甲骨文数据库整合迁移。如此一来,实现数据库私有云架构模式的探索就呈现出平稳但快速推进的态势。对于运营商而言,这样的方式无疑是见效最显着却又最安全的方式。

对于运维,新的架构模式下又会出现哪些变化呢针对这个问题,青海移动业务支撑中心IT基础架构和运维的负责人表示,新的平台确实跟以住有很大的不同,现在都是开放式的标准化软硬件,在新平台上扩容为结算库的整合作准备时,不用再请专业的存储工程师来做,只需要走集中采购,购买标准的硬盘,PC服务器,接到分布式存储的网络上,安装分布式存储软件,通过简单的命令就实现了存储的扩容因为都是标准化的开放式的设备:PC服务器,SAS硬盘,SSD硬盘,任何一个搞IT的技术人员都能很快熟悉这些设备并进行维护,不再需要像以前那样订购专门的硬件,并在故障时刻等待专门的主机和大型存储设备工程师到场维护,这对于运维的要求,运维的成本,都得到了大幅降低,而且运维响应度又得到了提升。甚至不再需要像以往那样,要做长期 。容量规划,因为新的分布式存储架构下,存储容量和计算能力都可以做到即插即用原来的容量规划,要么资源闲置,造成成本浪费;要么资源不足,系统能力受到影响。

采用全新存储架构

青海移动在这次项目中尝试了一套全新的分布式存储架构架构 - zData,云和恩墨西区负责人熊军深入了解了zData的技术架构情况并展示了如下的体系架构图。

熊军介绍,云和恩墨的分布式存储架构zData是整合了标准化x86服务器,40 / 56Gb Infiniband高速网络,闪存卡,SAS盘,SSD盘和分布式存储软件形成的超融合解决方案。

该方案通过灵活的软件解决方案创建虚拟SAN,大幅降低了成本和复杂性,基于的PCIe的闪存存储提供了极高的性能和超低延迟等优点来加快数据库的整体性能。通过方便灵活地搭配不同存储介质,能够以较低的成本应对以下这些应用场景:

1.使用少量的SSD盘和闪存卡,加上大容量低成本的SAS硬盘和SATA硬盘,满足如数据仓库这样的大数据量,密集IO的系统。单个数据库节点高达每秒12GB的吞吐,可以轻松应对100TB级别的数据仓库。

2.使用全闪存卡和SSD盘,满足对高并发,低延时OLTP类系统的需求。单个数据库节点超过100万IOPS,单个IO延时在0.6毫秒以下足以满足交易型系统极端性能要求。

3. SSD盘,闪存卡和SAS硬盘分层设计应用,形成不同IO需求的应用,应对数据库整合的混合IO要求。

面对去IE项目的成功实践,青海移动负责人表示:"IT基础架构的简化,让我们不用花太多精力在单个设备,单个系统上,而是让我们的精力可以更多聚焦在业务需求上,甚至实现IT驱动业务的目标。这就是IT基础架构变革带来的好处,青海移动也将继续在这条变革之路上探索,前行"。

000.jpg

Posted by enmotech at 11:57 AM | Permalink | Oracle12c/11g (128)

October 7, 2017

Oracle Database 18c new features 之10大新特性一览

在 2017 Oracle OpenWorld大会上,关于 Oracle 18c 的一系列新特性已经被披露出来,借助分散在各个会场的公开分享主题和内容、OOW提供PPT下载,我们和大家抢鲜分享一下 18c 中极具吸引力的新特性。

注意:标题里提到的10仅为约数,文章中提到的新特性不仅10个,分列也只是为了阅读便利,这些特性可能随着版本发布发生改变,仅供参考。

1.自治数据库 - Autonomous Database

首先,从最高级别上,Oracle 18c 将是一个『自治数据库 - Autonomous Database』,这由Larry Ellison首先发布,而在此框架下,一系列的设计由此展开。

oow1701.jpg

2.云级别可用性增强 - Cloud-Scale Availability

这其中包含了一系列的新特性,包括:

支持跨地域和混合云的自动的Sharding能力;

RAC Sharding支持;

在ADG中支持Nologging数据的复制同步;

ADG自动重定向update操作到主库(这个特性对于读写分离很有用);

Grid Infrastructure 打补丁的零影响;

建议的瞬时逻辑备库滚动升级;

18c010.png

3.In-Memory 内存选件增强

内存选件获得了大量的增强,包括:

自动In-Memroy管理,这应该指自动选择适合In-Memory的对象并压缩提速等;

支持In-Memory的内存表,这个特性很有用;

In-Memory 支持 NVRAM 内存架构;

针对数据仓库的特定增强,In-Memory 动态扫描;优化算法等;

oow1703.jpg

4.In-Memory的外部表和InLine外部表支持

这个特性值得独立说明,外部表使得Oracle对外部数据操作更加灵活,并且基于内存列式存储压缩,能够更快的支持大数据量的运算,对于数据仓库环境将会是极大的增强。并且由于外部表的数据基本处于静态,更适合使用In-Memory来处理,Oracle声称这一改进将会带来100倍的提升,接下来就要看我们如何将外部表用的更好了。

oow1704.jpg

Inline外部表,可以通过SQL直接调用,无需创建仅需一次使用的外部表,这使得开发灵活了很多,也减少了大量元数据的处理:

oow1705.jpg

5.近似查询 - Approximate Query 和 Top-N 近似聚合

这是Oracle 12c 的新特性,经过12.2 的增强,已经非常好用了,可以参考我之前的一篇文章:从Approx_Count_Distinct到M7的CPU集成 。而新增的Top-N近似聚合,则可以对类似如下问题进行近似聚合,比如:

上一周,Top 5的Blog文章阅读量;

每个区域Top 50客户的近似消费;

Oracle能够以小于 0.5% 的误差率,提供近似聚合,这个功能也将极其有助于对精确度要求不高的聚合查询,相应的我们获得的是性能的巨大提升。

oow1706.jpg

oow1707.jpg

6.机器学习算法新特性

Oracle Advanced Analytics 18.1,话说机器学习是 18c 的重头戏,所以功能极多,这一页大约提到了 18c 引入的算法:

•新的可扩展机器学习算法(SQL API)

- 随机森林分类

- 神经网络用于分类和回归

- 显式语义分析ML算法扩展到支持分类

- 通过指数平滑的时间序列

- 基于CUR分解的算法,用于属性和行重要性

•能够将ML模型导出到C和Java以进行应用程序部署

oow1708.jpg

分析视图是其中的一个重要功能组件,其实也是12.2 才引入的新特性,实现了将底层各种数据对接,形成分析视图,在提供给简化SQL访问,最终输出给应用,将复杂性通过分析视图遮蔽:

oow1709.jpg

oow1710.jpg

在18c中,新增的特性还包括多维表达式查询支持:

oow1711.jpg

7.多态表支持

这是 18c 引入的新特性,支持自描述,全动态SQL。是ANSI 2016标准的一部分。

多态表封装复杂的算法:

- 隐藏算法的实现

- 利用强大的,动态的SQL功能

- 通过任何表格列进行处理

- 返回SQL行集(表,JSON,XML文档等)

oow1712.png

8.多租户增强

这也是一组新特性,包括 Per-PDB 的主备库Switchover,这是更进一步的特性,很有用。此外还有可传输备份、快照转移、快速升级等新特性。

oow1713.png

9.基于NVRAM的多级缓存增强

Andrew在多次演讲中提到,Oracle基于NVRAM做了很多研发,现在新特性已经披露,在数据库中NVRAM又被作为一级高性能缓存用于加速数据库,这是非常强大的软硬结合优化。

oow1715.png

这一特性应该率先被用于Exadata环境,Exadata将NVRAM放置在了Flash Memory前面,计算节点可以通过RDMA协议,绕过软件栈,实现高性能的访问,较传统协议路径提速20倍。NVRAM用作Cache和作为直接存储使用,综合能力提升了10倍:

oow1716.png

10.安全增强

安全是Larry重点强调的内容,在18c中,关于安全的增强主要有,和Active Directory的集成,PDB的密钥存储和无密码(无缺省密码)的Schema创建。

oow1817.png

想了解更多Oracle Database 18c 的技术细节?快报名参加11.17 ~ 11.18在北京举行的『数据技术嘉年华』,限时免费报名中

时间:2017年11月17日-18日(周五 & 周六)

地址:北京丽都皇冠假日酒店(北京市朝阳区将台路6号)

Posted by eygle at 4:56 AM | Permalink | Oracle12c/11g (128)

October 2, 2017

拉里·埃里森亲自支招,数据库自动化之后,DBA何去何从?

在旧金山时间10月1日的Oracle全球大会开幕主旨演讲中,Oracle公司的创始人,现任CTO,Larry Ellison宣布全球第一款能够『自动驾驶』的『自治数据库』即将发布

这款结合了机器学习的产品,将会具备自我管理、自我调节、自我安全、自我修复等功能(Self-managing, Self-tuning, Self-securing, and Self-repairing),这些功能将极大的降低企业的人力成本,极大的提高产品的稳定性和持续运行能力,具备了自治能力,这些自动化的工作都可以在线完成,包括打补丁和数据库升级。

IMG_20171001_181759R.jpg

对于数据仓库版本,将在2017年12月发布,而针对OLTP的版本,则将在2018年6月发布。新的版本号将会是 18c ,如果你不了解为什么从 12c 跃迁到 18c ,请看『Oracle版本号发布策略改变

Autonomous Database之前,Oracle数据库中和 Autonomous 极大相关的是另外一个词:Autonomous transaction - 自治事务,该特性允许我们创建一个"事务中的事务",自治事务能独立于父事务提交或回滚。而现在,自治数据库如果真的能够实现自主管理、自主优化调节,那么DBA的工作量将会大大减少,甚至在未来,我们将不再那么需要DBA了!

既然数据库实现了极大的自维护性和自我优化能力,DBA的大量基础性工具将变得简单和高效,那么DBA的未来向何处去?

在大会的演讲中,Larry在一页PPT中提出了他的建议,既然DBA可以减少基本管理工作的时间,不再花更多的精力在基础设施、补丁升级、高可用保障和调节工作上,那么就可以将时间花在创新上,用更多的时间和精力关注数据库设计、进行数据分析、制定数据策略、加强数据安全

newskills.jpg

这些建议非常中肯,也是多年以来恩墨学院在培训中一直倡议的,要完成由DBA向DA - 数据分析师 和 数据架构师 转变,将数据库管理能力上升为数据能力,从而成为企业的数据科学家,这其中当然需要付诸努力,但是集成了机器学习算法的Oracle Database 18c为我们做出了一个示范,在历史车轮滚滚向前的旅程中,所有拒绝变革的企业或个人,终将被时代远远的抛在身后。

machinelearning.jpg

关于这个自治数据库的性能,Larry 在以下这一页中做了展示,4倍的In-Memory OLTP访问性能提升,5倍高竞争OLTP环境下RAC性能改进,Grid打补丁的0影响,并且NVRAM已经为行式存储和列式存储准备就绪;而针对分析型业务,能够提供2倍的内存列式存储加速,100倍的外部表加速(其实是实现了In-Memory的外部表),100倍的近似查询处理(这是对12c,近似查询计算的增强)。

18cauto.jpg

针对我们最关注的自动优化功能,Larry列出了一些功能概要,其中包括,自动优化索引、缓存、统计信息、并行执行等;自治数据库可以根据数据量的增长数据分布的改变,持续进行优化调节(这应该是优化器来做到的)。

autodb18c.png

抛去产品因素,Oracle最重要的还有创始人因素。当Larry登场时,我第一个想到的词是『神采奕奕』,这位出生于1944年的创始人已经73岁,而这位73岁的斗士,每年都为Oracle选择一个假想敌,然后推动整个公司努力超越,在我参加OOW这些年,在Oracle前进道路上的假想敌包括IBM、EMC、Salesforce,现在则是AWS,正是这样一位斗士,使得Oracle能够不断充满活力的奋斗在IOE队伍的风口浪尖之上,屹立不倒,创新前行。也正是因为有了这样一位神采奕奕、壮心不已的斗士,Oracle才能够在今天不断推陈出新,引领潮流。

Untitled.png

当然Larry从未改调侃竞争对手的的本色,在他的字典里,Amazon的账单要比Oracle高16倍:

WechatIMG47.jpeg

如果用一个词来概括Larry今天的演讲,我的字典里跳出的就是:神采奕奕。这家40年的数据库公司,在云的时代浪潮里,不仅没有被大浪淘沙,反而是披沙拣金,经过几年的拼搏,焕发出新的神采。

而作为数据技术的从业者,在上一个时代成长起来的DBA们,我们也必须认识到,数据库自动驾驶的年代即将到来,让我们一起拥抱变化,努力改变吧!

Posted by eygle at 1:46 PM | Permalink | OraNews (247)

近期发表

  • DBA将要彻底失业吗?Oracle推出Autonomous自治数据库 - September 29, 2017
  • 恩墨学院DBA实战培训全新启航 - September 4, 2017
  • Oracle中如何获取给定SQL的SQL_ID - dbms_sqltune_util0 - August 7, 2017
  • Oracle SQL和PL/SQL中字符串单引号的处理 - July 12, 2017
  • Oracle Mutex 等待事件之: cursor mutex X - July 7, 2017
  • Oracle Mutex 等待事件之: cursor: mutex S - July 6, 2017
  • Oracle Mutex 等待事件之: cursor pin X - July 5, 2017
  • Oracle Mutex 等待事件之: cursor pin S - July 5, 2017
  • Oracle 11.2.0.4 和 12c 安装 INS-30131 临时位置权限解决 - July 3, 2017
  • Mac微信客户端的备份恢复功能和备份文件存储 - June 12, 2017


  • CopyRight © 2004 ~ 2012 eygle.com, All rights reserved.