eygle.com   eygle.com
eygle.com eygle
eygle.com  
 

April 18, 2014

清华大学软件学院 - 技术交流与分享记

周二(四月十五日),应清华大学软件学院王建民教授的邀请,在清华和同学们进行了一个技术交流和分享。根据同学们的具体学习进度,我组织了一个主题,介绍了数据领域的发展过程和阶段,大数据领域的应用及前景,同时在我了解的Oracle数据库领域,介绍了典型的企业应用规模和场景,并把我认为存在很多创新创业机遇的细分点分享了给清华学子

01.jpg

在交流期间还了解到,清华的本科生,毕业之后有80%选择了读研,出国、硕博连读,而研究生毕业之后,大部分可能进入了国企或公务员行列,真正浸淫在互联网或IT领域的并不多。

这次我组织内容的着眼点就是,把我所了解的社会数据应用现状,介绍给清华的同学们。尤其是对于很多清华的天才学生们,我们更希望其中能够不断涌现改变IT现状和业界的人,创业与创新也应该成为清华学生的一个重要输出,在国外,高校输出了很多成功的软件产品,涌现了众多蓬勃的创业公司,吸引了无数的人才。而软件开发,通常1~2个好手就能够成就一个产品,非常适合小规模个体作战,学生就是非常好的创新主体。我们看到很多机会与机遇,但缺乏人才,清华有人才,但是校园和社会较远难于发现真实需求,如果企业能够和高校结合,也许就能够改变一些,提升一些,带来对于同学们有益的变化。

03.jpg

感谢王老师,赠送了一帧清华大学百年校庆的纪念邮品,非常珍贵,深表感谢:

02.jpg

交流之后,王老师收集了部分同学的反馈,我收录两则,感谢大家对我分享内容的反馈与认可,清华学子对于行业与自身状态的关注与思考让我印象深刻,谢谢你们:

今天课上我的收获特别大,我特别希望学院专业课程中能够继续引入这样的资深行业人士直接对话的机会。我不能代表大众,因为作为一个对商业和实战比较敏感的人,我平时经常看一些虎嗅网36氪网这样的行业科普文章,我能从盖国强先生的讲话中感受到他十几年来积累的深厚经验和对行业的深刻洞见,甚至还有一些很私密的数据。他不能给我们的能力带来改变,却能大力开拓我们的视野。我觉得清华的科研氛围很浓厚,但适合做科研的人属于少数,像***这样的"学霸型科研人才"并不多。同时清华又缺失职业方面的引导教育。比如我自己就很讨厌有关数学和系统控制方面的课程,偶尔能贴近盖国强这样的行业资深人士感觉焕然一新,清华学生走入商业和职场的人远多于做科研的人,而前者对于社会的贡献和改变是极其重要的,他们真的需要在校内就培养盖国强这样敏锐的洞察力和行业视野,而不是天天做题,不然和校外的学生相比除了资源多还有啥绝对优势呢?如果能够多多贴近行业内资深人士,扩展视野,培养职业观念,我们学院相对于计算机系的优势也就逐渐建立起来了吧。(王思伦)

第一部分,盖先生从时代发展潮流的角度出发剖析了当下数据的价值。用生动的实例让我们认识到大数据能做什么,能改变什么。阿里的数据致胜战略给我们留下了深刻的印象。另一方面,政府对于开放数据的矛盾则让我们感受到社会的现实与其潜在价值。
第二部分,对数据库的介绍的可以说是深入浅出。实例十分直观,数据源非常珍稀。看待与分析问题则站在了相当高的高度上。
第三部分,给人印象尤为深刻。盖先生向我们说明了中国数据库产业,以至软件产业在开发模式方面存在的问题。他的解决方案或许并不是那样难实现,但是却至关重要。我想这是因为,他思考问题,知道行业和社会需要什么,有志并致力于解决问题。
总的说来,他的演讲中,我发现了自己从前从来不会去审视的许多问题。事实上,作为一个社会的人,宏观地思考与把握行业发展的趋势,发掘潜在的机遇或许比工作本身更重要。机械地工作是job,而有审慎思维的才是career。
在清华学习了也有许多日子了,身边遍布着各类学霸,学神,却深觉在我们这个圈子里缺少去深刻认识行业以及社会,并致力于做出些改变的同学。一方面,这与清华的大环境是相关的。课业的压力与硬性的要求,让我们"习惯"于应对压力。说实话清华学生完成deadline的能力真的很强。但相应的同时思考,钻研这两个词并不是我们大多数人的习惯。另一方面,我们自身也缺乏这样的意识。综合起来,我们一些人便在大学塑人的关键一环上出现了一些缺失。如果现在不主动地去注重拓展自身思维的广度与深度,或许日后走上社会,有日真的会觉得过的有些被动或者"不适应"。
盖先生今天的演讲让我反思了刚才谈到的这些问题,也给我树立了一个榜样。我希望今后能努力去做一个合格的IT人,社会的人。(江林楠)

这次和清华的交流让我更加进一步的了解了高校,了解了同学们,虽然这个时代离我的校园生涯已经过去了15年,但是青春犹在,校园不老。

Posted by eygle at 10:13 AM | Permalink | Activity (115)

April 12, 2014

DTCC 2014 - 数据库技术大会五年

2014年4月10日~12日,是数据库技术大会第五个年头了,在这五年之中,数据库领域也发生了一系列的变化,从原来的Oracle一家独大,到现在的百家争鸣,数据库领域迎来了蓬勃的春天。国产数据库,达梦、南大通用、Gbase 都登上了大会的舞台,国产经过多年的发展,也渐渐展露了峥嵘,祝愿在数据库领域有国产的一份天地。

云计算的出现了落地,让数据库有了更多的可能;大数据概念的提出,让数据理念深入人心。这些对于数据库领域的从业人员,都是难得的机遇。

想想ITPUB论坛从2000年正式创立,转眼已经15年,在这15年中,论坛中最初结识的朋友已经从青年转而进入中年,真正见证了数据库领域的演变历程,回首15年,时光流转,不胜唏嘘。

在这次大会上,有幸结识了阿里的顶级科学家 阳振坤 老师,他是我们的前辈专家,成就斐然却平易近人,是我辈需要仰望的楷模。他主持的OceanBase现在已经渐行见涨,成为支撑阿里大量业务的核心数据库。这样的数据库产品尤其需要前瞻性和远见,阳老师在这个领域的成果在阿里发挥着越来越重要的地位,而且随着OB的开源,外部用户也渐渐开始熟悉和采用,这为数据库领域又带来了可喜的新面孔和新的可能。

withyang.jpg

在大会上,被网易的 姜承尧 戏称为儿时的偶像,这让我深感年华老去,承尧 说当年看到我写书出版的作品,激发了创作的热情,进而写出了《MySQL技术内幕》系列精品图书,如果我真是影响到了承尧,实在是我的一份荣幸,现在我需要加油向他们学习了。

withJiang.jpg

在数据库大会上,承 周彦伟、刘启荣 的介绍,结识了一批MySQL领域的技术专家,当年从人人网走出来一群MySQL DBA们,在今天的互联网公司中承担着很多砥柱中流的角色,从他们身上看到了互联网基因的深深烙印,羡慕且欣喜:

withmany.jpg

这次大会上,我和杨廷琨各有一个主题演讲,老杨从"一条SQL引发的血案"开场,将最近我们遇到的一个系列的经典案例呈现出来,和大家分享了他宝贵的经验,这个主题深受欢迎:

laoyang.jpg

我的主题是 Oracle 12c - Oracle的产品设计和实现,主要从12c的新特性实现上展开,从一个简单的Online Move特性,延伸到ILM管理,再到存储分离,是我的思考过程,希望能够对现场的同学们有所帮助:

eygledtcc2014.jpg

我的主题可以从微博上下载:

http://vdisk.weibo.com/s/tyre2c3bY50U/1397182727

是以为记。

Posted by eygle at 12:13 AM | Permalink | Activity (115)

January 10, 2014

【媒体】LSI 有新招:卖闪存拉上Oracle ACE

【编者按】下文是 LSI 和 云和恩墨 联合新闻发布会上的记者访问,转引于此,表述一下我们的观点,闪存技术的应用已经趋于成熟,未来的应用范围肯定更加广泛。

个月,35家合作伙伴,其中95%都是全新的业务合作关系,力邀云和恩墨这一国内领先的数据服务公司成为核心合作伙伴,这就是李东胜自7月宣布 LSI全新渠道业务战略之后,在中国市场所取得的成绩。李东胜说:"整体战略按照我们的战略在走,我还是比较满意的,宁缺毋滥。"

李东胜,LSI亚太区渠道事业部总经理,盖国强,Oracle ACE,云和恩墨公司的创始人及董事长,一个是RAID与闪存加速卡的供应商;一个是数据及数据库服务公司,这两家公司如今因为闪存而结缘,成为和紧密的 合作伙伴,而这两家公司也因为闪存改变了自身传统的业务形态,为云计算、大数据以及互联网时代的业务发展奠定了坚实的基础。


李东胜-LSI亚太区渠道事业部总经理

"(云和恩墨)围绕为用户提供数据解决方案,我们如今在很多大项目上与LSI有合作,通过闪存产品,帮助用户提供新的解决方案。"盖国强的云和恩墨团队凝聚了三名Oracle ACE总监以及其他的三名Oracle ACE专家,这几乎占到了中国Oracle ACE专家的四分之一,当一群在数据、数据库领域顶尖的人才团结在一起,他们的工作、服务,与LSI的闪存加速卡会产生什么样的化学反应?两家公司为何因闪存结缘?

结缘闪存:绕不开的Oracle

"包括我了解到LSI也是因为Oracle这个角度。"作为Oracle ACE专家,盖国强对Oracle的技术、产品自然十分了解,随着LSI的闪存加速卡产品在Oracle的Exadata中被广泛应用,盖国强等 Oracle生态环境中的专家也随之了解了这家存储组件公司。

在第一代Exadata中,LSI的闪存加速卡帮助Oracle将前者的IOPS飙高到100万/s的级别,这一数字即便是今天来看也是十分惊人的,但这一切发生在近5年前。

盖国强是国内前列的数据库专家,Exadata利用闪存技术带来的性能跃升他不可能无动于衷:"现在来看,闪存技术在IT架构中的使用是相当成熟了,得到了广泛的认可。"

"闪存技术异军突起,不管是容量还是性能、价格上,现在都有竞争优势,很多用户开始全面去正视闪存技术在IT架构中的角色,未来肯定会处在高速发展的阶段。"但盖国强认为闪存技术在企业级环境中的应用,未来将以PCIe闪存加速卡为主,他认为:"SSD在后端,这个技术会被弱化,最终可能会是被跨越过去的一代技术。"

盖国强所说的"被跨越过去"的可能性如今广泛存在于LSI此类PCIe闪存卡供应商所提供的解决方案中:通过在服务器中使用容量达到TB级别的 PCIe 闪存加速卡,企业将服务器后端所连接的存储系统替换下来,全部的数据存储、存取和数据保护都在服务器中进行,没有巨大的外部存储系统、没有与外部存储系统连接的iSCSI、FC甚至是InfiniBand----这些都没有在内建PCIe控制器的英特尔至强处理器的服务器中使用PCIe闪存卡更快。

数据服务的价值:从软件到硬件

中国邮政现在就是这一方案的用户,在其新建的快递服务系统中,数据的存储、读取效率成为了巨大瓶颈:这是一个由位于全国的分布式的投递网点数据、全 国汇总核心数据库、分属不同业务需求使命的分析数据库的三层架构,各地分站点、全国核心库、前端分析与展现数据库,数据层层递进、业务逐级汇总,"一度他 们的数据加载的延时达到了几个小时,无论是前端的展现还是用户都无法看到及时的数据。"

盖国强说,类似的情况并不少见,但这是一个不得不解决的棘手的问题,数据汇总层级多、加载到数据库中的数据量大,偏偏又需要展现数据、分析数据,而且对数据的效率要求高----成千上万的用户在不断检查他们的快递货物。

"我们介入进去之后,帮助用户做了两个阶段的优化:第一阶段是我们最擅长的,从数据库、SQL代码调优方面,帮助用户带来了20倍的性能提升,我们已经竭尽所能把这个事情优化到极致了,但是最后还是无法满足邮政的业务需求。"

当压力都在I/O上时,延迟还是还是超出了预期,I/O已经完全满负载运行,但还是无法满足需要,单个I/O的延迟在几十毫秒,盖国强说,此时如果坚持去做数据库方面的优化,边际收益就会递减,投入巨大的人力物力但不会有太好的效果。

"正好我们就把LSI的解决方案带给用户,说服用户通过PCIe闪存卡去解决I/O方面的问题,配合数据库的优化,效果非常不错。"盖国强强调,通 过软件所做的事情有一个边际收益问题,即便是可以去做,1、2个月之后优化达到最极致,但收到的效果却并不一定像来自硬件这样理想----Oracle ACE的服务费用就不是一个小数目。

前端展现环境的两块LSI PCIe闪存加速卡,让这一套系统的前端展现速度呈现数量级的变化,原本几十毫秒的延迟下降到两毫秒,20倍左右的性能提升,加上去掉了后端的存储系统, 直接采用PCIe闪存卡存储数据,不仅减少了存储系统的后续投入,也减少了中间网络交换延时和可能出现的问题。

这就是LSI和云和恩墨合作的开始与双方的合作模式,这也是用户的数据体系架构与数据速度的巨大变化,这一变化类似阿里巴巴、腾讯、淘宝这些互联网 行业的领导企业早已发生,其应用模式早已成熟,对阿里巴巴十分熟悉的盖国强认为,在互联网行业的成熟应用,意味着可以将这些方式方法推广到非互联网行业中。

推广到传统行业:合作伙伴是关键

阿里巴巴有1.7万名技术人员,他们帮助阿里巴巴在类似闪存这样的革命性技术上成为了"吃螃蟹的人",尝到了速度的"美味",但互联网行业只是众多 中国企业所处的其中一部分,对于LSI来说,依靠渠道进入非互联网行业,是非常重要的事情,这是一个巨大的、诱人的、但未被开拓且尚处"洪荒"的市场。

"互联网已经把这些技术验证过了,它成熟、稳定、可靠,能够很好的解决速度和延迟的问题,传统企业现在也面临着复杂的、巨大的I/O压力,正好把闪存技术搬过去用。"盖国强表示,这也是云和恩墨的目标客户群体。

李东胜则透露,在两周之前两家公司还进行过针对2014年业务合作的会议,希望在云和恩墨的帮助下,进入银行、电信、邮政和医疗行业:"我们的合作基础在与:LSI有相应的闪存产品,云和恩墨有相应的技术能力和调优方案。刚刚说的这个案例只是其中一种方案,我们下一步会有三到五种方案,都是基于行业 的方案。"

如今,LSI拥有LSI Nytro WarpDive、Nytro XD和Nytro MegaRAID等一系列闪存产品线,就在前不久LSI还推出了全新的PCIe闪存加速卡解决方案,再一次刷新了自己的IOPS记录。

但现实是残酷的,"革命尚未成功,同志仍需努力",李东胜今年7月时曾经表示2013年底的合作伙伴目标是50家,现在35家的成绩只能算完成了七 成的目标,虽然李东胜说宁缺毋滥,但其中只有两家是LSI传统RAID卡合作伙伴的现状也说明,在LSI传统的渠道合作伙伴与如今PCIe闪存卡方面的渠 道合作伙伴之间,存在着巨大的鸿沟。

"他们习惯于这种类似快消品的模式,这跟解决方案完全是两个概念,他们也在探索自己的转变。"李东胜表示,LSI也清楚两部分业务要进行"互补", 毕竟传统的RAID卡业务远远大于LSI的闪存业务,不过未来2、3年新兴业务会发展起来,甚至会有LSI 传统RAID卡+SSD的应用方式被替换为LSI现有PCIe闪存卡的情况出现,但李东胜认为"用户的方案从RAID卡转变为LSI的闪存卡,整体售价和 收益都会有巨大的转变"。

与此同时,LSI也在加强对市场的教育和合作伙伴培训工作,李东胜介绍,从9月开始,LSI基本上每个月都会举办一场有关PCIe闪存卡得培训,在 北京、上海、成都、广州、深圳等地这一培训的时间长达三天,培训内容分为初级、中级和高级培训,目前主要推广的还是"了解产品,了解1、2个解决方案"的 初级培训,中级培训会在明年陆续开展。

云和恩墨:DBA的转型

盖国强本身是一个技术一流的DBA,但技术再牛的DBA,如今也无法抵御闪存所带来的极速诱惑,在新浪微博、微信朋友圈中,DBA们讨论硬件架构、闪存加速技术已经成为一种潮流,甚至超过了SQL语句优化。


云和恩墨 (北京) 信息技术有限公司董事长盖国强

对此,盖国强乐于接受这一潮流,他说"技术在变,大家的观点也在变,都在想用一种新的方法去做,这里面是真实的用户需求。"

他向Watchstor记者表示:"从社会、技术进步的角度,如果我们能够通过LSI的硬件去解决问题,如果通过硬件把问题都解决了,如果不需要再 优化了,我觉得这是一件好事,因为大家不必把时间都花费在复杂的优化上了。"盖国强引用"安得广厦千万间,大庇天下寒士俱欢颜"的诗句表示,如果硬件能解 决这么多的问题,DBA何乐而不为?为什么DBA就要在枯燥与重压下去做重复的工作?

不过,盖国强认为,这也并非意味着DBA都没有工作做了,相反,技术能够解决的是单一、线性的问题,LSI的解决方案可以大大减少I/O的延迟问 题,但如果SQL的书写是不科学的、应用程序的逻辑是不合理的,即便硬件层面没有延迟,空耗大量系统资源的问题就会出现,用户体验还是会出问题。

"前端和DBA还有很多更有价值的事情要去做,如果我们抛弃了那些无谓的消耗,而把精力集中在那些高端的20%的事情上,我觉得对大家都是好的,这也是应该关注的方向。"盖国强表示。

"通过硬件解决方案,我们帮助用户找到了好的解决方案,用户的性能、延迟表现得到了提升,LSI的产品也充分展示了他们的能力,这是多方共赢。"盖国强认为,真正把一个技术、一个产品帮助用户用好,是LSI及云和恩墨共同的愿望。

原文链接:http://tech.watchstor.com/storage-module-145901_1.htm

Posted by eygle at 8:24 AM | Permalink | OraNews (229)

January 9, 2014

云和恩墨:闪存方案逐步走俏传统企业

【编者按】以下是《电脑商情报》发表的一篇新闻报道,转载供读者参考,其中表达了我们对于闪存解决方案的一些观点,略有字词修正。

(电脑商情网2013年12月18日专稿)如今,闪存技术已不再是互联网企业的专利,越来越多的传统企业已开始逐渐接纳并采用闪存,同时闪存技术也正在改变着传统企业用户的IT基础架构。

云和恩墨是一家以数据为中心、为用户提供Oracle数据库解决方案的服务公司,拥有有包括Oracle ACE 和 Oracle OCM在内的众多Oracle专家。

据云和恩墨信息技术有限公司董事长盖国强回顾,五年前,Oracle通过集成的一体化设备,把闪存和InfiniBand引入到了企业级硬件架构里,极大的提升了性能。Oracle在推出第一代Exadata时,宣称达到100万超高的IOPS,在与传统产品竞争时,取得了市场认可。紧接着很多互联网公司开始大量使用闪存,直到现在传统企业也开始认识并使用这项技术。

传统企业与互联网企业不同,面对着复杂的IO压力,最看重稳定和安全,不能容忍出错,所以倾向于选择经过广泛验证的解决方案。盖国强认为,闪存无论是从容量还是价格方面都体现出越来越多的竞争优势,很多用户开始全面正视闪存在IT架构中扮演的重要角色。

"在很多企业级环境中,闪存已经成为一项成熟的、得到广泛用户认可的技术,它在未来可能会迎来一个快速发展的阶段",他这样说道。

近期,云和恩墨与LSI合作完成了北京邮电项目,用闪存解决方案帮助用户解决了问题。盖国强认为,闪存可以大大简化传统用户的IT基础架构,传统企业逐渐开始采用闪存技术来提升关键应用数据库性能,从而实现新业务的突破。

众所周知,当前快递行业正处于蓬勃发展期,而对于像北京邮政这样一家传统快递企业而言,旧的IT环境已经不能满足业务发展需求。为了尽快理清处于混乱中的业务,北京邮政找到了云和恩墨。

据盖国强介绍,北京邮政一度主要遇到的问题有:各地数据汇总到北京之后,不能够及时快速加载到数据库之中,由于数据量很大和存储瓶颈,数据装载非常慢;另外,数据装载完成之后,在前端展现也非常慢,数据加载的延时往往有几个小时。

"为了解决北京邮政的问题,我们主要做了两个阶段的优化。第一阶段是是从数据库和SQL层面进行调优,这个层面给用户带来了20倍的性能提升。但是将这个层面优化到极致之后,仍然满足不了实时性的要求,当时峰值的时候,单次IO的延时在几十毫秒。因此,如果再去做单纯数据库方面的优化,它的边际效益就会递减。于是我们把LSI的闪存方案带给用户,试着用通过Flash卡去解决IO方面的问题。"盖国强表示。

据盖国强介绍,北京邮政项目共采用了四块卡LSI闪存卡,并且通过X86服务器+Flash闪存卡的模式取代了以前传统的SAN架构,并抛弃了传统的磁盘阵列。"采用闪存解决方案的优势主要是能够大大简化用户的IT基础设施架构,因为在传统阵列的SAN架构下,用户构建的环境实际是非常复杂的。包括服务器、服务器的光纤卡、光纤交换机、后面的光纤存储,无论是它的建设成本、硬件成本还是后期的维护成本都非常高,而且耗电也相当可观。"

"而基于闪存架构就更加简单,且总体拥有成本变小了,同时数据中心基础设施折旧快了,过去传统采用小型机的模式,采购成本就至少几百万,折旧周期可能有五、六年,用户在这五六年基本被这臃肿的老机器拖着走,而且还不容易换掉。如果采用X86服务器+Flash闪存卡方案,折旧周期可能只有两、三年,非常容易就能够将性能迭代上去,远远超过传统架构的生命周期的迭代能力。从这个角度来说,其实我们是非常希望用户去简化他的IT架构,加快IT基础设施的迭代周期,这样对大家来说都是好事。"

技术在变,大家的观点也在变,随着闪存技术逐渐在传统企业级用户中采用,IT基础架构改变的趋势成为必然。

原文链接:www.cbinews.com/storage/news/2013-12-18/212738.htm

Posted by eygle at 8:46 AM | Permalink | OraNews (229)

January 8, 2014

《深入解析Oracle》修订版获ITPUB投票榜首

在2013年,我修订出版了《深入解析Oracle》一书,以其中部分内容,整合成:数据库的初始化 主题,该书出版后,获得了读者的喜爱和好评。

感谢读者朋友们,在ITPUB、IT68举行的评选活动中,名列数据库类图书之首:

2013Top10Books.png

在2013年底,我将《深入解析Oracle》原书内容全部公开,其中也包含了一些Oracle 12c的内容,以此感谢大家:

http://www.eygle.com/archives/2013/12/hforacle_release.html

Posted by eygle at 10:05 AM | Permalink | Books (190)

近期发表

  • Oracle数据恢复 - 注意Expdp导出文件可能初始写入损坏 - January 7, 2014
  • 新年献礼:《深入解析Oracle》一书开源下载 - December 31, 2013
  • Oracle SQL Developer 4.0发布-AWR报告等新功能 - December 16, 2013
  • 2013 Oracle技术嘉年华回眸 - 中西合璧 异彩纷呈 - November 27, 2013
  • 《 深入解析Oracle:数据库的初始化 》一书出版 - October 25, 2013
  • 2013年11月17日-第三届Oracle技术嘉年华再度来袭 - October 22, 2013
  • 写错误与文件离线 -_datafile_write_errors_crash_instance - October 17, 2013
  • 甲骨文全球大会2013旧金山 - 浮光掠影暂小记 - September 30, 2013
  • 甲骨文全球大会2013旧金山- In-Memory Option即将发布 - September 21, 2013
  • 甲骨文全球大会2013旧金山-一路飞来揽日月 - September 19, 2013


  • CopyRight © 2004 ~ 2012 eygle.com, All rights reserved.