Month: June 2015

  • 命令行工具可以比你的Hadoop集群快235x倍

    介绍 当我在浏览网页关注一些我定期访问网站的更新时,我发现Tom Hayden的一篇很酷的文章,使用Amazon Elastic Map Reduce(EMR)和mrjob,以计算从millionbase archive下载的象棋游戏的输赢率,慢慢地从中发现乐趣。由于数据量仅约为1.75GB,含200万左右的国际象棋游戏,我不确定他为何使用Hadoop,但我能理解他的目标,从mrjob和EMR中学习并获得乐趣。既然问题基本上只是看每个文件的resultl lines和汇总不同的结果,似乎非常适合shell命令的流处理。我试着用相同的数据量处理,我的笔记本电脑得到结果只需12秒左右(处理速度约为270MB /秒),而Hadoop处理了约26分钟(处理速度约1.14MB /秒)。 在报告用7 c1. machine在集群中处理数据所需要的时间为26分钟,汤姆写到:“这可能比在我的机器上按顺序运行快,但如果我做了一些聪明的本地多线程应用程序可能更好。”

  • 给Oracle开发者和DBA上的MongoDB课程

      给Oracle开发者和DBA上的MongoDB课程 老刘花了6个月时间学习mongodb,尝试把学习oracle的方法和精神用到学习mongodb nosql上,来听听老刘的心得 报名地址: http://t.cn/R2B1GKU 学习目标 MongoDB For Oracle DBA和开发者 了解MongoDB的历史和特点 MongoDB与Oracle特性比较 MongoDB与Oracle学习曲线比较 MongoDB学习方法推荐 课程目标: 了解MongoDB的历史和特点 MongoDB与Oracle特性比较 MongoDB与Oracle学习曲线比较 MongoDB的历史和特点学习方法推荐   课程特色:maclean liu老刘花了6个月时间学习mongodb,尝试把学习oracle的方法和精神用到学习mongodb nosql上,来听听老刘的心得 适用人群:对mongodb不了解的任何人 优惠方式:免费    

  • Oracle PRM-DUL使用経験

      前の数日にPRM-DULで(http://www.parnassusdata.com/)お客様のOracleデータベースをリカバリした。 その中に、あるユーザーはraid-5のストレージ陣列によって、ディスクがかなりひどく壊された。バックアップがあるがあるが、テストにパースできなかった。Oracleデータベースをリカバリする途中に、大量なundo損害トラブルが起こっている。しかも、システムテーブルのシステムロールバックセグメントで起こった。残っているのは十ヶ月前のバックアップしかない。 もうひとりのエンジニアと協力し、壊されたストレージシステムから、二つのOracleデータベースをリカバリしてみた。そのなかの一つのデータベースに対して、PRM-DULはそのシステムテーブルスペースのデータディクショナリーを読み取れる。損害がかなり深刻であったが、データディクショナリー自身には何のトラブルもない。もう一つのデータベースのシステムスペースには損害があったが、PRM-DULのディクショナリーモードでリカバリしてみたが、非ディクショナリーモードに転じた。 十ヶ月前に、一部のrmanバックアップによって、十ヶ月前のシステムデータファイルでデータディクショナリーを再構造できる。けど、十ヶ月前のデータがちょっとした問題点があるので、最後に非ディクショナリーモードを採用せざるを得なかった。これで、テーブルの名前、列のセグメントの名前、及び列のセグメントのタイプなどを当てる必要がある。もし、ユーザー側が業務に詳しい業務員の協力を得られなければ、Oracle技術者だけでは、かなり工夫をかけるので、人工費が高くなる。   最後にほぼ100%にデータをリカバリできた。データディクショナリーがある場合に対して、TAB$のNUM_ROWSを参考し、各テーブルの行数を確認すれば、どれほどのデータがなくしたことが明白になる。   PRM-DULなら、論理的にすべてのデータをリカバリできるが、このケースには一部のデータファイルのブロックが物理的に壊滅されたため、100%にリカバリできなかった。ここでは、あえてもう一度言う、本当に大切なデータであれば、きちんとバックアップしてください。      

  • 【MySQL学生手册】MySQL的安装

    MySQL数据库服务的推荐安装方法是通过MySQL网站直接下载安装。这种方法在一些不同的平台上都有支持,仅在不同的平台上的安装细节上略有不同。然而,其主要步骤都一样。请注意你需要管理好权限设置以完成此安装。   对于在Windows和Linux操作系统上的安装步骤如下: MySQL Server在Windows操作系统上的安装 1)访问MySQL官网下载页http://dev.mysql.com/downloads/ 2)找到对应主题: MySQL on Windows -> MySQL Installer 3)下载my-installer-community MSI版本 4)双击下载的MSI文件,启动MySQL Installer, 选择Custom安装模式后,选择对应MySQL Server组件。 5)Next后按提示进行一步步安装,你需要提供相应root密码。 6)默认安装目录为:C:\Program Files\MySQL\MySQL Server 5.x 7)完成安装时会有提示信息告知。   MySQL Server在Linux操作系统上的安装: 1)访问MySQL官网下载页http://dev.mysql.com/downloads/ 2)找到对应主题MySQL Community Downloads -> MySQL Community Server (GPL) 3)找到对应操作系统并下载最新二进制tar包(这里举例Linux-Generic), 如: mysql-5.6.25-linux-glibc2.5-x86_64.tar.gz 4)将tar包解压至/usr/local目录下(如果tar包在/tmp目录下) # cd /usr/local # tar -zxvf /tmp/mysql-5.6.25-linux-glibc2.5-x86_64.tar.gz 5)对目录建立软链接 # ln -s mysql-5.6.25-linux-glibc2.5-x86_64 mysql 6)安装系统表…

  • Oracle Linux UEK 的性能验证

    Unbreakable Enterprise Kernel 相关公开主页 Fast, Modern, Reliable: Oracle Linux September 2011 http://www.oracle.com/us/technologies/linux/uek-for-linux-177034.pdf   UEK R1(2.6.32base)的改良点(WP开始)   功能 内容 从执行这次的Oracle Database 的性能测试的角度来考虑 Latest Infiniband Stack(OEFD) 1.5.1 Infiniband的改善 不考虑(Infiniband无法准备) Receive Packet Steering and Receive Flow Steering 可以在多个CPU中分散网络接收信息的软分割处理 大量发生网络接收信息的操作 UEK R1的默认的CPU mask中,1个NICdevice的softirq处理为偏向1个CPU Advanced support for large NUMA system irqbalance处理为同一NUMA节点内 通过改善semaphore可以减少runqueue锁定竞争 进程较多 时的性能 IO affinity IO需求完成,在执行需求的CPU中执行 默认on/device的设定 large NUMA…

  • 某医院HIS系统Oracle升级人天计划

    如果自己搞不定可以找诗檀软件专业ORACLE数据库修复团队成员帮您恢复! 诗檀软件专业数据库修复团队 服务热线 : 13764045638    QQ号:47079569    邮箱:[email protected]  

  • 电商参考架构第一部分:搭建一个灵活、可搜索、响应快速的产品目录系统

    如今,产品目录数据管理对零售商而言是一个非常复杂的问题。经过多年对多个庞大、由供应商提供的系统的依赖之后,零售商目前正在重新考虑他们的选择,并且开始展望未来。 在如今供应商提供的系统中,产品数据必须得频繁地使用 ETL 工具来回迁移,以保证所有的系统均在相同数据集上进行操作。这个方法就开发和管理而言是非常缓慢、容易出错,并且非常昂贵的。因此,零售商目前正在努力将 数据服务单独作为一个集中的、面向服务架构(SOA)的一部分。  

  • MongoDB中trace Query跟踪查询的方法

    MongoDB中可以使用db.setProfilingLevel的方法来跟踪查询语句,语法为db.setProfilingLevel(level, slowms)。其作用是修改当前数据库的PROFILER级别来让数据库记录更多的性能数据。 LEVEL 参数:制定profiling的级别,0是不跟踪,1代表只跟踪慢的操作,2代表跟踪所有操作。 slowms 参数:设置的时间阈值,大于该阈值则认为查询是慢的SLOW的 设置LEVEL=2可能会少量影响MongoDB性能,由于查询的历史将被记录到日志,所以也可能存在安全风险。 也可以通过设置slowOpThresholdMs参数来指定慢的查询,默认为100ms。 mongod会将大于slowOpThresholdMs指定时间的查询记录到mongod.log日志中。 使用方法:   db.setProfilingLevel(2); { “was” : 0, “slowms” : 100, “ok” : 1 } > db.test.count(); 50000 > db.system.profile.find(); { “op” : “insert”, “ns” : “test.test”, “query” : { “_id” : ObjectId(“55813154648066edd8eda678”), “a” : 48087, “b” : 48088, “c” : 48089, “d” : 48090, “e” :…

  • PRM-DUL 恢复损坏数据库中的存储过程、函数、包package和索引INDEX、序列SEQUENCE等

    恢复损坏数据库中的存储过程、函数、包package和索引INDEX、序列SEQUENCE等   字典模式下扫描需要的数据文件     经验证,数据正确

  • PRM-DUL恢复oracle表上被删除的记录测试

    误delete表的恢复 模拟误delete表TORDER   使用PRM工具恢复 选择字典模式     扫描所有的asm磁盘   选择需要的数据文件,也可选择所有的   选择被删除的表,进行unload delete     恢复成功,验证数据