Month: March 2016

本文固定链接：https://www.askmac.cn/archives/hadop-hdfs-quotas-guide.html 原文地址：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsQuotaAdminGuide.html 1概述   HDFS允许管理员为名称的数量进行配额限制，并且为单独的目录设置使用空间得大小。 命名限额和空间限额是独立的，但是管理员实施的时候这2者是密切配合的(www.askmac.cn)。     2.名称限额   名称限额是根目录中的目录名称文件的硬性限制。如果达到了这个限制，创建文件和目录将会失败。限额也会在重命名操作上起作用，如果重命名也满足限制条件，这个操作也将失败。即使新的配额已经让当前的目录违反了，这个设置操作任然会成功（设置并不会去校验）。一个新创建的目录不会分配配额。最大的配额是Long.Max_Value。配额强制一个目录保持为空（一个目录的数量就是其自身的配额）   在fsimage上，配额是持续性的。当启动时，如果fsimage已经违背了一个配额（也行是fsimage被偷偷的修改），每一个违反都会打印一个警告。设置或删除创建一个日志条目的配额。

诗檀软件与 Solix 合作大数据项目 中国领先的数据库服务公司，基于Apache Hadoop的平台，提供信息生命周期管理（ILM）的通用数据平台和先进分析。   2016 — Santa Clara, Calif. — Solix Technologies, Inc.,  Solix Technologies，提供Apache Hadoop 的信息生命周期管理（ILM）解决方案的领先供应商在今天宣布，中国的数据库服务公司诗檀数据已经选择了Solix的大数据套件，基于Apache Hadoop进行交付归档，应用停用和先进分析。   Apache Hadoop是ILM的理想平台，因为它为企业级数据提供了高度可扩展，低成本，大容量存储。诗檀数据将为客户提供Solix的大数据套件，以提高应用程序的性能，降低成本，并满足管理，风险和合规性要求。Solix的大数据套件作为企业共同的数据平台，对大型数据集的结构化和非结构化数据进行高级分析。   “Apache Hadoop作为一个通用数据平台，是先进企业分析和ILM应用的理想工具。” John Ottman，Solix Technologies, Inc执行主席说道。“我们非常期待与诗檀数据在大中国区市场的合作。”   Solix是目前唯一一家为所有企业数据提供全面的信息生命周期管理（ILM）解决方案的供应商。我们很幸运在中国有这样强大的合作伙伴，诗檀数据CEO Maclean Liu说道。   要了解有关Solix大数据套件的更多信息， 点击这里。   关于Solix Technologies Solix Technologies, Inc.，提供Apache Hadoop 的信息生命周期管理（ILM）解决方案的领先供应商，通过其优化的基础设施，安全保障和先进分析，帮助企业管理自己的企业信息。 Solix Big Data Suite 是一个ILM应用解决方案架构，包括 Enterprise Archiving 和 Enterprise Data…

如果自己搞不定可以找诗檀软件专业ORACLE数据库修复团队成员帮您恢复! 诗檀软件专业数据库修复团队 服务热线 ： 13764045638   QQ号:47079569    邮箱：[email protected]   使用RMAN恢复场景   内容提要 当灾难发生的时候实施Restore/Recovery，可以还原生产数据库到最接近灾难发生前的一致性点。 Restore/Recover测试是备份策略很重要的一部分。当真的需要恢复的时候，确保备份可用并且能克服小毛病。如果需要恢复可以减少生产恢复的时间。   本文提供了大多数恢复场景，在灾难发生后的反应。例子的场景不是相关的具体存储。文中提供的场景基于基本的文件系统。稍微改动，就可用于ASM，裸设备，ocfs或其他类型存储。   简介   Redo Vs Rollback Rode  Logs:  重做日志被用于前滚提交和未提交的变化 Rollback:  用于undo/rollback（撤销/回滚）未提交的变化     恢复类型 在线块恢复(进程错误) Oracle数据库的PMON进程会自动执行恢复。在某个进程修改buffer时异常死掉时发生 Oracle会使用重做日志重建buffer并写入磁盘。 线程恢复 (实例错误) 也是oracle自动执行。发生在打开数据库实例崩溃的时候。 Oracle在线程上应用从上次线程检查点之后发生的所有的redo。 介质恢复. 当一个数据文件从备份中恢复的时候需要进行介质恢复，因为数据文件中的checkpoint和控制文件中的不同，也发生在离线文件没来得及做checkpoint操作和使用备份控制文件的时候。   介质恢复类型     完全介质恢复 称之为完全恢复是因为oracle应用所有的重做日志将数据库回到最近的点，代表性的是应用于数据文件或控制文件的介质损坏。 它可以恢复整个数据库也可以只恢复表空间或数据文件。   数据库完全恢复 表空间/数据文件完全恢复 数据库mount 数据库 open 所有数据文件在线 要恢复的表空间/数据文件离线 恢复整个备份…

广州某制造企业的金蝶SHR人力管理系统的后台Oracle数据库出现无法打开OPEN DATABASE的问题：   ORA-00600: internal error code, arguments: [3020], [2], [99072], [8487 [], [], [], [], [], [], [] ORA-10567: Redo is inconsistent with data block (file# 2, block# 99072 offset is 811597824 bytes) ORA-10564: tablespace SYSAUX ORA-01110: data file 2: ‘E:\APP\ADMINISTRATOR\ORADATA\ORCL\SYSAUX01.DB ORA-10560: block type ‘FIRST LEVEL BITMAP BLOCK’ 诗檀软件工程师王工基于ORACLE底层数据块至少快速修复了该SHR后台 ORACLE数据库。 金蝶 EAS 财务、SHR人力 系统后台…

本文地址：https://www.askmac.cn/archives/mysql-binary-vs-text-backup.html     11.2 binary备份 vs 文本备份   当备份数据库时，你有两种备份格式可选： 二进制（binary）备份是一种对数据库中存储的内容文件的拷贝。这种拷贝实际上使得备份文件格式和MySQL在磁盘上存储的数据库文件格式保持了完全一致。因此此类数据库恢复则涉及将这些文件拷贝回它原有的位置。建立binary备份的技术包括使用文件拷贝命令（如cp或tar），mysqlhotcopy以及InnoDB Hot Backup**。 ** 需要注意的是mysqlhotcopy从MySQL 5.7及其之后就被去除了，相关功能被融合到了其企业版MySQL Enterprise Backup工具mysqlbackup中。而InnoDB Hot Backup原先是商用软件的一部分，在MySQL Enterprise Backup 3.9之后其相应工具也被融合入mysqlbackup中。 文本备份则是将数据库内容导出（dump）至文件文件中。恢复则涉及到通过处理这些文件的内容将数据返回到数据库中。生成文本备份的技术包括了使用SELECT … INTO OUTFILE 的SQL语句，mysqldump工具等。   这两种备份格式有其不同的优缺点。通常选择使用何种备份的考虑因素是对速度和便携性之间的权衡。   由于二进制备份仅是对文件进行拷贝操作，它不需要了解文件中的内部结构，因此在速度上这种备份速度会更快。然而，如果需要将这种备份传输到另一个使用不同架构的机器上，那么文件就需要更多考虑二进制的便携性。意思就是这些文件需要平台无关化才行，这样你才能直接拷贝它们，从一个MySQL服务端传输到另一个处于不同服务器上的数据库中，而且这第二个服务端需要能够没有任何问题地访问这些文件的内容。使用二进制备份方法，你还需要确保在进行备份的时候，服务端不会对在被拷贝的文件进行修改。

Download PRM-DUL http://www.parnassusdata.com/en On scenarios without valid physical or logical backups, when a mistaken delete occurred in Oracle, it will be given priority to use techniques such as flashback or logminer to recover the data rows in Oracle tables in general, but in many cases even flashback or logminer could not turn the tide. For the…

本文地址：https://www.askmac.cn/archives/mysql-backup_recovery_knowledge.html     第11章 备份和恢复   章节概述 本章介绍了MySQL数据备份和恢复。你将学习并了解： 备份的类型 进行二进制备份和文本备份 备份中日志和状态文件的角色作用 使用一个复制从库（replication slave）来进行备份 进行数据恢复 倒入数据文件   11.1 备份概述 MySQL数据库备份一般用于应对可能的系统崩溃或硬件故障而导致的数据损失或讹误问题。备份同样对于用户误操作，如误删数据库或表等恢复有帮助。也有时候备份被用于将数据库拷贝或移动到另一个服务器中，如当你需要进行MySQL安装迁移，或建立一个复制从库时。   备份可以是对数据文件的直接拷贝，或是通过设计程序来完成同样的备份目的。这些程序包括mysqldump，mysqlhotcopy和InnoDB Hot Backup。   对于数据库运维，备份总是必要的，不过备份仅仅是在数据受损后所需进行数据恢复的组件之一。其它的你还需要二进制日志(binary log)文件，它包含了数据修改的记录。进行数据库恢复时，你使用备份将数据库恢复到备份时的状态，然后重新执行binary log中包含的语句来应用备份后的数据修改。   这里列出了在进行备份时需要记住的一些原则： 制作一般备份。 启用binary log，这样你在进行备份后，对数据修改的记录将会被保存在日志文件中。 在备份后，使用flush命令，使得服务端从一个新的binary log文件开始，这个日志文件对应了备份的时间（也就是说，将此备份后的日志看作是一个“检查点”，从这个时间后开始的日志记录是备份之后新的数据修改）。 将数据文件目录和你的备份放置在不同的物理设备中，这样一旦某个设备出现故障，不会造成同时被影响的后果。 将你的备份存在在通常合理的文件系统位置中，这样一旦需要就可以从这些位置上找到备份进行恢复。

本文固定链接：https://www.askmac.cn/archives/testing-hadoop-programs.html 测试Hadoop程序   本章介绍了如何在你本地集成开发环境（ IDE ）中对Hadoop程序进行单元测试。虽然自早期的Hadoop以来，Hadoop程序单元测试已经取得很大进展，但因为Hadoop的组件，如Mappers 和 Reducers，是在分布式环境中运行，它仍然是具有挑战性的。 我们讨论了MapReduce单元测试API，称为MRUnit，这使我们能够独立地对Mapper 和 Reducer类进行单元测试。讨论完MRUnit的限制，我们将探讨处理这些限制的LocalJobRunner类。本章结尾将着探讨MiniMRCluster类，这使我们能够在内存中运行一个完整的MapReduce框架，使其在整个MapReduce框架环境下，适合于MapReduce组件的综合测试。   回顾Word Counter 表8-1是你在第3章所看到的word counter的Reducer

毫无疑问，MySQL是最为流行的开源数据库系统，已经广泛的应用于各大互联网公司。目前，大量的传统金融客户也已经逐渐在其生产环境使用MySQL数据库，在互联网+的时代MySQL扮演着举足轻重的角色。本次大会将为MySQL技术爱好者带来最具分享意义的主题，包括MySQL数据库新特性、高可用容灾安全、数据库云架构、行业客户最佳应用实践。本次数据库会议邀请国内顶级MySQL数据库专家分享，旨在打造成一个最有态度的MySQL数据库大会。   SHOUG(上海Oracle用户组)和IMG(Inside MySQL Group)合作来推广本次会议，希望用户组之间的合作能够给大家更多学习的机会。   IMG 2016 MySQL技术嘉年华官方网址：http://www.innomysql.net/img2016/            

Leading Chinese database services company to offer common data platform for Information Lifecycle Management (ILM) and advanced analytics based on Apache Hadoop. 2016 — Santa Clara, Calif. — Solix Technologies, Inc.,  Solix Technologies, the leading provider of Information Lifecycle Management (ILM) solutions for Apache Hadoop, announced today that Chinese database service company Parnassus Data has…