Hadoop ResourceManger Restart

 

本文固定链接:https://www.askmaclean.com/archives/hadoop-resourcemanger-restart.html

原文地址:http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/ResourceManagerRestart.html

 

 

 

1.概述

 

 

资源管理器是在YARN中管资源和调度应用程序的运行的中央管理者。所以这再YARN集群中是一个潜在的单点故障点。这个文档为资源管理器重启提供了一个概述,一个资源管理的增强功能,可以让其在重启中保持功能,使得最终用户感觉不到资源管理器的停止时间。

 

ResourceManager Restart 特性分为2个阶段:

1.阶段1(非工作保留 RM 重启):增强RM何以保留应用程序/试图 的状态和其他在可拔插存储的凭证信息。RM将从这些存储的地方重新加载信息,在重启和重新启动之前运行的应用程序时。用户不需要重新提交应用程序(www.askmaclean.com)。

2.阶段2(保留工作重启):集中重新构建RM运行状态,通过联合NodeMangagers个容器状态和ApplicationMasters在重启时的容器请求。和阶段1的主要区别是,之前运行的应用程序在RM重启后不会被杀掉,所以应用程序不会由于RM重启而丢失其工作。

[Read more…]

Solix EDMS 企业版和标准版产品比较

Solix EDMS 企业版和标准版产品比较 : 

https://zcdn.askmaclean.com/Solix%20EDMS%E4%BC%81%E4%B8%9A%E7%89%88%E5%92%8C%E6%A0%87%E5%87%86%E7%89%88%E4%BA%A7%E5%93%81%E6%AF%94%E8%BE%83.pdf

EXT4文件系统上ORACLE数据文件误删除的对应恢复方法

如果EXT4文件系统上的ORACLE数据文件被误删除了,那么一般可以考虑下面2种恢复方式:

  1. 使用testdisk工具从文件系统角度恢复数据文件
  2. 使用prmscan工具从oracle 数据块角度恢复数据文件

关于prmscan 可以参考文档:https://www.askmaclean.com/archives/prmscan-oracle%E7%A2%8E%E7%89%87%E6%89%AB%E6%8F%8F%E5%90%88%E5%B9%B6%E5%B7%A5%E5%85%B7.html

这里我们介绍使用testdisk的恢复ext4上数据文件的步骤:

  1. 删除users数据文件

 

[oracle@orcl ~]$ df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
                      990G   14G  925G   2% /
/dev/sda1              99M   23M   71M  25% /boot
tmpfs                 2.0G  976M  1.1G  49% /dev/shm
/dev/sdb1              20G  3.2G   16G  17% /home/oracle/oradata

[root@orcl ~]# rm -rf /home/oracle/oradata/orcl/users01.dbf

SQL> select object_name,object_id,data_object_id from dba_objects where object_name='TORDER';

OBJECT_NAME	 OBJECT_ID DATA_OBJECT_ID
--------------- ---------- --------------
TORDER   14162	14162

SQL> select count(*) from orcl.torder;

  COUNT(*)
----------
     91982

 SQL> select object_name,object_id,data_object_id from dba_objects where object_name='TT';

OBJECT_NAME	 OBJECT_ID DATA_OBJECT_ID
--------------- ---------- --------------
TT	      14205	 14205

SQL> select count(*) from orcl.tt;

  COUNT(*)
----------
     16383



TESTDISK测试

 

上传TESTDISK软件并解压安装

[root@orcl ~]# mkdir -p testdisk
[root@orcl testdisk]# ls -l
total 2740
-rw-r--r-- 1 root root 2801512 Apr  4 19:44 testdisk-6.14.linux26.tar.bz2
[root@orcl testdisk]# tar -xf testdisk-6.14.linux26.tar.bz2


 

卸载掉数据被删的磁盘,防止被覆盖

 

[root@orcl ~]# umount -l /home/oracle/oradata
[root@orcl ~]# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
                      990G   13G  927G   2% /
/dev/sda1              99M   23M   71M  25% /boot
tmpfs                 2.0G  492M  1.5G  25% /dev/shm


使用testdisk进行恢复

 

[root@orcl testdisk-6.14]# ./testdisk_static

点击CREATE创建日志

 

 

选择要恢复的文件所在的磁盘

 

这里选择默认

 

 

选择Advanced

 

 

选择List

 

 

找到要恢复的文件,按C复制

 

 

将文件粘贴到其他磁盘上

 

[root@orcl orcl]# ls -ll

total 1360700

-rw-r—– 1 root root 1391992832 Apr  6  2015 users01.dbf

 

 

  1. 使用PRM扫描恢复出来的数据文件

 

非字典模式

 

 

MongoDB 2016开发者大会 萌阔 又萌又阔气的会

萌阔2 萌阔1

8月4日萌阔数据上海2016开发者大会在上海金茂君悦大酒店拉开帷幕,此次大会分享了MongoDB与富士康、东航、IBM之间的合作经历,及一些案例的分享。现场气氛热烈,座无虚席。

 

 

 

萌阔3

 

[Read more…]

企业级归档应用 Solix Big Data Suite 和 HDP HWX_SolutionOverview_Solix

企业级归档应用 Solix Big Data Suite 和 HDP HWX_SolutionOverview_Solix: https://zcdn.askmaclean.com/%E4%BC%81%E4%B8%9A%E7%BA%A7%E5%BD%92%E6%A1%A3%E5%BA%94%E7%94%A8%20%20Solix%20Big%20Data%20Suite%20%E5%92%8C%20HDP%20HWX_SolutionOverview_Solix.pdf

prmscan扫描并恢复被破坏的Oracle ASM diskgroup磁盘组

prmscan 是诗檀软件独立研发的ORACLE数据块碎片扫描合并工具,其适用于以下的场景:

  1. 误手动删除了文件系统(任意文件系统 NTFS、FAT、EXT、UFS、JFS等)或ASM上的数据文件
  2. 文件系统损坏,导致数据文件大小变成0 bytes即数据文件被清零
  3. 文件系统损坏,导致文件系统无法MOUNT加载
  4. ASM存储元数据损坏,导致diskgroup无法mount加载
  5. 文件系统或ASM其中的LV或PV被物理破坏或丢失

 

针对ORACLE ASM diskgroup 磁盘组metadata元数据损坏的问题,一般会先采用prm-dul或amdu等工具将其中的数据文件抽取出来;但如果asm的关键数据例如FILE NUMBER 1的文件指针损坏了,那么amdu和prm-dul也将无法从diskgroup中抽取出数据文件。 此时则需要使用prmscan工具,该工具可以从数据块级别识别镜像image中的数据,并重组合并。

下面是一个ASM 元数据被彻底破坏的例子

 

  1. 破坏asm磁盘

 

[oracle@asm ~]$ dd if=/dev/zero of=/dev/asm-diske bs=1M count=100
100+0 records in
100+0 records out

104857600 bytes (100.0 MB) copied, 0.0987016 seconds, 1.1 GB/s


2. 使用PRMscan扫描asm磁盘

 

[oracle@asm ~]$ java -jar PRMScan.jar --scan /dev/asm-diske --guess 8k
[oracle@asm ~]$ java -jar PRMScan.jar --outputsh ./outputsh.txt
[oracle@asm ~]$ sh outputsh.txt

 

3.使用PRM扫描拼出来的数据文件

 

prmscan-asm1

prmscan-asm2

 

prmscan-asm3

 


prmscan-asm4

 

prmscan-asm5

 

以上流程可以看到 例如prmscan 扫描ASM DISK可以成功抽取出完整的oracle datafile数据文件。

 

实际上对于prmscan 来说扫描ASM diskgroup下的ASM disk和扫描普通的磁盘分区、LV、PV并没有区别。prmscan默认使用最小512字节作为一个step size,每512字节去尝试识别一个block header,如果识别则记录到prmscan内嵌的数据库中,扫描完成后可以自动或手动将数据文件碎片拼起来,实现恢复的目的。只要数据没有被覆盖,且数据块没有断裂,那么一般都可以恢复其数据。

 

Solix EDMS(Enterprise Data Management)企业套件标准版安装手册下载

Solix EDMS(Enterprise Data Management)企业套件标准版安装手册下载

地址:https://zcdn.askmaclean.com/Solix%20EDMS%28Enterprise%20Data%20Management%29%E4%BC%81%E4%B8%9A%E5%A5%97%E4%BB%B6%E6%A0%87%E5%87%86%E7%89%88%E5%AE%89%E8%A3%85%E6%89%8B%E5%86%8C.pdf

PRMSCAN oracle恢复碎片扫描合并工具的适用场景

PRMSCAN oracle恢复碎片扫描合并工具的适用场景

prmscan 是诗檀软件独立研发的ORACLE数据块碎片扫描合并工具,其适用于以下的场景:

 

Oracle数据恢复、碎片重组就是当出现误GHOST,硬盘坏道,误分区,误删除,误格式化,黑客入侵,目录丢失,硬盘分区表损坏等造成Oracle数据库表空间DBF或ORA文件丢失以后,使用常规数据恢复软件无法恢复,或恢复后Oracle数据库无法启动的情况,

1、ORACLE数据库无法启动或无法正常工作
2、ORACLE ASM存储破坏
3、ORACLE数据文件丢失
4、ORACLE数据文件部分损坏

一、适用的灾难情况:

(1)ORACLE数据库文件被误删除

(2)存储重新分区、格式化导致ORACLE数据库文件丢失

(3)存储突然断电、文件系统故障、fsck导致ORACLE数据库文件丢失

(4)ASM存储故障导致ORACLE数据库文件丢失

 

二、支持的文件系统特性:

(1)支持的文件系统类型:

NTFS/EXT3/EXT4/REISERFS/REISER4/XFS/HTFS/UFS1/UFS2/JFS1/JFS2/VXFS/ASM

(2)支持的文件系统平台:Little Endian/Big Endian

(3)支持的文件系统块大小:512 Bytes/1 KB/2 KB/4 KB/8 KB/16 KB/32 KB

 

PRMSCAN ORACLE碎片扫描合并工具

prmscan 是诗檀软件独立研发的ORACLE数据块碎片扫描合并工具,其适用于以下的场景:

  1. 误手动删除了文件系统(任意文件系统 NTFS、FAT、EXT、UFS、JFS等)或ASM上的数据文件
  2. 文件系统损坏,导致数据文件大小变成0 bytes即数据文件被清零
  3. 文件系统损坏,导致文件系统无法MOUNT加载
  4. ASM存储元数据损坏,导致diskgroup无法mount加载
  5. 文件系统或ASM其中的LV或PV被物理破坏或丢失

以上场景均可以利用prmscan直接扫描文件系统或ASM对应的 PV、LV 中的残余未被覆盖的oracle block,来实现对这些oracle数据块的合并重组,以达到数据恢复的目的。

PRMSCAN是基于JAVA语言开发的,可以跨一切支持JDK 1.6以后操作系统,包括Windows、Linux、Solaris、AIX、HP-UX。

prmscan 是诗檀软件独立研发的ORACLE数据块碎片扫描合并工具,目前该产品不独立销售,可以联系诗檀软件(13764045638)以服务形式提供恢复服务。

 

例如下面的例子中/dev/sdb1为ext4文件系统的分区,但是由于ext4文件系统损坏,导致SDB1无法被MOUNT,但该文件系统上存放了一套oracle数据库的数据文件,若无法MOUNT文件系统则oracle数据库也将无法使用。

这里我们使用prmscan的扫描oracle数据文件块和合并功能,从损坏的文件系统中直接将数据文件都重组出来。

 

 

 

  1. 扫描整个磁盘
[oracle@dbdao01 ~]$ java -jar PRMScan.jar –scan /dev/sdb1 –guess 8k

–scan 选项代表扫描 /dev/sdb1 设备,并指定Oracle blocksize 为8k

 

 

[oracle@dbdao01 ~]$ java -jar PRMScan.jar –outputsh ./8kfull.txt

 

–outputsh 代表写出一个可以合并已扫描到信息的SHELL文件 即这里的8kfull.txt

 

[oracle@dbdao01 ~]$ sh 8kfull.txt

执行8kfull.txt即可以 在当前目录下生成所有需要合并的数据文件

如下

 

[oracle@dbdao01 ~]$ ls -ll PD*

-rw-r–r– 1 oracle oinstall  295428096 Jul 28 00:37 PD_DBF1.dbf

-rw-r–r– 1 oracle oinstall   83427328 Jul 28 00:37 PD_DBF2.dbf

-rw-r–r– 1 oracle oinstall  220266496 Jul 28 00:37 PD_DBF3.dbf

-rw-r–r– 1 oracle oinstall 1324482560 Jul 28 00:38 PD_DBF4.dbf

 

 

使用PRM-DUL扫描这些数据文件

 

prmscan1

 

 

prmscan2

 

prmscan3

 

核对数据量

prmscan4

 

 

Parnassus Data诗檀软件成为Solix 大数据合作伙伴

solix logo

http://www.prweb.com/releases/2016/03/prweb13280231.htm

 

加利福尼亚州圣克拉拉市。 2016年3月21日

 

Solix Technologies, Inc., 美商Solix科技公司是信息生命周期管理软件(Information Lifecycle Management (ILM))领域的领导者,其提供面向Apache hadoop的整体解决方案。 Solix近日宣布中国地区的数据库服务商Parnassus Data诗檀软件选择Solix Big data 大数据方案,作为其面向客户的数据归档、应用程序退休和基于apache hadoop高级分析的交付主要产品。

Apache hadoop是ILM 信息生命周期管理的理想平台,源于其所提供的高可扩展性、低成本、以及对企业数据的海量存储。Parnassus Data诗檀软件将提供基于Solix 大数据套件的软件销售和服务以帮助用户改善应用性能,降低成本,满足政府要求和风险控制。作为一个企业的常规数据平台,Solix大数据套件提供面向大数据集(包括结构化数据和非架构化数据)的高级分析功能。

 

“作为一个常规数据平台,Apache hadoop 针对高级企业分析和ILM应用是十分理想的,” Solix科技的执行高管John Ottman 告诉我们。”我们尝试与Parnassus Data诗檀软件在大中华市场深层合作!“

“Solix是当前唯一能针对所有企业数据提供综合Information Lifecycle Management (ILM) 的供应商。我们很高兴能在国际上有这样一个给力的合作伙伴。”  诗檀软件的CEO 刘相兵说道。

 

如欲了解更多Solix大数据套件信息,点击这里。

关于Solix   索利克斯科技

 

Solix Technologies, Inc., 美商Solix科技公司是信息生命周期管理软件(Information Lifecycle Management (ILM))领域的领导者,其提供面向Apache hadoop的整体解决方案。Solix致力于帮助资方采用优化后的架构来组织企业内部信息。Solix Big Data大数据套件是一个ILM 应用解决方案框架包括企业归档和企业数据湖(data lake),应用程序退役,和测试数据管理(database subsetting)和 数据脱敏(data masking)。Solix 科技,总部位于加利福尼亚圣克拉拉市,拥有分布全球的经销商和集成商。 如欲了解更多,可以访问http://www.solix.com.

 

关于 Parnassus Data 诗檀软件

Parnassus Data 诗檀软件是总部位于中国上海的数据库服务公司,提供数据库部署、应用、管理和紧急救助、灾难恢复服务。Parnassus Data诗檀软件精于数据优化、监控、分析和开发。Parnassus Data诗檀软件独立开发了自主产权的Oracle 数据库恢复软件PRM-DUL。 如欲了解更多,可以访问http://www.parnassusdata.com/

 

沪ICP备14014813号

沪公网安备 31010802001379号