Hadoop offline image viewer guide

本文固定链接:https://www.askmaclean.com/archives/hadoop-offline-image-viewer-guide.html

本文是官方文档的翻译,原文地址是:

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsImageViewer.html

 

1.概述

 

Offline Image Viewer是一个专场将hdfs fsimage文件中的文件到可读的格式的工具,提供了一个只读的WebHDFS API 来允许离线分析和检查Hadoop 集群的namespace。这个工具可以相对较快的处理非常大的image文件。这个工具处理布局格式包含了hadoop 2.4版本及以上。如果你想处理旧的布局格式,你可以使用hadoop 2.3版本的 Offline Image Viewer或者 oiv_legacy命令。如果这个工具不能够处理一个镜像文件,其将干净地退出。Offline Image Viewer不需要hadoop集群是正在运行的;其操作完全处于offline状态。

 

Offline Image Viewer 提供了一系列输出进程:

1.Web 是默认的输出进程。它发动一个HTTP服务,暴露只读的WebHDFS API。用户可以通过HTTP REST API来探讨namespace的交互。

2.XML 创建了一个fsimage的XML文件,其中包含了fsimage的所有信息,类似于lsr进程。这个进程的输出是自动化的过程,并且被XML工具分析。由于XML 冗长的语法,这个进程将输出大量的输出(www.askmaclean.com)。

3.FileDsitribution 用来分析namespace image中的文件大小。为了运行这个工具,必须定义一个整数范围[0,maxSize],并且同时指定一个maxSize。这个整数范围划分为每一步的段:[0,s[1],…,s[n-1],maxsize],而且进程计算每个段(s[i-1],s[i])中的文件数。注意文件超过maxsize的总是会放入最后一个段中。输出文件是以tab分隔的2个字段:SIZE和NumFiles的表。size代表开始的段,numFiles表示从image装入这个段的文件数目。

4.Delimited(实现性质的):生成一个text 文件,包含所有节点和节点以内建设的常见元素,以分隔符封。默认的分隔符是\t,通过-delimiter参数可以改变。

[Read more…]

oracle 12cR2 12c Release 2在2016年发布时可能提出的新特性

以下是对Oracle 12cR2 即 12c Release 2在2016年发布时可能提出的一些新特性:

maxresdefault

sharding

在这个NOSQL sharding满天飞的时代, Oracle将以完美支持SQL、事务、并行、丰富查询功能的姿态一头扎向sharding的怀抱。

 

Oracle Core Database, 核心数据库版本,Native Install for Core Database

 

oracle将针对Linux提出一个新的安装版本 Oracle Core Datbase ,该Core Database将使用Linux上的原生安装方式 例如rpm或其他package,这意味着你安装Oracle Core Database只需要一条命令 yum install oracle-core-database。这与之前Oracle发布过的Oracle Express版本 Oracle XE 看起来有些相似,但是和Oracle XE的有巨大的差别,因为Oracle XE是一个阉割的不能再阉割的一个版本,而Oracle Core Database不是,Oracle Core Database在Oracle数据库的基本功能上完全没有限制,仅仅限制了部分企业版的option。这意味着Oracle将其核心功能精简到一个Core Database中,并在Linux上以 rpm或其他package形式快速发布。”Oracle Core Database 12gR1 will be packaged as an RPM. RPM is considered the standard way to deploy packages on most Linux systems. Also, RPM was originally known as ‘Redhat Package Manager’ which is now updated and known as ‘RPMPackage Manager’.”

Oracle Core Database的提出显然是为了在12cR2 sharding的预言, Oracle Core Database版本将区别于Oracle EE enterprise edition企业版的较高价格,其本身的出现就是为sharding而设计的,为了让用户能从sharding中充分获得横向扩展能力,显然Oracle要在原有EE企业版的基础上搞出一个即易于安装部署、具备Oracle数据库的核心功能,又与Oracle原有EE企业版有功能差距的这么一个版本。在这个Core Database版本上,Oracle可以大幅降低其license 成本费用,达到Oracle EE企业版的几分之一乃至几十分之一的价格。 毕竟Oracle license许可证的价格是阻碍Oracle Sharding大规模横向扩展的唯一的瓶颈,Oracle真要搞sharding,那么其技术上几乎没有什么瓶颈。(dbdao.com IT在线教育)

 

Oracle Core Database与Oracle XE的另一些区别是:Oracle XE是免费的,没有官方支持也没有补丁。 而Oracle Core database 是需要license许可证,同时官方也提供支持和补丁。

Oracle Core database将支持的option :

Application Development, Language, andDatabase Features
SQL*Plus
PL/SQL stored procedures and triggers
PL/SQL server pages
PL/SQL native compilation
JDBC drivers
XML support in the database(no JNDI , or Servlet Support)
Native .NET data provider support
ASP.NET Providers
OLE DB support
ODBC support
.NET Stored Procedures
Microsoft Distributed Transaction Coordinator support
Large Page memory support
DML triggers
Database event triggers
Instead-of triggers
Index-organized tables
Temporary table
Objects and Extensibility
LOB (large object) support
Oracle Text
Oracle Locator
Function-based index
Regular Expressions
Sample Scan
SQL Model
SQL Analytic functions
Star query transformation (B-tree indexes only)
Globalization support (excluding Locale Data Customization)
Multiple block size support
Availability/BackupandRecovery Features
Drop column
Rename column, constraint
Flashback Query
Online Backup
Incremental backup and recovery ((no change tracking file or optimized incremental backup capability)
Oracle Logminer
Data Movement/Integration Features
Direct Path Load API
External tables
External procedures
Advanced Queuing
Basic Replication (read-only and updateable materialized view site only)
Distributed queries
Distributed transactions
Generic connectivity
Manageability Features
Automatic Datafile Management
Automatic Memory Management
Automatic Optimizer Statistics Management
Server-generated Alerts

 

 

管理

1、 Cross-Endian Dictionary Project 跨endian的数据字典项目:CE dictionary is a feature that allows an Oracle dictionary created on a big-endian platform (say AIX) to be read/modified by a little-endian (say Linux/X86) platform and vice-versa under an appropriately supported ‘compatible’ and ‘software version’.

跨字典项目使得在AIX等Big Endian平台上生成的oracle数据字典可以在Little Endian上读写,反之亦然。  Cross-Endian Dictionary让PDB plug-in  可拔插数据库和表空间传输(XTTS)更方便。

另一个方面Cross-Endian Dictionary跨Endian数据字典让跨Endian的ADG active data guard 变成可能, 这意味着 AIX上的primary库,可以使用X86的pc server作为standby

 

2、 在V$SQL 中加入redo size字段,即可以显示每一条SQL语句产生的redo 量

 

 

Internal

#ORACLE DATABASE 12c# 很多运营商那里遇到了scn headroom的问题,在12cR2中将引入BIG SCN的特性,SCN的格式将从6个字节变成8个字节存储,这意味着更高的SCN上限 以及能满足更快的SCN增速(dbdao IT在线教育)

高可用

11g中推出的高可用特性Automatic Block Media Repair BMR可以有效利用物理备库来修复主库上的坏块,具体见http://t.cn/zRW02vd。 但该特性在11g中只能修复普通data block,对于datafile header无能为力,12.2中将加入datafile header的修复功能,总的来说DG越来越有用了!

data guard做switchover时session migration 功能, 原primary主库上的session将被透明传输到新的primary上

性能

12.2中将对data guard standby 引入可用的AWR  性能快照, 在此之前standby上仅仅支持Standby Statspack, in-memory ASH, tkprof

12.2 中将引入 in-memory option的升级版  In-Memory Transaction Processing

 

Performance comparison Raw device VS Ext2 VS Ext3 VS OCFS

Performance comparison Raw device VS Ext2 VS Ext3 VS OCFS

 

TPS Graph、 Input 、Output 、CPU usage

Oracle数据库升级路线图

Oracle Upgrade roadmap Oracle数据库升级路线图总览

Moving from much older releases of Oracle Database, it suggested that an upgrade to 9iR2 is done first.

Upgrade to Oracle Database 10g Release 2For all release upgrades, export/import will work as well.Direct upgrades to 11.1 are supported from 9.20.4 or higher, 10.1.0.x, 10.2.0.x.

图解Oracle RAC全局缓存等待事件Global Cache Wait Events

图解Oracle RAC全局缓存等待事件Global Cache Wait Events

 

如何给Exadata数据库一体机打补丁patching图解

从图中可以看到使用ILOM为Infiniband 打补丁,而OS和固件使用oracle定制的minimal pack install.sh

 

Oracle Goldengate Director软件截面图

Oracle Goldengate Director软件截面图

 

没有Metalink账号的同学可以观赏下,My Oracle Support的主界面

没有Metalink账号的同学可以观赏下,My Oracle Support Main Dashboard的主界面

 

MySQL Query Analyzer查询分析器

MySQL Query Analyzer查询分析器

 

Query Analyzer Use Cases Developers and QA Profile and tune SQL code while in development Enabled at all times during QA DBAs/Sys Admins Enabled at all times in production (may be limited) Sampling of production query stream during non-peak hours via application port swapping

 

 

 

 

图解Oracle Checkpoint Queue

图解Oracle Checkpoint Queue

 

Checkpoint queues contain the dirty buffers that are ordered by the low RBA. There is one file queue per data file containing: Dirty buffers belonging to that file Delayed logged buffers Linking buffer to checkpoint queue: Whenever the low RBA is set for a buffer, the buffer is added to tail of the CKPTQ and appropriate FQ. Removal of buffer from checkpoint queue: The low RBA is cleared when the buffer is added to write batch. When the buffer is written to disk, it is unlinked from the FQ and CKPTQ. Write of hot buffers from CKPTQ is deferred.

沪ICP备14014813号

沪公网安备 31010802001379号