Exadata infiniband 是如何接线?

http://www.dbaleet.org/how_to_cable_ib_switches/

这个问题看似没有什么讨论的必要,因为接线从来就不是什么技术活。但是令人遗憾的是我对此并不熟悉,经过一番请教,基本上明白了其中的原理。

以下是一台1/4配Exadata infiniband内部是如何进行连接的:

 

 

1/4配的Exadata2台db节点和3台cell节点,另外还有2台叶子节点ib交换机。上图的理解如下:

Exadata的每台服务器都提供了一个双口的QDR infinband HCA卡, 采用在操作系统中Active-Standby的模式进行连接,Exadata就是据此来实现节点之间互连的高可用的。所以上图中有两个port,其中port1为Active, port2为Standby。默认情况下,db01, db02, cel01, cel02, cel03同时连接到两台ib叶子节点交换机上,只是在ib1为active状态,ib2为standby状态。如果db01需要访问cel01, cel02, cel03上数据有ib1就可以搞定了,并不需要通过ib2。如果ib1发生故障,这个时候ib2会自动接管,对前段的数据库的正常运行无影响。
另外两个ib叶子节点之间还有使用了7根线进行互联,这里问题来了,为什么是7根线,而不是2根或者8根?从以上图片中很难找到答案。

 

这个图是一台1/1的Exadata,但是只是用了2太ib叶子交换机。port1为primary,port2为standby。如果db01需要访问的数据位于cel01-cel07, 那么则无需使用ib2, 但是如果db01需要访问的数据位于cel08-cel14, 因为cel08-cel14再ib1上处于standby状态,并不会进行数据传输。所以需要通过两台ib交换机之间内联的7根线去ib2,然后再通过ib2去访问cel08-cel14的数据。如果两台交换机之间互连的数据线低于7根,则无法获取最大的性能,因为处于standby状态的cel节点为7台。高于7根数据线则意义不大。如果使用的是1/4配或者1/2, 虽然部分线是多余的,但是也会使用7根线来实现互联,因为这种接线的方式是出厂预设的。

如果使用第三台主干交换机,则只需要在每一台叶子交换机上分别引一根线到主干交换机。如下所示:

 

 

 

以上。

 

Comment

*

沪ICP备14014813号

沪公网安备 31010802001379号