[DOCS] document winverbs tools (ibv_devinfo, ibstat)
authorstansmith <stansmith@ad392aa1-c5ef-ae45-8dd8-e69d62a5ef86>
Mon, 5 Jan 2009 19:33:41 +0000 (19:33 +0000)
committerstansmith <stansmith@ad392aa1-c5ef-ae45-8dd8-e69d62a5ef86>
Mon, 5 Jan 2009 19:33:41 +0000 (19:33 +0000)
git-svn-id: svn://openib.tc.cornell.edu/gen1/trunk@1805 ad392aa1-c5ef-ae45-8dd8-e69d62a5ef86

docs/Manual.htm

index e263966..1cdc9e1 100644 (file)
@@ -15,7 +15,7 @@ div.Section1
 <h1 align="center">User's Manual</h1>\r
 <h2 align="center">Release 2.0</h2>\r
 <h3 align="center">\r
-<!--webbot bot="Timestamp" S-Type="EDITED" S-Format="%m/%d/%Y" startspan -->10/22/2008<!--webbot bot="Timestamp" endspan i-checksum="12541" --></h3>\r
+<!--webbot bot="Timestamp" S-Type="EDITED" S-Format="%m/%d/%Y" startspan -->12/23/2008<!--webbot bot="Timestamp" endspan i-checksum="12561" --></h3>\r
 <h2 align="left"><u>Overview</u></h2>\r
 <p align="left"><span style="FONT-SIZE: 12pt; FONT-FAMILY: 'Times New Roman'">\r
 The Windows OpenFabrics (WinOF) package is composed of software modules intended \r
@@ -150,6 +150,14 @@ TCP performance measurements</li>
                </ul>\r
                <h4 align="left"><a href="#diags">Diagnostics</a></h4>\r
                <ul>\r
+                       <li>\r
+                       <p align="left"><a href="#ibstat">ibstat</a>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
+                       Display HCA stats.</li>\r
+                       <li>\r
+                       <p align="left"><a href="#ibv_devinfo">ibv_devinfo</a>&nbsp;&nbsp; \r
+                       Display HCA device information.</li>\r
+                       <li>\r
+                       <p align="left"><a href="#vstat">vstat</a>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Display HCA attributes (lids), statistics and error counters.</li>\r
                        <li>\r
                        <p align="left"><a href="#iblimits">ib_limits</a>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
        Infiniband verb tests</li>\r
@@ -158,8 +166,6 @@ TCP performance measurements</li>
                        <li>\r
                        <p align="left"><a href="#printip">PrintIP</a>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Display \r
 an Internet Protocol address associated with an IB GUID.</li>\r
-                       <li>\r
-                       <p align="left"><a href="#vstat">vstat</a>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Display HCA attributes (lids), statistics and error counters.<br>&nbsp;</li>\r
                </ul>\r
        </blockquote>\r
 </blockquote>\r
@@ -181,7 +187,8 @@ tuning and/or functional testing.</p>
        <br>&quot;-H&quot; option will dump the histogram for additional statistical analysis.<br>See xgraph, ygraph, r-base (http://www.r-project.org/), pspp, or other\r
        <br>statistical math programs.<br><br>Architectures tested: x86, x86_64, ia64</p>\r
 </blockquote>\r
-<h4 align="left"><a name="ibsend_lat"></a>ib_send_lat.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; - latency test with \r
+<h4 align="left"><a name="ibsend_lat"></a><br>\r
+ib_send_lat.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; - latency test with \r
 send transactions</h4>\r
 <blockquote>\r
        <p align="left">Usage:</p>\r
@@ -212,7 +219,8 @@ send transactions</h4>
                -e, --events sleep on CQ events (default poll)</p>\r
        </blockquote>\r
 </blockquote>\r
-<h4 align="left"><a name="ibsend_bw"></a>ib_send_bw.exe&nbsp;&nbsp;&nbsp;&nbsp; - BW (BandWidth) test with send transactions</h4>\r
+<h4 align="left"><a name="ibsend_bw"></a><br>\r
+ib_send_bw.exe&nbsp;&nbsp;&nbsp;&nbsp; - BW (BandWidth) test with send transactions</h4>\r
 <blockquote>\r
        <p align="left">Usage:</p>\r
        <blockquote>\r
@@ -237,7 +245,8 @@ send transactions</h4>
                -e, --events sleep on CQ events (default poll)</p>\r
        </blockquote>\r
 </blockquote>\r
-<h4 align="left"><a name="ibwrite_lat"></a>ib_write_lat.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; - latency test with RDMA write \r
+<h4 align="left"><a name="ibwrite_lat"></a><br>\r
+ib_write_lat.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; - latency test with RDMA write \r
 transactions</h4>\r
 <blockquote>\r
        <p align="left">Usage:</p>\r
@@ -266,7 +275,8 @@ transactions</h4>
                -V, --version display version number</p>\r
        </blockquote>\r
 </blockquote>\r
-<h4 align="left"><a name="ibwrite_bw"></a>ib_write_bw.exe&nbsp;&nbsp;&nbsp;&nbsp; - BW test with RDMA write transactions</h4>\r
+<h4 align="left"><a name="ibwrite_bw"></a><br>\r
+ib_write_bw.exe&nbsp;&nbsp;&nbsp;&nbsp; - BW test with RDMA write transactions</h4>\r
 <blockquote>\r
        <p align="left">Usage:</p>\r
        <blockquote>\r
@@ -297,7 +307,8 @@ transactions</h4>
 <h4 align="left"><a href="#TOP"><font color="#000000">&lt;return-to-top&gt;</font></a></h4>\r
 <p align="left"><br>\r
 &nbsp;</p>\r
-<h4 align="left"><a name="ttcp"></a>ttcp - Test TCP performance</h4>\r
+<h4 align="left"><a name="ttcp"></a><br>\r
+ttcp - Test TCP performance</h4>\r
 <p align="left">TTCP accesses the Windows socket layer, hence it does not access \r
 IB verbs directly. IPoIB or WSD layers are invoked beneath the socket layer \r
 depending on configuration. TTCP is included as a quick baseline performance \r
@@ -332,15 +343,48 @@ Options specific to -r:
 <p align="left">&nbsp;</p>\r
 <h2 align="left"><a name="diags"></a>Diagnostics</h2>\r
 <hr>\r
-<p align="left">&nbsp;</p>\r
-<h3 align="left"><a name="iblimits"></a>ib_limits - Infiniband verbs tests</h3>\r
+<h3 align="left"><a name="ibv_devinfo"></a><br>\r
+ibv_devinfo - print CA (Channel Adapter) attributes</h3>\r
+<p align="left">usage: ibv_devinfo&nbsp; [options]<br>\r
+<br>\r
+Options:<br>\r
+&nbsp;&nbsp; -d, --ib-dev=&lt;dev&gt; use IB device &lt;dev&gt; (default: first device \r
+found)<br>\r
+&nbsp;&nbsp;&nbsp; -i, --ib-port=&lt;port&gt; use port &lt;port&gt; of IB device (default: \r
+all ports)<br>\r
+&nbsp;&nbsp;&nbsp; -l, --list print only the IB devices names<br>\r
+&nbsp;&nbsp;&nbsp; -v, --verbose print all the attributes of the IB device(s)<br>\r
+<br>\r
+<font color="#000000"><a href="#TOP">&lt;return-to-top&gt;</a></font><br>\r
+&nbsp;</p>\r
+<h3 align="left"><a name="ibstat"></a><br>\r
+ibstat - print InfiniBand stats</h3>\r
+<p align="left">usage: ibstat [OPTIONS] &lt;ca_name&gt; [portnum]<br>\r
+<br>\r
+Options:<br>\r
+&nbsp;&nbsp;&nbsp; -d debug<br>\r
+&nbsp;&nbsp;&nbsp; -l list all IB devices<br>\r
+&nbsp;&nbsp;&nbsp; -s print short device summary<br>\r
+&nbsp;&nbsp;&nbsp; -p print port GUIDs<br>\r
+&nbsp;&nbsp;&nbsp; -V print ibstat version information and exit<br>\r
+&nbsp;&nbsp;&nbsp; -h print usage<br>\r
+<br>\r
+Examples:<br>\r
+&nbsp;&nbsp;&nbsp; ibstat -l # list all IB devices<br>\r
+&nbsp;&nbsp;&nbsp; ibstat mthca0 2 # stat port 2 of mthca0<br>\r
+<br>\r
+<font color="#000000"><a href="#TOP">&lt;return-to-top&gt;</a></font><br>\r
+&nbsp;</p>\r
+<h3 align="left"><a name="iblimits"></a><br>\r
+ib_limits - Infiniband verbs tests</h3>\r
 <p align="left">Usage: ib_limits [options]</p>\r
 <blockquote>\r
        <p align="left">Options:<br>-m or --memory<br>&nbsp;&nbsp;&nbsp; Direct ib_limits to test memory registration<br>-c or --cq<br>&nbsp;&nbsp;&nbsp; Direct ib_limits to test CQ creation<br>-r or --resize_cq<br>&nbsp;&nbsp;&nbsp; direct ib_limits to test CQ resize<br>-q or --qp<br>&nbsp;&nbsp;&nbsp; Directs ib_limits to test QP creation<br>-v or --verbose<br>&nbsp;&nbsp;&nbsp; Enable verbosity level to debug console.<br>-h or --help<br>&nbsp;&nbsp;&nbsp; Display this usage info then exit.</p>\r
 </blockquote>\r
 <h4 align="left"><a href="#TOP"><font color="#000000">&lt;return-to-top&gt;</font></a></h4>\r
 <p align="left">&nbsp;</p>\r
-<h3 align="left"><a name="cmtest"></a>cmtest - Connection Manager Tests</h3>\r
+<h3 align="left"><a name="cmtest"></a><br>\r
+cmtest - Connection Manager Tests</h3>\r
 <p>Usage: cmtest [options]</p>\r
 <p>&nbsp;&nbsp;&nbsp; Options:</p>\r
 <blockquote>\r
@@ -512,7 +556,8 @@ host partitions</span><span style="FONT-SIZE: 12pt">.</span></font></p>
        \r
 <p align="left"><b><a href="#TOP"><font color="#000000">&lt;return-to-top&gt;</font></a></b></p>\r
 <p align="left">&nbsp;</p>\r
-<h3 align="left"><a name="printip"></a>PrintIP - print ip adapters and their addresses</h3>\r
+<h3 align="left"><a name="printip"></a><br>\r
+PrintIP - print ip adapters and their addresses</h3>\r
 <blockquote>\r
        <p align="left">PrintIP is used to print IP adapters and their addresses, or \r
        ARP (Address Resolution Protocol) and IP address.<br>\r
@@ -526,7 +571,8 @@ host partitions</span><span style="FONT-SIZE: 12pt">.</span></font></p>
 <p align="left">&nbsp;</p>\r
 <h3 align="left">\r
 <br>\r
-<a name="vstat"></a>vstat - HCA Stats and Counters</h3>\r
+<a name="vstat"></a><br>\r
+vstat - HCA Stats and Counters</h3>\r
 <blockquote>\r
        <p align="left">Display HCA (Host channel Adapter) attributes.</p>\r
        <p align="left">Usage: vstat [-v] [-c]<br>\r
@@ -768,7 +814,8 @@ Management service.</p>
 </blockquote>\r
 <h4 align="left"><a href="#TOP"><font color="#000000">&lt;return-to-top&gt;</font></a></h4>\r
 <h3 align="left">&nbsp;</h3>\r
-<h3 align="left"><a name="osmtest"></a>Osmtest - Subnet Management Tests</h3>\r
+<h3 align="left"><a name="osmtest"></a><br>\r
+Osmtest - Subnet Management Tests</h3>\r
 <p align="left">Invoke open subnet management tests. osmtest currently can not \r
 run on the same HCA port which OpenSM is currently using.</p>\r
 <blockquote>\r
@@ -929,7 +976,8 @@ run on the same HCA port which OpenSM is currently using.</p>
 <h4 align="left"><a href="#TOP"><font color="#000000">&lt;return-to-top&gt;</font></a></h4>\r
 <h3 align="left">&nbsp;</h3>\r
 <h3 align="left"><br>\r
-<a name="ibtrapgen"></a>ibtrapgen - Generate Infiniband subnet management traps</h3>\r
+<a name="ibtrapgen"></a><br>\r
+ibtrapgen - Generate Infiniband subnet management traps</h3>\r
 <p align="left">Usage: ibtrapgen -t|--trap_num &lt;TRAP_NUM&gt; -n|--number &lt;NUM_TRAP_CREATIONS&gt;<br>\r
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
 -r|--rate &lt;TRAP_RATE&gt; -l|--lid &lt;LIDADDR&gt; <br>\r
@@ -1984,8 +2032,7 @@ include folder 'Inc\',&nbsp; library definition files 'Lib\'&nbsp; along with a
 <h2><a name="WinVerbs">WinVerbs</a></h2><hr>\r
 <p><br>WinVerbs is a userspace verbs and communication management interface optimized<br>for the Windows operating system. Its lower interface is designed to support<br>any RDMA based device, including Infiniband and iWarp. Its upper interface is<br>capable of providing a low latency verbs interface, plus supports Microsoft's<br>Network Direct Interface, DAPL, and OFED libibverbs interfaces. It consists of<br>a userspace library and a kernel filter driver.<br>\r
 <br>The WinVerbs driver loads as an upper filter driver for Infiniband controllers.<br>(Open source iWarp drivers for Windows are not yet available.) A corresponding<br>userspace library installs as part of the Winverbs driver installation package.<br>Additionally, a Windows port of the OFED libibverbs library and several test<br>programs are also included.<br>\r
-<br>A full list of available libibverbs test programs and their usage are given<br>below. Note that not all listed options apply to all applications<br>\r
-<br>ibv_devinfo<br>-d &lt;dev&gt;&nbsp;&nbsp;&nbsp;&nbsp; use IB device &lt;dev&gt; (default first device found)<br>-I &lt;port&gt;&nbsp;&nbsp;&nbsp;&nbsp; use port &lt;port&gt; of IB device (default all ports)<br>-l&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; print only the IB devices names<br>-v&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; print all the attributes of the IB device(s)<br>\r
+<br>Available libibverbs test programs and their usage are listed<br>below. Note that not all listed options apply to all applications<br>\r
 <br>ibv_rc_pingpong, ibv_uc_pingpong, ibv_ud_pingpong<br>no args start a server and wait for connection<br>-h &lt;host&gt;&nbsp;&nbsp;&nbsp;&nbsp; connect to server at &lt;host&gt;<br>-p &lt;port&gt;&nbsp;&nbsp;&nbsp;&nbsp; listen on/connect to port &lt;port&gt; (default 18515)<br>-d &lt;dev&gt;&nbsp;&nbsp;&nbsp;&nbsp; use IB device &lt;dev&gt; (default first device found)<br>-i &lt;port&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; use port &lt;port&gt; of IB device (default 1)<br>-s &lt;size&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; size of message to exchange (default 4096)<br>-m &lt;size&gt;&nbsp;&nbsp;&nbsp;&nbsp; path MTU (default 1024)<br>-r &lt;dep&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; number of receives to post at a time (default 500)<br>-n &lt;iters&gt;&nbsp;&nbsp;&nbsp;&nbsp; number of exchanges (default 1000)<br>-l &lt;sl&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; service level value<br>-e&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; sleep on CQ events (default poll)<br>\r
 <br>ibv_send_bw, ibv_send_lat<br>ibv_read_bw, ibv_read_lat<br>ibv_write_bw, ibv_write_lat<br>no args start a server and wait for connection<br>-h &lt;host&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; connect to server at &lt;host&gt;<br>-p &lt;port&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; listen on/connect to port &lt;port&gt; (default 18515)<br>-d &lt;dev&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; use IB device &lt;dev&gt; (default first device found)<br>-i &lt;port&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; use port &lt;port&gt; of IB device (default 1)<br>-c &lt;RC/UC/UD&gt;&nbsp; connection type RC/UC/UD (default RC)<br>-m &lt;mtu&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; mtu size (256 - 4096. default for hermon is 2048)<br>-s &lt;size&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; size of message to exchange (default 65536)<br>-a&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Run sizes from 2 till 2^23<br>-t &lt;dep&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; size of tx queue (default 300)<br>-g&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; send messages to multicast group (UD only)<br>-r &lt;dep&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; make rx queue bigger than tx (default 600)<br>-n &lt;iters&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; number of exchanges (at least 2, default 1000)<br>-I &lt;size&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; max size of message to be sent in inline mode (default 400)<br>-b&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; measure bidirectional bandwidth (default unidirectional)<br>-V&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; display version number<br>-e&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; sleep on CQ events (default poll)<br>-N&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; cancel peak-bw calculation (default with peak-bw)<br>\r
 <br>To verify correct WinVerbs and libibverbs installation, run ibv_devinfo. It<br>should report all RDMA devices in the system, along with limited port<br>attributes. Because of limitations in the WinOF stack, it is normal for it to<br>list several values as unknown.</p>\r