[DOCS] WinOF 2.0 items: IPoIB partition mgmt & Network Direct
authorstansmith <stansmith@ad392aa1-c5ef-ae45-8dd8-e69d62a5ef86>
Thu, 30 Oct 2008 17:35:25 +0000 (17:35 +0000)
committerstansmith <stansmith@ad392aa1-c5ef-ae45-8dd8-e69d62a5ef86>
Thu, 30 Oct 2008 17:35:25 +0000 (17:35 +0000)
git-svn-id: svn://openib.tc.cornell.edu/gen1/trunk@1716 ad392aa1-c5ef-ae45-8dd8-e69d62a5ef86

docs/Manual.htm

index 2db8d9e..e263966 100644 (file)
@@ -13,9 +13,9 @@ div.Section1
 <a href="#TOP"></a> </h1>\r
 <h1 align="center">Windows OpenFabrics </h1>\r
 <h1 align="center">User's Manual</h1>\r
-<h2 align="center">Release 1.1</h2>\r
+<h2 align="center">Release 2.0</h2>\r
 <h3 align="center">\r
-<!--webbot bot="Timestamp" S-Type="EDITED" S-Format="%m/%d/%Y" startspan -->04/28/2008<!--webbot bot="Timestamp" endspan i-checksum="12644" --></h3>\r
+<!--webbot bot="Timestamp" S-Type="EDITED" S-Format="%m/%d/%Y" startspan -->10/22/2008<!--webbot bot="Timestamp" endspan i-checksum="12541" --></h3>\r
 <h2 align="left"><u>Overview</u></h2>\r
 <p align="left"><span style="FONT-SIZE: 12pt; FONT-FAMILY: 'Times New Roman'">\r
 The Windows OpenFabrics (WinOF) package is composed of software modules intended \r
@@ -30,10 +30,8 @@ OpenFabrics Infiniband core drivers and Upper Level Protocols (ULPs):</p>
        <p align="left">HCA (Host Channel Adapter) driver </li>\r
        <li>\r
        <p style="text-indent: -.25in; margin-left: .5in"><span dir="LTR">MTHCA -<span style='background-position: 0% 0%; mso-highlight:yellow; background-image:none; background-repeat:repeat; background-attachment:scroll'> \r
-       Mellanox </span></span><st1:stockticker>\r
-       <span\r
- style='background-position: 0% 0%; mso-highlight:yellow; background-image:none; background-repeat:repeat; background-attachment:scroll'>HCA</span></st1:stockticker><span\r
-style='background-position: 0% 0%; mso-highlight:yellow; background-image:none; background-repeat:repeat; background-attachment:scroll'> low level driver. See \r
+       Mellanox </span></span><span style='background-position: 0% 0%; mso-highlight:yellow; background-image:none; background-repeat:repeat; background-attachment:scroll'> \r
+       InfiniHost low level driver. See \r
        Release_notes.htm for a list of supported devices.</span></li>\r
        <li>\r
        <p style="text-indent: -.25in; margin-left: .5in">\r
@@ -44,7 +42,7 @@ style='background-position: 0% 0%; mso-highlight:yellow; background-image:none;
 <li>\r
 <p align="left">Infiniband Core modules: IB verbs and IB access layer</li>\r
 <li>\r
-<p align="left">Upper Layer Protocols: IPoIB, WSD, VNIC, SRP Initiator and uDAPL</li>\r
+<p align="left">Upper Layer Protocols: IPoIB, WSD, Network Direct, VNIC, SRP Initiator and uDAPL</li>\r
 </ul>\r
 <p align="left">OpenFabrics utilities:</p>\r
 <ul>\r
@@ -66,17 +64,18 @@ style='background-position: 0% 0%; mso-highlight:yellow; background-image:none;
 <h2 align="left"><u><a name="TOP"></a>WinOF Features</u></h2>\r
 <ul>\r
        <li>\r
-       <h3 align="left"><a href="#Tools">Tools</a><br>\r
-&nbsp;</h3></li>\r
+       <h3 align="left"><a href="#Tools">Tools</a></h3></li>\r
 </ul>\r
 <ul>\r
        <li>\r
-       <h3 align="left"><a href="#IPoIB">IPoIB - Internet Protocols over InfiniBand</a><br>\r
-&nbsp;</h3>\r
+       <h3 align="left"><a href="#IPoIB">IPoIB - Internet Protocols over InfiniBand</a></h3>\r
        </li>\r
        <li>\r
-       <h3 align="left"><a href="#winsockdirect">Winsock Direct Service Provider</a><br>\r
-&nbsp;</h3>\r
+       <h3 align="left"><a href="#winsockdirect">Winsock Direct Service Provider</a></h3>\r
+       </li>\r
+       <li>\r
+       <h3 align="left"><a href="#Network_Direct_Service_Provider">Network Direct \r
+       Service Provider</a></h3>\r
        </li>\r
        <li>\r
        <h3 align="left"><a href="#DAT">DAT and uDAPL</a></h3>\r
@@ -97,6 +96,8 @@ style='background-position: 0% 0%; mso-highlight:yellow; background-image:none;
        <li>\r
        <h3 align="left"><u><a href="#InfiniBand_Software_Development_Kit">\r
        InfiniBand Software Development Kit</a></u></h3></li>\r
+       <li>\r
+       <h3 align="left"><a href="#WinVerbs">WinVerbs</a></h3></li>\r
 </ul>\r
 <h3 align="left">&nbsp;</h3>\r
 <p align="left">&nbsp;</p>\r
@@ -112,25 +113,30 @@ style='background-position: 0% 0%; mso-highlight:yellow; background-image:none;
                Files\WinOF' is appended to the system wide search path registry entry. \r
                A start menu short-cut 'WinOF Cmd Window' is provided to faciliate \r
                correction tool operation.</p>\r
-               <h4 align="left"><u>Infiniband Subnet Management</u></h4>\r
+               <h4 align="left"><u>IPoIB Partition Management</u></h4>\r
                <ul>\r
                        <li>\r
-                       <p align="left"><a href="#opensm">opensm</a>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Open Subnet \r
+                       <p align="left"><a href="#InfiniBand_Partition_Management">part_man</a>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
+                       Manage (add/remove/show) IPoIB partitions.</li>\r
+       </ul>\r
+       <h4 align="left"><u>Infiniband Subnet Management</u></h4>\r
+               <ul>\r
+                       <li>\r
+                       <p align="left"><a href="#opensm">opensm</a>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Open Subnet \r
        Management - configure and manage an InfiniBand subnet</li>\r
                        <li>\r
-                       <p align="left"><a href="#osmtest">osmtest</a>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
-       Subnet management tests</li>\r
+                       <p align="left"><a href="#osmtest">osmtest</a>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Subnet management tests</li>\r
                        <li>\r
-                       <p align="left"><a href="#ibtrapgen">ib_trapgen</a>&nbsp;&nbsp;&nbsp; Generate Infiniband Subnet \r
+                       <p align="left"><a href="#ibtrapgen">ib_trapgen</a>&nbsp;&nbsp;&nbsp;&nbsp; Generate Infiniband Subnet \r
        Management Traps for testing purposes</li>\r
                </ul>\r
                <h4 align="left"><a href="#verbs_benchmarks">Performance</a></h4>\r
                <ul>\r
                        <li>\r
-                       <p align="left"><a href="#ibsend_lat">ib_send_lat</a>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Infiniband send \r
+                       <p align="left"><a href="#ibsend_lat">ib_send_lat</a>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Infiniband send \r
 latency measurement</li>\r
                        <li>\r
-                       <p align="left"><a href="#ibsend_bw">ib_send_bw</a>&nbsp;&nbsp;&nbsp;&nbsp; Infiniband send bandwidth \r
+                       <p align="left"><a href="#ibsend_bw">ib_send_bw</a>&nbsp;&nbsp;&nbsp;&nbsp;Infiniband send bandwidth \r
        measurement</li>\r
                        <li>\r
                        <p align="left"><a href="#ibwrite_lat">ib_write_lat</a>&nbsp;&nbsp;&nbsp;&nbsp; Infiniband RDMA write \r
@@ -150,11 +156,10 @@ TCP performance measurements</li>
                        <li>\r
                        <p align="left"><a href="#cmtest">cmtest&nbsp;</a>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Connection Manager tests</li>\r
                        <li>\r
-                       <p align="left"><a href="#printip">PrintIP</a>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Display \r
+                       <p align="left"><a href="#printip">PrintIP</a>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Display \r
 an Internet Protocol address associated with an IB GUID.</li>\r
                        <li>\r
-                       <p align="left"><a href="#vstat">vstat</a>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
-Display HCA attributes (lids), statistics and error counters.<br>&nbsp;</li>\r
+                       <p align="left"><a href="#vstat">vstat</a>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Display HCA attributes (lids), statistics and error counters.<br>&nbsp;</li>\r
                </ul>\r
        </blockquote>\r
 </blockquote>\r
@@ -369,6 +374,143 @@ Options specific to -r:
 </blockquote>\r
 <h4 align="left"><a href="#TOP"><font color="#000000">&lt;return-to-top&gt;</font></a></h4>\r
 <p align="left">&nbsp;</p>\r
+<h3 align="left"><a name="InfiniBand_Partition_Management">InfiniBand Partition \r
+Management</a></h3>\r
+<p align="left"><font face="Times New Roman">The part</font><font face="Times New Roman" size="3"><span style="FONT-SIZE: 12pt">_man.exe \r
+application allows creating, deleting and viewing existing </span><span style="FONT-SIZE: 12pt">\r
+host partitions</span><span style="FONT-SIZE: 12pt">.</span></font></p>\r
+<p align="left">Usage : part_man.exe &lt;show|add|rem&gt; &lt;port_guid&gt; &lt;pkey1 pkey2 \r
+...&gt;</p>\r
+        <b><font face="Times New Roman" size="4">\r
+       <span style="font-weight: bold">show - </span></font></b>\r
+<font face="Times New Roman" size="3">\r
+       <span style="FONT-SIZE: 12pt">\96 shows existing partitions</span></font><p style="MARGIN-LEFT: 0.5in"><font face="Times New Roman" size="3">\r
+       <span style="FONT-SIZE: 12pt">Expected results after execution <b>\r
+       <span style="FONT-WEIGHT: bold">part_man.exe show</span></b></span></font></p>\r
+       <p style="MARGIN-LEFT: 0.75in; TEXT-INDENT: -0.25in">\r
+       <font face="Times New Roman" size="3"><span style="FONT-SIZE: 12pt">1.</span></font><font size="1"><span style="FONT-SIZE: 7pt">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;\r
+       </span></font>Output has a format<font face="Times New Roman" size="3"><span style="FONT-SIZE: 12pt">&nbsp;</span></font></p>\r
+       <p style="MARGIN-LEFT: 0.5in"><b><font face="Times New Roman" size="3">\r
+       <span style="FONT-WEIGHT: bold; FONT-SIZE: 12pt">port_guid1&nbsp;&nbsp; pkey1&nbsp; pkey2&nbsp; \r
+       pkey3&nbsp; pkey4&nbsp; pkey5&nbsp; pkey6&nbsp; pkey7&nbsp; pkey8</span></font></b></p>\r
+       <p style="MARGIN-LEFT: 0.5in"><b><font face="Times New Roman" size="3">\r
+       <span style="FONT-WEIGHT: bold; FONT-SIZE: 12pt">port_guid2&nbsp;&nbsp; \r
+       pkey1&nbsp;&nbsp;pkey2&nbsp; pkey3&nbsp; pkey4&nbsp; pkey5&nbsp; pkey6&nbsp; pkey7&nbsp; pkey8</span></font></b></p>\r
+       <p class="MsoNormal" style="MARGIN-LEFT: 0.5in">\r
+       <font face="Times New Roman" size="3"><span style="FONT-SIZE: 12pt">where <b>\r
+       <span style="FONT-WEIGHT: bold">port_guid</span></b> is a port guid in \r
+       hexadecimal format, <b><span style="FONT-WEIGHT: bold">pkey</span></b> \96 \r
+       values of partition key (in hex format) for this port.</span></font></p>\r
+       <p class="MsoNormal" style="MARGIN-LEFT: 0.5in">\r
+       <font face="Times New Roman" size="3"><span style="FONT-SIZE: 12pt">Default \r
+       partition key (0xFFFF) is not shown and can not be created by the \r
+       part_man.exe.</span></font></p>\r
+<p class="MsoNormal" style="MARGIN-LEFT: 0.5in">\r
+       &nbsp;</p>\r
+       <p class="MsoNormal" style="MARGIN-LEFT: 0.0in"><b>\r
+       <font face="Times New Roman" size="4">\r
+       <span style="FONT-WEIGHT: bold; ">add - </span></font></b>create new partition(s) \r
+       on specified port </p>\r
+       <p class="MsoNormal" style="MARGIN-LEFT: 0.5in"><b>\r
+       <font face="Times New Roman" size="3">\r
+       <span style="FONT-WEIGHT: bold; FONT-SIZE: 12pt">port_guid</span></font></b>&nbsp;\r
+       <b><span style="FONT-WEIGHT: bold">add</span></b>&nbsp;&nbsp; &lt;<b><span style="FONT-WEIGHT: bold">port_guid</span></b>&gt; \r
+       &nbsp;&lt;<b><span style="FONT-WEIGHT: bold">pkey1</span></b>&gt; &nbsp;&nbsp;&lt;<b><span style="FONT-WEIGHT: bold">pkey2</span></b>&gt; \r
+       </p>\r
+<p class="MsoNormal" style="MARGIN-LEFT: 0.5in">creates new partition(s) on port specified by port_guid parameter (in \r
+       hexadecimal format) and pkey \96 new partition key value in hexadecimal \r
+       format (e.g. 0xABCD or ABCD).</p>\r
+       <p class="MsoNormal" style="MARGIN-LEFT: 0.5in">\r
+       <font face="Times New Roman" size="3"><span style="FONT-SIZE: 12pt">Port \r
+       guid is taken form vstat output and has a following format:</span></font></p>\r
+       <p class="MsoNormal" style="MARGIN-LEFT: 0.5in"><b>\r
+       <font face="Times New Roman" size="3">\r
+       <span style="FONT-WEIGHT: bold; FONT-SIZE: 12pt">XXXX:XXXX:XXXX:XXXX.</span></font></b></p>\r
+       <p class="MsoNormal" style="MARGIN-LEFT: 0.5in">\r
+       <font face="Times New Roman" size="3"><span style="FONT-SIZE: 12pt">Vstat \r
+       prints node guid, so user has to add 1 to node guid value to obtain port \r
+       guid. For example, if node guid is <b><span style="FONT-WEIGHT: bold">\r
+       0008:f104:0397:7ccc</span></b>, port guid will be</span></font></p>\r
+       <p class="MsoNormal" style="MARGIN-LEFT: 0.5in"><b>\r
+       <font face="Times New Roman" size="3">\r
+       <span style="FONT-WEIGHT: bold; FONT-SIZE: 12pt">0008:f104:0397:7ccd</span></font></b> \r
+       \96 for the first port,</p>\r
+       <p class="MsoNormal" style="MARGIN-LEFT: 0.5in"><b>\r
+       <font face="Times New Roman" size="3">\r
+       <span style="FONT-WEIGHT: bold; FONT-SIZE: 12pt">0008:f104:0397:7cce</span></font></b> \r
+       \96 for the second port.</p>\r
+       <p class="MsoNormal" style="MARGIN-LEFT: 0.5in">\r
+       <font face="Courier New" color="green" size="2">\r
+       <span style="FONT-SIZE: 10pt; COLOR: green; FONT-FAMILY: 'Courier New'">&nbsp;</span></font></p>\r
+       <p class="MsoNormal" style="MARGIN-LEFT: 0.5in">\r
+       <font face="Times New Roman" size="3"><span style="FONT-SIZE: 12pt">Expected \r
+       results of execution <b><span style="FONT-WEIGHT: bold">part_man.exe add \r
+       0x0D99:9703:04f1:0800 0xABCD</span></b></span></font></p>\r
+       <p class="MsoNormal" style="MARGIN-LEFT: 0.75in; TEXT-INDENT: -0.25in">\r
+       <font face="Times New Roman" size="3"><span style="FONT-SIZE: 12pt">1.</span></font><font size="1"><span style="FONT-SIZE: 7pt">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;\r
+       </span></font>part_man.exe output ends up with <b>\r
+       <span style="FONT-WEIGHT: bold">\85Done </span></b>message.</p>\r
+       <p class="MsoNormal" style="MARGIN-LEFT: 0.75in; TEXT-INDENT: -0.25in">\r
+       <font face="Times New Roman" size="3"><span style="FONT-SIZE: 12pt">2.</span></font><font size="1"><span style="FONT-SIZE: 7pt">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;\r
+       </span></font>A new instance of a Network Adapter named \93OpenFabrics IPoIB \r
+       Adapter Partition\94 will appear in Device manager \r
+       window.&nbsp; <br>\r
+       If the new adapter appears with yellow label, manual device driver installation is \r
+       required.</p>\r
+<ul>\r
+       <li>\r
+       <p class="MsoNormal" style="MARGIN-LEFT: 0.75in; TEXT-INDENT: -0.25in">In \r
+       the device manager view, right click \93OpenFabrics IPoIB Adapter Partition\94</p>\r
+       </li>\r
+       <li>\r
+       <p class="MsoNormal" style="MARGIN-LEFT: 0.75in; TEXT-INDENT: -0.25in">\r
+       select 'update driver' and follow the instructions.</p></li>\r
+       <li>\r
+       <p class="MsoNormal" style="MARGIN-LEFT: 0.75in; TEXT-INDENT: -0.25in">don't \r
+       allow Windows Update to search the Internet</p></li>\r
+       <li>\r
+       <p class="MsoNormal" style="MARGIN-LEFT: 0.75in; TEXT-INDENT: -0.25in">\r
+       select install software automatically.</p></li>\r
+</ul>\r
+       <p class="MsoNormal" style="MARGIN-LEFT: 0.75in; TEXT-INDENT: -0.25in">\r
+       <font face="Times New Roman" size="3"><span style="FONT-SIZE: 12pt">3.</span></font><font size="1"><span style="FONT-SIZE: 7pt">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;\r
+       </span></font>New adapter name ends with \93Partition\94, e.g. \93OpenFabrics IPoIB \r
+       Adapter Partition\94.</p>\r
+       <p class="MsoNormal" style="MARGIN-LEFT: 0.5in">\r
+       <font face="Times New Roman" size="3"><span style="FONT-SIZE: 12pt">&nbsp;</span></font></p>\r
+       <b>\r
+       <font face="Times New Roman" size="4">\r
+       <span style="FONT-WEIGHT: bold; ">rem </span></font></b>\r
+       <font face="Times New Roman" size="3"><span style="FONT-SIZE: 12pt">\96 \r
+       removes partition key on specified \r
+       port.</span></font></p>\r
+       <p class="MsoNormal" style="MARGIN-LEFT: 0.5in"><b>\r
+       <font face="Times New Roman" size="3">\r
+       <span style="FONT-WEIGHT: bold; FONT-SIZE: 12pt">part_man.exe rem &lt;port_guid&gt; \r
+       &lt;pkey1&gt;&nbsp; &lt;pkey2&gt;</span></font></b></p>\r
+       <p class="MsoNormal" style="MARGIN-LEFT: 0.5in">\r
+       <font face="Times New Roman" size="3"><span style="FONT-SIZE: 12pt">\r
+       Port_guid \96 in hexadecimal format (same as for <b>\r
+       <span style="FONT-WEIGHT: bold">add</span></b> command), identifies port for \r
+       operation. </span></font></p>\r
+       <p class="MsoNormal" style="MARGIN-LEFT: 0.5in">\r
+       <font face="Times New Roman" size="3"><span style="FONT-SIZE: 12pt">Expected \r
+       results after execution <b><span style="FONT-WEIGHT: bold">part_man rem &lt;port_guid&gt; \r
+       &nbsp;&lt;pkey&gt;</span></b></span></font></p>\r
+       <p class="MsoNormal" style="MARGIN-LEFT: 0.75in; TEXT-INDENT: -0.25in">\r
+       <font face="Times New Roman" size="3"><span style="FONT-SIZE: 12pt">1.</span></font><font size="1"><span style="FONT-SIZE: 7pt">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;\r
+       </span></font>Application prints <b><span style="FONT-WEIGHT: bold">\85Done\r
+       </span></b>message.</p>\r
+       <p class="MsoNormal" style="MARGIN-LEFT: 0.75in; TEXT-INDENT: -0.25in">\r
+       <font face="Times New Roman" size="3"><span style="FONT-SIZE: 12pt">2.</span></font><font size="1"><span style="FONT-SIZE: 7pt">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;\r
+       </span></font>In device manager window IPoIB network adapter will disappear.</p>\r
+       <p class="MsoNormal" style="MARGIN-LEFT: 0.75in; TEXT-INDENT: -0.25in">\r
+       <font face="Times New Roman" size="3"><span style="FONT-SIZE: 12pt">3.</span></font><font size="1"><span style="FONT-SIZE: 7pt">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;\r
+       </span></font>Execution of&nbsp; <b><span style="FONT-WEIGHT: bold">part_man.exe \r
+       show </span></b>will not show removed adapter.</p>\r
+       <p class="MsoNormal" style="MARGIN-LEFT: 0.75in; TEXT-INDENT: -0.25in">&nbsp;</div>\r
+       \r
+<p align="left"><b><a href="#TOP"><font color="#000000">&lt;return-to-top&gt;</font></a></b></p>\r
 <p align="left">&nbsp;</p>\r
 <h3 align="left"><a name="printip"></a>PrintIP - print ip adapters and their addresses</h3>\r
 <blockquote>\r
@@ -903,6 +1045,12 @@ Area Connection X-&gt;Properties-&gt;(General Tab)Internet Protocol(TCP/IP)-&gt;
 Infiniband HCA, the Local Area Connection will become enabled. If you discover \r
 the Local Area Connection to be disabled, then likely your subnet manager \r
 (opensm) is not running or functioning correctly.</p>\r
+               <h4 align="left"><u>IPoIB Partition Management</u></h4>\r
+               <ul>\r
+                       <li>\r
+                       <p align="left"><a href="#InfiniBand_Partition_Management">part_man</a>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
+                       Manage (add/remove/show) IPoIB partitions.</li>\r
+       </ul>\r
 <h4 align="left"><a href="#TOP"><font color="#000000">&lt;return-to-top&gt;</font></a></h4>\r
 <p align="left">&nbsp;</p>\r
 <p align="left">&nbsp;</p>\r
@@ -1090,6 +1238,35 @@ Manual control is performed via the \Program Files\WinOF\installsp.exe utility.<
 </blockquote>\r
 <h4 align="left"><a href="#TOP"><font color="#000000">&lt;return-to-top&gt;</font></a></h4>\r
 <p align="left">&nbsp;</p>\r
+<h2 align="left"><a name="Network_Direct_Service_Provider">Network Direct \r
+Service Provider</a></h2><hr>\r
+<h3 align="left">Network Direct Service Provider Installation</h3>\r
+<p align="left">ND service \r
+is automatically installed and started as part of the 'default' installation for \r
+Windows server 2008, Vista or HPC systems.<br>\r
+Manual control is performed via the %windir%\system32\ndinstall.exe utility.</p>\r
+<blockquote>\r
+       <p align="left">usage: ndinstall [-i | -r | -l]<br>\r
+       <br>\r
+       -i&nbsp;&nbsp;&nbsp; Install (enable) the Network Direct (ND) service provider<br>\r
+       -r&nbsp;&nbsp;&nbsp; Remove the ND service provider<br>\r
+       -r &lt;name&gt;&nbsp;&nbsp;&nbsp; Remove the specified service provider<br>\r
+       -l&nbsp;&nbsp;&nbsp; List service providers</p>\r
+</blockquote>\r
+<p align="left">The Microsoft Network Direct SDK can be downloaded from\r
+<a href="http://www.microsoft.com/downloads/details.aspx?familyid=12887DA1-9410-4A59-B903-693116BFD30E&displaylang=en">\r
+here</a>.&nbsp; Once the ND SDK is installed, ND test programs can be located @<br>\r
+%ProgramFiles%\Microsoft HPC Pack 2008 SDK\NetworkDirect\Bin\amd64\ as nd*.exe.</p>\r
+<p align="left">Known working ND test command invocations (loopback or remote \r
+host)</p>\r
+<blockquote>\r
+       <p align="left"><font size="4">svr: ndrpingpong s IPoIB_IPv4_addr 4096 p1<br>\r
+       cli: ndrpingpong c IPoIB_IPv4_addr 4096 p1</font></p>\r
+       <p align="left"><font size="4">svr: ndpingpong s IPoIB_IPv4_addr 4096 b1<br>\r
+       cli: ndpingpong c IPoIB_IPv4_addr 4096 b1</font></p>\r
+</blockquote>\r
+<p align="left">See ndping.exe /? for details.</p>\r
+<p align="left"><b><a href="#TOP"><font color="#000000">&lt;return-to-top&gt;</font></a></b></p>\r
 <p align="left">&nbsp;</p>\r
 <h2 align="left"><a name="DAT"></a>Usermode Direct Access Transport and Direct Access Programming \r
 Libraries</h2>\r
@@ -1803,6 +1980,15 @@ include folder 'Inc\',&nbsp; library definition files 'Lib\'&nbsp; along with a
 \r
 <p align="left">&nbsp;</p>\r
 <p align="left"><a href="#TOP"><font color="#000000">&lt;<b>return-to-top</b>&gt;</font></a></p>\r
-<p>&nbsp;</p>\r
+<p align="left">&nbsp;</p>\r
+<h2><a name="WinVerbs">WinVerbs</a></h2><hr>\r
+<p><br>WinVerbs is a userspace verbs and communication management interface optimized<br>for the Windows operating system. Its lower interface is designed to support<br>any RDMA based device, including Infiniband and iWarp. Its upper interface is<br>capable of providing a low latency verbs interface, plus supports Microsoft's<br>Network Direct Interface, DAPL, and OFED libibverbs interfaces. It consists of<br>a userspace library and a kernel filter driver.<br>\r
+<br>The WinVerbs driver loads as an upper filter driver for Infiniband controllers.<br>(Open source iWarp drivers for Windows are not yet available.) A corresponding<br>userspace library installs as part of the Winverbs driver installation package.<br>Additionally, a Windows port of the OFED libibverbs library and several test<br>programs are also included.<br>\r
+<br>A full list of available libibverbs test programs and their usage are given<br>below. Note that not all listed options apply to all applications<br>\r
+<br>ibv_devinfo<br>-d &lt;dev&gt;&nbsp;&nbsp;&nbsp;&nbsp; use IB device &lt;dev&gt; (default first device found)<br>-I &lt;port&gt;&nbsp;&nbsp;&nbsp;&nbsp; use port &lt;port&gt; of IB device (default all ports)<br>-l&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; print only the IB devices names<br>-v&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; print all the attributes of the IB device(s)<br>\r
+<br>ibv_rc_pingpong, ibv_uc_pingpong, ibv_ud_pingpong<br>no args start a server and wait for connection<br>-h &lt;host&gt;&nbsp;&nbsp;&nbsp;&nbsp; connect to server at &lt;host&gt;<br>-p &lt;port&gt;&nbsp;&nbsp;&nbsp;&nbsp; listen on/connect to port &lt;port&gt; (default 18515)<br>-d &lt;dev&gt;&nbsp;&nbsp;&nbsp;&nbsp; use IB device &lt;dev&gt; (default first device found)<br>-i &lt;port&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; use port &lt;port&gt; of IB device (default 1)<br>-s &lt;size&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; size of message to exchange (default 4096)<br>-m &lt;size&gt;&nbsp;&nbsp;&nbsp;&nbsp; path MTU (default 1024)<br>-r &lt;dep&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; number of receives to post at a time (default 500)<br>-n &lt;iters&gt;&nbsp;&nbsp;&nbsp;&nbsp; number of exchanges (default 1000)<br>-l &lt;sl&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; service level value<br>-e&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; sleep on CQ events (default poll)<br>\r
+<br>ibv_send_bw, ibv_send_lat<br>ibv_read_bw, ibv_read_lat<br>ibv_write_bw, ibv_write_lat<br>no args start a server and wait for connection<br>-h &lt;host&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; connect to server at &lt;host&gt;<br>-p &lt;port&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; listen on/connect to port &lt;port&gt; (default 18515)<br>-d &lt;dev&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; use IB device &lt;dev&gt; (default first device found)<br>-i &lt;port&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; use port &lt;port&gt; of IB device (default 1)<br>-c &lt;RC/UC/UD&gt;&nbsp; connection type RC/UC/UD (default RC)<br>-m &lt;mtu&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; mtu size (256 - 4096. default for hermon is 2048)<br>-s &lt;size&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; size of message to exchange (default 65536)<br>-a&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Run sizes from 2 till 2^23<br>-t &lt;dep&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; size of tx queue (default 300)<br>-g&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; send messages to multicast group (UD only)<br>-r &lt;dep&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; make rx queue bigger than tx (default 600)<br>-n &lt;iters&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; number of exchanges (at least 2, default 1000)<br>-I &lt;size&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; max size of message to be sent in inline mode (default 400)<br>-b&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; measure bidirectional bandwidth (default unidirectional)<br>-V&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; display version number<br>-e&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; sleep on CQ events (default poll)<br>-N&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; cancel peak-bw calculation (default with peak-bw)<br>\r
+<br>To verify correct WinVerbs and libibverbs installation, run ibv_devinfo. It<br>should report all RDMA devices in the system, along with limited port<br>attributes. Because of limitations in the WinOF stack, it is normal for it to<br>list several values as unknown.</p>\r
+<p><a href="#TOP"><font color="#000000">&lt;<b>return-to-top</b>&gt;</font></a></p>\r
 \r
 \r