[WinOF] support Windows 7 (currently disabled)
[mirror/winof/.git] / WinOF / WIX / Release_notes.htm
1 <html>\r
2 \r
3 <head>\r
4 <meta http-equiv=Content-Type content="text/html; charset=windows-1252">\r
5 <meta http-equiv="Content-Language" content="en-us">\r
6 <meta name=Generator content="Microsoft Word 11 (filtered)">\r
7 \r
8 <style>\r
9 <!--\r
10  /* Font Definitions */\r
11  @font-face\r
12         {font-family:Wingdings;\r
13         panose-1:5 0 0 0 0 0 0 0 0 0;}\r
14 @font-face\r
15         {font-family:"MS Mincho";\r
16         panose-1:2 2 6 9 4 2 5 8 3 4;}\r
17 @font-face\r
18         {font-family:"\@MS Mincho";\r
19         panose-1:2 2 6 9 4 2 5 8 3 4;}\r
20  /* Style Definitions */\r
21  p.MsoNormal, li.MsoNormal, div.MsoNormal\r
22         {margin:0in;\r
23         margin-bottom:.0001pt;\r
24         font-size:12.0pt;\r
25         font-family:"Times New Roman";}\r
26 h1\r
27         {margin-right:0in;\r
28         margin-left:0in;\r
29         font-size:24.0pt;\r
30         font-family:"Times New Roman";\r
31         font-weight:bold;}\r
32 h2\r
33         {margin-right:0in;\r
34         margin-left:0in;\r
35         font-size:18.0pt;\r
36         font-family:"Times New Roman";\r
37         font-weight:bold;}\r
38 h3\r
39         {margin-right:0in;\r
40         margin-left:0in;\r
41         font-size:13.5pt;\r
42         font-family:"Times New Roman";\r
43         font-weight:bold;}\r
44 h4\r
45         {margin-right:0in;\r
46         margin-left:0in;\r
47         font-size:12.0pt;\r
48         font-family:"Times New Roman";\r
49         font-weight:bold;}\r
50 a:link, span.MsoHyperlink\r
51         {color:blue;\r
52         text-decoration:underline;}\r
53 a:visited, span.MsoHyperlinkFollowed\r
54         {color:blue;\r
55         text-decoration:underline;}\r
56 p.MsoPlainText, li.MsoPlainText, div.MsoPlainText\r
57         {margin:0in;\r
58         margin-bottom:.0001pt;\r
59         font-size:10.0pt;\r
60         font-family:"Courier New";}\r
61 p\r
62         {margin-right:0in;\r
63         margin-left:0in;\r
64         font-size:12.0pt;\r
65         font-family:"Times New Roman";}\r
66 @page Section1\r
67         {size:8.5in 11.0in;\r
68         margin:1.0in 65.95pt 1.0in 65.95pt;}\r
69 div.Section1\r
70         {page:Section1;}\r
71  /* List Definitions */\r
72  ol\r
73         {margin-bottom:0in;}\r
74 ul\r
75         {margin-bottom:0in;}\r
76 -->\r
77 </style>\r
78 \r
79 <title>WinOF 1.1 Release Notes</title>\r
80 \r
81 </head>\r
82 \r
83 <body lang=EN-US link=#0000FF vlink=#808080>\r
84 \r
85 <div class=Section1>\r
86 \r
87 <h1 align=center style='text-align:left'><img width=107 height=93\r
88 src=openfabrics.gif></h1>\r
89 \r
90 <h1 align=center style='text-align:center'>Windows OpenFabrics </h1>\r
91 \r
92 <h1 align=center style='text-align:center'><a name="1.1_Release_Notes">2.1 Release Notes</a></h1>\r
93 \r
94 <h3 align=center style='text-align:center'>\r
95 <!--webbot bot="Timestamp" S-Type="EDITED" S-Format="%m/%d/%Y" startspan -->03/09/2009<!--webbot bot="Timestamp" endspan i-checksum="12644" --></h3>\r
96 \r
97 <div class=MsoNormal align=center style='text-align:center'>\r
98 \r
99 <hr size=2 width="100%" align=center>\r
100 \r
101 <h3 style="text-align: left"><u><a href="#Overview"><font color="#000000">\r
102 Overview</font></a></u></h3>\r
103 <h3 style="text-align: left"><u>\r
104 <a href="#Supported_Platforms,_Operating_Systems_and_Infiniband_Hardware">\r
105 <font color="#000000">Supported Platforms, Operating Systems and InfiniBand Hardware</font></a></u></h3>\r
106 <h3 style="text-align: left"><a href="#Installation_Specifics">\r
107 <font color="#000000">Installation Notes</font></a></h3>\r
108 <h3 style="text-align: left"><a href="#How_to_Install"><font color="#000000">\r
109 How to Install</font></a></h3>\r
110 \r
111 </div>\r
112 \r
113 <h3><u><a href="#Unattended_Install"><font color="#000000">\r
114 Unattended Install</font></a><font color="#000000"> </font></u></h3>\r
115 <h3><b><a href="#HCA Driver Installation"><font color="#000000">HCA Device Driver \r
116 Installation</font></a></b></h3>\r
117 <h3><u><font color="#000000"> <a href="#Server_2008_HPC_Install_Notes">\r
118 <font color="#000000">Server 2008 HPC Install Notes</font></a></font></u></h3>\r
119 <h3><u><a href="#Setting_the_IPoIB_Interface_IP_Address"><font color="#000000">\r
120 Setting the IPoIB Interface IP Address</font></a></u></h3>\r
121 <h3><u><a href="#Uninstall"><font color="#000000">\r
122 Uninstall</font></a></u></h3>\r
123 <h3><u><a href="#Trouble_Shooting"><font color="#000000">\r
124 Trouble Shooting</font></a></u></h3>\r
125 <h3><a href="#OpenIB_Subnet_Management_as_a_Windows_Service">\r
126 <font color="#000000">InfiniBand</font></a><u><a href="#OpenIB_Subnet_Management_as_a_Windows_Service"><font color="#000000"> Subnet Management as a Windows Service</font></a></u></h3>\r
127 <h3><u><a href="#Local_Network_Adapter_Ordering"><font color="#000000">\r
128 Local Network Adapter Ordering</font></a></u></h3>\r
129 <h3><u><a href="#Which_WinOF_release_is_installed"><font color="#000000">\r
130 Which WinOF release is installed</font></a></u><a href="#Which_WinOF_release_is_installed"><font color="#000000">?</font></a></h3>\r
131 <h3><u><a href="#QLogic_VNIC_Configuration"><font color="#000000">\r
132 QLogic VNIC Configuration</font></a></u></h3>\r
133 <h3><u><a href="#DAT_&_uDAPL_Configuration"><font color="#000000">\r
134 DAT &amp; uDAPL Configuration</font></a></u></h3>\r
135 <h3><u><a href="#SRP_-_SCSI_RDMA_Protocol_Driver_Installation">\r
136 <font color="#000000">SRP (SCSI RDMA Protocol) Driver Installation</font></a></u></h3>\r
137 <h3><a href="#WinVerbs"><font color="#000000">W</font></a><u><a href="#WinVerbs"><font color="#000000">inVerbs</font></a></u></h3>\r
138 <h3><u><a href="#Known_Issues"><font color="#000000">\r
139 Known Issues</font></a></u></h3>\r
140 <hr>\r
141 <p>&nbsp;</p>\r
142 \r
143 <h2><u><a name="Overview">Overview</a></u></h2>\r
144 \r
145 <p class=MsoPlainText><span style='font-size:12.0pt;font-family:"Arial"'>The\r
146 Windows OpenFabrics (WinOF) release package is composed of software modules\r
147 intended for use on Microsoft Windows based computer systems connected via an\r
148 InfiniBand fabric.</span></p>\r
149 \r
150 <p class=MsoPlainText><span style='font-size:12.0pt;font-family:"Arial"'>&nbsp;Binary\r
151 files generated from the OpenIB-windows developers subversion (svn) source tree </span>\r
152 <font face="Arial">'svn://openib.tc.cornell.edu'<span style='font-size:12.0pt;'> \r
153 (branches\WOF2-0 svn revision <font color="#FF0000">1835</font>)\r
154 are packaged into a <a href="http://www.dalun.com/wix/default.htm">WIX 2.0 \r
155 (Windows Installer Xml)</a> single file install package referred to as the \r
156 Windows OpenFabrics&nbsp;(WinOF) release 2.1.</span></font><span style='font-size:12.0pt;font-family:"Times New Roman"'><br>\r
157 &nbsp;</span></p>\r
158 <p class=MsoPlainText><font size="3"><span style="font-family: Arial">\r
159 This WinOF 2.1 is a full release as it contains WHQL fixes \r
160 to numerous components along with full Winverbs and OFED integration modules:</span></font></p>\r
161 \r
162 </div>\r
163 <ul>\r
164         <li>\r
165         <p class="MsoPlainText"><font face="Arial" size="3">Windows Server \r
166         2008 and Vista are supported.</font></p></li>\r
167         <li>\r
168         <p class="MsoPlainText"><font face="Arial" size="3">Network Direct \r
169         supported on Server 2008/HPC.</font></p></li>\r
170         <li>\r
171         <p class="MsoPlainText"><font face="Arial" size="3">Mellanox ConnectX(mlx4) drivers \r
172         enhanced for increased performance and stability.</font></p></li>\r
173         <li>\r
174         <p class="MsoPlainText"><font face="Arial" size="3">QLogic has \r
175         enhanced VNIC &amp; SRP for increased performance and stability.</font></p></li>\r
176         <li>\r
177         <p class="MsoPlainText"><font face="Arial" size="3">Bug fixes for stability in IBcore, WSD, VNIC, SRP, IPoIB, DAT/DAPL</font></p>\r
178         </li>\r
179 </ul>\r
180 <div class=Section1>\r
181 \r
182 <p><font face="Arial">The Windows OpenFabrics (WinOF) release package contains the following:<br>\r
183 <br>\r
184 OpenFabrics InfiniBand core drivers and Upper Level Protocols (ULPs):</font></p>\r
185 <ul>\r
186         <li>\r
187         <p style="text-indent: -.25in; margin-left: .5in"><font face="Arial"><span dir="LTR">HCA \r
188         Drivers - </span>\r
189         <span style='background-position: 0% 0%; mso-highlight:yellow; background-image:none; background-repeat:repeat; background-attachment:scroll' dir="LTR">&nbsp;Mellanox \r
190         </span>\r
191         <st1:stockticker>\r
192         <span\r
193  style='background-position: 0% 0%; mso-highlight:yellow; background-image:none; background-repeat:repeat; background-attachment:scroll'>\r
194         InfiniHost &amp; ConnectX</span></st1:stockticker><span\r
195 style='background-position: 0% 0%; mso-highlight:yellow; background-image:none; background-repeat:repeat; background-attachment:scroll'> low level drivers; See list of\r
196 supported devices below</span></font></li>\r
197         <li>\r
198         <p style="text-indent: -.25in; margin-left: .5in">\r
199         <font face="Arial">\r
200         <span style="background-position: 0% 0%">Infiniband Core components</span></font></li>\r
201         <li>\r
202         <p style="text-indent: -.25in; margin-left: .5in"><font face="Arial">Upper Layer Protocols: \r
203         IPoIB, WSD, ND, VNIC, SRP Initiator and DAT/DAPL</font></li>\r
204 </ul>\r
205 \r
206 <p><font face="Arial">OpenFabrics utilities:</font></p>\r
207 \r
208 <ul>\r
209         <li>\r
210         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>OpenSM: InfiniBand fabric Subnet Manager</span></font></p>\r
211         </li>\r
212         <li>\r
213         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>Performance \r
214         tests</span></font></p></li>\r
215         <li>\r
216         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir="LTR">Diagnostic tools</span></font></p>\r
217         </li>\r
218 </ul>\r
219 \r
220 <p><font face="Arial">Documentation</font></p>\r
221 \r
222 <ul>\r
223         <li>\r
224         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>User's manual</span></font></p>\r
225         </li>\r
226         <li>\r
227         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>Release Notes</span></font></p>\r
228         </li>\r
229 </ul>\r
230 \r
231 <p style="text-indent: -.25in; margin-left: .5in"><a href="#1.1_Release_Notes">\r
232 <font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
233 <p style="text-indent: -.25in; margin-left: .5in">&nbsp;</p>\r
234 <h2><u><a name="Supported_Platforms,_Operating_Systems_and_Infiniband_Hardware">Supported Platforms, Operating Systems and Infiniband Hardware</a></u></h2>\r
235 \r
236 <h4>CPU architectures</h4>\r
237 \r
238 <ul>\r
239         <li>\r
240         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>x64 (x86_64, amd64)</span></font></p>\r
241         </li>\r
242         <li>\r
243         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>x86</span></font></p>\r
244         </li>\r
245         <li>\r
246         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>IA64</span></font></p>\r
247         </li>\r
248 </ul>\r
249 \r
250 <h4>Operating Systems</h4>\r
251 \r
252 <ul>\r
253         <li>\r
254         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir="LTR">Windows \r
255         Server 2008</span></font></p>\r
256         </li>\r
257         <li>\r
258         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir="LTR">Vista</span></font></p>\r
259         </li>\r
260         <li>\r
261         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>Windows Server 2008 HPC Edition</span></font></p>\r
262         </li>\r
263         <li>\r
264         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir="LTR">Windows Server 2003 \r
265         / XP64</span></font></p>\r
266         </li>\r
267         <li>\r
268         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>Windows XP/32 (SP2)</span></font></p>\r
269         </li>\r
270 </ul>\r
271 \r
272 <h4><u>Supported HCAs (Host Channel Adapters)</u></h4>\r
273 \r
274 <p><font face="Arial">Mellanox</font></p>\r
275 <ul>\r
276         <li>\r
277         <p style='margin-left:.5in;text-indent:-.25in;mso-list:l13 level1 lfo1;\r
278 tab-stops:list .5in'><![if !supportLists]><font size="3">\r
279         <span style='background-position: 0% 0%; font-style:normal; font-variant:normal; font-weight:normal; font-family:Arial; mso-list:Ignore; mso-bidi-font-size:12.0pt; mso-fareast-font-family:Symbol; mso-bidi-font-family:Symbol; mso-highlight:yellow; background-image:none; background-repeat:repeat; background-attachment:scroll'>\r
280         MT23108 - InfiniHost</span></font><![endif]></p></li>\r
281         <li>\r
282         <p style='margin-left:.5in;text-indent:-.25in;mso-list:l13 level1 lfo1;\r
283 tab-stops:list .5in'>\r
284         <font face="Arial">\r
285         <span style='background-position: 0% 0%; mso-highlight:yellow; background-image:none; background-repeat:repeat; background-attachment:scroll' dir="LTR">MT25218 \96 InfiniHost III Ex, memfree</span></font></p>\r
286         </li>\r
287         <li>\r
288         <p style='margin-left:.5in;text-indent:-.25in;mso-list:l13 level1 lfo1;\r
289 tab-stops:list .5in'>\r
290         <font face="Arial">\r
291         <span style='background-position: 0% 0%; mso-highlight:yellow; background-image:none; background-repeat:repeat; background-attachment:scroll' dir="LTR">MT25204 \96 InfiniHost III Lx</span></font></p>\r
292         </li>\r
293         <li>\r
294         <p style='margin-left:.5in;text-indent:-.25in;mso-list:l13 level1 lfo1;\r
295 tab-stops:list .5in'><font face="Arial"><span style="background-position: 0% 0%">MT25408 - ConnectX DDR Channel Adapter, not \r
296         yet supported on IA64 platforms.</span></font></p>\r
297         </li>\r
298 </ul>\r
299 <p><font face="Arial">Both SDR and DDR mode of the InfiniHost III family are supported.<br><br>For official Firmware (FW) versions and update tools please see:<br>\r
300 <a href="http://www.mellanox.com/support/firmware_table.php">http://www.mellanox.com/support/firmware_table.php</a><br>\r
301 Current HCA firmware version can be viewed from the 'vstat' command.</font></p>\r
302 \r
303 <h4><font face="Arial"><u>Supported Switches</u></font></h4>\r
304 \r
305 <ul>\r
306         <li>\r
307         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir="LTR">QLogic</span></font></p>\r
308         </li>\r
309         <li>\r
310         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>SilverStorm - \r
311         update your firmware for correct embedded Subnet Manager operation.</span></font></p>\r
312         </li>\r
313         <li>\r
314         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir="LTR">Voltaire</span></font></p>\r
315         </li>\r
316         <li>\r
317         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>Flextronics</span></font></p>\r
318         </li>\r
319         <li>\r
320         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial">Due to lack of hardware \r
321         accessibility, \r
322         other vendor switches have not been tested.</font></p>\r
323         </li>\r
324 </ul>\r
325 \r
326 <p><a href="#1.1_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
327 <p>&nbsp;</p>\r
328 <h2><u><a name="Installation_Specifics">Installation </a></u>\r
329 <a name="Installation_Specifics"><u>Notes</u></a></h2>\r
330 \r
331 <p><font face="Arial">User mode tools and diagnostics are installed in '%SystemDrive%\Program\r
332 Files (x86)\WinOF'.&nbsp; Although driver modules initially reside in \r
333 '%SystemDrive%\Program Files (x86)\WinOF', when installed the Windows device \r
334 installer copies driver files to %SystemRoot%\system32 &amp; %SystemRoot%\SysWOW64'. \r
335 DAT &amp; DAPL runtime libraries are installed into %SystemRoot% in order to be \r
336 accessible to user mode applications.<br>\r
337 WinOF user mode executables are designed to be run from\r
338 a Command Prompt window; see&nbsp; 'Start-&gt;Program Files-&gt; Windows OpenFabrics-&gt; Command Prompt'.</font></p>\r
339 <p><font face="Arial">'%SystemDrive%\Program Files (x86)\WinOF' is appended to the system wide search \r
340 path; new command windows created after the installation will have the updated \r
341 %PATH% environment variable, hence will be able to access WinOF executables.</font></p>\r
342 \r
343 <p><font face="Arial">The \91default\92 installation installs \91released/free\92 (not\r
344 checked/debug) versions of drivers and executables. Debug/Checked versions are \r
345 available as an install feature.</font></p>\r
346 \r
347 <p><font face="Arial">A single instance of a subnet manager, opensm.exe, must be\r
348 running on a fabric connected node in order for the Infiniband fabric to be\r
349 configured and useful; either Windows or Linux OFED opensm work well.</font></p>\r
350 <p><font face="Arial">It is recommended that OpenSM be run as a Windows service.&nbsp; A typical \r
351 WinOF install will install OpenSM as a Windows service which \r
352 is disabled; after an installation, choose your openSM node and start the openSM \r
353 service.&nbsp; \r
354 See the WinOF Manual for details on opensm as a service.<br>\r
355 By selecting the 'OpenSM_Service_Enabled' install feature, an OpenSM subnet \r
356 management service will be automatically started. </font> </p>\r
357 \r
358 <p><font face="Arial">Note, the opensm.exe process must continue to run in order\r
359 to maintain Infiniband fabric configuration. Should the opensm.exe process die,\r
360 restart the service if not automatic or re-run opensm.exe in order to continue\r
361 correct fabric operation.</font></p>\r
362 \r
363 <p><font face="Arial">For more subnet management information, consult the Windows\r
364 OpenFabrics manual.</font></p>\r
365 \r
366 <p class=MsoNormal><a href="#1.1_Release_Notes"><font color="#000000">\r
367 &lt;Return-to-Top&gt;</font></a></p>\r
368 <p class=MsoNormal>&nbsp;</p>\r
369 \r
370 <h2><u><a name="How_to_Install">How to Install</a></u></h2>\r
371 \r
372 <h3>Requirements</h3>\r
373 \r
374 <p><font face="Arial">Install HCA hardware prior to installing the Windows OpenFabrics Release\r
375 package. Upon reboot, cancel any attempts to install new device hardware from \r
376 the &quot;Found New Hardware Wizard&quot;.</font></p>\r
377 \r
378 <p><font face="Arial">If you have previously installed openib-windows, WinOF (Windows OpenFabrics)\r
379 packages or vendor supplied Infiniband packages, uninstall and reboot prior to\r
380 installing this version of Windows OpenFabrics (WinOF).</font></p>\r
381 \r
382 <p><font face="Arial">For an existing Windows OpenFabrics (WinOF) uninstall<br>\r
383 &nbsp;&nbsp;&nbsp; Start-&gt; Programs-&gt; Windows OpenFabrics-&gt; Uninstall WinOF<br>\r
384 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -or-<br>\r
385 &nbsp;&nbsp;&nbsp; Control Panel -&gt; Add or Remove Programs-&gt; Windows\r
386 OpenFabrics-&gt;Remove.</font></p>\r
387 <p><font face="Arial">openib-windows (IB stack before WinOF 1.0 release) uninstall: (not the normal \r
388 uninstall case)</font></p>\r
389 \r
390 <ol start=1 type=1>\r
391         <li class=MsoNormal><font face="Arial">Disable any Local Area Connections which are bound to the\r
392      IPoIB network adapter.</font></li>\r
393  <li class=MsoNormal><font face="Arial">Uninstall the IPoIB driver - My\r
394      computer-&gt;Manage-&gt;Devices-&gt;Network Adapters-&gt;IPoIB*</font></li>\r
395         <li class=MsoNormal><font face="Arial">Stop the openSM subnet manager if it is running on the \r
396         local node.</font></li>\r
397  <li class=MsoNormal><font face="Arial">Uninstall the Infiniband HCA device; don't forget the \r
398         System Device-&gt; InfiniBand Fabric</font></li>\r
399 </ol>\r
400 \r
401 <p>&nbsp;</p>\r
402 \r
403 <p><b>REBOOT</b></p>\r
404 \r
405 <p><font face="Arial">Upon system restart, cancel the 'Found New Hardware Wizard' attempts to install \r
406 drivers for newly discovered PCI device (HCA).</font></p>\r
407 <p><font face="Arial">'My Computer-&gt;Manage-&gt;Device Manager' should display\r
408 'Other Devices-&gt;?PCI device' which is your Infiniband HCA device.</font></p>\r
409 \r
410 <h3><u>Install</u></h3>\r
411 \r
412 <blockquote style='margin-top:5.0pt;margin-bottom:5.0pt'>\r
413 \r
414 <p><font face="Arial">Vista installation <b>only</b>; open a privileged Administrator command \r
415 window and type</font></p>\r
416 <p><font face="Arial">&nbsp;&nbsp;&nbsp; start/wait msiexec /I WinOF_2-1_wlh_xxx.msi</font></p>\r
417 <p><font face="Arial">For all other Windows variants, double-clicking the installer file (.msi) \r
418 works correctly to start a WinOF installation.<br>\r
419 From a login session with administrator privileges, double-click the WinOF_M-m{-p}_OSE_arch.msi file to begin the Windows OpenFabrics \r
420 installation.</font></p>\r
421 <p><font face="Arial">Where 'M-n{-p}' indicates Major release number, Minor release number, and \r
422 optional point-release number.</font></p>\r
423 <p><font face="Arial">&nbsp;OSE - Operating System Environment:</font></p>\r
424 <ul>\r
425         <li><font face="Arial">wlh - (Windows LongHorn) Windows Server 2008, HPC or Vista</font></li>\r
426         <li><font face="Arial">wnet - Windows Server 2003 or Windows XP 64-bit version</font></li>\r
427         <li><font face="Arial">wxp - Windows XP x86/32-bit version</font></li>\r
428 </ul>\r
429 <p><font face="Arial">'_arch_' will be one of</font></p>\r
430 <ul>\r
431         <li><font face="Arial">_x64_ for&nbsp; Intel EMT64 systems or amd64; see\r
432         <a href="http://en.wikipedia.org/wiki/X86-64">x86-64</a></font></li>\r
433         <li><font face="Arial">_x86_ for x86\r
434 compatible systems</font></li>\r
435         <li><font face="Arial">_ia64_ for Intel IA64 systems. </font> </li>\r
436 </ul>\r
437 \r
438 <p><font face="Arial">Follow the on-screen instructions.<br>\r
439 <br>\r
440 Answer 'yes' or 'Continue' to any notifier windows which reference non-WHQL'ed \r
441 driver installation.<br>\r
442 These non-WHQL'ed driver install questions can <b>not</b> be disabled \r
443 via 'My Computer-&gt;Properties-&gt;Hardware-&gt;Driver Signing-&gt;Ignore'.</font></p>\r
444 <p><font face="Arial">Bottom-line - The digitally signed WinOF drivers in this package are not WHQL'ed \r
445 per se, although they are \r
446 built from driver source which has been or is in process of being WHQL'ed by \r
447 hardware vendors who participate in the open source WinOF development process.</font></p>\r
448 <p>&nbsp;</p>\r
449 <p>&nbsp;<font size="4">**** WARNING ****</font></p>\r
450 <blockquote>\r
451         <p><font face="Arial">Should any 'Welcome to the Found New Hardware Wizard' windows popup after the \r
452         WinOF install has started, just ignore (window will disappear in a few \r
453         seconds) or 'Cancel' the errant popup window.&nbsp; \r
454         For Windows Server 2003 (SP1) you can safely ignore the errant FNHW popup \r
455         window; for Windows XP (SP2) the errant FNHW popups need to be 'cancelled' \r
456         in order for the WinOF install to proceed. The report back from Microsoft on these 'Found New Hardware Wizard' windows \r
457         popping up, is they are due to the fact the WinOF drivers are not WHQL'ed \r
458         and hence are not trusted by Windows; MS claims this is a 'feature'.</font></p>\r
459         <p><font face="Arial">An artifact of cancelling an errant 'Found New Hardware' popup window may \r
460         induce an errant taskbar Information notifier/bubble indicating there may \r
461         have been problems installing your hardware drivers;\r
462         IGNORE/cancel this information bubble, likely the device installation \r
463         proceeded without error. Check the Device Manager views for the \r
464         Infiniband HCA and IPoIB Network Adapters for initial verification of \r
465         correct installation.</font></p>\r
466         <p><font face="Arial">You <b>do</b> need to answer 'Yes' or 'Continue' to those notifier windows which \r
467         reference non-WHQL driver installation. If you have previously \r
468         set My Computer-&gt;Properties-&gt;Hardware-&gt;Driver Signing-&gt;Ignore, the FNHW \r
469         windows likely will occur anyway.</font></p>\r
470         <p><font face="Arial">Should the install appear to hang, look around for occluded notifier windows \r
471         waiting for a response which \r
472         are covered by existing windows.<br>\r
473 &nbsp;</font></p>\r
474 </blockquote>\r
475 \r
476 <h4>Install type: Custom only</h4>\r
477 \r
478 <ul type=disc>\r
479  <li class=MsoNormal><font face="Arial">InfiniBand Core:</font><ul>\r
480         <li><font face="Arial">HCA driver - Mellanox: InfiniHost or ConnectX<br>\r
481         Server 2008 or Vista - installation will select the correct HCA driver.<br>\r
482         Server 2003 or XP - default HCA driver selection is Mellanox InfiniHost, \r
483         otherwise select from install features.</font></li>\r
484         <li><font face="Arial">IB core stack and libraries.</font></li>\r
485         <li><font face="Arial">Release Notes, Manual</font></li>\r
486         <li><font face="Arial">Subnet Management service [OpenSM] (installed &amp; disabled), Performance &amp; Diagnostic tools</font></li>\r
487         </ul>\r
488         </li>\r
489         <li><font face="Arial">Optional:<br>&nbsp;&nbsp;&nbsp; IPoIB - Internet Protocols over \r
490         InfiniBand<br>&nbsp;&nbsp;&nbsp; Winsock Direct (Win2008/3 only)<br>\r
491 &nbsp;&nbsp;&nbsp; Network Direct (MS supported only for Server 2008 HPC).<br>&nbsp;&nbsp;&nbsp; VNIC - Virtual Ethernet device over Infiniband<br>&nbsp;&nbsp;&nbsp; SRP - SCSI over RDMA Protocol<br>&nbsp;&nbsp;&nbsp; \r
492         DAT/DAPL \r
493         - RDMA device independent, user-mode Direct Access Transport &amp; Direct Access \r
494         Provider<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; - DAT v1.1&nbsp; runtime libraries.<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; - DAT v1.1 application build environment \r
495         (header files &amp; link files).<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; - DAT/DAPL v2.0 runtime libraries<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; - DAT v2.0 application build environment<br>&nbsp;&nbsp;&nbsp; OpenSM_service_started - InfiniBand Subnet Management \r
496         enabled and started as a Windows Service.<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
497         By default OpenSM is installed as a disabled Windows Service.<br>\r
498 &nbsp;&nbsp;&nbsp; WinVerbs - OFED verbs API for Windows.<br>\r
499 &nbsp;&nbsp;&nbsp; Checked versions of driver files.<br>\r
500 &nbsp;</font></li>\r
501         <li><font face="Arial">The '<b>default</b>' installation includes IB core, IPoIB, WSD (Win2K3 only), \r
502         DAT 1.1 runtime libraries, OpenSM service (disabled).</font></li>\r
503 </ul>\r
504 \r
505 </blockquote>\r
506 \r
507 <p><a href="#1.1_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
508 <p>&nbsp;</p>\r
509 <h3><u><a name="HCA Driver Installation">HCA Driver Installation</a></u></h3>\r
510 <p><font face="Arial">WinOF Server 2008 / Vista device driver installation operates somewhat \r
511 differently than Server 2003/XP device driver installation.<br>\r
512 Server 2008 uses the device driver installation program dpinst.exe (Driver \r
513 Package Install) plus the \r
514 Windows driver store, where Server 2003 uses the older devman/devcon device \r
515 driver installation technology.</font></p>\r
516 <h4><u><a name="Server_2008_HPC_Install_Notes1">Server 2008/Vista Notes</a></u></h4>\r
517 <p><font face="Arial">The main difference for Server 2008 is the Microsoft Plug-n-Play (PNP) subsystem \r
518 controls which Infiniband HCA (Host Channel Adapter) device driver is loaded \r
519 from the Windows Driver Store. HCA driver selection based on PNP system device \r
520 configuration probing, thus InfiniHost, ConnectX or both drivers can be loaded \r
521 by the PNP subsystem.<br>\r
522 Using PNP probing results in the Server 2008/Vista WinOF installation not \r
523 requiring a specific HCA model [ConnectX or InfiniHost] feature selection.</font></p>\r
524 <h4><u><a name="Server_2008_HPC_Install_Notes0">Server 2003/XP Notes</a></u></h4>\r
525 <p><font face="Arial">Server 2003/XP installs require the specific selection of an \r
526 HCA device type.</font></p>\r
527 <p><font face="Arial">The default Server 2003/XP HCA device install type is&nbsp; Mellanox InfiniHost. When installing WinOF you have two choices on how to override the \r
528 default HCA device type (case of ConnectX HCA hardware):</font></p>\r
529 <ol>\r
530         <li><font face="Arial">Use the WinOF installer GUI to change the default HCA device driver \r
531         feature selection from InfiniHost to ConnectX.<br>\r
532 &nbsp;</font></li>\r
533         <li><font face="Arial">From a command line:&nbsp; start/wait msiexec /I WinOF_wnet/wxp_arch.msi /qb /quiet \r
534         HCA=cx<br>\r
535         <br>\r
536         The 'HCA=cx' argument changes the default HCA device type to be Mellanox \r
537         ConnectX (mlx4_*).<br>\r
538         'HCA=+cx' argument adds the Mellanox ConnectX HCA type to the default HCA \r
539         type.<br>\r
540         The result is the installation of HCA drivers for ConnectX and InfiniHost.<br>\r
541 &nbsp;</font></li>\r
542 </ol>\r
543 <h3><u><a name="Unattended_Install0">Unattended Install</a></u></h3>\r
544 \r
545 <div id="main-copy0">\r
546         <font face="Arial">To perform a silent unattended installation for Server \r
547         2003/XP for Mellanox InfiniHost HCA hardware, invoke the following command \r
548         from a command window.</font><blockquote>\r
549                 <p><font face="Arial">start/wait msiexec.exe /i WinOF_2-0_wnet_x64.msi&nbsp; /qn&nbsp; /quiet&nbsp; /log \r
550                 %TEMP%\WOF-install.log</font></p>\r
551                 <p><font face="Arial">'/log dev:path\logFilename.log' is optional.</font></p>\r
552                 <p><font face="Arial">msiexec.exe /? for all options.</font></p>\r
553         </blockquote>\r
554         <p><font face="Arial">An unattended Server 2003/XP install will install the following 'default' options</font></p>\r
555         <ul>\r
556                 <li><font face="Arial">Infiniband Core modules - Mellanox InfiniHost HCA driver, IB core stack and libraries, \r
557                 documentation<br>\r
558                 default HCA driver selection is Mellanox InfiniHost, otherwise override \r
559                 default InfiniHost HCA type with 'HCA=cx'.</font></li>\r
560                 <li><font face="Arial">IPoIB - Internet Protocols over InfiniBand</font></li>\r
561                 <li><font face="Arial">WSD - (Win2K8/3 only, not installed on XP) Win Sock Direct</font></li>\r
562                 <li><font face="Arial">ND - Network Direct [started automatically (via ndinstall.exe) only for Server \r
563                 2008/HPC and Vista].</font></li>\r
564                 <li><font face="Arial">DAT &amp; DAPL (v1.1 &amp; v2.0) runtime libraries + dapltest.exe \r
565                 (dt-svr &amp; dt-cli).</font></li>\r
566         </ul>\r
567 </div>\r
568 <p><font face="Arial">Should WSD not be a desirable unattended install option (Win2008/3 only), \r
569 currently you would install unattended then execute the<br>\r
570 command 'installsp -r' \r
571 on each node to remove WSD.</font></p>\r
572 <p><font face="Arial">Examples:</font></p>\r
573 <p><font face="Arial">Server 2003 - Mellanox HCA Hardware</font></p>\r
574 <ul>\r
575         <li><font face="Arial">InfiniHost HCA<br>\r
576         start/wait msiexec.exe /i WinOF_2-0_wnet_x64.msi /qb /quiet<br>\r
577 &nbsp;</font></li>\r
578         <li><font face="Arial">ConnectX HCA<br>\r
579         start/wait msiexec.exe /i WinOF_2-0_wnet_x64.msi /qb /quiet HCA=cx<br>\r
580 &nbsp;</font></li>\r
581         <li><font face="Arial">InfiniHost and ConnectX<br>\r
582         start/wait msiexec.exe /i WinOF_2-0_wnet_x64.msi /qb /quiet HCA=+cx</font></li>\r
583 </ul>\r
584 <p><font face="Arial">Windows XP - Mellanox HCA Hardware - same as above with .msi \r
585 name change (wnet --&gt; wxp).</font></p>\r
586 <ul>\r
587         <li><font face="Arial">ConnectX HCA<br>\r
588         start/wait msiexec.exe /i WinOF_2-0_wxp_x86.msi /qb /quiet HCA=cx<br>\r
589 &nbsp;</font></li>\r
590 </ul>\r
591 <p><font face="Arial">Server 2008 / Vista - HCA Hardware</font></p>\r
592 <ul>\r
593         <li><font face="Arial">No need to specify HCA type as PNP (Plug-n-Play)&nbsp; \r
594         figures out the correct HCA to install.<br>\r
595         start/wait msiexec.exe /i WinOF_2-0_wlh_x64.msi /qb /quiet</font></li>\r
596 </ul>\r
597 <p>&nbsp;</p>\r
598 <p><font face="Arial">Non-HCA Install Features added to above examples:</font></p>\r
599 <ul>\r
600         <li><font face="Arial">Start a Subnet Manager running on the local system: \r
601         add 'OSMS=1'</font></li>\r
602         <li><font face="Arial">Install SRP: add 'SRP=1'</font></li>\r
603         <li><font face="Arial">Install VNIC: add 'VNIC=1'</font></li>\r
604 </ul>\r
605 <p><font face="Arial">Default install + SRP + VNIC + OpenSM Started on local \r
606 system</font></p>\r
607 <ul>\r
608         <li><font face="Arial">Server 2003, ConnectX - start/wait msiexec.exe /i WinOF_2-0_wnet_x64.msi \r
609         /qb /quiet HCA=cx SRP=1 VNIC=1 OSMS=1<br>\r
610 &nbsp;</font></li>\r
611 </ul>\r
612 <p><a href="#1.1_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
613 <p>&nbsp;</p>\r
614 <h3><u><a name="Server_2008_HPC_Install_Notes">Server 2008 HPC Install Notes</a></u></h3>\r
615 <p><font face="Arial">Device drivers in WinOF 2.0 and later releases, are Digitally \r
616 signed although they are not WHQL'ed (Windows Quality Hardware Labs) certified. The lack \r
617 of WHQL certification impacts unattended installs by requiring the user to \r
618 'accept' \r
619 installation of the non-WHQL'ed driver the first time a compute node is \r
620 installing WinOF drivers via the WinOF .msi installer.&nbsp; Additionally the non-WHQL \r
621 driver notifier box has a \r
622 checkbox which allows establishing a trust for software from the publisher \r
623 'OpenFabrics Alliance'. Checking this box allows future WinOF driver installs to proceed \r
624 without user intervention as you have indicated to Windows that you trust non-WHQL \r
625 drivers from the Openfabrics Alliance software publisher.</font></p>\r
626 <p><font face="Arial">***** Warning *****<br>\r
627 WinOF .msi installs on compute nodes the first time require human input to 'accept' \r
628 installation of non-WHQL'ed drivers along with establishing a trust for the SW \r
629 publisher 'OpenFabrics Alliance'.<br>\r
630 If one attempts an unattended WinOF .msi install using 'clusrun.bat msiexec /i \r
631 WinOF.....msi /quiet', the install will \r
632 silently hang waiting for user input.<br>\r
633 First time unattended WinOF .msi installs need mouse input to complete.&nbsp; \r
634 Once the SW publisher trust has been established, future unattended WinOF .msi \r
635 installs procees without human input.</font></p>\r
636 <p><font face="Arial">Be aware: if a node is reimaged (same or different template applied) the \r
637 established trust of OpenFabric Alliance is destroyed, thus the non-WHQL driver \r
638 notifier box and ensuing human input is again required on the first WinOF .msi \r
639 install</font></p>\r
640 <h4><u>Windows Deployment Manager usage for HPC compute node provisioning</u></h4>\r
641 <p><font face="Arial">Microsoft has chosen the WDM to provision HPC \r
642 cluster compute nodes. WinOF now supports an administrative install mode which \r
643 is a method to extract the WinOF installed files without actually installing them, \r
644 thus making WinOF driver files accessible for WDM provisioning.</font></p>\r
645 <p><font face="Arial">msiexec /A WinOF_2-0_wlh_x64.msi TARGETDIR=dev:\path-to-extracted-files</font></p>\r
646 <p><font face="Arial">example:&nbsp; msiexec /A WinOF_2-1_wlh_x64.msi TARGETDIR=%TEMP%&nbsp;&nbsp; \r
647 (note: TARGETDIR is case sensitive)</font></p>\r
648 <p><font face="Arial">The above command creates the following folder structure:<br>\r
649 <br>\r
650 <a href="file:///C:/windows/Temp/WOF/PFiles/WinOF/">%TEMP%\PFiles\WinOF\</a><br>&nbsp;&nbsp;&nbsp; IBcore\mthca.inf&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
651 Mellanox InfiniHost HCA driver<br>&nbsp;&nbsp;&nbsp; IBcore\mlx4_bus.inf&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
652 Mellanox ConnectX bus driver<br>&nbsp;&nbsp;&nbsp; IBcore\mlx4_hca.inf&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
653 Mellanox ConnectX HCA driver (both ConnectX drivers required).<br>&nbsp;&nbsp;&nbsp; net\netipoib.inf&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
654 IPoIB + Network Direct IB provider + WSD (Winsock Direct) provider.<br>\r
655 &nbsp;&nbsp;&nbsp; srp\ibsrp.inf&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
656 SCSI over IB.<br>\r
657 &nbsp;&nbsp;&nbsp; vnic\qlgcvnic.inf&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
658 QLogic VNIC (Virtual Ethernet controller over InfiniBand)</font></p>\r
659 <h4><u>WinOF device driver-less installs:</u></h4>\r
660 <p><font face="Arial">Normally WinOF device driver files are installed by processing the driver '.inf' \r
661 files. To install the WinOF package by selecting install features without \r
662 installing any device drivers [HCA, IPoIB, ND, WSD, SRP or VNIC] (assumded \r
663 reliance on WDM to install drivers) can be accomplished with the following \r
664 command:</font></p>\r
665 <p><font face="Arial">start/wait msiexec /i WinOF_2-0-1_wlh_x64.msi NODRV=1</font></p>\r
666 <p><font face="Arial">To skip driver installation for an unattended install</font></p>\r
667 <p><font face="Arial">&nbsp;&nbsp;&nbsp; start/wait msiexec /i WinOF_2-0-1_wlh_x64.msi /qn /quiet NODRV=1</font></p>\r
668 <p><font face="Arial">See <a href="http://unattended.sourceforge.net/installers.php">Unattended \r
669 Installations</a> for further references.</font></p>\r
670 <p><a href="#1.1_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
671 <p>&nbsp;</p>\r
672 <h3><a name="Setting_the_IPoIB_Interface_IP_Address">Setting the IPoIB Interface IP Address</a></h3>\r
673 <p><font face="Arial">The Windows command 'netsh' will assist in assigning an IP address to an \r
674 IPoIB interface.<br>\r
675 By default, an IPoIB interface is configured to use DHCP. The following \r
676 discussion deals with setting a static IP address on an IPoIB interface.<br>\r
677 If your system has two Ethernet ports, then IPoIB interfaces (HCA port 1, 2...) \r
678 will be assigned to 'Local Area Connection 3' and 'Local Area Connection 4'.&nbsp; \r
679 If you system has a single Ethernet port, then IPoIB interface is Local Area \r
680 Connection 2'.</font></p>\r
681 <p><font face="Arial">For Server 2008/HPC systems, the WinOF installation follows the above \r
682 discussion. In defining HPC network interfaces, the IPoIB network can be \r
683 identified as the 'Application' network. In this case, a few minutes after a \r
684 compute node is installed, the local network manager will rename the installed \r
685 IPoIB 'Local Area Connection X' network interface to the 'Application' network.</font></p>\r
686 <p><font face="Arial">Display all network interface configuration information<br>\r
687 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; netsh interface ip show config<br>\r
688 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; netsh interface ip show address \r
689 &quot;Local Area Connection 3&quot;</font></p>\r
690 <p><font face="Arial">Config a static IP address for an IPoIB interface: [Local Area Connection 3 \r
691 == 1st IPoIB interface], 10.10.4.23 is the assigned IP address<br>\r
692 with a netmask of 255.255.255.0, the gateway is 10.10.4.1 metric is 2.</font></p>\r
693 <p><font face="Arial">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; netsh interface ip set address \r
694 &quot;Local Area Connection 3&quot; static 10.10.4.23 255.255.255.0 10.10.4.1 2</font></p>\r
695 <p><font face="Arial">See <a href="http://support.microsoft.com/kb/257748">netsh</a> for further \r
696 reference.</font></p>\r
697 <p><a href="#1.1_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
698 <p>&nbsp;</p>\r
699 <h2><u><a name="Uninstall">Uninstall</a></u></h2>\r
700 \r
701 <p><font face="Arial">To uninstall a WinOF package from a single node</font></p>\r
702 <ol>\r
703         <li><font face="Arial">Programs-&gt; Windows OpenFabrics-&gt; Uninstall WinOF</font></li>\r
704         <li><font face="Arial">Control Panel-&gt; Add Remove Programs-&gt; Windows OpenFabrics-&gt; Remove</font></li>\r
705 </ol>\r
706 <h3><span style="font-weight: 400; text-decoration: underline">Unattended \r
707 Uninstall</span></h3>\r
708 <p><font face="Arial">From a Command Window invoke the following command; a system reboot will \r
709 occur after the uninstall.</font></p>\r
710 <blockquote>\r
711         <p><font face="Arial">start/wait msiexec.exe&nbsp; /x {3A6A276E-A636-48E8-8624-9A0DE3F2A15E} \r
712         /quiet \r
713         /forcerestart<br>\r
714 &nbsp; - or -<br>\r
715         start/wait msiexec.exe&nbsp; /x WinOF_wlh_2-0_x64.msi /quiet /forcerestart&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
716         # WinOF_xxxx.msi is the file used to install WinOF.</font></p>\r
717         <p><font face="Arial">msiexec.exe /help for details.</font></p>\r
718         <p><font face="Arial">'/log dev:path\logfilename.log'&nbsp; if you wish to later view the install \r
719         results.</font></p>\r
720         <p><font face="Arial">If for some reason the Product Code {GUID} changes, the latest code can \r
721         be located via<br>Programs-&gt; Windows OpenFabrics-&gt; Uninstall WinOF&lt;right-click&gt;Properties</font></p>\r
722 </blockquote>\r
723 <p><font face="Arial">Infrequently, the 'System Device-&gt;Infiniband Fabric' may not correctly uninstall. Make sure the Infiniband Fabric device is \r
724                 completely uninstalled; use device manager for checking. The effect of a \r
725                 partially uninstalled Infiniband Fabric device is IPoIB load failure \r
726                 upon the next WinOF install.</font></p>\r
727 <h3><span style="text-decoration: underline">Uninstall Notes</span></h3>\r
728 <ol>\r
729         <li><font face="Arial">If the SRP (SCSI RDMA Protocol) driver has been previously installed, \r
730         then in order to achieve a 'clean' uninstall, the SRP target drive(s) must \r
731         be released.<br>\r
732 &nbsp;</font><ul>\r
733                 <li><font face="Arial">Use the following diskpart.exe commands from an administrator \r
734                 privileged command window:</font></li>\r
735                 <li><font face="Arial"><a href="file:///c:/windows/temp">c:\windows\temp</a>&gt; diskpart.exe<br>\r
736 &nbsp;&nbsp;&nbsp; SELECT VOLUME=&lt;Drive Letter of the SRP target to be released&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
737                 # example: SELECT VOLUME=L<br>\r
738 &nbsp;&nbsp;&nbsp; OFFLINE DISK<br>\r
739 &nbsp;&nbsp;&nbsp; EXIT</font></li>\r
740                 <li><font face="Arial">For additional SRP drives, repeat SELECT &amp; OFFLINE DISK with new \r
741                 Drive Letter.</font></li>\r
742         </ul>\r
743         <p><font face="Arial">The consequences of not releasing the SRP target drive(s) is that after the \r
744         uninstall reboot there are lingering InfiniBand driver files. These driver \r
745         files remain because while the SRP target is active they have references, \r
746         thus when the uninstall attempts to delete the files the operation fails.</font></p>\r
747         </li>\r
748 </ol>\r
749 <p><a href="#1.1_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
750 <p>&nbsp;</p>\r
751 \r
752 <h2><u><a name="Trouble_Shooting">Trouble Shooting</a></u></h2>\r
753 <p><font face="Arial">A Vista WinOF installation can fail due to protection failures when \r
754 installing the HCA driver. Vista HCA driver installation failure can be caused \r
755 by&nbsp; double-clicking the .msi installer \r
756 file to start the installation.<br>\r
757 WinOF installs for Vista (only) require the installation be started&nbsp; from a \r
758 privileged Administrator command window.<br>Start a privileged Administrator command window (Start-&gt;Command \r
759 Prompt-&gt;Right-click-&gt;Run as Administrator) and execute:<br>\r
760 &nbsp;&nbsp;&nbsp; msiexec /I \r
761 WinOF_xxx_yyy.msi</font></p>\r
762 <p><font face="Arial">To create a LOG file of your WinOF installation, execute this command: \r
763 msiexec /I WinOF_xxx_yyy.msi&nbsp; /Lv %TEMP%\WOF-install.log<br>\r
764 View %TEMP%\WOF-install.log</font></p>\r
765 <p><font face="Arial">msiexec /? for details.</font></p>\r
766 <p><font face="Arial">Server 2008 or Vista can also fail to install due to driver install files \r
767 left over from previously failed install attempts; see %windir%\system32\DriverStore\{Temp|FileRepository}. \r
768 Look for folders with the following in the folder name: mthca, mlx4_, netipoib, \r
769 srp, vnic. Once you have located one of these folders you need to remove it as \r
770 win2k8/Vista will use these files instead of what your attempting to install.; \r
771 removing the folders is a pain.<br>\r
772 Right-click the folder and select Properties-&gt;Security-&gt;Advanced, select owner \r
773 tab, select Edit button, select Administrator and check the 'Replace owner on \r
774 subcontainers and objects', now click 'OK', OK again, select Edit button from \r
775 the securities tab, check allow 'Full Control' box and click OK, OK again. At \r
776 this point you should be back to the file explorer. Now you can delete the \r
777 folder!</font></p>\r
778 <p><font face="Arial">Setupapi.log has moved in Server 2008/Vista, see '%windir%\inf\setupapi-dev.log'. \r
779 Setupapi-*.log can at times contain useful install debug info.</font></p>\r
780 <p><font face="Arial">Server 2008/Vista/HPC all use dpinst.exe to preinstall drivers into the \r
781 driver store. Windows PNP (Plug-n-Play) later will deamand drivers when the \r
782 hardware is recognized. dpinst.exe writes it's error information to '%windir%\dpinst.log'.</font></p>\r
783 <p><font face="Arial">Down rev firmware will result in IPoIB not installing or other anonmolus \r
784 behavior. Consult the event \r
785 viewer, system error records, look for 'mthca' or 'mlx4*' entries generated when the HCA \r
786 driver loads. One of the mthca or mlx4 entries will display the current firmware \r
787 revision.</font></p>\r
788 <p><font face="Arial">Firmware version information and updates \r
789                 are available at\r
790 <a href="http://www.mellanox.com/support/firmware_download.php">\r
791                 www.mellanox.com/support/firmware_download.php</a></font></p><p:colorscheme\r
792  colors="#ffffff,#000000,#808080,#000000,#ffc86c,#acc5ff,#fff4b4,#c4f48a"/>\r
793 \r
794 <div v:shape="_x0000_s1026" style="tab-stops:.6215in">\r
795         <div class="O" style="mso-line-spacing:&quot;80 20 0&quot;;mso-margin-left-alt:145;\r
796 mso-char-wrap:1;mso-kinsoku-overflow:1">\r
797                 <span style="font-family:&quot;Arial Narrow&quot;;\r
798 font-size:106%;color:#F2862F">\r
799                 <span style="mso-special-format:bullet;\r
800 position:absolute;left:-3.41%">\95</span></span><span style="font-family:&quot;Arial Narrow&quot;;\r
801 font-size:19pt;color:#F2862F"><b> </b></span></div>\r
802         <blockquote>\r
803                 <div class="O1" style="mso-line-spacing:&quot;80 0 0&quot;;mso-margin-left-alt:395;\r
804 mso-text-indent-alt:217;mso-char-wrap:1;mso-kinsoku-overflow:1">\r
805                         <span style="font-family:&quot;Arial Narrow&quot;;font-size:94%;color:#241172">\r
806                         <span style="mso-special-format:bullet;position:absolute;left:-4.4%">\96</span></span></div>\r
807         </blockquote>\r
808         <div class="O" style="mso-line-spacing:&quot;80 20 0&quot;;mso-margin-left-alt:145;\r
809 mso-char-wrap:1;mso-kinsoku-overflow:1">\r
810                 <span style="font-family:&quot;Arial Narrow&quot;;\r
811 font-size:106%;color:#F2862F">\r
812                 <span style="mso-special-format:bullet;\r
813 position:absolute;left:-3.41%">\95</span></span><font face="Arial"><b><span style="font-family: Arial Narrow; ">If \r
814                 HCA FW is older than minimal FW</span><span style="font-family: Arial Narrow; color: #F2862F"> </span> </b>\r
815                 </font></div>\r
816         <blockquote>\r
817                 <div class="O1" style="mso-line-spacing:&quot;80 0 0&quot;;mso-margin-left-alt:395;\r
818 mso-text-indent-alt:217;mso-char-wrap:1;mso-kinsoku-overflow:1">\r
819                         <font face="Arial">\r
820                         <span style="font-family: Arial Narrow; color: #241172"><b>Error \r
821                         reported to system event log </b></span></font></div>\r
822                 <div class="O1" style="mso-line-spacing:&quot;80 0 0&quot;;mso-margin-left-alt:395;\r
823 mso-text-indent-alt:217;mso-char-wrap:1;mso-kinsoku-overflow:1">\r
824                         <font face="Arial">\r
825                         <span style="font-family: Arial Narrow; color: #241172">\r
826                         <span style="mso-special-format:bullet;position:absolute;left:-4.4%">\r
827                         \96</span><b>HCA loads as memory controller to allow FW upgrade </b>\r
828                         </span></font></div>\r
829         </blockquote>\r
830         <div class="O" style="mso-line-spacing:&quot;80 20 0&quot;;mso-margin-left-alt:145;\r
831 mso-char-wrap:1;mso-kinsoku-overflow:1">\r
832                 <font face="Arial">\r
833                 <span style="font-family: Arial Narrow; color: #F2862F">\r
834                 <span style="mso-special-format:bullet;\r
835 position:absolute;left:-3.41%">\95</span></span><b><span style="font-family: Arial Narrow; ">If HCA<span style="mso-spacerun:yes">&nbsp;\r
836                 </span>FW is equal or newer than optimal version</span><span style="font-family: Arial Narrow; color: #F2862F"><br>\r
837 &nbsp;</span></b></font></div>\r
838         <div class="O1" style="mso-line-spacing:&quot;80 0 0&quot;;mso-margin-left-alt:395;\r
839 mso-text-indent-alt:217;mso-char-wrap:1;mso-kinsoku-overflow:1">\r
840                 <blockquote>\r
841                         <font face="Arial">\r
842                         <span style="font-family: Arial Narrow; color: #241172">\r
843                         <span style="mso-special-format:bullet;position:absolute;left:-4.4%">\r
844                         \96</span><b>HCA starts OK. </b></span>\r
845                         </font>\r
846                 </blockquote>\r
847         </div>\r
848         <div class="O" style="mso-line-spacing:&quot;80 20 0&quot;;mso-margin-left-alt:145;\r
849 mso-char-wrap:1;mso-kinsoku-overflow:1">\r
850                 <font face="Arial">\r
851                 <span style="font-family: Arial Narrow; color: #F2862F">\r
852                 <span style="mso-special-format:bullet;\r
853 position:absolute;left:-3.41%">\95</span></span><b><span style="font-family: Arial Narrow; ">Else</span></b></font></div>\r
854         <blockquote>\r
855                 <div class="O1" style="mso-line-spacing:&quot;80 0 0&quot;;mso-margin-left-alt:395;\r
856 mso-text-indent-alt:217;mso-char-wrap:1;mso-kinsoku-overflow:1">\r
857                         <font face="Arial">\r
858                         <span style="font-family: Arial Narrow; color: #241172">\r
859                         <b>HCA loads OK. </b></span></font></div>\r
860                 <div class="O1" style="mso-line-spacing:&quot;80 0 0&quot;;mso-margin-left-alt:395;\r
861 mso-text-indent-alt:217;mso-char-wrap:1;mso-kinsoku-overflow:1">\r
862                         <font face="Arial">\r
863                         <span style="font-family: Arial Narrow; color: #241172">\r
864                         <span style="mso-special-format:bullet;position:absolute;left:-4.4%">\r
865                         \96</span><b>Warning will be issued to system event log </b></span>\r
866                         </font>\r
867                 </div>\r
868         </blockquote>\r
869         <div class="O1" style="mso-line-spacing:&quot;80 0 0&quot;;mso-margin-left-alt:395;\r
870 mso-text-indent-alt:217;mso-char-wrap:1;mso-kinsoku-overflow:1">\r
871                 <font face="Arial">\r
872                 <![if ppt]>\r
873                 <span style="font-family:&quot;Arial Narrow&quot;;font-size:94%;color:#241172;visibility:hidden">\r
874                 <span style="mso-special-format:bullet;position:absolute;left:-4.4%">\96</span></span><![endif]><span style="font-family:&quot;Arial Narrow&quot;;font-size:17pt;color:#241172"><b>\r
875                 </b></span></font></div>\r
876         <div class="O" style="mso-line-spacing:&quot;80 50 0&quot;;mso-margin-left-alt:145">\r
877                 <font face="Arial">My computer-&gt; Manage-&gt; Event Viewer-&gt; System Events; search for \r
878                 mthca, mlx4 or ipoib entries.</font><p><a href="#1.1_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
879                 <h3>&nbsp;</h3>\r
880                 <h3><u>Incomplete Previous Uninstall</u></h3>\r
881                 <p><font face="Arial">Should the previous uninstall silently fail, the next installation \r
882                 can fail in the Driver Install phase with the following error:<br>\r
883 &nbsp;&nbsp;&nbsp; DriverInstall - HCA Ret 2 Error 0<br>\r
884                 <br>\r
885                 At this juncture, check the Device Manager and uninstall the PCI \r
886                 device from 'InfiniBand Host Channel Adapters', and make sure you uninstall the system device\r
887                 'InfiniBand Fabric' if it is present.<br>\r
888                 <br>\r
889                 <u><b>REBOOT</b></u> and retry the WinOF installation again.</font><p>\r
890                 <font face="Arial">See \r
891                 ibscan.bat and ibcleanup.bat @\r
892                 <a href="http://www.openfabrics.org/downloads/WinOF/etc/">\r
893                 http://www.openfabrics.org/downloads/WinOF/etc/</a>.<br>\r
894                 ibscan will display WinOF files on your system.<br>\r
895                 ibcleanup will attempt to remove all WinOF files from your syste. \r
896                 WARNING - ibcleanup is not valid as a WinOF uninstall tool!</font><p><a href="#1.1_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a><p>&nbsp;</div>\r
897 </div>\r
898 <h3><u><a name="Correct_Installation_Validation">Correct Installation Validation</a></u></h3>\r
899 <p><font face="Arial">From the Device Manager you should find the following devices:</font></p>\r
900 <ul>\r
901         <li><font face="Arial">InfiniBand Host Channel Adapters -&gt; InfiniHost or Mellanox ConnectX</font></li>\r
902         <li><font face="Arial">The System Devices -&gt; InfiniBand Fabric device is no longer present in \r
903         WinOF 2.0 and following releases.</font></li>\r
904         <li><font face="Arial">Network Adapters -&gt; OpenIB IPoIB Adapter (an Instance per HCA port).</font></li>\r
905 </ul>\r
906 <blockquote>\r
907         <h4><font face="Arial">Validation Test</font></h4>\r
908         <p><font face="Arial">Open a WinOF command window</font></p>\r
909         <ol>\r
910                 <li><font face="Arial">Start-&gt;Program Files-&gt;Windows OpenFabrics -&gt; Command \r
911 Window</font></li>\r
912                 <li><font face="Arial">run vstat.exe to view HCA configuration.</font></li>\r
913                 <li><font face="Arial">If IPoIB is installed (Device Manager-&gt;Network Adapters), ping another node on the InfiniBand fabric 'ping a.b.c.d'<br>\r
914 &nbsp;</font></li>\r
915         </ol>\r
916 </blockquote>\r
917 <p><a href="#1.1_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
918 <p>&nbsp;</p>\r
919 <h2><u><a name="OpenIB_Subnet_Management_as_a_Windows_Service">Subnet Management as a Windows Service</a></u></h2>\r
920 <p><font face="Arial">Limit the number of Subnet Managers on your fabric; one SM per fabric is \r
921 sufficient, although redundant Subnet Managers are supported.</font></p>\r
922 <ol>\r
923         <li><font face="Arial">After a 'typical' WinOF install, OpenSM is installed as a <b>disabled</b> \r
924         Windows service named &quot;InfiniBand Subnet Management&quot;. To start the OpenSM \r
925         service, use My computer-&gt;Manage-&gt;Services and Applications-&gt;Services-&gt;InfiniBand Subnet Manager-&gt;Start.<br>\r
926         Set the service properties to 'auto' in order to restart upon the next \r
927         system reboot.<br>\r
928 &nbsp;</font></li>\r
929         <li><font face="Arial">Install OpenSM as an automatic/running Windows service:<br>\r
930         a) Request a 'Custom' install, selecting the 'OpenSM_service_enabled' feature. Once \r
931         the install has completed, check that the Infiniband Subnet Manager service is \r
932         running: My computer-&gt;Manage-&gt;Services and Applications-&gt;Services-&gt;InfiniBand Subnet \r
933         Manager.<br>\r
934 &nbsp;</font></li>\r
935         <li><font face="Arial">Consult the OpenSM log file @ %SystemRoot%\temp\osm.log to see what \r
936         OpenSM thinks is happening.</font></li>\r
937 </ol>\r
938 <p><a href="#1.1_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
939 <p>&nbsp;</p>\r
940 <h2><u><a name="Local_Network_Adapter_Ordering">Local Network Adapter Ordering</a></u></h2>\r
941 <p><font face="Arial">Local Network Adapter ordering, which results in the IP address advertised \r
942 for the system, can be managed from<br>&nbsp;&nbsp;&nbsp; 'My Network Places-&gt; Advanced Tab-&gt; Advanced settings'<br>From the Advanced settings display, the ordering \r
943 of Local Network Adapters can be \r
944 reordered after the IPoIB Local Network Adapters have been installed. Please \r
945 check for your desired adapter ordering.<br></font><br>\r
946 <font color="#000000"><a href="#1.1_Release_Notes"><font color="#000000">\r
947 &lt;Return-to-Top&gt;</font></a></font></p>\r
948 <p>&nbsp;</p>\r
949 <h2><u><a name="Which_WinOF_release_is_installed">Which WinOF release is installed</a></u><a name="Which_WinOF_release_is_installed">?</a></h2>\r
950 <ol>\r
951         <li><font face="Arial">Add/Remove Programs entry identifies the WinOF release version.</font></li>\r
952         <li><font face="Arial">Start-&gt;Programs-&gt;Windows OpenFabrics-&gt;Release Notes&nbsp; \r
953 (2nd Line)</font></li>\r
954         <li><font face="Arial">Driver confirmation:<br>&nbsp;&nbsp;&nbsp; Query My Computer-&gt; Manage-&gt; Device Manager-&gt; Network \r
955 Adapters-&gt; OpenFabrics IPoIB Adapter-&gt; Properties-&gt; Driver-&gt; Details<br>&nbsp;&nbsp;&nbsp; The subversion (svn) revision number will be listed under \r
956 'Driver Version'. The svn revision number will match what's listed in the \r
957 release notes.</font></li>\r
958         <li><font face="Arial">Hold the mouse point over \Program Files(x86)\WinOF\ib_read_bw.exe to display \r
959 the file version; [WinOF-Major.Minor.not-used.svn revision number].</font></li>\r
960 </ol>\r
961 <ul>\r
962         <li><font face="Arial">WinOF 1.0 is based on openib-windows <b><u>svn revision 614</u></b> @\r
963         <a href="http://openib.tc.cornell.edu/downloads/binaries/">http://openib.tc.cornell.edu/downloads/binaries/</a> .<br>\r
964 &nbsp;</font></li>\r
965         <li><font face="Arial">WinOF 1.0.1 is based on openib-windows <b><u>svn revision 864</u></b>.<br>\r
966 &nbsp;</font></li>\r
967         <li><font face="Arial">WinOF 1.1 is based on openib-windows <b><u>\r
968         (svn revision 1177 branches\WOF1-1).<br>\r
969 &nbsp;</u></b></font></li>\r
970         <li><font face="Arial">WinOF 2.0 is based on<b> (<u>svn.1763 branches\WOF2-0</u>)<br>\r
971 &nbsp;</b></font></li>\r
972         <li><font face="Arial">WinOF 2.1 is based on<b> (<u>svn.1763 branches\WOF2-1</u>)</b></font></li>\r
973 </ul>\r
974 <p><a href="#1.1_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
975 <p>&nbsp;</p>\r
976 <h2><u><a name="QLogic_VNIC_Configuration">QLogic VNIC Configuration</a></u></h2>\r
977 <p><font face="Arial">\r
978 <span style="font-size: 12pt; ">The QLogic VNIC \r
979 (Virtual Network Interface Card) driver in conjunction with the QLogic Ethernet \r
980 Virtual I/O Controller (EVIC) provides virtual Ethernet interfaces and transport \r
981 for Ethernet packets over Infiniband.<br>\r
982 <br>\r
983 Users can modify NIC parameters through User Interface icon in Network \r
984 Connections:<br>\r
985 ( Properties-&gt;&quot;Configure...&quot; button -&gt; &quot;Advanced&quot; Tab).</span></p>\r
986 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
987 <span style="font-size: 12pt; ">Parameters \r
988 available:<br>\r
989 <br>\r
990 Vlan Id (802.1Q)&nbsp;</span></p>\r
991 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
992 <span style="font-size: 12pt; ">&nbsp; values from 0 to \r
993 4094 ( default&nbsp;<span class="899314318-23042008">0, </span>disabled )<br>\r
994 &nbsp; This specifies if VLAN ID-marked packet transmission is enabled and, if so, \r
995 specifies the ID.<br>\r
996 <br>\r
997 Priority (802.1P)</span></p>\r
998 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
999 <span style="font-size: 12pt; ">&nbsp; values from 0 to 7 \r
1000 ( default 0, feature disabled)<br>\r
1001 &nbsp; This specifies if priority-marked packet transmission is enabled.<br>\r
1002 <br>\r
1003 Payload MTU size&nbsp;</span></p>\r
1004 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1005 <span style="font-size: 12pt; ">&nbsp; values from 1500 \r
1006 to 9500 (default 1500)<br>\r
1007 &nbsp; This specifies the maximum transfer unit size in 100 bytes increments.<br>\r
1008 <br>\r
1009 Recv ChkSum offload&nbsp;</span></p>\r
1010 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1011 <span style="font-size: 12pt; ">&nbsp; (default enabled)<br>\r
1012 &nbsp; This specifies if IP protocols checksum calculations for receive is offloaded.<br>\r
1013 <br>\r
1014 Send ChkSum offload</span></p>\r
1015 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1016 <span style="font-size: 12pt; ">&nbsp; (default enabled)<br>\r
1017 &nbsp; This specifies if IP protocols checksum calculations for send is offloaded.<br>\r
1018 &nbsp;</span></p>\r
1019 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1020 <span style="font-size: 12pt; ">Secondary Path&nbsp;</span></p>\r
1021 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1022 <span style="font-size: 12pt; ">&nbsp;&nbsp; (default \r
1023 disabled)<br>\r
1024 &nbsp;&nbsp; Enabled - If more than one IB path to IOC exist then secondary IB instance of \r
1025 virtual port will be created and configured with the same parameters as primary \r
1026 one. Failover from Primary to Secondary IB path is transparent for user \r
1027 application sending data through associated NIC.<br>\r
1028 <br>\r
1029 &nbsp;&nbsp; Disabled \96 only one path at a time is allowed. If more than one path to IOC \r
1030 exists then failed path will be destroyed and next available path will be used \r
1031 for new connection. With this scenario there is a possibility new interface \r
1032 instance will be assigned different MAC address when other hosts compete for \r
1033 EVIC resources.<br>\r
1034 &nbsp;</span></p>\r
1035 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1036 <font face="Arial" size="3">LBFO Bundle Id<br>\r
1037 &nbsp;&nbsp; (default disabled) Enabling support for OS provided Load Balancing and Fail \r
1038 Over functionality on adapter level.<br>\r
1039 &nbsp;&nbsp; If enabled group ID can be selected from predefined names.</font></p>\r
1040 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1041 <span style="font-size: 12pt; ">&nbsp;</span></p>\r
1042 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1043 <span style="font-size: 12pt; ">Heartbeat interval</span></p>\r
1044 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1045 <span style="font-size: 12pt; ">&nbsp;&nbsp; configures \r
1046 interval for VNIC protocol heartbeat messages in milliseconds.<br>\r
1047 &nbsp;&nbsp; 0 \96 heartbeats disabled.<br>\r
1048 <br>\r
1049 Note:<br>\r
1050 &nbsp;&nbsp; To take advantage of the features supported by these options, ensure that the \r
1051 Ethernet gateway is also configured appropriately.&nbsp; For example, if the Payload \r
1052 MTU for a VNIC interface is set to&nbsp;<span class="899314318-23042008">4</span>000, \r
1053 the MTU at the EVIC module must also be set at least&nbsp;<span class="899314318-23042008">4</span>000 \r
1054 for the setting to take effect.</span></p>\r
1055 </font>\r
1056 <p><a href="#1.1_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
1057 <p>&nbsp;</p>\r
1058 <h2><u><a name="DAT_&amp;_uDAPL_Configuration">DAT &amp; uDAPL Configuration</a></u></h2>\r
1059 <p align="left"><font face="Arial">In order for DAT/DAPL programs to execute correctly, the 'dat.dll' \r
1060 file must be present in the current directory,\r
1061 %SystemRoot% or in the library search path.</font></p>\r
1062 <p align="left"><font face="Arial">WinOF installation places the dat.dll and dapl.dll \r
1063 files in the '%SystemRoot%' \r
1064 folder (a.k.a. \Windows).</font></p>\r
1065 <p align="left"><font face="Arial">The DAT/DAPL configuration file by convention is defined as \r
1066 '%SystemDrive%\DAT\dat.conf'. If the file '%SystemDrive%\DAT\dat.conf' does not exist, \r
1067 a template configuration file will be installed as '%SystemDrive%\DAT\dat.conf'.<br>\r
1068 In order to preserve existing installations, the dat.conf file is not \r
1069 automatically installed if '%SystemDrive%\DAT\dat.conf' exists.<br>\r
1070 A sample dat.conf file is always installed as '\Program Files (x86)\WinOF\dat.conf \r
1071 '.</font></p>\r
1072 <p align="left"><font face="Arial">The default DAT configuration file specification can be overridden by use \r
1073 of the environment variable DAT_OVERRIDE. Such that 'DAT_OVERRIDE=D:\MyDAT\test.conf' \r
1074 would be a valid override specification.</font></p>\r
1075 <p align="left"><font face="Arial">Within the dat.conf file, the DAPL library specification can be \r
1076 located as the 5th whitespace separated line argument. By default the DAPL \r
1077 library file is installed as %WINDIR%\dapl.dll'.</font></p>\r
1078 <p align="left"><font face="Arial">Should you choose to relocate the DAPL library file to a folder \r
1079 where whitespace appears in the full library path specification, then the full \r
1080 library file specification must be contained within double-quotes. A side effect \r
1081 of the double-quotes is the library specification is treated as a Windows string \r
1082 which implies the '\' (backslash character) is treated as an 'escape' character.&nbsp; \r
1083 Hence all backslashes in the library path must be duplicated when enclosed in \r
1084 double-quotes (e.g., &quot;C:\\Programs Files (x86)\\WinOF\\dapl.dll&quot;).</font></p>\r
1085 <h4 align="left"><span style="font-weight: 400"><font face="Arial">DAT/DAPL version 2.0 runtime \r
1086 libraries are identified as dat2.dll and dapl2.dll, both in %SystemRoot%; see \r
1087 manual for further details.</font><br>\r
1088 &nbsp;</span></h4>\r
1089 <p align="left"><a href="#1.1_Release_Notes"><font color="#000000">\r
1090 &lt;Return-to-Top&gt;</font></a></p>\r
1091 <p align="left">&nbsp;</p>\r
1092 <h2 align="left"><u><a name="SRP_-_SCSI_RDMA_Protocol_Driver_Installation">SRP (SCSI RDMA Protocol) Driver Installation</a></u></h2>\r
1093 <p align="left"><font face="Arial">The WinOF installer does not install the SRP driver as part of a default \r
1094 installation.&nbsp; \r
1095 If the SRP feature is selected in the custom installation window, an InfiniBand \r
1096 SRP Miniport driver will be installed; see the device manager view under SCSI \r
1097 and RAID controllers.</font></p>\r
1098 <p align="left"><font face="Arial">The system device 'InfiniBand I/O Unit' (IOU) \r
1099 device is required for correct SRP operation.&nbsp; The WinOF installer will \r
1100 install/load the IOU driver if the SRP feature is selected.&nbsp; See the device \r
1101 manager view System Devices --&gt; InfiniBand I/O Unit for conformation of correct \r
1102 IOU driver loading.</font></p>\r
1103 <p align="left"><font face="Arial">In order for the SRP miniport driver installation to complete, an SRP target must be\r
1104 detected by a Subnet Manager running somewhere on the InfiniBand fabric; either \r
1105 a local or remote Subnet Manager works.</font></p>\r
1106 <h3 align="left"><u>SRP Driver Uninstall</u></h3>\r
1107 <p align="left"><font face="Arial">If the SRP (SCSI RDMA Protocol) driver has been previously \r
1108 installed, then in order to achieve a 'clean' uninstall, the SRP target drive(s) \r
1109 must be released.&nbsp;&nbsp; Unfortunately the 'offline disk' command is only \r
1110 valid for diskpart (ver 6.0.6001) which is not distributed with Windows Server \r
1111 2003 or XP.</font></p>\r
1112 <ul>\r
1113         <li><font face="Arial">Use the following diskpart.exe commands from an administrator privileged \r
1114         command window:</font></li>\r
1115         <li>\r
1116         <font face="Arial">\r
1117         <a href="file:///c:/windows/temp" style="color: blue; text-decoration: underline">\r
1118         c:\windows\temp</a>&gt; diskpart.exe<br>\r
1119 &nbsp;&nbsp;&nbsp; SELECT VOLUME=&lt;Drive Letter of the SRP target to be released&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
1120         # example: SELECT VOLUME=L<br>\r
1121 &nbsp;&nbsp;&nbsp; OFFLINE DISK<br>\r
1122 &nbsp;&nbsp;&nbsp; EXIT</font></li>\r
1123         <li><font face="Arial">For additional SRP drives, repeat SELECT &amp; OFFLINE DISK with new Drive \r
1124         Letter.</font></li>\r
1125 </ul>\r
1126 <p><font face="Arial">The consequences of not releasing the SRP target drive(s) are that after the \r
1127 WinOF uninstall reboot there are lingering InfiniBand driver files. These driver \r
1128 files remain because while the SRP target is active they have references, thus \r
1129 when the WinOF uninstall attempts to delete the files the operation fails.</font></p>\r
1130 <p align="left">\r
1131 <br>\r
1132 <a href="#1.1_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
1133 <p align="left">&nbsp;</p>\r
1134 <div class=Section1>\r
1135 \r
1136 <h2><a name="WinVerbs"><u>WinVerbs</u></a><u> technology preview</u></h2>\r
1137 <p><font face="Arial">WinVerbs is a userspace verbs and communication management interface \r
1138 optimized<br>\r
1139 for the Windows operating system. Its lower interface is designed to support<br>\r
1140 any RDMA based device, including Infiniband and iWarp. Its upper interface is<br>\r
1141 capable of providing a low latency verbs interface, plus supports Microsoft's<br>\r
1142 Network Direct Interface, DAPL, and OFED libibverbs interfaces. It consists of<br>\r
1143 a userspace library and a kernel filter driver.<br>\r
1144 <br>\r
1145 The WinVerbs driver loads as an upper filter driver for Infiniband HCA.<br>\r
1146 (Open source iWarp drivers for Windows are not yet available.) A corresponding<br>\r
1147 userspace library installs as part of the Winverbs driver installation package.<br>\r
1148 Additionally, a Windows port of the OFED libibverbs library and several test<br>\r
1149 programs are also included.</font></p>\r
1150 <p><font face="Arial">To install WinVerbs and it's test applications, select the 'WinVerbs' feature \r
1151 from the WinOF installer (.msi).<br>\r
1152 WinVerbs drivers are installed to %ProgramFiles(x86)%\WinOF\WinVerbs, although \r
1153 the drivers are not automatically loaded.<br>\r
1154 In order to make WinVerbs test applications usable, WinVerbs drivers must be \r
1155 manually loaded.<br>\r
1156 cd %ProgramFiles(x86)%\WinOF\WinVerbs<br>\r
1157 right-click on winverbs.inf, select 'install'.<br>\r
1158 Once WinVerbs is right-click installed, the HCA driver must be disabled and then \r
1159 enabled in order for the winverbs upper filter driver to be integrated into the \r
1160 HCA driver stack; see HCA driver properties-&gt;details, look for winverbs.<br>\r
1161 <br>\r
1162 Check if winverbs filter driver is active<br>\r
1163 &nbsp;&nbsp;&nbsp; %ProgramFiles(x86)%\WinOF\IBcore\devman classfilter \r
1164 InfiniBandController upper</font><br>\r
1165 <br>\r
1166 <font face="Arial">Remove winverbs filter driver<br>\r
1167 &nbsp;&nbsp;&nbsp; %ProgramFiles(x86)%\WinOF\IBcore\devman classfilter \r
1168 InfiniBandController upper !winverbs</font><br>\r
1169 &nbsp;</p>\r
1170 \r
1171 </div>\r
1172 \r
1173 <p class="MsoPlainText">\r
1174 <a href="#1.1_Release_Notes" style="color: blue; text-decoration: underline"><font color="#000000">\r
1175 &lt;Return-to-Top&gt;</font></a><br>\r
1176 &nbsp;</p>\r
1177 <h2><u><a name="Known_Issues">Known Issues</a></u></h2>\r
1178 \r
1179 <ul>\r
1180         <li>\r
1181         <p class=MsoPlainText><font face="Arial" size="3">In a multi HCA \r
1182         (Host Channel Adapter) system, disabling HCA devices works correctly EXCEPT \r
1183         for disabling the first HCA while other HCAs are operational. Once the first \r
1184         HCA is disabled, existing HCAs and user-mode applications lose the \r
1185         connection to the kernel mode IB stack and will fail when attempting access \r
1186         to the IB stack or hardware.<br>\r
1187         Problem will be addressed in the next WinOF 2.0 release.<br>\r
1188 &nbsp;</font></p></li>\r
1189         <li>\r
1190         <p class=MsoPlainText><font face="Arial" size="3">IPoIB partition \r
1191         multicast \r
1192         support requires IGMP (Internet Gateway Management Protocol) v2 Windows default is v3.<br>&nbsp;</font></p>\r
1193         <div><span class="395594910-04112008"><font face="Arial">Partition \r
1194                 multicast on ipoib will only work if the machine is configured to use \r
1195                 IGMP V2 (and not V3 which is the default).</font></span></div>\r
1196         <div><span class="395594910-04112008"><font face="Arial">To \r
1197                 configure your machine to use IGMP v2 please do the following:</font></span></div>\r
1198         <div><span class="395594910-04112008"></span><font face="Arial">&nbsp;</font></div>\r
1199         <div><span class="395594910-04112008"><font face="Arial">Server \r
1200                 2003 or XP:</font></span></div>\r
1201         <div><span class="395594910-04112008">\r
1202                 <p class="MsoNormal"><font size="3" face="Arial">netsh routing ip igmp install</font></span></div>\r
1203         <div><span class="395594910-04112008"><font face="Arial" size="2">\r
1204                 <p class="MsoNormal"><font size="3" face="Arial">netsh routing ip igmp install add \r
1205                 interface &quot;interface name of IPoIB adapter&quot;&nbsp; igmpprototype=igmprtrv2</font></p>\r
1206                 </font><font face="Arial" color="#0000ff" size="2">\r
1207                 <font face="Arial" size="2">\r
1208                 <p class="MsoNormal"></font><font size="3"><font face="Arial" size="2">If&nbsp;IGMP&nbsp;V3 is still used,&nbsp;please follow the instructions on</font><span style="color: navy"><font face="Arial" color="#0000ff" size="2">\r
1209                 <font color="#0000ff">(</font><a title="blocked::http://support.microsoft.com/default.aspx/kb/815752" style="color: blue; text-decoration: underline" href="http://support.microsoft.com/default.aspx/kb/815752">http://support.microsoft.com/default.aspx/kb/815752</a></font></span></font><span style="color: navy"><font size="3" color="#0000ff" face="Arial">)</font></span></p>\r
1210                 <p class="MsoNormal">&nbsp;</p></font>\r
1211                 <font face="Arial" size="2">\r
1212                 <p class="MsoNormal"><font size="3" face="Arial">Server 2008 </font></font>\r
1213                 <font face="Arial">or<font size="3"> \r
1214                 HPC or Vista:</font></font></span></div>\r
1215         <div><span class="395594910-04112008">\r
1216                 <font face="Arial" color="#000080">If the netsh command is not \r
1217                 available, then you will need to install via the command 'servermanagercmd.exe \r
1218                 -install NPAS-RRAS-Services'.</font></span></div>\r
1219         <div><span class="395594910-04112008"><font face="Tahoma" color="#0000ff">\r
1220                 <div>\r
1221                         <p class="MsoNormal"><font face="Arial"><span style="color: navy"><font size="3">netsh \r
1222                         routing ip igmp </font></span><font color="navy" size="3">\r
1223                         <span style="color: navy">install</span></font></font></div>\r
1224                 <div><font face="Arial" color="#0000ff" size="2">\r
1225                         <p class="MsoNormal"><font face="Arial"><span style="color: navy"><font size="3">netsh \r
1226                         routing ip igmp install </font></span><font color="navy" size="3">\r
1227                         <span style="color: navy">add interface &quot;interface name of IPoIB \r
1228                         adapter&quot;&nbsp; igmpprototype=igmprtrv2</span></font></font></p>\r
1229                         <p class="MsoNormal">&nbsp;</p></font></font>\r
1230                         <font face="Tahoma" size="2">\r
1231                         <p class="MsoNormal"><font face="Arial">F</font></font><font size="3" face="Arial">uture WinOF releases</font><font size="2" face="Arial"> \r
1232                         will support IGMP V3.</font></div></span></div>\r
1233         <p class=MsoPlainText>&nbsp;</p></li>\r
1234         <li>\r
1235         <p class=MsoPlainText><font face="Arial" size="3">Sometimes an \r
1236         errant &quot;Welcome to the Found New Hardware Wizard&quot; window pops up during \r
1237         InfiniBand device installation on XP or Server 2003.<br>Just 'cancel' the FNHW popup window and proceed with installation.<br>An artifact of the 'Cancel' operation may cause a taskbar Information bubble \r
1238         to appear which incorrectly claims problems with the Infiniband device \r
1239         installation; Check IB device status via the Device Manager.</font></p></li>\r
1240 </ul>\r
1241 \r
1242 </div>\r
1243 <div class=Section1>\r
1244 \r
1245 <ul>\r
1246         <li>\r
1247         <p class=MsoPlainText><font size="3" face="Arial">\r
1248         <span style="background-color: #FFFFFF">The Microsoft hotfix </span></font>\r
1249         <font face="Arial" color="navy" size="2">\r
1250         <span style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial">\r
1251         <a href="http://support.microsoft.com/kb/915858">\r
1252         http://support.microsoft.com/kb/915858</a> </span></font>\r
1253         <font size="3" face="Arial">\r
1254         <span style="background-color: #FFFFFF">is necessary for users of SRP in any \r
1255         of the Windows Server 2003 platforms.&nbsp; The hotfix is described in Article ID \r
1256         915858 and fixes problems in the eventlog where specific event ids (56, 118, \r
1257         129) are not found in the latest IoLogMsg.dll file.&nbsp; Without the correct \r
1258         information, there is no supplied way to decipher the event log data.<br>\r
1259         The SRP hotfix need not be installed by non-SRP users; however, if the \r
1260         hotfix is installed in a system without SRP, it will not have any negative \r
1261         effects.<br>\r
1262 &nbsp;</span></font></p></li>\r
1263         <li>\r
1264         <p class=MsoPlainText><span style="background-color: #FFFFFF">\r
1265         <font face="Arial" size="3">x64 Windows platforms do not exhibit \r
1266         the following SRP behavior.<br>\r
1267         SRP when run on a Windows 32-bit platform (x86) will exhibit SRP read \r
1268         transfer hangs when the size of the SRP read&nbsp; is greater-than (&gt;) 4096 \r
1269         bytes.</font></span></p>\r
1270         <div dir="ltr" align="left">\r
1271                 <span style="background-color: #FFFFFF">\r
1272                 <font face="Arial" size="3">Setting the registry entry </font></span>\r
1273                 <font face="Arial" size="2"><strong>HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\ibsrp\Parameters<span class="795394519-15052008">\ModeFlags</span></strong></font></div>\r
1274         <p class=MsoPlainText><span style="background-color: #FFFFFF">\r
1275         <font face="Arial" size="3">&nbsp;to 1 will \r
1276         enable &gt; 4KB transfers to proceed without hanging.</font></span><font size="3" face="Arial"><span style="background-color: #FFFFFF"><br>\r
1277 &nbsp;</span></font></p></li>\r
1278         <li>\r
1279         <p class=MsoPlainText><font face="Arial" size="3">Winsock Direct \r
1280         hotfix xxxxxxx for Windows Server 2003 is a good patch to apply if you are \r
1281         using WSD/IPoIB.</font><br>&nbsp;<font face="Times New Roman" size="3"><br>&nbsp;</font></p></li>\r
1282 </ul>\r
1283 <p class=MsoPlainText><a href="#1.1_Release_Notes"><font color="#000000">\r
1284 &lt;Return-to-Top&gt;</font></a><br>\r
1285 &nbsp;</p>\r
1286 \r
1287 </div>\r
1288 \r
1289 </body>\r
1290 \r
1291 </html>\r