[mirror/winof/.git] / WinOF / WIX / Release_notes.htm
1 <html>\r
2 \r
3 <head>\r
4 <meta http-equiv=Content-Type content="text/html; charset=windows-1252">\r
5 <meta http-equiv="Content-Language" content="en-us">\r
6 <meta name=Generator content="Microsoft Word 11 (filtered)">\r
7 \r
8 <style>\r
9 <!--\r
10  /* Font Definitions */\r
11  @font-face\r
12         {font-family:Wingdings;\r
13         panose-1:5 0 0 0 0 0 0 0 0 0;}\r
14 @font-face\r
15         {font-family:"MS Mincho";\r
16         panose-1:2 2 6 9 4 2 5 8 3 4;}\r
17 @font-face\r
18         {font-family:"\@MS Mincho";\r
19         panose-1:2 2 6 9 4 2 5 8 3 4;}\r
20  /* Style Definitions */\r
21  p.MsoNormal, li.MsoNormal, div.MsoNormal\r
22         {margin:0in;\r
23         margin-bottom:.0001pt;\r
24         font-size:12.0pt;\r
25         font-family:"Times New Roman";}\r
26 h1\r
27         {margin-right:0in;\r
28         margin-left:0in;\r
29         font-size:24.0pt;\r
30         font-family:"Times New Roman";\r
31         font-weight:bold;}\r
32 h2\r
33         {margin-right:0in;\r
34         margin-left:0in;\r
35         font-size:18.0pt;\r
36         font-family:"Times New Roman";\r
37         font-weight:bold;}\r
38 h3\r
39         {margin-right:0in;\r
40         margin-left:0in;\r
41         font-size:13.5pt;\r
42         font-family:"Times New Roman";\r
43         font-weight:bold;}\r
44 h4\r
45         {margin-right:0in;\r
46         margin-left:0in;\r
47         font-size:12.0pt;\r
48         font-family:"Times New Roman";\r
49         font-weight:bold;}\r
50 a:link, span.MsoHyperlink\r
51         {color:blue;\r
52         text-decoration:underline;}\r
53 a:visited, span.MsoHyperlinkFollowed\r
54         {color:blue;\r
55         text-decoration:underline;}\r
56 p.MsoPlainText, li.MsoPlainText, div.MsoPlainText\r
57         {margin:0in;\r
58         margin-bottom:.0001pt;\r
59         font-size:10.0pt;\r
60         font-family:"Courier New";}\r
61 p\r
62         {margin-right:0in;\r
63         margin-left:0in;\r
64         font-size:12.0pt;\r
65         font-family:"Times New Roman";}\r
66 @page Section1\r
67         {size:8.5in 11.0in;\r
68         margin:1.0in 65.95pt 1.0in 65.95pt;}\r
69 div.Section1\r
70         {page:Section1;}\r
71  /* List Definitions */\r
72  ol\r
73         {margin-bottom:0in;}\r
74 ul\r
75         {margin-bottom:0in;}\r
76 -->\r
77 </style>\r
78 \r
79 <title>WinOF 1.1 Release Notes</title>\r
80 \r
81 </head>\r
82 \r
83 <body lang=EN-US link=#0000FF vlink=#808080>\r
84 \r
85 <div class=Section1>\r
86 \r
87 <h1 align=center style='text-align:left'><img width=107 height=93\r
88 src=openfabrics.gif></h1>\r
89 \r
90 <h1 align=center style='text-align:center'>Windows OpenFabrics </h1>\r
91 \r
92 <h1 align=center style='text-align:center'><a name="1.1_Release_Notes">2.1 Release Notes</a></h1>\r
93 \r
94 <h3 align=center style='text-align:center'>\r
95 <!--webbot bot="Timestamp" S-Type="EDITED" S-Format="%m/%d/%Y" startspan -->04/10/2009<!--webbot bot="Timestamp" endspan i-checksum="12510" --></h3>\r
96 \r
97 <div class=MsoNormal align=center style='text-align:center'>\r
98 \r
99 <hr size=2 width="100%" align=center>\r
100 \r
101 <h3 style="text-align: left"><u><a href="#Overview"><font color="#000000">\r
102 Overview</font></a></u></h3>\r
103 <h3 style="text-align: left"><u>\r
104 <a href="#Supported_Platforms,_Operating_Systems_and_Infiniband_Hardware">\r
105 <font color="#000000">Supported Platforms, Operating Systems and InfiniBand Hardware</font></a></u></h3>\r
106 <h3 style="text-align: left"><a href="#Installation_Specifics">\r
107 <font color="#000000">Installation Notes</font></a></h3>\r
108 <h3 style="text-align: left"><a href="#How_to_Install"><font color="#000000">\r
109 How to Install</font></a></h3>\r
110 \r
111 </div>\r
112 \r
113 <h3><u><a href="#Unattended_Install"><font color="#000000">\r
114 Unattended Install</font></a><font color="#000000"> </font></u></h3>\r
115 <h3><b><a href="#HCA Driver Installation"><font color="#000000">HCA Device Driver \r
116 Installation</font></a></b></h3>\r
117 <h3><u><font color="#000000"> <a href="#Server_2008_HPC_Install_Notes">\r
118 <font color="#000000">Server 2008 HPC Install Notes</font></a></font></u></h3>\r
119 <h3><u><a href="#Setting_the_IPoIB_Interface_IP_Address"><font color="#000000">\r
120 Setting the IPoIB Interface IP Address</font></a></u></h3>\r
121 <h3><u><a href="#Uninstall"><font color="#000000">\r
122 Uninstall</font></a></u></h3>\r
123 <h3><u><a href="#Trouble_Shooting"><font color="#000000">\r
124 Trouble Shooting</font></a></u></h3>\r
125 <h3><a href="#OpenIB_Subnet_Management_as_a_Windows_Service">\r
126 <font color="#000000">InfiniBand</font></a><u><a href="#OpenIB_Subnet_Management_as_a_Windows_Service"><font color="#000000"> Subnet Management as a Windows Service</font></a></u></h3>\r
127 <h3><u><a href="#Local_Network_Adapter_Ordering"><font color="#000000">\r
128 Local Network Adapter Ordering</font></a></u></h3>\r
129 <h3><u><a href="#Which_WinOF_release_is_installed"><font color="#000000">\r
130 Which WinOF release is installed</font></a></u><a href="#Which_WinOF_release_is_installed"><font color="#000000">?</font></a></h3>\r
131 <h3><u><a href="#QLogic_VNIC_Configuration"><font color="#000000">\r
132 QLogic VNIC Configuration</font></a></u></h3>\r
133 <h3><u><a href="#DAT_&_uDAPL_Configuration"><font color="#000000">\r
134 DAT &amp; uDAPL Configuration</font></a></u></h3>\r
135 <h3><u><a href="#SRP_-_SCSI_RDMA_Protocol_Driver_Installation">\r
136 <font color="#000000">SRP (SCSI RDMA Protocol) Driver Installation</font></a></u></h3>\r
137 <h3><a href="#WinVerbs"><font color="#000000">W</font></a><u><a href="#WinVerbs"><font color="#000000">inVerbs</font></a></u></h3>\r
138 <h3><u><a href="#Known_Issues"><font color="#000000">\r
139 Known Issues</font></a></u></h3>\r
140 <hr>\r
141 <p>&nbsp;</p>\r
142 \r
143 <h2><u><a name="Overview">Overview</a></u></h2>\r
144 \r
145 <p class=MsoPlainText><span style='font-size:12.0pt;font-family:"Arial"'>The\r
146 Windows OpenFabrics (WinOF) release package is composed of software modules\r
147 intended for use on Microsoft Windows based computer systems connected via an\r
148 InfiniBand fabric.</span></p>\r
149 \r
150 <p class=MsoPlainText><span style='font-size:12.0pt;font-family:"Arial"'>&nbsp;Binary\r
151 files generated from the OpenIB-windows developers subversion (svn) source tree </span>\r
152 <font face="Arial">'svn://openib.tc.cornell.edu'<span style='font-size:12.0pt;'> \r
153 (branches\WOF2-0 svn revision <font color="#FF0000">1835</font>)\r
154 are packaged into a <a href="http://www.dalun.com/wix/default.htm">WIX 2.0 \r
155 (Windows Installer Xml)</a> single file install package referred to as the \r
156 Windows OpenFabrics&nbsp;(WinOF) release 2.1.</span></font><span style='font-size:12.0pt;font-family:"Times New Roman"'><br>\r
157 &nbsp;</span></p>\r
158 <p class=MsoPlainText><font size="3"><span style="font-family: Arial">\r
159 This WinOF 2.1 is a full release as it contains WHQL fixes \r
160 to numerous components along with full Winverbs and OFED integration modules:</span></font></p>\r
161 \r
162 </div>\r
163 <ul>\r
164         <li>\r
165         <p class="MsoPlainText"><font face="Arial" size="3">Windows Server \r
166         2008 and Vista are supported.</font></p></li>\r
167         <li>\r
168         <p class="MsoPlainText"><font face="Arial" size="3">Network Direct \r
169         supported on Server 2008/HPC.</font></p></li>\r
170         <li>\r
171         <p class="MsoPlainText"><font face="Arial" size="3">Mellanox ConnectX(mlx4) drivers \r
172         enhanced for increased performance and stability.</font></p></li>\r
173         <li>\r
174         <p class="MsoPlainText"><font face="Arial" size="3">QLogic has \r
175         enhanced VNIC &amp; SRP for increased performance and stability.</font></p></li>\r
176         <li>\r
177         <p class="MsoPlainText"><font face="Arial" size="3">Bug fixes for stability in IBcore, WSD, VNIC, SRP, IPoIB, DAT/DAPL</font></p>\r
178         </li>\r
179 </ul>\r
180 <div class=Section1>\r
181 \r
182 <p><font face="Arial">The Windows OpenFabrics (WinOF) release package contains the following:<br>\r
183 <br>\r
184 OpenFabrics InfiniBand core drivers and Upper Level Protocols (ULPs):</font></p>\r
185 <ul>\r
186         <li>\r
187         <p style="text-indent: -.25in; margin-left: .5in"><font face="Arial"><span dir="LTR">HCA \r
188         Drivers - </span>\r
189         <span style='background-position: 0% 0%; mso-highlight:yellow; background-image:none; background-repeat:repeat; background-attachment:scroll' dir="LTR">&nbsp;Mellanox \r
190         </span>\r
191         <st1:stockticker>\r
192         <span\r
193  style='background-position: 0% 0%; mso-highlight:yellow; background-image:none; background-repeat:repeat; background-attachment:scroll'>\r
194         InfiniHost &amp; ConnectX</span></st1:stockticker><span\r
195 style='background-position: 0% 0%; mso-highlight:yellow; background-image:none; background-repeat:repeat; background-attachment:scroll'> low level drivers; See list of\r
196 supported devices below</span></font></li>\r
197         <li>\r
198         <p style="text-indent: -.25in; margin-left: .5in">\r
199         <font face="Arial">\r
200         <span style="background-position: 0% 0%">Infiniband Core components</span></font></li>\r
201         <li>\r
202         <p style="text-indent: -.25in; margin-left: .5in"><font face="Arial">Upper Layer Protocols: \r
203         IPoIB, WSD, ND, VNIC, SRP Initiator and DAT/DAPL</font></li>\r
204 </ul>\r
205 \r
206 <p><font face="Arial">OpenFabrics utilities:</font></p>\r
207 \r
208 <ul>\r
209         <li>\r
210         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>OpenSM: InfiniBand fabric Subnet Manager</span></font></p>\r
211         </li>\r
212         <li>\r
213         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>Performance \r
214         tests</span></font></p></li>\r
215         <li>\r
216         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir="LTR">Diagnostic tools</span></font></p>\r
217         </li>\r
218 </ul>\r
219 \r
220 <p><font face="Arial">Documentation</font></p>\r
221 \r
222 <ul>\r
223         <li>\r
224         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>User's manual</span></font></p>\r
225         </li>\r
226         <li>\r
227         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>Release Notes</span></font></p>\r
228         </li>\r
229 </ul>\r
230 \r
231 <p style="text-indent: -.25in; margin-left: .5in"><a href="#1.1_Release_Notes">\r
232 <font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
233 <p style="text-indent: -.25in; margin-left: .5in">&nbsp;</p>\r
234 <h2><u><a name="Supported_Platforms,_Operating_Systems_and_Infiniband_Hardware">Supported Platforms, Operating Systems and Infiniband Hardware</a></u></h2>\r
235 \r
236 <h4>CPU architectures</h4>\r
237 \r
238 <ul>\r
239         <li>\r
240         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>x64 (x86_64, amd64)</span></font></p>\r
241         </li>\r
242         <li>\r
243         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>x86</span></font></p>\r
244         </li>\r
245         <li>\r
246         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>IA64</span></font></p>\r
247         </li>\r
248 </ul>\r
249 \r
250 <h4>Operating Systems</h4>\r
251 \r
252 <ul>\r
253         <li>\r
254         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir="LTR">Windows \r
255         Server 2008</span></font></p>\r
256         </li>\r
257         <li>\r
258         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial">Windows \r
259         Server 2008 R2</font></p>\r
260         </li>\r
261         <li>\r
262         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial">Windows 7 \r
263         (Server/Ultimate/Professional)</font></p>\r
264         </li>\r
265         <li>\r
266         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir="LTR">Vista</span></font></p>\r
267         </li>\r
268         <li>\r
269         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>Windows Server 2008 HPC Edition</span></font></p>\r
270         </li>\r
271         <li>\r
272         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir="LTR">Windows Server 2003 \r
273         / XP64</span></font></p>\r
274         </li>\r
275         <li>\r
276         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>Windows XP/32 (SP2)</span></font></p>\r
277         </li>\r
278 </ul>\r
279 \r
280 <h4><u>Supported HCAs (Host Channel Adapters)</u></h4>\r
281 \r
282 <p><font face="Arial">Mellanox</font></p>\r
283 <ul>\r
284         <li>\r
285         <p style='margin-left:.5in;text-indent:-.25in;mso-list:l13 level1 lfo1;\r
286 tab-stops:list .5in'><![if !supportLists]><font size="3">\r
287         <span style='background-position: 0% 0%; font-style:normal; font-variant:normal; font-weight:normal; font-family:Arial; mso-list:Ignore; mso-bidi-font-size:12.0pt; mso-fareast-font-family:Symbol; mso-bidi-font-family:Symbol; mso-highlight:yellow; background-image:none; background-repeat:repeat; background-attachment:scroll'>\r
288         MT23108 - InfiniHost</span></font><![endif]></p></li>\r
289         <li>\r
290         <p style='margin-left:.5in;text-indent:-.25in;mso-list:l13 level1 lfo1;\r
291 tab-stops:list .5in'>\r
292         <font face="Arial">\r
293         <span style='background-position: 0% 0%; mso-highlight:yellow; background-image:none; background-repeat:repeat; background-attachment:scroll' dir="LTR">MT25218 \96 InfiniHost III Ex, memfree</span></font></p>\r
294         </li>\r
295         <li>\r
296         <p style='margin-left:.5in;text-indent:-.25in;mso-list:l13 level1 lfo1;\r
297 tab-stops:list .5in'>\r
298         <font face="Arial">\r
299         <span style='background-position: 0% 0%; mso-highlight:yellow; background-image:none; background-repeat:repeat; background-attachment:scroll' dir="LTR">MT25204 \96 InfiniHost III Lx</span></font></p>\r
300         </li>\r
301         <li>\r
302         <p style='margin-left:.5in;text-indent:-.25in;mso-list:l13 level1 lfo1;\r
303 tab-stops:list .5in'><font face="Arial"><span style="background-position: 0% 0%">MT25408 - ConnectX DDR Channel Adapter, not \r
304         yet supported on IA64 platforms.</span></font></p>\r
305         </li>\r
306 </ul>\r
307 <p><font face="Arial">Both SDR and DDR mode of the InfiniHost III family are supported.<br><br>For official Firmware (FW) versions and update tools please see:<br>\r
308 <a href="http://www.mellanox.com/support/firmware_table.php">http://www.mellanox.com/support/firmware_table.php</a><br>\r
309 Current HCA firmware version can be viewed from the 'vstat' command.</font></p>\r
310 \r
311 <h4><font face="Arial"><u>Supported Switches</u></font></h4>\r
312 \r
313 <ul>\r
314         <li>\r
315         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir="LTR">QLogic</span></font></p>\r
316         </li>\r
317         <li>\r
318         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>SilverStorm - \r
319         update your firmware for correct embedded Subnet Manager operation.</span></font></p>\r
320         </li>\r
321         <li>\r
322         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir="LTR">Voltaire</span></font></p>\r
323         </li>\r
324         <li>\r
325         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>Flextronics</span></font></p>\r
326         </li>\r
327         <li>\r
328         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial">Due to lack of hardware \r
329         accessibility, \r
330         other vendor switches have not been tested.</font></p>\r
331         </li>\r
332 </ul>\r
333 \r
334 <p><a href="#1.1_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
335 <p>&nbsp;</p>\r
336 <h2><u><a name="Installation_Specifics">Installation </a></u>\r
337 <a name="Installation_Specifics"><u>Notes</u></a></h2>\r
338 \r
339 <p><font face="Arial">User mode tools and diagnostics are installed in '%SystemDrive%\Program\r
340 Files (x86)\WinOF'.&nbsp; Although driver modules initially reside in \r
341 '%SystemDrive%\Program Files (x86)\WinOF', when installed the Windows device \r
342 installer copies driver files to %SystemRoot%\system32 &amp; %SystemRoot%\SysWOW64'. \r
343 DAT &amp; DAPL runtime libraries are installed into %SystemRoot% in order to be \r
344 accessible to user mode applications.<br>\r
345 WinOF user mode executables are designed to be run from\r
346 a Command Prompt window; see&nbsp; 'Start-&gt;Program Files-&gt; Windows OpenFabrics-&gt; Command Prompt'.</font></p>\r
347 <p><font face="Arial">'%SystemDrive%\Program Files (x86)\WinOF' is appended to the system wide search \r
348 path; new command windows created after the installation will have the updated \r
349 %PATH% environment variable, hence will be able to access WinOF executables.</font></p>\r
350 \r
351 <p><font face="Arial">The \91default\92 installation installs \91released/free\92 (not\r
352 checked/debug) versions of drivers and executables. Debug/Checked versions are \r
353 available as an install feature.</font></p>\r
354 \r
355 <p><font face="Arial">A single instance of a subnet manager, opensm.exe, must be\r
356 running on a fabric connected node in order for the Infiniband fabric to be\r
357 configured and useful; either Windows or Linux OFED opensm work well.</font></p>\r
358 <p><font face="Arial">It is recommended that OpenSM be run as a Windows service.&nbsp; A typical \r
359 WinOF install will install OpenSM as a Windows service which \r
360 is disabled; after an installation, choose your openSM node and start the openSM \r
361 service.&nbsp; \r
362 See the WinOF Manual for details on opensm as a service.<br>\r
363 By selecting the 'OpenSM_Service_Enabled' install feature, an OpenSM subnet \r
364 management service will be automatically started. </font> </p>\r
365 \r
366 <p><font face="Arial">Note, the opensm.exe process must continue to run in order\r
367 to maintain Infiniband fabric configuration. Should the opensm.exe process die,\r
368 restart the service if not automatic or re-run opensm.exe in order to continue\r
369 correct fabric operation.</font></p>\r
370 \r
371 <p><font face="Arial">For more subnet management information, consult the Windows\r
372 OpenFabrics manual.</font></p>\r
373 \r
374 <p class=MsoNormal><a href="#1.1_Release_Notes"><font color="#000000">\r
375 &lt;Return-to-Top&gt;</font></a></p>\r
376 <p class=MsoNormal>&nbsp;</p>\r
377 \r
378 <h2><u><a name="How_to_Install">How to Install</a></u></h2>\r
379 \r
380 <h3>Requirements</h3>\r
381 \r
382 <p><font face="Arial">Install HCA hardware prior to installing the Windows OpenFabrics Release\r
383 package. Upon reboot, cancel any attempts to install new device hardware from \r
384 the &quot;Found New Hardware Wizard&quot;.</font></p>\r
385 \r
386 <p><font face="Arial">If you have previously installed openib-windows, WinOF (Windows OpenFabrics)\r
387 packages or vendor supplied Infiniband packages, uninstall and reboot prior to\r
388 installing this version of Windows OpenFabrics (WinOF).</font></p>\r
389 \r
390 <p><font face="Arial">For an existing Windows OpenFabrics (WinOF) uninstall<br>\r
391 &nbsp;&nbsp;&nbsp; Start-&gt; Programs-&gt; Windows OpenFabrics-&gt; Uninstall WinOF<br>\r
392 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -or-<br>\r
393 &nbsp;&nbsp;&nbsp; Control Panel -&gt; Add or Remove Programs-&gt; Windows\r
394 OpenFabrics-&gt;Remove.</font></p>\r
395 <p><font face="Arial">openib-windows (IB stack before WinOF 1.0 release) uninstall: (not the normal \r
396 uninstall case)</font></p>\r
397 \r
398 <ol start=1 type=1>\r
399         <li class=MsoNormal><font face="Arial">Disable any Local Area Connections which are bound to the\r
400      IPoIB network adapter.</font></li>\r
401  <li class=MsoNormal><font face="Arial">Uninstall the IPoIB driver - My\r
402      computer-&gt;Manage-&gt;Devices-&gt;Network Adapters-&gt;IPoIB*</font></li>\r
403         <li class=MsoNormal><font face="Arial">Stop the openSM subnet manager if it is running on the \r
404         local node.</font></li>\r
405  <li class=MsoNormal><font face="Arial">Uninstall the Infiniband HCA device; don't forget the \r
406         System Device-&gt; InfiniBand Fabric</font></li>\r
407 </ol>\r
408 \r
409 <p>&nbsp;</p>\r
410 \r
411 <p><b>REBOOT</b></p>\r
412 \r
413 <p><font face="Arial">Upon system restart, cancel the 'Found New Hardware Wizard' attempts to install \r
414 drivers for newly discovered PCI device (HCA).</font></p>\r
415 <p><font face="Arial">'My Computer-&gt;Manage-&gt;Device Manager' should display\r
416 'Other Devices-&gt;?PCI device' which is your Infiniband HCA device.</font></p>\r
417 \r
418 <h3><u>Install</u></h3>\r
419 \r
420 <blockquote style='margin-top:5.0pt;margin-bottom:5.0pt'>\r
421 \r
422 <p><font face="Arial">Vista installation <b>only</b>; open a privileged Administrator command \r
423 window and type</font></p>\r
424 <p><font face="Arial">&nbsp;&nbsp;&nbsp; start/wait msiexec /I WinOF_2-1_wlh_xxx.msi</font></p>\r
425 <p><font face="Arial">For all other Windows variants, double-clicking the installer file (.msi) \r
426 works correctly to start a WinOF installation.<br>\r
427 From a login session with administrator privileges, double-click the WinOF_M-m{-p}_OSE_arch.msi file to begin the Windows OpenFabrics \r
428 installation.</font></p>\r
429 <p><font face="Arial">Where 'M-n{-p}' indicates Major release number, Minor release number, and \r
430 optional point-release number.</font></p>\r
431 <p><font face="Arial">&nbsp;OSE - Operating System Environment:</font></p>\r
432 <ul>\r
433         <li><font face="Arial">wlh - (Windows LongHorn) Windows Server 2008, HPC or Vista</font></li>\r
434         <li><font face="Arial">wnet - Windows Server 2003 or Windows XP 64-bit version</font></li>\r
435         <li><font face="Arial">wxp - Windows XP x86/32-bit version</font></li>\r
436 </ul>\r
437 <p><font face="Arial">'_arch_' will be one of</font></p>\r
438 <ul>\r
439         <li><font face="Arial">_x64_ for&nbsp; Intel EMT64 systems or amd64; see\r
440         <a href="http://en.wikipedia.org/wiki/X86-64">x86-64</a></font></li>\r
441         <li><font face="Arial">_x86_ for x86\r
442 compatible systems</font></li>\r
443         <li><font face="Arial">_ia64_ for Intel IA64 systems. </font> </li>\r
444 </ul>\r
445 \r
446 <p><font face="Arial">Follow the on-screen instructions.<br>\r
447 <br>\r
448 Answer 'yes' or 'Continue' to any notifier windows which reference non-WHQL'ed \r
449 driver installation.<br>\r
450 These non-WHQL'ed driver install questions can <b>not</b> be disabled \r
451 via 'My Computer-&gt;Properties-&gt;Hardware-&gt;Driver Signing-&gt;Ignore'.</font></p>\r
452 <p><font face="Arial">Bottom-line - The digitally signed WinOF drivers in this package are not WHQL'ed \r
453 per se, although they are \r
454 built from driver source which has been or is in process of being WHQL'ed by \r
455 hardware vendors who participate in the open source WinOF development process.</font></p>\r
456 <p>&nbsp;</p>\r
457 <p>&nbsp;<font size="4">**** WARNING ****</font></p>\r
458 <blockquote>\r
459         <p><font face="Arial">Should any 'Welcome to the Found New Hardware Wizard' windows popup after the \r
460         WinOF install has started, just ignore (window will disappear in a few \r
461         seconds) or 'Cancel' the errant popup window.&nbsp; \r
462         For Windows Server 2003 (SP1) you can safely ignore the errant FNHW popup \r
463         window; for Windows XP (SP2) the errant FNHW popups need to be 'cancelled' \r
464         in order for the WinOF install to proceed. The report back from Microsoft on these 'Found New Hardware Wizard' windows \r
465         popping up, is they are due to the fact the WinOF drivers are not WHQL'ed \r
466         and hence are not trusted by Windows; MS claims this is a 'feature'.</font></p>\r
467         <p><font face="Arial">An artifact of cancelling an errant 'Found New Hardware' popup window may \r
468         induce an errant taskbar Information notifier/bubble indicating there may \r
469         have been problems installing your hardware drivers;\r
470         IGNORE/cancel this information bubble, likely the device installation \r
471         proceeded without error. Check the Device Manager views for the \r
472         Infiniband HCA and IPoIB Network Adapters for initial verification of \r
473         correct installation.</font></p>\r
474         <p><font face="Arial">You <b>do</b> need to answer 'Yes' or 'Continue' to those notifier windows which \r
475         reference non-WHQL driver installation. If you have previously \r
476         set My Computer-&gt;Properties-&gt;Hardware-&gt;Driver Signing-&gt;Ignore, the FNHW \r
477         windows likely will occur anyway.</font></p>\r
478         <p><font face="Arial">Should the install appear to hang, look around for occluded notifier windows \r
479         waiting for a response which \r
480         are covered by existing windows.<br>\r
481 &nbsp;</font></p>\r
482 </blockquote>\r
483 \r
484 <h4>Install type: Custom only</h4>\r
485 \r
486 <ul type=disc>\r
487  <li class=MsoNormal><font face="Arial">InfiniBand Core:</font><ul>\r
488         <li><font face="Arial">HCA driver - Mellanox: InfiniHost or ConnectX<br>\r
489         Server 2008 or Vista - installation will select the correct HCA driver.<br>\r
490         Server 2003 or XP - default HCA driver selection is Mellanox InfiniHost, \r
491         otherwise select from install features.</font></li>\r
492         <li><font face="Arial">IB core stack and libraries.</font></li>\r
493         <li><font face="Arial">Release Notes, Manual</font></li>\r
494         <li><font face="Arial">Subnet Management service [OpenSM] (installed &amp; disabled), Performance &amp; Diagnostic tools</font></li>\r
495         </ul>\r
496         </li>\r
497         <li><font face="Arial">Optional:<br>&nbsp;&nbsp;&nbsp; IPoIB - Internet Protocols over \r
498         InfiniBand<br>&nbsp;&nbsp;&nbsp; Winsock Direct (Win2008/3 only)<br>\r
499 &nbsp;&nbsp;&nbsp; Network Direct (MS supported only for Server 2008 HPC).<br>&nbsp;&nbsp;&nbsp; VNIC - Virtual Ethernet device over Infiniband<br>&nbsp;&nbsp;&nbsp; SRP - SCSI over RDMA Protocol<br>&nbsp;&nbsp;&nbsp; \r
500         DAT/DAPL \r
501         - RDMA device independent, user-mode Direct Access Transport &amp; Direct Access \r
502         Provider<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; - DAT v1.1&nbsp; runtime libraries.<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; - DAT v1.1 application build environment \r
503         (header files &amp; link files).<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; - DAT/DAPL v2.0 runtime libraries<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; - DAT v2.0 application build environment<br>&nbsp;&nbsp;&nbsp; OpenSM_service_started - InfiniBand Subnet Management \r
504         enabled and started as a Windows Service.<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
505         By default OpenSM is installed as a disabled Windows Service.<br>\r
506 &nbsp;&nbsp;&nbsp; WinVerbs - OFED verbs API for Windows.<br>\r
507 &nbsp;&nbsp;&nbsp; Checked versions of driver files.<br>\r
508 &nbsp;</font></li>\r
509         <li><font face="Arial">The '<b>default</b>' installation includes IB core, IPoIB, WSD (Win2K3 only), \r
510         DAT 1.1 runtime libraries, OpenSM service (disabled).</font></li>\r
511 </ul>\r
512 \r
513 </blockquote>\r
514 \r
515 <p><a href="#1.1_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
516 <p>&nbsp;</p>\r
517 <h3><u><a name="HCA Driver Installation">HCA Driver Installation</a></u></h3>\r
518 <p><font face="Arial">WinOF Server 2008 / Vista device driver installation operates somewhat \r
519 differently than Server 2003/XP device driver installation.<br>\r
520 Server 2008 uses the device driver installation program dpinst.exe (Driver \r
521 Package Install) plus the \r
522 Windows driver store, where Server 2003 uses the older devman/devcon device \r
523 driver installation technology.</font></p>\r
524 <h4><u><a name="Server_2008_HPC_Install_Notes1">Server 2008/Vista Notes</a></u></h4>\r
525 <p><font face="Arial">The main difference for Server 2008 is the Microsoft Plug-n-Play (PNP) subsystem \r
526 controls which Infiniband HCA (Host Channel Adapter) device driver is loaded \r
527 from the Windows Driver Store. HCA driver selection based on PNP system device \r
528 configuration probing, thus InfiniHost, ConnectX or both drivers can be loaded \r
529 by the PNP subsystem.<br>\r
530 Using PNP probing results in the Server 2008/Vista WinOF installation not \r
531 requiring a specific HCA model [ConnectX or InfiniHost] feature selection.</font></p>\r
532 <h4><u><a name="Server_2008_HPC_Install_Notes0">Server 2003/XP Notes</a></u></h4>\r
533 <p><font face="Arial">Server 2003/XP installs require the specific selection of an \r
534 HCA device type.</font></p>\r
535 <p><font face="Arial">The default Server 2003/XP HCA device install type is&nbsp; Mellanox InfiniHost. When installing WinOF you have two choices on how to override the \r
536 default HCA device type (case of ConnectX HCA hardware):</font></p>\r
537 <ol>\r
538         <li><font face="Arial">Use the WinOF installer GUI to change the default HCA device driver \r
539         feature selection from InfiniHost to ConnectX.<br>\r
540 &nbsp;</font></li>\r
541         <li><font face="Arial">From a command line:&nbsp; start/wait msiexec /I WinOF_wnet/wxp_arch.msi /qb /quiet \r
542         HCA=cx<br>\r
543         <br>\r
544         The 'HCA=cx' argument changes the default HCA device type to be Mellanox \r
545         ConnectX (mlx4_*).<br>\r
546         'HCA=+cx' argument adds the Mellanox ConnectX HCA type to the default HCA \r
547         type.<br>\r
548         The result is the installation of HCA drivers for ConnectX and InfiniHost.<br>\r
549 &nbsp;</font></li>\r
550 </ol>\r
551 <h3><u><a name="Unattended_Install0">Unattended Install</a></u></h3>\r
552 \r
553 <div id="main-copy0">\r
554         <font face="Arial">To perform a silent unattended installation for Server \r
555         2003/XP for Mellanox InfiniHost HCA hardware, invoke the following command \r
556         from a command window.</font><blockquote>\r
557                 <p><font face="Arial">start/wait msiexec.exe /i WinOF_2-0_wnet_x64.msi&nbsp; /qn&nbsp; /quiet&nbsp; /log \r
558                 %TEMP%\WOF-install.log</font></p>\r
559                 <p><font face="Arial">'/log dev:path\logFilename.log' is optional.</font></p>\r
560                 <p><font face="Arial">msiexec.exe /? for all options.</font></p>\r
561         </blockquote>\r
562         <p><font face="Arial">An unattended Server 2003/XP install will install the following 'default' options</font></p>\r
563         <ul>\r
564                 <li><font face="Arial">Infiniband Core modules - Mellanox InfiniHost HCA driver, IB core stack and libraries, \r
565                 documentation<br>\r
566                 default HCA driver selection is Mellanox InfiniHost, otherwise override \r
567                 default InfiniHost HCA type with 'HCA=cx'.</font></li>\r
568                 <li><font face="Arial">IPoIB - Internet Protocols over InfiniBand</font></li>\r
569                 <li><font face="Arial">WSD - (Win2K8/3 only, not installed on XP) Win Sock Direct</font></li>\r
570                 <li><font face="Arial">ND - Network Direct [started automatically (via ndinstall.exe) only for Server \r
571                 2008/HPC and Vista].</font></li>\r
572                 <li><font face="Arial">DAT &amp; DAPL (v1.1 &amp; v2.0) runtime libraries + dapltest.exe \r
573                 (dt-svr &amp; dt-cli).</font></li>\r
574         </ul>\r
575 </div>\r
576 <p><font face="Arial">Should WSD not be a desirable unattended install option (Win2008/3 only), \r
577 currently you would install unattended then execute the<br>\r
578 command 'installsp -r' \r
579 on each node to remove WSD.</font></p>\r
580 <p><font face="Arial">Examples:</font></p>\r
581 <p><font face="Arial">Server 2003 - Mellanox HCA Hardware</font></p>\r
582 <ul>\r
583         <li><font face="Arial">InfiniHost HCA<br>\r
584         start/wait msiexec.exe /i WinOF_2-0_wnet_x64.msi /qb /quiet<br>\r
585 &nbsp;</font></li>\r
586         <li><font face="Arial">ConnectX HCA<br>\r
587         start/wait msiexec.exe /i WinOF_2-0_wnet_x64.msi /qb /quiet HCA=cx<br>\r
588 &nbsp;</font></li>\r
589         <li><font face="Arial">InfiniHost and ConnectX<br>\r
590         start/wait msiexec.exe /i WinOF_2-0_wnet_x64.msi /qb /quiet HCA=+cx</font></li>\r
591 </ul>\r
592 <p><font face="Arial">Windows XP - Mellanox HCA Hardware - same as above with .msi \r
593 name change (wnet --&gt; wxp).</font></p>\r
594 <ul>\r
595         <li><font face="Arial">ConnectX HCA<br>\r
596         start/wait msiexec.exe /i WinOF_2-0_wxp_x86.msi /qb /quiet HCA=cx<br>\r
597 &nbsp;</font></li>\r
598 </ul>\r
599 <p><font face="Arial">Server 2008 / Vista - HCA Hardware</font></p>\r
600 <ul>\r
601         <li><font face="Arial">No need to specify HCA type as PNP (Plug-n-Play)&nbsp; \r
602         figures out the correct HCA to install.<br>\r
603         start/wait msiexec.exe /i WinOF_2-0_wlh_x64.msi /qb /quiet</font></li>\r
604 </ul>\r
605 <p>&nbsp;</p>\r
606 <p><font face="Arial">Non-HCA Install Features added to above examples:</font></p>\r
607 <ul>\r
608         <li><font face="Arial">Start a Subnet Manager running on the local system: \r
609         add 'OSMS=1'</font></li>\r
610         <li><font face="Arial">Install SRP: add 'SRP=1'</font></li>\r
611         <li><font face="Arial">Install VNIC: add 'VNIC=1'</font></li>\r
612 </ul>\r
613 <p><font face="Arial">Default install + SRP + VNIC + OpenSM Started on local \r
614 system</font></p>\r
615 <ul>\r
616         <li><font face="Arial">Server 2003, ConnectX - start/wait msiexec.exe /i WinOF_2-0_wnet_x64.msi \r
617         /qb /quiet HCA=cx SRP=1 VNIC=1 OSMS=1<br>\r
618 &nbsp;</font></li>\r
619 </ul>\r
620 <p><a href="#1.1_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
621 <p>&nbsp;</p>\r
622 <h3><u><a name="Server_2008_HPC_Install_Notes">Server 2008 HPC Install Notes</a></u></h3>\r
623 <p><font face="Arial">Device drivers in WinOF 2.0 and later releases are Digitally \r
624 signed by the OpenFabrics Alliance, although they are not WHQL'ed (Windows Quality Hardware Labs) certified. \r
625 The WinOF source code is used&nbsp; by hardware vendors to achieve WHQL \r
626 certification. This lack \r
627 of WinOF WHQL certification impacts unattended installs by requiring the user to \r
628 'accept' installation of non-WHQL'ed drivers the 'first' time a compute node \r
629 installs WinOF drivers via the WinOF .msi installer.&nbsp;<br>\r
630 Additionally the non-WHQL \r
631 driver notifier box has a \r
632 checkbox which allows establishing a <b><i>trust</i></b> for software from the publisher \r
633 'OpenFabrics Alliance'. Checking the 'Trust Software from the OpenFabrics \r
634 Alliance publisher'&nbsp; box allows future WinOF driver installs to proceed \r
635 without user intervention as you have indicated to Windows that you trust non-WHQL'ed \r
636 drivers from the OpenFabrics Alliance software publisher.</font></p>\r
637 <p><font face="Arial">***** Warning *****<br>\r
638 WinOF .msi installs on compute nodes the first time require human input to 'accept' \r
639 installation of non-WHQL'ed drivers along with establishing a trust for the SW \r
640 publisher 'OpenFabrics Alliance'.<br>\r
641 If one attempts an unattended WinOF .msi install using 'clusrun.bat msiexec /i \r
642 WinOF.....msi /quiet', the install will \r
643 silently hang waiting for user input.<br>\r
644 First time unattended WinOF .msi installs need mouse input to complete.&nbsp; \r
645 Once the Openfabrics Alliance SW publisher trust has been established, future unattended WinOF .msi \r
646 installs procees without human input.</font></p>\r
647 <p><font face="Arial">Be aware: if a node is reimaged (same or different template applied) the \r
648 established trust of OpenFabric Alliance is destroyed, thus the non-WHQL driver \r
649 notifier box and muse-click&nbsp; input is again required on the first WinOF .msi \r
650 install</font></p>\r
651 <h4><u>Windows Deployment Manager usage for HPC compute node provisioning</u></h4>\r
652 <p><font face="Arial">Microsoft has chosen WDM to provision HPC \r
653 cluster compute nodes; see&nbsp;\r
654 <a href="http://technet.microsoft.com/en-us/library/dd391826.aspx">Microsoft HPC \r
655 installs</a> for details.</font></p>\r
656 <p><font face="Arial">In support of the new Microsoft WDM HPC cluster \r
657 provisioning process, WinOF now supports an administrative install mode which is \r
658 a method to extract WinOF files to the local filesystem without actually installing them; \r
659 thus making WinOF driver files accessible to WDM provisioning. </font></p>\r
660 <p><font face="Arial">msiexec /A WinOF_2-0_wlh_x64.msi TARGETDIR=dev:\path-to-extracted-files</font></p>\r
661 <p><font face="Arial">example:&nbsp; msiexec /A WinOF_2-1_wlh_x64.msi TARGETDIR=%TEMP%&nbsp;&nbsp; \r
662 (note: TARGETDIR is case sensitive)</font></p>\r
663 <p><font face="Arial">The above command creates the following folder structure:<br>\r
664 <br>\r
665 <a href="file:///C:/windows/Temp/WOF/PFiles/WinOF/">%TEMP%\PFiles\WinOF\</a><br>&nbsp;&nbsp;&nbsp; IBcore\mthca.inf&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
666 Mellanox InfiniHost HCA driver<br>&nbsp;&nbsp;&nbsp; IBcore\mlx4_bus.inf&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
667 Mellanox ConnectX bus driver<br>&nbsp;&nbsp;&nbsp; IBcore\mlx4_hca.inf&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
668 Mellanox ConnectX HCA driver (both ConnectX drivers required).<br>&nbsp;&nbsp;&nbsp; net\netipoib.inf&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
669 IPoIB + Network Direct IB provider + WSD (Winsock Direct) provider.<br>\r
670 &nbsp;&nbsp;&nbsp; srp\ibsrp.inf&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
671 SCSI over IB.<br>\r
672 &nbsp;&nbsp;&nbsp; vnic\qlgcvnic.inf&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
673 QLogic VNIC (Virtual Ethernet controller over InfiniBand)</font></p>\r
674 <h4><u>WinOF device driver-less installs:</u></h4>\r
675 <p><font face="Arial">Normally WinOF device driver files are installed by processing the driver '.inf' \r
676 files. To install the WinOF package by selecting install features without \r
677 installing any device drivers [HCA, IPoIB, ND, WSD, SRP or VNIC] (assumed \r
678 reliance on WDM to install drivers) can be accomplished with the following \r
679 command:</font></p>\r
680 <p><font face="Arial">start/wait msiexec /i WinOF_2-0-1_wlh_x64.msi NODRV=1</font></p>\r
681 <p><font face="Arial">To skip driver installation for an unattended install</font></p>\r
682 <p><font face="Arial">&nbsp;&nbsp;&nbsp; start/wait msiexec /i WinOF_2-0-1_wlh_x64.msi /qn /quiet NODRV=1</font></p>\r
683 <p><font face="Arial">See <a href="http://unattended.sourceforge.net/installers.php">Unattended \r
684 Installations</a> for further references.</font></p>\r
685 <p><a href="#1.1_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
686 <p>&nbsp;</p>\r
687 <h3><a name="Setting_the_IPoIB_Interface_IP_Address">Setting the IPoIB Interface IP Address</a></h3>\r
688 <p><font face="Arial">The Windows command 'netsh' will assist in assigning an IP address to an \r
689 IPoIB interface.<br>\r
690 By default, an IPoIB interface is configured to use DHCP. The following \r
691 discussion deals with setting a static IP address on an IPoIB interface.<br>\r
692 If your system has two Ethernet ports, then IPoIB interfaces (HCA port 1, 2...) \r
693 will be assigned to 'Local Area Connection 3' and 'Local Area Connection 4'.&nbsp; \r
694 If you system has a single Ethernet port, then IPoIB interface is Local Area \r
695 Connection 2'.</font></p>\r
696 <p><font face="Arial">For Server 2008/HPC systems, the WinOF installation follows the above \r
697 discussion. In defining HPC network interfaces, the IPoIB network can be \r
698 identified as the 'Application' network. In this case, a few minutes after a \r
699 compute node is installed, the local network manager will rename the installed \r
700 IPoIB 'Local Area Connection X' network interface to the 'Application' network.</font></p>\r
701 <p><font face="Arial">Display all network interface configuration information<br>\r
702 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; netsh interface ip show config<br>\r
703 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; netsh interface ip show address \r
704 &quot;Local Area Connection 3&quot;</font></p>\r
705 <p><font face="Arial">Config a static IP address for an IPoIB interface: [Local Area Connection 3 \r
706 == 1st IPoIB interface], is the assigned IP address<br>\r
707 with a netmask of, the gateway is metric is 2.</font></p>\r
708 <p><font face="Arial">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; netsh interface ip set address \r
709 &quot;Local Area Connection 3&quot; static 2</font></p>\r
710 <p><font face="Arial">See <a href="http://support.microsoft.com/kb/257748">netsh</a> for further \r
711 reference.</font></p>\r
712 <p><a href="#1.1_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
713 <p>&nbsp;</p>\r
714 <h2><u><a name="Uninstall">Uninstall</a></u></h2>\r
715 \r
716 <p><font face="Arial">To uninstall a WinOF package from a single node</font></p>\r
717 <ol>\r
718         <li><font face="Arial">Programs-&gt; Windows OpenFabrics-&gt; Uninstall WinOF</font></li>\r
719         <li><font face="Arial">Control Panel-&gt; Add Remove Programs-&gt; Windows OpenFabrics-&gt; Remove</font></li>\r
720 </ol>\r
721 <h3><span style="font-weight: 400; text-decoration: underline">Unattended \r
722 Uninstall</span></h3>\r
723 <p><font face="Arial">From a Command Window invoke the following command; a system reboot will \r
724 occur after the uninstall.</font></p>\r
725 <blockquote>\r
726         <p><font face="Arial">start/wait msiexec.exe&nbsp; /x {3A6A276E-A636-48E8-8624-9A0DE3F2A15E} \r
727         /quiet \r
728         /forcerestart<br>\r
729 &nbsp; - or -<br>\r
730         start/wait msiexec.exe&nbsp; /x WinOF_wlh_2-0_x64.msi /quiet /forcerestart&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
731         # WinOF_xxxx.msi is the file used to install WinOF.</font></p>\r
732         <p><font face="Arial">msiexec.exe /help for details.</font></p>\r
733         <p><font face="Arial">'/log dev:path\logfilename.log'&nbsp; if you wish to later view the install \r
734         results.</font></p>\r
735         <p><font face="Arial">If for some reason the Product Code {GUID} changes, the latest code can \r
736         be located via<br>Programs-&gt; Windows OpenFabrics-&gt; Uninstall WinOF&lt;right-click&gt;Properties</font></p>\r
737 </blockquote>\r
738 <p><font face="Arial">Infrequently, the 'System Device-&gt;Infiniband Fabric' may not correctly uninstall. Make sure the Infiniband Fabric device is \r
739                 completely uninstalled; use device manager for checking. The effect of a \r
740                 partially uninstalled Infiniband Fabric device is IPoIB load failure \r
741                 upon the next WinOF install.</font></p>\r
742 <h3><span style="text-decoration: underline">Uninstall Notes</span></h3>\r
743 <ol>\r
744         <li><font face="Arial">If the SRP (SCSI RDMA Protocol) driver has been previously installed, \r
745         then in order to achieve a 'clean' uninstall, the SRP target drive(s) must \r
746         be released.<br>\r
747 &nbsp;</font><ul>\r
748                 <li><font face="Arial">Use the following diskpart.exe commands from an administrator \r
749                 privileged command window:</font></li>\r
750                 <li><font face="Arial"><a href="file:///c:/windows/temp">c:\windows\temp</a>&gt; diskpart.exe<br>\r
751 &nbsp;&nbsp;&nbsp; SELECT VOLUME=&lt;Drive Letter of the SRP target to be released&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
752                 # example: SELECT VOLUME=L<br>\r
753 &nbsp;&nbsp;&nbsp; OFFLINE DISK<br>\r
754 &nbsp;&nbsp;&nbsp; EXIT</font></li>\r
755                 <li><font face="Arial">For additional SRP drives, repeat SELECT &amp; OFFLINE DISK with new \r
756                 Drive Letter.</font></li>\r
757         </ul>\r
758         <p><font face="Arial">The consequences of not releasing the SRP target drive(s) is that after the \r
759         uninstall reboot there are lingering InfiniBand driver files. These driver \r
760         files remain because while the SRP target is active they have references, \r
761         thus when the uninstall attempts to delete the files the operation fails.</font></p>\r
762         </li>\r
763 </ol>\r
764 <p><a href="#1.1_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
765 <p>&nbsp;</p>\r
766 \r
767 <h2><u><a name="Trouble_Shooting">Trouble Shooting</a></u></h2>\r
768 <p><font face="Arial">A Vista WinOF installation can fail due to protection failures when \r
769 installing the HCA driver. Vista HCA driver installation failure can be caused \r
770 by&nbsp; double-clicking the .msi installer \r
771 file to start the installation.<br>\r
772 WinOF installs for Vista (only) require the installation be started&nbsp; from a \r
773 privileged Administrator command window.<br>Start a privileged Administrator command window (Start-&gt;Command \r
774 Prompt-&gt;Right-click-&gt;Run as Administrator) and execute:<br>\r
775 &nbsp;&nbsp;&nbsp; msiexec /I \r
776 WinOF_xxx_yyy.msi</font></p>\r
777 <p><font face="Arial">To create a LOG file of your WinOF installation, execute this command: \r
778 msiexec /I WinOF_xxx_yyy.msi&nbsp; /Lv %TEMP%\WOF-install.log<br>\r
779 View %TEMP%\WOF-install.log</font></p>\r
780 <p><font face="Arial">msiexec /? for details.</font></p>\r
781 <p><font face="Arial">Server 2008 or Vista can also fail to install due to driver install files \r
782 left over from previously failed install attempts; see %windir%\system32\DriverStore\{Temp|FileRepository}. \r
783 Look for folders with the following in the folder name: mthca, mlx4_, netipoib, \r
784 srp, vnic. Once you have located one of these folders you need to remove it as \r
785 win2k8/Vista will use these files instead of what your attempting to install.; \r
786 removing the folders is a pain.<br>\r
787 Right-click the folder and select Properties-&gt;Security-&gt;Advanced, select owner \r
788 tab, select Edit button, select Administrator and check the 'Replace owner on \r
789 subcontainers and objects', now click 'OK', OK again, select Edit button from \r
790 the securities tab, check allow 'Full Control' box and click OK, OK again. At \r
791 this point you should be back to the file explorer. Now you can delete the \r
792 folder!</font></p>\r
793 <p><font face="Arial">Setupapi.log has moved in Server 2008/Vista, see '%windir%\inf\setupapi-dev.log'. \r
794 Setupapi-*.log can at times contain useful install debug info.</font></p>\r
795 <p><font face="Arial">Server 2008/Vista/HPC all use dpinst.exe to preinstall drivers into the \r
796 driver store. Windows PNP (Plug-n-Play) later will deamand drivers when the \r
797 hardware is recognized. dpinst.exe writes it's error information to '%windir%\dpinst.log'.</font></p>\r
798 <p><font face="Arial">Down rev firmware will result in IPoIB not installing or other anonmolus \r
799 behavior. Consult the event \r
800 viewer, system error records, look for 'mthca' or 'mlx4*' entries generated when the HCA \r
801 driver loads. One of the mthca or mlx4 entries will display the current firmware \r
802 revision.</font></p>\r
803 <p><font face="Arial">Firmware version information and updates \r
804                 are available at\r
805 <a href="http://www.mellanox.com/support/firmware_download.php">\r
806                 www.mellanox.com/support/firmware_download.php</a></font></p><p:colorscheme\r
807  colors="#ffffff,#000000,#808080,#000000,#ffc86c,#acc5ff,#fff4b4,#c4f48a"/>\r
808 \r
809 <div v:shape="_x0000_s1026" style="tab-stops:.6215in">\r
810         <div class="O" style="mso-line-spacing:&quot;80 20 0&quot;;mso-margin-left-alt:145;\r
811 mso-char-wrap:1;mso-kinsoku-overflow:1">\r
812                 <span style="font-family:&quot;Arial Narrow&quot;;\r
813 font-size:106%;color:#F2862F">\r
814                 <span style="mso-special-format:bullet;\r
815 position:absolute;left:-3.41%">\95</span></span><span style="font-family:&quot;Arial Narrow&quot;;\r
816 font-size:19pt;color:#F2862F"><b> </b></span></div>\r
817         <blockquote>\r
818                 <div class="O1" style="mso-line-spacing:&quot;80 0 0&quot;;mso-margin-left-alt:395;\r
819 mso-text-indent-alt:217;mso-char-wrap:1;mso-kinsoku-overflow:1">\r
820                         <span style="font-family:&quot;Arial Narrow&quot;;font-size:94%;color:#241172">\r
821                         <span style="mso-special-format:bullet;position:absolute;left:-4.4%">\96</span></span></div>\r
822         </blockquote>\r
823         <div class="O" style="mso-line-spacing:&quot;80 20 0&quot;;mso-margin-left-alt:145;\r
824 mso-char-wrap:1;mso-kinsoku-overflow:1">\r
825                 <span style="font-family:&quot;Arial Narrow&quot;;\r
826 font-size:106%;color:#F2862F">\r
827                 <span style="mso-special-format:bullet;\r
828 position:absolute;left:-3.41%">\95</span></span><font face="Arial"><b><span style="font-family: Arial Narrow; ">If \r
829                 HCA FW is older than minimal FW</span><span style="font-family: Arial Narrow; color: #F2862F"> </span> </b>\r
830                 </font></div>\r
831         <blockquote>\r
832                 <div class="O1" style="mso-line-spacing:&quot;80 0 0&quot;;mso-margin-left-alt:395;\r
833 mso-text-indent-alt:217;mso-char-wrap:1;mso-kinsoku-overflow:1">\r
834                         <font face="Arial">\r
835                         <span style="font-family: Arial Narrow; color: #241172"><b>Error \r
836                         reported to system event log </b></span></font></div>\r
837                 <div class="O1" style="mso-line-spacing:&quot;80 0 0&quot;;mso-margin-left-alt:395;\r
838 mso-text-indent-alt:217;mso-char-wrap:1;mso-kinsoku-overflow:1">\r
839                         <font face="Arial">\r
840                         <span style="font-family: Arial Narrow; color: #241172">\r
841                         <span style="mso-special-format:bullet;position:absolute;left:-4.4%">\r
842                         \96</span><b>HCA loads as memory controller to allow FW upgrade </b>\r
843                         </span></font></div>\r
844         </blockquote>\r
845         <div class="O" style="mso-line-spacing:&quot;80 20 0&quot;;mso-margin-left-alt:145;\r
846 mso-char-wrap:1;mso-kinsoku-overflow:1">\r
847                 <font face="Arial">\r
848                 <span style="font-family: Arial Narrow; color: #F2862F">\r
849                 <span style="mso-special-format:bullet;\r
850 position:absolute;left:-3.41%">\95</span></span><b><span style="font-family: Arial Narrow; ">If HCA<span style="mso-spacerun:yes">&nbsp;\r
851                 </span>FW is equal or newer than optimal version</span><span style="font-family: Arial Narrow; color: #F2862F"><br>\r
852 &nbsp;</span></b></font></div>\r
853         <div class="O1" style="mso-line-spacing:&quot;80 0 0&quot;;mso-margin-left-alt:395;\r
854 mso-text-indent-alt:217;mso-char-wrap:1;mso-kinsoku-overflow:1">\r
855                 <blockquote>\r
856                         <font face="Arial">\r
857                         <span style="font-family: Arial Narrow; color: #241172">\r
858                         <span style="mso-special-format:bullet;position:absolute;left:-4.4%">\r
859                         \96</span><b>HCA starts OK. </b></span>\r
860                         </font>\r
861                 </blockquote>\r
862         </div>\r
863         <div class="O" style="mso-line-spacing:&quot;80 20 0&quot;;mso-margin-left-alt:145;\r
864 mso-char-wrap:1;mso-kinsoku-overflow:1">\r
865                 <font face="Arial">\r
866                 <span style="font-family: Arial Narrow; color: #F2862F">\r
867                 <span style="mso-special-format:bullet;\r
868 position:absolute;left:-3.41%">\95</span></span><b><span style="font-family: Arial Narrow; ">Else</span></b></font></div>\r
869         <blockquote>\r
870                 <div class="O1" style="mso-line-spacing:&quot;80 0 0&quot;;mso-margin-left-alt:395;\r
871 mso-text-indent-alt:217;mso-char-wrap:1;mso-kinsoku-overflow:1">\r
872                         <font face="Arial">\r
873                         <span style="font-family: Arial Narrow; color: #241172">\r
874                         <b>HCA loads OK. </b></span></font></div>\r
875                 <div class="O1" style="mso-line-spacing:&quot;80 0 0&quot;;mso-margin-left-alt:395;\r
876 mso-text-indent-alt:217;mso-char-wrap:1;mso-kinsoku-overflow:1">\r
877                         <font face="Arial">\r
878                         <span style="font-family: Arial Narrow; color: #241172">\r
879                         <span style="mso-special-format:bullet;position:absolute;left:-4.4%">\r
880                         \96</span><b>Warning will be issued to system event log </b></span>\r
881                         </font>\r
882                 </div>\r
883         </blockquote>\r
884         <div class="O1" style="mso-line-spacing:&quot;80 0 0&quot;;mso-margin-left-alt:395;\r
885 mso-text-indent-alt:217;mso-char-wrap:1;mso-kinsoku-overflow:1">\r
886                 <font face="Arial">\r
887                 <![if ppt]>\r
888                 <span style="font-family:&quot;Arial Narrow&quot;;font-size:94%;color:#241172;visibility:hidden">\r
889                 <span style="mso-special-format:bullet;position:absolute;left:-4.4%">\96</span></span><![endif]><span style="font-family:&quot;Arial Narrow&quot;;font-size:17pt;color:#241172"><b>\r
890                 </b></span></font></div>\r
891         <div class="O" style="mso-line-spacing:&quot;80 50 0&quot;;mso-margin-left-alt:145">\r
892                 <font face="Arial">My computer-&gt; Manage-&gt; Event Viewer-&gt; System Events; search for \r
893                 mthca, mlx4 or ipoib entries.</font><p><a href="#1.1_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
894                 <h3>&nbsp;</h3>\r
895                 <h3><u>Incomplete Previous Uninstall</u></h3>\r
896                 <p><font face="Arial">Should the previous uninstall silently fail, the next installation \r
897                 can fail in the Driver Install phase with the following error:<br>\r
898 &nbsp;&nbsp;&nbsp; DriverInstall - HCA Ret 2 Error 0<br>\r
899                 <br>\r
900                 At this juncture, check the Device Manager and uninstall the PCI \r
901                 device from 'InfiniBand Host Channel Adapters', and make sure you uninstall the system device\r
902                 'InfiniBand Fabric' if it is present.<br>\r
903                 <br>\r
904                 <u><b>REBOOT</b></u> and retry the WinOF installation again.</font><p>\r
905                 <font face="Arial">See \r
906                 ibscan.bat and ibcleanup.bat @\r
907                 <a href="http://www.openfabrics.org/downloads/WinOF/etc/">\r
908                 http://www.openfabrics.org/downloads/WinOF/etc/</a>.<br>\r
909                 ibscan will display WinOF files on your system.<br>\r
910                 ibcleanup will attempt to remove all WinOF files from your syste. \r
911                 WARNING - ibcleanup is not valid as a WinOF uninstall tool!</font><p><a href="#1.1_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a><p>&nbsp;</div>\r
912 </div>\r
913 <h3><u><a name="Correct_Installation_Validation">Correct Installation Validation</a></u></h3>\r
914 <p><font face="Arial">From the Device Manager you should find the following devices:</font></p>\r
915 <ul>\r
916         <li><font face="Arial">InfiniBand Host Channel Adapters -&gt; InfiniHost or Mellanox ConnectX</font></li>\r
917         <li><font face="Arial">The System Devices -&gt; InfiniBand Fabric device is no longer present in \r
918         WinOF 2.0 and following releases.</font></li>\r
919         <li><font face="Arial">Network Adapters -&gt; OpenIB IPoIB Adapter (an Instance per HCA port).</font></li>\r
920 </ul>\r
921 <blockquote>\r
922         <h4><font face="Arial">Validation Test</font></h4>\r
923         <p><font face="Arial">Open a WinOF command window</font></p>\r
924         <ol>\r
925                 <li><font face="Arial">Start-&gt;Program Files-&gt;Windows OpenFabrics -&gt; Command \r
926 Window</font></li>\r
927                 <li><font face="Arial">run vstat.exe to view HCA configuration.</font></li>\r
928                 <li><font face="Arial">If IPoIB is installed (Device Manager-&gt;Network Adapters), ping another node on the InfiniBand fabric 'ping a.b.c.d'<br>\r
929 &nbsp;</font></li>\r
930         </ol>\r
931 </blockquote>\r
932 <p><a href="#1.1_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
933 <p>&nbsp;</p>\r
934 <h2><u><a name="OpenIB_Subnet_Management_as_a_Windows_Service">Subnet Management as a Windows Service</a></u></h2>\r
935 <p><font face="Arial">Limit the number of Subnet Managers on your fabric; one SM per fabric is \r
936 sufficient, although redundant Subnet Managers are supported.</font></p>\r
937 <ol>\r
938         <li><font face="Arial">After a 'typical' WinOF install, OpenSM is installed as a <b>disabled</b> \r
939         Windows service named &quot;InfiniBand Subnet Management&quot;. To start the OpenSM \r
940         service, use My computer-&gt;Manage-&gt;Services and Applications-&gt;Services-&gt;InfiniBand Subnet Manager-&gt;Start.<br>\r
941         Set the service properties to 'auto' in order to restart upon the next \r
942         system reboot.<br>\r
943 &nbsp;</font></li>\r
944         <li><font face="Arial">Install OpenSM as an automatic/running Windows service:<br>\r
945         a) Request a 'Custom' install, selecting the 'OpenSM_service_enabled' feature. Once \r
946         the install has completed, check that the Infiniband Subnet Manager service is \r
947         running: My computer-&gt;Manage-&gt;Services and Applications-&gt;Services-&gt;InfiniBand Subnet \r
948         Manager.<br>\r
949 &nbsp;</font></li>\r
950         <li><font face="Arial">Consult the OpenSM log file @ %SystemRoot%\temp\osm.log to see what \r
951         OpenSM thinks is happening.</font></li>\r
952 </ol>\r
953 <p><a href="#1.1_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
954 <p>&nbsp;</p>\r
955 <h2><u><a name="Local_Network_Adapter_Ordering">Local Network Adapter Ordering</a></u></h2>\r
956 <p><font face="Arial">Local Network Adapter ordering, which results in the IP address advertised \r
957 for the system, can be managed from<br>&nbsp;&nbsp;&nbsp; 'My Network Places-&gt; Advanced Tab-&gt; Advanced settings'<br>From the Advanced settings display, the ordering \r
958 of Local Network Adapters can be \r
959 reordered after the IPoIB Local Network Adapters have been installed. Please \r
960 check for your desired adapter ordering.<br></font><br>\r
961 <font color="#000000"><a href="#1.1_Release_Notes"><font color="#000000">\r
962 &lt;Return-to-Top&gt;</font></a></font></p>\r
963 <p>&nbsp;</p>\r
964 <h2><u><a name="Which_WinOF_release_is_installed">Which WinOF release is installed</a></u><a name="Which_WinOF_release_is_installed">?</a></h2>\r
965 <ol>\r
966         <li><font face="Arial">Add/Remove Programs entry identifies the WinOF release version.</font></li>\r
967         <li><font face="Arial">Start-&gt;Programs-&gt;Windows OpenFabrics-&gt;Release Notes&nbsp; \r
968 (2nd Line)</font></li>\r
969         <li><font face="Arial">Driver confirmation:<br>&nbsp;&nbsp;&nbsp; Query My Computer-&gt; Manage-&gt; Device Manager-&gt; Network \r
970 Adapters-&gt; OpenFabrics IPoIB Adapter-&gt; Properties-&gt; Driver-&gt; Details<br>&nbsp;&nbsp;&nbsp; The subversion (svn) revision number will be listed under \r
971 'Driver Version'. The svn revision number will match what's listed in the \r
972 release notes.</font></li>\r
973         <li><font face="Arial">Hold the mouse point over \Program Files(x86)\WinOF\ib_read_bw.exe to display \r
974 the file version; [WinOF-Major.Minor.not-used.svn revision number].</font></li>\r
975 </ol>\r
976 <ul>\r
977         <li><font face="Arial">WinOF 1.0 is based on openib-windows <b><u>svn revision 614</u></b> @\r
978         <a href="http://openib.tc.cornell.edu/downloads/binaries/">http://openib.tc.cornell.edu/downloads/binaries/</a> .<br>\r
979 &nbsp;</font></li>\r
980         <li><font face="Arial">WinOF 1.0.1 is based on openib-windows <b><u>svn revision 864</u></b>.<br>\r
981 &nbsp;</font></li>\r
982         <li><font face="Arial">WinOF 1.1 is based on openib-windows <b><u>\r
983         (svn revision 1177 branches\WOF1-1).<br>\r
984 &nbsp;</u></b></font></li>\r
985         <li><font face="Arial">WinOF 2.0 is based on<b> (<u>svn.1763 branches\WOF2-0</u>)<br>\r
986 &nbsp;</b></font></li>\r
987         <li><font face="Arial">WinOF 2.1 is based on<b> (<u>svn.1763 branches\WOF2-1</u>)</b></font></li>\r
988 </ul>\r
989 <p><a href="#1.1_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
990 <p>&nbsp;</p>\r
991 <h2><u><a name="QLogic_VNIC_Configuration">QLogic VNIC Configuration</a></u></h2>\r
992 <p><font face="Arial">\r
993 <span style="font-size: 12pt; ">The QLogic VNIC \r
994 (Virtual Network Interface Card) driver in conjunction with the QLogic Ethernet \r
995 Virtual I/O Controller (EVIC) provides virtual Ethernet interfaces and transport \r
996 for Ethernet packets over Infiniband.<br>\r
997 <br>\r
998 Users can modify NIC parameters through User Interface icon in Network \r
999 Connections:<br>\r
1000 ( Properties-&gt;&quot;Configure...&quot; button -&gt; &quot;Advanced&quot; Tab).</span></p>\r
1001 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1002 <span style="font-size: 12pt; ">Parameters \r
1003 available:<br>\r
1004 <br>\r
1005 Vlan Id (802.1Q)&nbsp;</span></p>\r
1006 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1007 <span style="font-size: 12pt; ">&nbsp; values from 0 to \r
1008 4094 ( default&nbsp;<span class="899314318-23042008">0, </span>disabled )<br>\r
1009 &nbsp; This specifies if VLAN ID-marked packet transmission is enabled and, if so, \r
1010 specifies the ID.<br>\r
1011 <br>\r
1012 Priority (802.1P)</span></p>\r
1013 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1014 <span style="font-size: 12pt; ">&nbsp; values from 0 to 7 \r
1015 ( default 0, feature disabled)<br>\r
1016 &nbsp; This specifies if priority-marked packet transmission is enabled.<br>\r
1017 <br>\r
1018 Payload MTU size&nbsp;</span></p>\r
1019 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1020 <span style="font-size: 12pt; ">&nbsp; values from 1500 \r
1021 to 9500 (default 1500)<br>\r
1022 &nbsp; This specifies the maximum transfer unit size in 100 bytes increments.<br>\r
1023 <br>\r
1024 Recv ChkSum offload&nbsp;</span></p>\r
1025 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1026 <span style="font-size: 12pt; ">&nbsp; (default enabled)<br>\r
1027 &nbsp; This specifies if IP protocols checksum calculations for receive is offloaded.<br>\r
1028 <br>\r
1029 Send ChkSum offload</span></p>\r
1030 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1031 <span style="font-size: 12pt; ">&nbsp; (default enabled)<br>\r
1032 &nbsp; This specifies if IP protocols checksum calculations for send is offloaded.<br>\r
1033 &nbsp;</span></p>\r
1034 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1035 <span style="font-size: 12pt; ">Secondary Path&nbsp;</span></p>\r
1036 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1037 <span style="font-size: 12pt; ">&nbsp;&nbsp; (default \r
1038 disabled)<br>\r
1039 &nbsp;&nbsp; Enabled - If more than one IB path to IOC exist then secondary IB instance of \r
1040 virtual port will be created and configured with the same parameters as primary \r
1041 one. Failover from Primary to Secondary IB path is transparent for user \r
1042 application sending data through associated NIC.<br>\r
1043 <br>\r
1044 &nbsp;&nbsp; Disabled \96 only one path at a time is allowed. If more than one path to IOC \r
1045 exists then failed path will be destroyed and next available path will be used \r
1046 for new connection. With this scenario there is a possibility new interface \r
1047 instance will be assigned different MAC address when other hosts compete for \r
1048 EVIC resources.<br>\r
1049 &nbsp;</span></p>\r
1050 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1051 <font face="Arial" size="3">LBFO Bundle Id<br>\r
1052 &nbsp;&nbsp; (default disabled) Enabling support for OS provided Load Balancing and Fail \r
1053 Over functionality on adapter level.<br>\r
1054 &nbsp;&nbsp; If enabled group ID can be selected from predefined names.</font></p>\r
1055 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1056 <span style="font-size: 12pt; ">&nbsp;</span></p>\r
1057 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1058 <span style="font-size: 12pt; ">Heartbeat interval</span></p>\r
1059 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1060 <span style="font-size: 12pt; ">&nbsp;&nbsp; configures \r
1061 interval for VNIC protocol heartbeat messages in milliseconds.<br>\r
1062 &nbsp;&nbsp; 0 \96 heartbeats disabled.<br>\r
1063 <br>\r
1064 Note:<br>\r
1065 &nbsp;&nbsp; To take advantage of the features supported by these options, ensure that the \r
1066 Ethernet gateway is also configured appropriately.&nbsp; For example, if the Payload \r
1067 MTU for a VNIC interface is set to&nbsp;<span class="899314318-23042008">4</span>000, \r
1068 the MTU at the EVIC module must also be set at least&nbsp;<span class="899314318-23042008">4</span>000 \r
1069 for the setting to take effect.</span></p>\r
1070 </font>\r
1071 <p><a href="#1.1_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
1072 <p>&nbsp;</p>\r
1073 <h2><u><a name="DAT_&amp;_uDAPL_Configuration">DAT &amp; uDAPL Configuration</a></u></h2>\r
1074 <p align="left"><font face="Arial">In order for DAT/DAPL programs to execute correctly, the 'dat.dll' \r
1075 file must be present in the current directory,\r
1076 %SystemRoot% or in the library search path.</font></p>\r
1077 <p align="left"><font face="Arial">WinOF installation places the dat.dll and dapl.dll \r
1078 files in the '%SystemRoot%' \r
1079 folder (a.k.a. \Windows).</font></p>\r
1080 <p align="left"><font face="Arial">The DAT/DAPL configuration file by convention is defined as \r
1081 '%SystemDrive%\DAT\dat.conf'. If the file '%SystemDrive%\DAT\dat.conf' does not exist, \r
1082 a template configuration file will be installed as '%SystemDrive%\DAT\dat.conf'.<br>\r
1083 In order to preserve existing installations, the dat.conf file is not \r
1084 automatically installed if '%SystemDrive%\DAT\dat.conf' exists.<br>\r
1085 A sample dat.conf file is always installed as '\Program Files (x86)\WinOF\dat.conf \r
1086 '.</font></p>\r
1087 <p align="left"><font face="Arial">The default DAT configuration file specification can be overridden by use \r
1088 of the environment variable DAT_OVERRIDE. Such that 'DAT_OVERRIDE=D:\MyDAT\test.conf' \r
1089 would be a valid override specification.</font></p>\r
1090 <p align="left"><font face="Arial">Within the dat.conf file, the DAPL library specification can be \r
1091 located as the 5th whitespace separated line argument. By default the DAPL \r
1092 library file is installed as %WINDIR%\dapl.dll'.</font></p>\r
1093 <p align="left"><font face="Arial">Should you choose to relocate the DAPL library file to a folder \r
1094 where whitespace appears in the full library path specification, then the full \r
1095 library file specification must be contained within double-quotes. A side effect \r
1096 of the double-quotes is the library specification is treated as a Windows string \r
1097 which implies the '\' (backslash character) is treated as an 'escape' character.&nbsp; \r
1098 Hence all backslashes in the library path must be duplicated when enclosed in \r
1099 double-quotes (e.g., &quot;C:\\Programs Files (x86)\\WinOF\\dapl.dll&quot;).</font></p>\r
1100 <h4 align="left"><span style="font-weight: 400"><font face="Arial">DAT/DAPL version 2.0 runtime \r
1101 libraries are identified as dat2.dll and dapl2.dll, both in %SystemRoot%; see \r
1102 manual for further details.</font><br>\r
1103 &nbsp;</span></h4>\r
1104 <p align="left"><a href="#1.1_Release_Notes"><font color="#000000">\r
1105 &lt;Return-to-Top&gt;</font></a></p>\r
1106 <p align="left">&nbsp;</p>\r
1107 <h2 align="left"><u><a name="SRP_-_SCSI_RDMA_Protocol_Driver_Installation">SRP (SCSI RDMA Protocol) Driver Installation</a></u></h2>\r
1108 <p align="left"><font face="Arial">The WinOF installer does not install the SRP driver as part of a default \r
1109 installation.&nbsp; \r
1110 If the SRP feature is selected in the custom installation window, an InfiniBand \r
1111 SRP Miniport driver will be installed; see the device manager view under SCSI \r
1112 and RAID controllers.</font></p>\r
1113 <p align="left"><font face="Arial">The system device 'InfiniBand I/O Unit' (IOU) \r
1114 device is required for correct SRP operation.&nbsp; The WinOF installer will \r
1115 install/load the IOU driver if the SRP feature is selected.&nbsp; See the device \r
1116 manager view System Devices --&gt; InfiniBand I/O Unit for conformation of correct \r
1117 IOU driver loading.</font></p>\r
1118 <p align="left"><font face="Arial">In order for the SRP miniport driver installation to complete, an SRP target must be\r
1119 detected by a Subnet Manager running somewhere on the InfiniBand fabric; either \r
1120 a local or remote Subnet Manager works.</font></p>\r
1121 <h3 align="left"><u>SRP Driver Uninstall</u></h3>\r
1122 <p align="left"><font face="Arial">If the SRP (SCSI RDMA Protocol) driver has been previously \r
1123 installed, then in order to achieve a 'clean' uninstall, the SRP target drive(s) \r
1124 must be released.&nbsp;&nbsp; Unfortunately the 'offline disk' command is only \r
1125 valid for diskpart (ver 6.0.6001) which is not distributed with Windows Server \r
1126 2003 or XP.</font></p>\r
1127 <ul>\r
1128         <li><font face="Arial">Use the following diskpart.exe commands from an administrator privileged \r
1129         command window:</font></li>\r
1130         <li>\r
1131         <font face="Arial">\r
1132         <a href="file:///c:/windows/temp" style="color: blue; text-decoration: underline">\r
1133         c:\windows\temp</a>&gt; diskpart.exe<br>\r
1134 &nbsp;&nbsp;&nbsp; SELECT VOLUME=&lt;Drive Letter of the SRP target to be released&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
1135         # example: SELECT VOLUME=L<br>\r
1136 &nbsp;&nbsp;&nbsp; OFFLINE DISK<br>\r
1137 &nbsp;&nbsp;&nbsp; EXIT</font></li>\r
1138         <li><font face="Arial">For additional SRP drives, repeat SELECT &amp; OFFLINE DISK with new Drive \r
1139         Letter.</font></li>\r
1140 </ul>\r
1141 <p><font face="Arial">The consequences of not releasing the SRP target drive(s) are that after the \r
1142 WinOF uninstall reboot there are lingering InfiniBand driver files. These driver \r
1143 files remain because while the SRP target is active they have references, thus \r
1144 when the WinOF uninstall attempts to delete the files the operation fails.</font></p>\r
1145 <p align="left">\r
1146 <br>\r
1147 <a href="#1.1_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
1148 <p align="left">&nbsp;</p>\r
1149 <div class=Section1>\r
1150 \r
1151 <h2><a name="WinVerbs"><u>WinVerbs</u></a><u> technology preview</u></h2>\r
1152 <p><font face="Arial">WinVerbs is a userspace verbs and communication management interface \r
1153 optimized<br>\r
1154 for the Windows operating system. Its lower interface is designed to support<br>\r
1155 any RDMA based device, including Infiniband and iWarp. Its upper interface is<br>\r
1156 capable of providing a low latency verbs interface, plus supports Microsoft's<br>\r
1157 Network Direct Interface, DAPL, and OFED libibverbs interfaces. It consists of<br>\r
1158 a userspace library and a kernel filter driver.<br>\r
1159 <br>\r
1160 The WinVerbs driver loads as an upper filter driver for Infiniband HCA.<br>\r
1161 (Open source iWarp drivers for Windows are not yet available.) A corresponding<br>\r
1162 userspace library installs as part of the Winverbs driver installation package.<br>\r
1163 Additionally, a Windows port of the OFED libibverbs library and several test<br>\r
1164 programs are also included.</font></p>\r
1165 <p><font face="Arial">To install WinVerbs and it's test applications, select the 'WinVerbs' feature \r
1166 from the WinOF installer (.msi).<br>\r
1167 WinVerbs drivers are installed to %ProgramFiles(x86)%\WinOF\WinVerbs, although \r
1168 the drivers are not automatically loaded.<br>\r
1169 In order to make WinVerbs test applications usable, WinVerbs drivers must be \r
1170 manually loaded.<br>\r
1171 cd %ProgramFiles(x86)%\WinOF\WinVerbs<br>\r
1172 right-click on winverbs.inf, select 'install'.<br>\r
1173 Once WinVerbs is right-click installed, the HCA driver must be disabled and then \r
1174 enabled in order for the winverbs upper filter driver to be integrated into the \r
1175 HCA driver stack; see HCA driver properties-&gt;details, look for winverbs.<br>\r
1176 <br>\r
1177 Check if winverbs filter driver is active<br>\r
1178 &nbsp;&nbsp;&nbsp; %ProgramFiles(x86)%\WinOF\IBcore\devman classfilter \r
1179 InfiniBandController upper</font><br>\r
1180 <br>\r
1181 <font face="Arial">Remove winverbs filter driver<br>\r
1182 &nbsp;&nbsp;&nbsp; %ProgramFiles(x86)%\WinOF\IBcore\devman classfilter \r
1183 InfiniBandController upper !winverbs</font><br>\r
1184 &nbsp;</p>\r
1185 \r
1186 </div>\r
1187 \r
1188 <p class="MsoPlainText">\r
1189 <a href="#1.1_Release_Notes" style="color: blue; text-decoration: underline"><font color="#000000">\r
1190 &lt;Return-to-Top&gt;</font></a><br>\r
1191 &nbsp;</p>\r
1192 <h2><u><a name="Known_Issues">Known Issues</a></u></h2>\r
1193 \r
1194 <ul>\r
1195         <li>\r
1196         <p class=MsoPlainText><font face="Arial" size="3">In a multi HCA \r
1197         (Host Channel Adapter) system, disabling HCA devices works correctly EXCEPT \r
1198         for disabling the first HCA while other HCAs are operational. Once the first \r
1199         HCA is disabled, existing HCAs and user-mode applications lose the \r
1200         connection to the kernel mode IB stack and will fail when attempting access \r
1201         to the IB stack or hardware.<br>\r
1202         Problem will be addressed in the next WinOF 2.0 release.<br>\r
1203 &nbsp;</font></p></li>\r
1204         <li>\r
1205         <p class=MsoPlainText><font face="Arial" size="3">IPoIB partition \r
1206         multicast \r
1207         support requires IGMP (Internet Gateway Management Protocol) v2 Windows default is v3.<br>&nbsp;</font></p>\r
1208         <div><span class="395594910-04112008"><font face="Arial">Partition \r
1209                 multicast on ipoib will only work if the machine is configured to use \r
1210                 IGMP V2 (and not V3 which is the default).</font></span></div>\r
1211         <div><span class="395594910-04112008"><font face="Arial">To \r
1212                 configure your machine to use IGMP v2 please do the following:</font></span></div>\r
1213         <div><span class="395594910-04112008"></span><font face="Arial">&nbsp;</font></div>\r
1214         <div><span class="395594910-04112008"><font face="Arial">Server \r
1215                 2003 or XP:</font></span></div>\r
1216         <div><span class="395594910-04112008">\r
1217                 <p class="MsoNormal"><font size="3" face="Arial">netsh routing ip igmp install</font></span></div>\r
1218         <div><span class="395594910-04112008"><font face="Arial" size="2">\r
1219                 <p class="MsoNormal"><font size="3" face="Arial">netsh routing ip igmp install add \r
1220                 interface &quot;interface name of IPoIB adapter&quot;&nbsp; igmpprototype=igmprtrv2</font></p>\r
1221                 </font><font face="Arial" color="#0000ff" size="2">\r
1222                 <font face="Arial" size="2">\r
1223                 <p class="MsoNormal"></font><font size="3"><font face="Arial" size="2">If&nbsp;IGMP&nbsp;V3 is still used,&nbsp;please follow the instructions on</font><span style="color: navy"><font face="Arial" color="#0000ff" size="2">\r
1224                 <font color="#0000ff">(</font><a title="blocked::http://support.microsoft.com/default.aspx/kb/815752" style="color: blue; text-decoration: underline" href="http://support.microsoft.com/default.aspx/kb/815752">http://support.microsoft.com/default.aspx/kb/815752</a></font></span></font><span style="color: navy"><font size="3" color="#0000ff" face="Arial">)</font></span></p>\r
1225                 <p class="MsoNormal">&nbsp;</p></font>\r
1226                 <font face="Arial" size="2">\r
1227                 <p class="MsoNormal"><font size="3" face="Arial">Server 2008 </font></font>\r
1228                 <font face="Arial">or<font size="3"> \r
1229                 HPC or Vista:</font></font></span></div>\r
1230         <div><span class="395594910-04112008">\r
1231                 <font face="Arial" color="#000080">If the netsh command is not \r
1232                 available, then you will need to install via the command 'servermanagercmd.exe \r
1233                 -install NPAS-RRAS-Services'.</font></span></div>\r
1234         <div><span class="395594910-04112008"><font face="Tahoma" color="#0000ff">\r
1235                 <div>\r
1236                         <p class="MsoNormal"><font face="Arial"><span style="color: navy"><font size="3">netsh \r
1237                         routing ip igmp </font></span><font color="navy" size="3">\r
1238                         <span style="color: navy">install</span></font></font></div>\r
1239                 <div><font face="Arial" color="#0000ff" size="2">\r
1240                         <p class="MsoNormal"><font face="Arial"><span style="color: navy"><font size="3">netsh \r
1241                         routing ip igmp install </font></span><font color="navy" size="3">\r
1242                         <span style="color: navy">add interface &quot;interface name of IPoIB \r
1243                         adapter&quot;&nbsp; igmpprototype=igmprtrv2</span></font></font></p>\r
1244                         <p class="MsoNormal">&nbsp;</p></font></font>\r
1245                         <font face="Tahoma" size="2">\r
1246                         <p class="MsoNormal"><font face="Arial">F</font></font><font size="3" face="Arial">uture WinOF releases</font><font size="2" face="Arial"> \r
1247                         will support IGMP V3.</font></div></span></div>\r
1248         <p class=MsoPlainText>&nbsp;</p></li>\r
1249         <li>\r
1250         <p class=MsoPlainText><font face="Arial" size="3">Sometimes an \r
1251         errant &quot;Welcome to the Found New Hardware Wizard&quot; window pops up during \r
1252         InfiniBand device installation on XP or Server 2003.<br>Just 'cancel' the FNHW popup window and proceed with installation.<br>An artifact of the 'Cancel' operation may cause a taskbar Information bubble \r
1253         to appear which incorrectly claims problems with the Infiniband device \r
1254         installation; Check IB device status via the Device Manager.</font></p></li>\r
1255 </ul>\r
1256 \r
1257 </div>\r
1258 <div class=Section1>\r
1259 \r
1260 <ul>\r
1261         <li>\r
1262         <p class=MsoPlainText><font size="3" face="Arial">\r
1263         <span style="background-color: #FFFFFF">The Microsoft hotfix </span></font>\r
1264         <font face="Arial" color="navy" size="2">\r
1265         <span style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial">\r
1266         <a href="http://support.microsoft.com/kb/915858">\r
1267         http://support.microsoft.com/kb/915858</a> </span></font>\r
1268         <font size="3" face="Arial">\r
1269         <span style="background-color: #FFFFFF">is necessary for users of SRP in any \r
1270         of the Windows Server 2003 platforms.&nbsp; The hotfix is described in Article ID \r
1271         915858 and fixes problems in the eventlog where specific event ids (56, 118, \r
1272         129) are not found in the latest IoLogMsg.dll file.&nbsp; Without the correct \r
1273         information, there is no supplied way to decipher the event log data.<br>\r
1274         The SRP hotfix need not be installed by non-SRP users; however, if the \r
1275         hotfix is installed in a system without SRP, it will not have any negative \r
1276         effects.<br>\r
1277 &nbsp;</span></font></p></li>\r
1278         <li>\r
1279         <p class=MsoPlainText><span style="background-color: #FFFFFF">\r
1280         <font face="Arial" size="3">x64 Windows platforms do not exhibit \r
1281         the following SRP behavior.<br>\r
1282         SRP when run on a Windows 32-bit platform (x86) will exhibit SRP read \r
1283         transfer hangs when the size of the SRP read&nbsp; is greater-than (&gt;) 4096 \r
1284         bytes.</font></span></p>\r
1285         <div dir="ltr" align="left">\r
1286                 <span style="background-color: #FFFFFF">\r
1287                 <font face="Arial" size="3">Setting the registry entry </font></span>\r
1288                 <font face="Arial" size="2"><strong>HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\ibsrp\Parameters<span class="795394519-15052008">\ModeFlags</span></strong></font></div>\r
1289         <p class=MsoPlainText><span style="background-color: #FFFFFF">\r
1290         <font face="Arial" size="3">&nbsp;to 1 will \r
1291         enable &gt; 4KB transfers to proceed without hanging.</font></span><font size="3" face="Arial"><span style="background-color: #FFFFFF"><br>\r
1292 &nbsp;</span></font></p></li>\r
1293         <li>\r
1294         <p class=MsoPlainText><font face="Arial" size="3">Winsock Direct \r
1295         hotfix xxxxxxx for Windows Server 2003 is a good patch to apply if you are \r
1296         using WSD/IPoIB.</font><br>&nbsp;<font face="Times New Roman" size="3"><br>&nbsp;</font></p></li>\r
1297 </ul>\r
1298 <p class=MsoPlainText><a href="#1.1_Release_Notes"><font color="#000000">\r
1299 &lt;Return-to-Top&gt;</font></a><br>\r
1300 &nbsp;</p>\r
1301 \r
1302 </div>\r
1303 \r
1304 </body>\r
1305 \r
1306 </html>\r