[WinOF] Remove disucssions for Server 2003 & XP w.r.t. selecting HCA device driver...
[mirror/winof/.git] / WinOF / WIX / Release_notes.htm
1 <html>\r
2 \r
3 <head>\r
4 <meta http-equiv=Content-Type content="text/html; charset=windows-1252">\r
5 <meta http-equiv="Content-Language" content="en-us">\r
6 <meta name=Generator content="Microsoft Word 11 (filtered)">\r
7 \r
8 <style>\r
9 <!--\r
10  /* Font Definitions */\r
11  @font-face\r
12         {font-family:Wingdings;\r
13         panose-1:5 0 0 0 0 0 0 0 0 0;}\r
14 @font-face\r
15         {font-family:"MS Mincho";\r
16         panose-1:2 2 6 9 4 2 5 8 3 4;}\r
17 @font-face\r
18         {font-family:"\@MS Mincho";\r
19         panose-1:2 2 6 9 4 2 5 8 3 4;}\r
20  /* Style Definitions */\r
21  p.MsoNormal, li.MsoNormal, div.MsoNormal\r
22         {margin:0in;\r
23         margin-bottom:.0001pt;\r
24         font-size:12.0pt;\r
25         font-family:"Times New Roman";}\r
26 h1\r
27         {margin-right:0in;\r
28         margin-left:0in;\r
29         font-size:24.0pt;\r
30         font-family:"Times New Roman";\r
31         font-weight:bold;}\r
32 h2\r
33         {margin-right:0in;\r
34         margin-left:0in;\r
35         font-size:18.0pt;\r
36         font-family:"Times New Roman";\r
37         font-weight:bold;}\r
38 h3\r
39         {margin-right:0in;\r
40         margin-left:0in;\r
41         font-size:13.5pt;\r
42         font-family:"Times New Roman";\r
43         font-weight:bold;}\r
44 h4\r
45         {margin-right:0in;\r
46         margin-left:0in;\r
47         font-size:12.0pt;\r
48         font-family:"Times New Roman";\r
49         font-weight:bold;}\r
50 a:link, span.MsoHyperlink\r
51         {color:blue;\r
52         text-decoration:underline;}\r
53 a:visited, span.MsoHyperlinkFollowed\r
54         {color:blue;\r
55         text-decoration:underline;}\r
56 p.MsoPlainText, li.MsoPlainText, div.MsoPlainText\r
57         {margin:0in;\r
58         margin-bottom:.0001pt;\r
59         font-size:10.0pt;\r
60         font-family:"Courier New";}\r
61 p\r
62         {margin-right:0in;\r
63         margin-left:0in;\r
64         font-size:12.0pt;\r
65         font-family:"Times New Roman";}\r
66 @page Section1\r
67         {size:8.5in 11.0in;\r
68         margin:1.0in 65.95pt 1.0in 65.95pt;}\r
69 div.Section1\r
70         {page:Section1;}\r
71  /* List Definitions */\r
72  ol\r
73         {margin-bottom:0in;}\r
74 ul\r
75         {margin-bottom:0in;}\r
76 -->\r
77 </style>\r
78 \r
79 <title>WinOF Release Notes</title>\r
80 \r
81 </head>\r
82 \r
83 <body lang=EN-US link=#0000FF vlink=#808080>\r
84 \r
85 <div class=Section1>\r
86 \r
87 <h1 align=center style='text-align:left'><img width=107 height=93\r
88 src=openfabrics.gif></h1>\r
89 \r
90 <h1 align=center style='text-align:center'>Windows OpenFabrics </h1>\r
91 \r
92 <h1 align=center style='text-align:center'><a name="WinOF_Release_Notes">2.1 Release Notes</a></h1>\r
93 \r
94 <h3 align=center style='text-align:center'>\r
95 <!--webbot bot="Timestamp" S-Type="EDITED" S-Format="%m/%d/%Y" startspan -->07/13/2009<!--webbot bot="Timestamp" endspan i-checksum="12564" --></h3>\r
96 \r
97 <div class=MsoNormal align=center style='text-align:center'>\r
98 \r
99 <hr size=2 width="100%" align=center>\r
100 \r
101 <h3 style="text-align: left"><u><a href="#Overview"><font color="#000000">\r
102 Overview</font></a></u></h3>\r
103 <h3 style="text-align: left"><u>\r
104 <a href="#Supported_Platforms,_Operating_Systems_and_Infiniband_Hardware">\r
105 <font color="#000000">Supported Platforms, Operating Systems and InfiniBand Hardware</font></a></u></h3>\r
106 <h3 style="text-align: left"><a href="#Installation_Specifics">\r
107 <font color="#000000">Installation Notes</font></a></h3>\r
108 <h3 style="text-align: left"><a href="#How_to_Install"><font color="#000000">\r
109 How to Install</font></a></h3>\r
110 \r
111 </div>\r
112 \r
113 <h3><u><font color="#000000">\r
114 <a href="#Unattended_Install0"><font color="#000000">Unattended Install</font></a></font></a></u></h3>\r
115 <h3><b><a href="#HCA Driver Installation"><font color="#000000">HCA Device Driver \r
116 Installation</font></a></b></h3>\r
117 <h3><u><font color="#000000"> <a href="#Server_2008_HPC_Install_Notes">\r
118 <font color="#000000">Server 2008 HPC Install Notes</font></a></font></u></h3>\r
119 <h3><u><a href="#Setting_the_IPoIB_Interface_IP_Address"><font color="#000000">\r
120 Setting the IPoIB Interface IP Address</font></a></u></h3>\r
121 <h3><u><a href="#Uninstall"><font color="#000000">\r
122 Uninstall</font></a></u></h3>\r
123 <h3><u><a href="#Trouble_Shooting"><font color="#000000">\r
124 Trouble Shooting</font></a></u></h3>\r
125 <h3><a href="#OpenIB_Subnet_Management_as_a_Windows_Service">\r
126 <font color="#000000">InfiniBand</font></a><u><a href="#OpenIB_Subnet_Management_as_a_Windows_Service"><font color="#000000"> Subnet Management as a Windows Service</font></a></u></h3>\r
127 <h3><u><a href="#Local_Network_Adapter_Ordering"><font color="#000000">\r
128 Local Network Adapter Ordering</font></a></u></h3>\r
129 <h3><u><a href="#Which_WinOF_release_is_installed"><font color="#000000">\r
130 Which WinOF release is installed</font></a></u><a href="#Which_WinOF_release_is_installed"><font color="#000000">?</font></a></h3>\r
131 <h3><u><a href="#QLogic_VNIC_Configuration"><font color="#000000">\r
132 QLogic VNIC Configuration</font></a></u></h3>\r
133 <h3><u><a href="#DAT_&_uDAPL_Configuration"><font color="#000000">\r
134 DAT &amp; uDAPL Configuration</font></a></u></h3>\r
135 <h3><u><a href="#SRP_-_SCSI_RDMA_Protocol_Driver_Installation">\r
136 <font color="#000000">SRP (SCSI RDMA Protocol) Driver Installation</font></a></u></h3>\r
137 <h3><a href="#WinVerbs"><font color="#000000">W</font></a><u><a href="#WinVerbs"><font color="#000000">inVerbs</font></a></u></h3>\r
138 <h3><u><a href="#Known_Issues"><font color="#000000">\r
139 Known Issues</font></a></u></h3>\r
140 <hr>\r
141 <p>&nbsp;</p>\r
142 \r
143 <BLOCKQUOTE></BLOCKQUOTE>\r
144 <h2><u><a name="Overview">Overview</a></u></h2>\r
145 \r
146 <p class=MsoPlainText><span style='font-size:12.0pt;font-family:"Arial"'>The\r
147 Windows OpenFabrics (WinOF) release package is composed of software modules\r
148 intended for use on Microsoft Windows based computer systems connected via an\r
149 InfiniBand fabric.</span></p>\r
150 \r
151 <p class=MsoPlainText><span style='font-size:12.0pt;font-family:"Arial"'>&nbsp;Binary\r
152 files generated from the OpenIB-windows developers subversion (svn) source tree </span>\r
153 <font face="Arial">'svn://openib.tc.cornell.edu'<span style='font-size:12.0pt;'> \r
154 (branches\WOF2-1 svn revision <font color="#FF0000">1835</font>)\r
155 are packaged into a <a href="http://www.dalun.com/wix/default.htm">WIX 2.0 \r
156 (Windows Installer Xml)</a> single file install package referred to as the \r
157 Windows OpenFabrics&nbsp;(WinOF) release 2.1.</span></font><span style='font-size:12.0pt;font-family:"Times New Roman"'><br>\r
158 &nbsp;</span></p>\r
159 <p class=MsoPlainText><font size="3"><span style="font-family: Arial">\r
160 This WinOF 2.1 is a full release as it contains WHQL fixes \r
161 to numerous components along with full Winverbs and OFED integration modules:</span></font></p>\r
162 \r
163 </div>\r
164 <ul>\r
165         <li>\r
166         <p class="MsoPlainText"><font face="Arial" size="3">Windows Server \r
167         2008, HPC and Vista are supported.</font></p></li>\r
168         <li>\r
169         <p class="MsoPlainText"><font face="Arial" size="3">Network Direct \r
170         supported on Server 2008/HPC.</font></p></li>\r
171         <li>\r
172         <p class="MsoPlainText"><font face="Arial" size="3">Mellanox ConnectX(mlx4) drivers \r
173         enhanced for increased performance and stability.</font></p></li>\r
174         <li>\r
175         <p class="MsoPlainText"><font face="Arial" size="3">WInVerbs and WinMad HCA \r
176         filter drivers are automatically loaded in support of OFED verbs and \r
177         diagnostics.</font></p></li>\r
178         <li>\r
179         <p class="MsoPlainText"><font face="Arial" size="3">OFED verbs library \r
180         enables easy porting of Linux OFED applications into the WinOF environment.</font></p>\r
181         </li>\r
182         <li>\r
183         <p class="MsoPlainText"><font face="Arial" size="3">QLogic has \r
184         enhanced VNIC &amp; SRP for increased performance and stability.</font></p>\r
185         </li>\r
186         <li>\r
187         <p class="MsoPlainText"><font face="Arial" size="3">uDAT/DAPL is now a \r
188         common code base with OFED uDAT/DAPL; supported DAPL providers: IBAL, \r
189         socket-cm and rdma-cm.</font></p></li>\r
190         <li>\r
191         <p class="MsoPlainText"><font face="Arial" size="3">Bug fixes for stability in IBcore, WSD, VNIC, SRP, IPoIB, DAT/DAPL</font></p>\r
192         </li>\r
193 </ul>\r
194 <div class=Section1>\r
195 \r
196 <p><font face="Arial">The Windows OpenFabrics (WinOF) release package contains the following:<br>\r
197 <br>\r
198 OpenFabrics InfiniBand core drivers and Upper Level Protocols (ULPs):</font></p>\r
199 <ul>\r
200         <li>\r
201         <p style="text-indent: -.25in; margin-left: .5in"><font face="Arial"><span dir="LTR">HCA \r
202         Drivers - </span>\r
203         <span style='background-position: 0% 0%; mso-highlight:yellow; background-image:none; background-repeat:repeat; background-attachment:scroll' dir="LTR">&nbsp;Mellanox \r
204         </span>\r
205         <st1:stockticker>\r
206         <span\r
207  style='background-position: 0% 0%; mso-highlight:yellow; background-image:none; background-repeat:repeat; background-attachment:scroll'>\r
208         InfiniHost &amp; ConnectX</span></st1:stockticker><span\r
209 style='background-position: 0% 0%; mso-highlight:yellow; background-image:none; background-repeat:repeat; background-attachment:scroll'> low level drivers; See list of\r
210 supported devices below</span></font></li>\r
211         <li>\r
212         <p style="text-indent: -.25in; margin-left: .5in">\r
213         <font face="Arial">\r
214         <span style="background-position: 0% 0%">Infiniband Core components: IBAL, \r
215         WInverbs, Winmad, OFED verbs and rdma_cm.</span></font></li>\r
216         <li>\r
217         <p style="text-indent: -.25in; margin-left: .5in"><font face="Arial">Upper Layer Protocols: \r
218         IPoIB, WSD, ND, VNIC, SRP Initiator and DAT/DAPL</font></li>\r
219 </ul>\r
220 \r
221 <p><font face="Arial">OpenFabrics utilities:</font></p>\r
222 \r
223 <ul>\r
224         <li>\r
225         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>OpenSM: InfiniBand fabric Subnet Manager</span></font></p>\r
226         </li>\r
227         <li>\r
228         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>Performance \r
229         tests</span></font></p></li>\r
230         <li>\r
231         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir="LTR">\r
232         OFED Diagnostic tools</span></font></p>\r
233         </li>\r
234 </ul>\r
235 \r
236 <p><font face="Arial">Documentation</font></p>\r
237 \r
238 <ul>\r
239         <li>\r
240         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>User's manual</span></font></p>\r
241         </li>\r
242         <li>\r
243         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>Release Notes</span></font></p>\r
244         </li>\r
245 </ul>\r
246 \r
247 <p style="text-indent: -.25in; margin-left: .5in"><a href="#WinOF_Release_Notes">\r
248 <font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
249 <p style="text-indent: -.25in; margin-left: .5in">&nbsp;</p>\r
250 <BLOCKQUOTE></BLOCKQUOTE>\r
251 <h2><u><a name="Supported_Platforms,_Operating_Systems_and_Infiniband_Hardware">Supported Platforms, Operating Systems and Infiniband Hardware</a></u></h2>\r
252 \r
253 <h4>CPU architectures</h4>\r
254 \r
255 <ul>\r
256         <li>\r
257         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>x64 (x86_64, amd64)</span></font></p>\r
258         </li>\r
259         <li>\r
260         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>x86</span></font></p>\r
261         </li>\r
262         <li>\r
263         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>IA64</span></font></p>\r
264         </li>\r
265 </ul>\r
266 \r
267 <h4>Operating Systems</h4>\r
268 \r
269 <ul>\r
270         <li>\r
271         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir="LTR">Windows \r
272         Server 2008</span></font></p>\r
273         </li>\r
274         <li>\r
275         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial">Windows \r
276         Server 2008 R2</font></p>\r
277         </li>\r
278         <li>\r
279         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial">\r
280         <span dir="LTR">Vista</span></font></p></li>\r
281         <li>\r
282         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial">\r
283         <span dir=LTR>Windows Server 2008 HPC Edition</span></font></p></li>\r
284         <li>\r
285         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial">\r
286         <span dir="LTR">Windows Server 2003 \r
287         / XP64</span></font></p></li>\r
288         <li>\r
289         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial">\r
290         <span dir=LTR>Windows XP32 (SP2)</span></font></p></li>\r
291 </ul>\r
292 \r
293 <h4><u>Supported HCAs (Host Channel Adapters)</u></h4>\r
294 \r
295 <p><font face="Arial">Mellanox: all InfiniBand HCA products are supported.<br><br>\r
296 <a href="http://www.mellanox.com/content/pages.php?pg=firmware_download">\r
297 Mellanox Firmware (FW) versions and update tools</a><br>\r
298 <br>\r
299 Current HCA firmware version can be viewed from the 'vstat' command.</font></p>\r
300 \r
301 <h4><font face="Arial"><u>Supported Switches</u></font></h4>\r
302 \r
303 <ul>\r
304         <li>\r
305         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir="LTR">QLogic</span></font></p>\r
306         </li>\r
307         <li>\r
308         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>SilverStorm - \r
309         update your firmware for correct embedded Subnet Manager operation.</span></font></p>\r
310         </li>\r
311         <li>\r
312         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir="LTR">Voltaire</span></font></p>\r
313         </li>\r
314         <li>\r
315         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial"><span dir=LTR>Flextronics</span></font></p>\r
316         </li>\r
317         <li>\r
318         <p style='margin-left:.5in;text-indent:-.25in'><font face="Arial">Due to lack of hardware \r
319         accessibility, \r
320         other vendor switches have not been tested.</font></p>\r
321         </li>\r
322 </ul>\r
323 \r
324 <p><a href="#WinOF_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
325 <p>&nbsp;</p>\r
326 <BLOCKQUOTE></BLOCKQUOTE>\r
327 <h2><u><a name="Installation_Specifics">Installation </a></u>\r
328 <a name="Installation_Specifics"><u>Notes</u></a></h2>\r
329 \r
330 <p><font face="Arial">User mode tools and diagnostics are installed in '%SystemDrive%\Program\r
331 Files (x86)\WinOF'.&nbsp; Although device driver modules initially reside in \r
332 '%SystemDrive%\Program Files (x86)\WinOF\Drivers', when installed the Windows device \r
333 installer copies driver files to %SystemRoot%\system32 &amp; %SystemRoot%\SysWOW64'. \r
334 DAT &amp; DAPL runtime libraries are installed into %SystemRoot% in order to be \r
335 accessible to user mode applications.<br>\r
336 WinOF user mode executables are designed to be run from\r
337 a Command Prompt window; see&nbsp; 'Start-&gt;Program Files-&gt; Windows OpenFabrics-&gt; Command Prompt'. </font></p>\r
338 <p><font face="Arial">'%SystemDrive%\Program Files (x86)\WinOF' is appended to the system wide search \r
339 path environment variable 'PATH'; new command windows created after the installation will have the updated \r
340 %PATH% environment variable, hence will be able to access WinOF executables.</font></p>\r
341 \r
342 <p><font face="Arial">The \91default\92 installation installs \91released/free\92 (not\r
343 checked/debug) versions of drivers and executables. Debug/Checked versions are \r
344 available as an install feature.</font></p>\r
345 \r
346 <p><font face="Arial">A single instance of a subnet manager, opensm.exe, must be\r
347 running on a fabric connected node in order for the Infiniband fabric to be\r
348 configured and useful; either Windows or Linux OFED opensm work well.</font></p>\r
349 <p><font face="Arial">It is recommended that OpenSM be run as a Windows service.&nbsp; A typical \r
350 WinOF install will install OpenSM as a Windows service which \r
351 is disabled; after an installation, choose your openSM node and start the openSM \r
352 service.&nbsp; \r
353 See the WinOF Manual for details on opensm as a service.<br>\r
354 By selecting the 'OpenSM_Service_Enabled' install feature, an OpenSM subnet \r
355 management service will be automatically started. </font> </p>\r
356 \r
357 <p><font face="Arial">Note, the opensm.exe process must continue to run in order\r
358 to maintain Infiniband fabric configuration. Should the opensm.exe process die,\r
359 restart the service if not automatic or re-run opensm.exe in order to continue\r
360 correct fabric operation.</font></p>\r
361 \r
362 <p><font face="Arial">For more subnet management information, consult the Windows\r
363 OpenFabrics manual.</font></p>\r
364 \r
365 <p class=MsoNormal><a href="#WinOF_Release_Notes"><font color="#000000">\r
366 &lt;Return-to-Top&gt;</font></a></p>\r
367 <p class=MsoNormal>&nbsp;</p>\r
368 \r
369 <BLOCKQUOTE></BLOCKQUOTE>\r
370 <h2><u><a name="How_to_Install">How to Install</a></u></h2>\r
371 \r
372 <h3>Summary</h3>\r
373 <ul>\r
374         <li><font face="Arial">Double-click the .msi installer file. <b>Except for \r
375         Vista: </b>from an administrator command window, execute 'msiexec /I \r
376         WinOF_2-1_wlh_xxx.msi'.</font></li>\r
377 </ul>\r
378 <h3>Requirements</h3>\r
379 \r
380 <p><font face="Arial">Install HCA hardware prior to installing the Windows OpenFabrics Release\r
381 package. Upon reboot, cancel any attempts to install new device hardware from \r
382 the &quot;Found New Hardware Wizard&quot;.</font></p>\r
383 \r
384 <p><font face="Arial">If you have previously installed openib-windows, WinOF (Windows OpenFabrics)\r
385 packages or vendor supplied Infiniband packages, uninstall and reboot prior to\r
386 installing this version of Windows OpenFabrics (WinOF).</font></p>\r
387 \r
388 <p><font face="Arial">For an existing Windows OpenFabrics (WinOF) uninstall<br>\r
389 &nbsp;&nbsp;&nbsp; Start-&gt; Programs-&gt; Windows OpenFabrics-&gt; Uninstall WinOF<br>\r
390 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -or-<br>\r
391 &nbsp;&nbsp;&nbsp; Control Panel -&gt; Add or Remove Programs-&gt; Windows\r
392 OpenFabrics-&gt;Remove.</font></p>\r
393 <p><font face="Arial">openib-windows (IB stack before WinOF 1.0 release) uninstall: (not the normal \r
394 uninstall case)</font></p>\r
395 \r
396 <ol start=1 type=1>\r
397         <li class=MsoNormal><font face="Arial">Disable any Local Area Connections which are bound to the\r
398      IPoIB network adapter.</font></li>\r
399  <li class=MsoNormal><font face="Arial">Uninstall the IPoIB driver - My\r
400      computer-&gt;Manage-&gt;Devices-&gt;Network Adapters-&gt;IPoIB*</font></li>\r
401         <li class=MsoNormal><font face="Arial">Stop the openSM subnet manager if it is running on the \r
402         local node.</font></li>\r
403  <li class=MsoNormal><font face="Arial">Uninstall the Infiniband HCA device; don't forget the \r
404         System Device-&gt; InfiniBand Fabric</font></li>\r
405 </ol>\r
406 \r
407 <p>&nbsp;</p>\r
408 \r
409 <p><b>REBOOT</b></p>\r
410 \r
411 <p><font face="Arial">Upon system restart, cancel the 'Found New Hardware Wizard' attempts to install \r
412 drivers for newly discovered PCI device (HCA).</font></p>\r
413 <p><font face="Arial">'My Computer-&gt;Manage-&gt;Device Manager' should display\r
414 'Other Devices-&gt;?PCI device' which is your Infiniband HCA device.</font></p>\r
415 \r
416 <h3><u>Install</u></h3>\r
417 \r
418 <blockquote style='margin-top:5.0pt;margin-bottom:5.0pt'>\r
419 \r
420 <p><font face="Arial">Vista installation <b>only</b>; open a privileged Administrator command \r
421 window and type</font></p>\r
422 <p><font face="Arial">&nbsp;&nbsp;&nbsp; start/wait msiexec /I WinOF_2-1_wlh_xxx.msi</font></p>\r
423 <p><font face="Arial">For all other Windows variants, double-clicking the installer file (.msi) \r
424 works correctly to start a WinOF installation.<br>\r
425 From a login session with administrator privileges, double-click the WinOF_M-m{-p}_OSE_arch.msi file to begin the Windows OpenFabrics \r
426 installation.</font></p>\r
427 <p><font face="Arial">Where 'M-n{-p}' indicates Major release number, Minor release number, and \r
428 optional point-release number.</font></p>\r
429 <p><font face="Arial">&nbsp;OSE - Operating System Environment:</font></p>\r
430 <ul>\r
431         <li><font face="Arial">wlh - (Windows LongHorn) Windows Server 2008, HPC or Vista</font></li>\r
432         <li><font face="Arial">wnet - Windows Server 2003 or Windows XP 64-bit version</font></li>\r
433         <li><font face="Arial">wxp - Windows XP x86/32-bit version</font></li>\r
434 </ul>\r
435 <p><font face="Arial">'_arch_' will be one of</font></p>\r
436 <ul>\r
437         <li><font face="Arial">_x64_ for&nbsp; Intel EMT64 systems or amd64; see\r
438         <a href="http://en.wikipedia.org/wiki/X86-64">x86-64</a></font></li>\r
439         <li><font face="Arial">_x86_ for x86\r
440 compatible systems</font></li>\r
441         <li><font face="Arial">_ia64_ for Intel IA64 systems. </font> </li>\r
442 </ul>\r
443 \r
444 <p><font face="Arial">Follow the on-screen instructions.<br>\r
445 <br>\r
446 Answer 'yes' or 'Continue' to any notifier windows which reference non-WHQL'ed \r
447 driver installation.<br>\r
448 These non-WHQL'ed driver install questions can <b>not</b> be disabled \r
449 via 'My Computer-&gt;Properties-&gt;Hardware-&gt;Driver Signing-&gt;Ignore'.</font></p>\r
450 <p><font face="Arial">Bottom-line - The digitally signed WinOF drivers in this package are not WHQL'ed \r
451 per se, although they are \r
452 built from driver source which has been or is in process of being WHQL'ed by \r
453 hardware vendors who participate in the open source WinOF development process.</font></p>\r
454 <p>&nbsp;</p>\r
455 <p>&nbsp;<font size="4">**** WARNING ****</font></p>\r
456 <blockquote>\r
457         <p><font face="Arial">Should any 'Welcome to the Found New Hardware Wizard' windows popup after the \r
458         WinOF install has started, just ignore (window will disappear in a few \r
459         seconds) or 'Cancel' the errant popup window.&nbsp; \r
460         For Windows Server 2003 (SP1) you can safely ignore the errant FNHW popup \r
461         window; for Windows XP (SP2) the errant FNHW popups need to be 'cancelled' \r
462         in order for the WinOF install to proceed. The report back from Microsoft on these 'Found New Hardware Wizard' windows \r
463         popping up, is they are due to the fact the WinOF drivers are not WHQL'ed \r
464         and hence are not trusted by Windows; MS claims this is a 'feature'.</font></p>\r
465         <p><font face="Arial">An artifact of cancelling an errant 'Found New Hardware' popup window may \r
466         induce an errant taskbar Information notifier/bubble indicating there may \r
467         have been problems installing your hardware drivers;\r
468         IGNORE/cancel this information bubble, likely the device installation \r
469         proceeded without error. Check the Device Manager views for the \r
470         Infiniband HCA and IPoIB Network Adapters for initial verification of \r
471         correct installation.</font></p>\r
472         <p><font face="Arial">You <b>do</b> need to answer 'Yes' or 'Continue' to those notifier windows which \r
473         reference non-WHQL driver installation. If you have previously \r
474         set My Computer-&gt;Properties-&gt;Hardware-&gt;Driver Signing-&gt;Ignore, the FNHW \r
475         windows likely will occur anyway.</font></p>\r
476         <p><font face="Arial">Should the install appear to hang, look around for occluded notifier windows \r
477         waiting for a response which \r
478         are covered by existing windows.<br>\r
479 &nbsp;</font></p>\r
480 </blockquote>\r
481 \r
482 <h4>Install type: Custom only</h4>\r
483 \r
484 <ul type=disc>\r
485  <li class=MsoNormal><font face="Arial">InfiniBand Core:</font><ul>\r
486         <li><font face="Arial">HCA driver - Mellanox: InfiniHost or ConnectX<br>\r
487         Windows PNP will select the correct HCA driver.</font></li>\r
488         <li><font face="Arial">IB core stack and libraries - includes winverbs, \r
489         winmad and OFED verbs library.</font></li>\r
490         <li><font face="Arial">Release Notes, Manual</font></li>\r
491         <li><font face="Arial">Subnet Management service [OpenSM] (installed &amp; disabled), Performance &amp; \r
492         OFED Diagnostic tools</font></li>\r
493         </ul>\r
494         </li>\r
495         <li><font face="Arial">Optional:<br>&nbsp;&nbsp;&nbsp; IPoIB - Internet Protocols over \r
496         InfiniBand<br>&nbsp;&nbsp;&nbsp; Winsock Direct (Win2008/3 only)<br>\r
497 &nbsp;&nbsp;&nbsp; Network Direct (MS supported only for Server 2008 HPC).<br>&nbsp;&nbsp;&nbsp; VNIC - Virtual Ethernet device over Infiniband<br>&nbsp;&nbsp;&nbsp; SRP - SCSI over RDMA Protocol<br>&nbsp;&nbsp;&nbsp; \r
498         DAT/DAPL \r
499         - RDMA device independent, user-mode Direct Access Transport &amp; Direct Access \r
500         Provider<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; - DAT v1.1&nbsp; runtime libraries.<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; - DAT v1.1 application build environment \r
501         (header files &amp; link files).<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; - DAT/DAPL v2.0 runtime libraries<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; - DAT v2.0 application build environment<br>&nbsp;&nbsp;&nbsp; OpenSM_service_started - InfiniBand Subnet Management \r
502         enabled and started as a Windows Service.<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
503         By default OpenSM is installed as a disabled Windows Service.<br>\r
504 &nbsp;&nbsp;&nbsp; Checked versions of driver files.<br>\r
505 &nbsp;</font></li>\r
506         <li><font face="Arial">The '<b>default</b>' installation includes IB core, IPoIB, WSD (Win2K3 only), \r
507         DAT 1.1 runtime libraries, OpenSM service (disabled).</font></li>\r
508 </ul>\r
509 \r
510 </blockquote>\r
511 \r
512 <p><a href="#WinOF_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
513 <p>&nbsp;</p>\r
514 <BLOCKQUOTE></BLOCKQUOTE>\r
515 <h2><u><a name="HCA Driver Installation">HCA Driver Installation</a></u></h2>\r
516 <p><font face="Arial">WinOF driver installation uses the Device Installation \r
517 Frameworks for Applications (DIFxApp) and the Windows Driver Store.<br>\r
518 The&nbsp; Microsoft Plug-n-Play (PNP) subsystem \r
519 controls which Infiniband HCA (Host Channel Adapter) device driver is loaded \r
520 from the Windows Driver Store.&nbsp; HCA driver selection is based on PNP device \r
521 ID probing, thus InfiniHost, ConnectX or both drivers can be loaded \r
522 by the PNP subsystem.<br>\r
523 Using DIFxApp and PNP device probing results in the WinOF installation not \r
524 requiring a specific HCA model [ConnectX or InfiniHost] feature selection; HCA \r
525 vendor is the feature selection criteria.</font></p>\r
526 <p><font face="Arial"><br>\r
527 &nbsp;</font></p>\r
528 <BLOCKQUOTE></BLOCKQUOTE>\r
529 <h2><u><a name="Unattended_Install0">Unattended Install</a></u></h2>\r
530 \r
531 <div id="main-copy0">\r
532 \r
533 <div id="main-copy1">\r
534         <font face="Arial">An unattended WinOF install will install the following 'default' options</font><ul>\r
535                 <li><font face="Arial">Infiniband Core modules - Mellanox HCA driver \r
536                 (see HCA driver selection note), IB core stack, libraries, utilities and \r
537                 documentation.</font></li>\r
538                 <li><font face="Arial">IPoIB - Internet Protocols over InfiniBand</font></li>\r
539                 <li><font face="Arial">WSD - (Win2K8/3 only, not installed on XP) Win Sock Direct</font></li>\r
540                 <li><font face="Arial">ND - NetworkDirect [started automatically (via ndinstall.exe) only for Server \r
541                 2008/HPC and Vista].</font></li>\r
542                 <li><font face="Arial">DAT &amp; DAPL (v1.1 &amp; v2.0) runtime libraries + dapltest.exe \r
543                 (dt-svr &amp; dt-cli).</font></li>\r
544         </ul>\r
545 </div>\r
546 <p><font face="Arial"><b>HCA selection for all Windows variants </b>\r
547         (Server 2008, HPC &amp; Vista)</font></p>\r
548         <blockquote>\r
549                 <p><font face="Arial">Default HCA driver selection is driven by the \r
550                 Windows PNP subsystem; no user selection required or supported.</font></p>\r
551         </blockquote>\r
552         <p><font face="Arial">Should WSD not be a desirable unattended install option (Win2008/3 only), \r
553 currently you would install unattended then execute the<br>\r
554 command 'installsp -r' \r
555 on each node to remove WSD.</font></p>\r
556         <p><font face="Arial">To perform a silent unattended installation for Server \r
557         2003/XP, invoke the following command \r
558         from a command window.</font></p>\r
559         <blockquote>\r
560                 <p><font face="Arial">start/wait msiexec.exe /i WinOF_2-1_wnet_x64.msi&nbsp; /qn&nbsp; /quiet&nbsp; /log \r
561                 %TEMP%\WOF-install.log</font></p>\r
562                 <p><font face="Arial">'/log dev:path\logFilename.log' is optional.</font></p>\r
563                 <p><font face="Arial">msiexec.exe /? for all options.</font></p>\r
564         </blockquote>\r
565 </div>\r
566 <p><font face="Arial">Examples:</font></p>\r
567 <p><font face="Arial"><b>Windows XP</b> - Mellanox HCA Hardware - same as above with .msi \r
568 name change (wnet --&gt; wxp).</font></p>\r
569 <ul>\r
570         <li><font face="Arial">ConnectX HCA<br>\r
571         start/wait msiexec.exe /i WinOF_2-1_wxp_x86.msi /qb /quiet HCA=cx<br>\r
572 &nbsp;</font></li>\r
573 </ul>\r
574 <p><font face="Arial"><b>Server 2008 / Vista </b>- any Mellanox HCA Hardware</font></p>\r
575 <ul>\r
576         <li><font face="Arial">No need to specify HCA type as PNP (Plug-n-Play)&nbsp; \r
577         figures out the correct HCA to install.<br>\r
578         start/wait msiexec.exe /i WinOF_2-1_wlh_x64.msi /qb /quiet<br>\r
579 &nbsp;</font></li>\r
580         <li><font face="Arial">If you desire an unattended WinOF install with a \r
581         progress bar, from a console window<br>\r
582         start/wait msiexec.exe /i WinOF_2-1_wlh_x64.msi /passive</font></li>\r
583 </ul>\r
584 <p>&nbsp;</p>\r
585 <p><font face="Arial">Non-HCA Install Features added to above msiexec command \r
586 line examples:</font></p>\r
587 <ul>\r
588         <li><font face="Arial">Start a Subnet Manager running on the local system: \r
589         add 'OSMS=1'</font></li>\r
590 </ul>\r
591 <p><font face="Arial">Default install +&nbsp; OpenSM Started on the local \r
592 system</font></p>\r
593 <ul>\r
594         <li><font face="Arial">Server 2003, Mellanox HCA - start/wait msiexec.exe /i WinOF_2-1_wnet_x64.msi \r
595         /passive&nbsp; OSMS=1<br>\r
596 &nbsp;</font></li>\r
597 </ul>\r
598 <p><a href="#WinOF_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
599 <p>&nbsp;</p>\r
600 <BLOCKQUOTE></BLOCKQUOTE>\r
601 <h2><u><a name="Server_2008_HPC_Install_Notes">Server 2008 HPC Install Notes</a></u></h2>\r
602 <p><font face="Arial">Device drivers in WinOF 2.0 and later releases are Digitally \r
603 signed by the OpenFabrics Alliance, although they are not WHQL'ed (Windows Quality Hardware Labs) certified. \r
604 The WinOF source code is used&nbsp; by hardware vendors to achieve WHQL \r
605 certification.</font></p>\r
606 <p><font face="Arial">The lack of WHQL driver certification places WinOF drivers \r
607 in the 'unknown 3rd party SW publishers' category. <br>\r
608 When installing 'Unknown 3rd party SW publishers' drivers, Windows prompts on \r
609 the install console for instructions as what to do (Install, Trust or not)?<br>\r
610 This prompting results in a failed remote node install when performing a \r
611 first-time unattended WinOF install.<br>\r
612 By preloading the remote node's Trusted 3rd party Software Publisher certificate \r
613 Store, the unattended install will proceed without prompting, thus allowing the WinOF install to complete \r
614 successfully.</font></p>\r
615 <p><font face="Arial">Be aware: if a node is reimaged (same or different template applied) the \r
616 established trust of the OpenFabric Alliance is destroyed, thus the OFA certificate \r
617 needs to be reinstalled.</font></p>\r
618 <p><font face="Arial">How to install WinOF drivers and components in the HPC \r
619 Server 2008 environment.</font></p>\r
620 <ul>\r
621         <li><font face="Arial">Add the OpenFabrics Alliance public key digital \r
622         certificate to the head-node's Trusted Publisher Certificate store by</font><ul>\r
623         <li><font face="Arial">Installing&nbsp; WinOF on the head node - start Open Subnet \r
624         Manager if needed, otherwise depend on another OpenSM on the IB fabric.</font></li>\r
625         <li><font face="Arial">Our recommendation is to install WinOF on the \r
626         head-node; Set head-node IPoIB interface IPv4 address after WinOF install.</font></li>\r
627         <li><font face="Arial">Or - Installing the OFA certificate from the \r
628         installer .msi file by</font><ul>\r
629         <li><font face="Arial">right-clicking the .msi file, select Properties</font></li>\r
630         <li><font face="Arial">Select the Digital Signatures tab</font></li>\r
631         <li><font face="Arial">Highlight the OpenFabrics Alliance</font></li>\r
632         <li><font face="Arial">Details</font></li>\r
633         <li><font face="Arial">View Certificate</font></li>\r
634         <li><font face="Arial">Install certificate</font></li>\r
635         <li><font face="Arial">Trusted Publisher certificate store<br>\r
636 &nbsp;</font></li>\r
637 </ul>\r
638         </li>\r
639 </ul>\r
640         </li>\r
641         <li><font face="Arial">Once the OFA certificate is installed, it will remain \r
642         until the node is wiped clean by WDM reprovisioning.<br>\r
643 &nbsp;</font></li>\r
644         <li><font face="Arial">If remote nodes are <b>operational </b>(booted &amp; \r
645         network accessible), then run the digital certificate install script 'cert-add.bat' \r
646         to 'add' the 'Open Fabrics Alliance' as a Trusted 3rd party Software Publisher \r
647         to the remote node 's certificate stores.</font><ul>\r
648         <li><font face="Arial">CD your administrator command window to the WinOF \r
649         folder which contains the 'cert-add.bat' script file. </font></li>\r
650         <li><font face="Arial">If WinOF was installed on the head-node, then 'cd /d \r
651         %ProgramFiles(x86)%\WinOF </font></li>\r
652         <li><font face="Arial">Otherwise unpack, not install, the WinOF files to \r
653         gain access to cert-add.bat file by executing the following commands:</font><ul>\r
654                 <li><font face="Arial">msiexec /A WinOF_2-1_wlh.msi TARGETDIR=%TEMP%</font></li>\r
655                 <li><font face="Arial">cd /d %TEMP%\PFiles\WinOF</font></li>\r
656         </ul></li>\r
657 </ul>\r
658         <ul>\r
659                 <li><font face="Arial">Select a filesystem share folder which is \r
660                 accessible from the head-node and 'all' remote nodes specified in the \r
661                 cert-add command; cert-add will write a batch script to this folder \r
662                 which the remote node will execute to add the OFA SW Publishing \r
663                 certificate to the local store.</font></li>\r
664                 <li><font face="Arial">Cert add command format:&nbsp; cert-add&nbsp;&nbsp;&nbsp; \r
665                 share-folder&nbsp;&nbsp; list-of-remote-nodes</font></li>\r
666                 <li><font face="Arial">example:&nbsp; cert-add\r
667                 <a href="file://orion-hn/winof">\\orion-hn\winof</a> cn01 cn02 cn03 cn04 \r
668                 cn05<br>\r
669 &nbsp;</font></li>\r
670         </ul></li>\r
671         <li><font face="Arial">If remote nodes are <b>not </b>yet provisioned (not \r
672         running Windows), then do the following:</font><ul>\r
673         <li><font face="Arial">From the head node, extract OFA certificate to a \r
674         file:<br>\r
675         certutil -store TRUSTEDPUBLISHER 71175fca6b85d5c2e0864df16349ad84 OFA-TP.cer</font></li>\r
676         <li><font face="Arial">Place OFA-TP.cer in a remote node accessible share.</font></li>\r
677         <li><font face="Arial">As part of the node provisioning template process \r
678         before loading WinOF drivers, execute the certutil command on the remote \r
679         node:<br>\r
680 &nbsp;certutil -addstore TRUSTEDPUBLISHER <a href="file://share/OFA_TP.cer">\r
681         \\share\OFA-TP.cer</a><br>\r
682 &nbsp;</font></li>\r
683 </ul></li>\r
684         <li><font face="Arial">Run the cluster manager tool to create compute node \r
685         templates using WinOF drivers in %ProgramFiles(x86)%\Winof\IDrivers.</font></li>\r
686         <li><font face="Arial">Use 'cluster manager' to provision all compute nodes.</font></li>\r
687         <li><font face="Arial">Set IPoIB interface IPv4 address on all compute \r
688         nodes.</font></li>\r
689         <li><font face="Arial">At this juncture, the WinOF drivers are installed and \r
690         operational, although additional WInOF components are not; IB diags, DAPL &amp; \r
691         docs.</font></li>\r
692         <li><font face="Arial">To install remaining WinOF components without \r
693         installing device drivers, use the \r
694         unattended install process with NO Drivers:</font><ul>\r
695         <li><font face="Arial">Place WinOF_wlh_x64.msi in a remote node accessible \r
696         share</font></li>\r
697         <li><font face="Arial">&nbsp;Use the Cluster Manager tool to execute the \r
698         misexec command on all remote nodes to perform the WinOF install:<br>\r
699         'msiexec /I \\share-name\WinOF_wlh_x64.msi /qn /quiet NODRV=1'</font></li>\r
700 </ul></li>\r
701         <li><font face="Arial"><b>Note</b>: when uninstalling WinOF from an \r
702         installation which was done with NODRV=1, you <b>MUST </b>include NODRV=1 on \r
703         the uninstall command line; otherwise WinOF drivers will be uninstalled \r
704         also.<br>&nbsp;</font></li>\r
705 </ul>\r
706 <h4><u>Windows Deployment Manager usage for HPC compute node provisioning</u></h4>\r
707 <p><font face="Arial">Microsoft has chosen WDM to provision HPC \r
708 cluster compute nodes; see&nbsp;\r
709 <a href="http://technet.microsoft.com/en-us/library/dd391826.aspx">Microsoft HPC \r
710 installs</a> for details.</font></p>\r
711 <p><font face="Arial">In support of the new Microsoft WDM HPC cluster \r
712 provisioning process, WinOF now supports an administrative install mode which is \r
713 a method to extract WinOF files to the local filesystem without actually installing them; \r
714 thus making WinOF driver files accessible to WDM provisioning; the other \r
715 approach is to install WinOF on the head-node and point Cluster Manager node \r
716 template creation at the WinOF device driver .inf files located in \r
717 the folder %ProgramFiles(x86)%\WinOF\Drivers. </font></p>\r
718 <p><font face="Arial">msiexec /A WinOF_2-1_wlh_x64.msi TARGETDIR=dev:\path-to-extracted-files</font></p>\r
719 <p><font face="Arial">example:&nbsp; msiexec /A WinOF_2-1_wlh_x64.msi TARGETDIR=%TEMP%&nbsp;&nbsp; \r
720 (note: TARGETDIR is case sensitive)</font></p>\r
721 <p><font face="Arial">The above command creates the following folder structure:<br>\r
722 <br>\r
723 <a href="file:///C:/windows/Temp/WOF/PFiles/WinOF/">%TEMP%\PFiles\WinOF\</a><br>&nbsp;&nbsp;&nbsp; \r
724 Drivers\mthca\mthca.inf&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Mellanox InfiniHost HCA driver<br>&nbsp;&nbsp;&nbsp; \r
725 Drivers\mlx4_bus\mlx4_bus.inf&nbsp;&nbsp;&nbsp;&nbsp; Mellanox ConnectX bus driver<br>&nbsp;&nbsp;&nbsp; \r
726 Drivers\mlx4_hca\mlx4_hca.inf&nbsp;&nbsp;&nbsp;&nbsp; Mellanox ConnectX HCA driver (both ConnectX drivers required).<br>&nbsp;&nbsp;&nbsp; \r
727 Drivers\net\netipoib.inf&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; IPoIB + Network Direct IB provider + WSD (Winsock Direct) provider.<br>\r
728 &nbsp;&nbsp;&nbsp; Drivers\srp\ibsrp.inf&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; SCSI over IB.<br>\r
729 &nbsp;&nbsp;&nbsp; Drivers\qlgcvnic\qlgcvnic.inf&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; QLogic VNIC (Virtual Ethernet controller over InfiniBand)</font></p>\r
730 <h4><u>WinOF device driver-less installs:</u></h4>\r
731 <p><font face="Arial">Normally WinOF device driver files are installed by processing the driver '.inf' \r
732 files. To install the WinOF package by selecting install features without \r
733 installing any device drivers [HCA, IPoIB, ND, WSD, SRP or VNIC] (assumed \r
734 reliance on WDM to install device drivers) can be accomplished with the following \r
735 interactive install command:</font></p>\r
736 <p><font face="Arial">start/wait msiexec /I WinOF_2-1_wlh_x64.msi&nbsp; NODRV=1</font></p>\r
737 <p><font face="Arial">To skip driver installation for an unattended install</font></p>\r
738 <p><font face="Arial">&nbsp;&nbsp;&nbsp; start/wait msiexec /I WinOF_2-1_wlh_x64.msi /qn /quiet NODRV=1</font></p>\r
739 <p><font face="Arial"><b>Note</b>: when uninstalling WinOF from an installation \r
740 which was done with NODRV=1, you <b>MUST </b>include NODRV=1 on the uninstall \r
741 command line; otherwise WinOF drivers will be uninstalled also.</font></p>\r
742 <p><font face="Arial">&nbsp;&nbsp;&nbsp; start/wait msiexec /X WinOF_2-1_wlh_x64.msi /qn /quiet NODRV=1</font></p>\r
743 <p><font face="Arial">See <a href="http://unattended.sourceforge.net/installers.php">Unattended \r
744 Installations</a> for further references.</font></p>\r
745 <p><a href="#WinOF_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
746 <p>&nbsp;</p>\r
747 <BLOCKQUOTE></BLOCKQUOTE>\r
748 <h2><a name="Setting_the_IPoIB_Interface_IP_Address">Setting the IPoIB Interface IP Address</a></h2>\r
749 <p><font face="Arial">The Windows command 'netsh' will assist in assigning an IP address to an \r
750 IPoIB interface.<br>\r
751 By default, an IPoIB interface is configured to use DHCP. The following \r
752 discussion deals with setting a static IP address on an IPoIB interface.<br>\r
753 If your system has two Ethernet ports, then IPoIB interfaces (HCA port 1, 2...) \r
754 will be assigned to 'Local Area Connection 3' and 'Local Area Connection 4'.&nbsp; \r
755 If you system has a single Ethernet port, then IPoIB interface is Local Area \r
756 Connection 2'.</font></p>\r
757 <p><font face="Arial">For Server 2008/HPC systems, the WinOF installation follows the above \r
758 discussion. In defining HPC network interfaces, the IPoIB network can be \r
759 identified as the 'Application' network. In this case, a few minutes after a \r
760 compute node is installed, the local network manager will rename the installed \r
761 IPoIB 'Local Area Connection X' network interface to the 'Application' network.</font></p>\r
762 <p><font face="Arial">Display all network interface configuration information<br>\r
763 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; netsh interface ip show config<br>\r
764 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; netsh interface ip show address \r
765 &quot;Local Area Connection 3&quot;</font></p>\r
766 <p><font face="Arial">Config a static IP address for an IPoIB interface: [Local Area Connection 3 \r
767 == 1st IPoIB interface], 10.10.4.23 is the assigned IP address<br>\r
768 with a netmask of 255.255.255.0, the gateway is 10.10.4.1 metric is 2.</font></p>\r
769 <p><font face="Arial">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; netsh interface ip set address \r
770 &quot;Local Area Connection 3&quot; static 10.10.4.23 255.255.255.0 10.10.4.1 2</font></p>\r
771 <p><font face="Arial">See <a href="http://support.microsoft.com/kb/257748">netsh</a> for further \r
772 reference.</font></p>\r
773 <p><a href="#WinOF_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
774 <p>&nbsp;</p>\r
775 <BLOCKQUOTE></BLOCKQUOTE>\r
776 <h2><u><a name="Uninstall">Uninstall</a></u></h2>\r
777 \r
778 <p><font face="Arial">To uninstall a WinOF package from a single node</font></p>\r
779 <ol>\r
780         <li><font face="Arial">Start--&gt; All Programs-&gt; Windows OpenFabrics-&gt; Uninstall WinOF</font></li>\r
781         <li><font face="Arial">Control Panel-&gt; Add Remove Programs-&gt; Windows OpenFabrics-&gt; Remove</font></li>\r
782 </ol>\r
783 <h3><span style="font-weight: 400; text-decoration: underline">Unattended \r
784 Uninstall</span></h3>\r
785 <p><font face="Arial">From a Command Window invoke the following command; a system reboot will \r
786 occur after the uninstall.</font></p>\r
787 <blockquote>\r
788         <p><font face="Arial">start/wait msiexec.exe&nbsp; /x {3A6A276E-A636-48E8-8624-9A0DE3F2A15E} \r
789         /quiet \r
790         /forcerestart<br>\r
791 &nbsp; - or -<br>\r
792         start/wait msiexec.exe&nbsp; /x WinOF_wlh_2-1_x64.msi /quiet /forcerestart&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
793         # WinOF_xxxx.msi is the file used to install WinOF.</font></p>\r
794         <p><font face="Arial">msiexec.exe /help for details.</font></p>\r
795         <p><font face="Arial">'/log dev:path\logfilename.log'&nbsp; if you wish to later view the install \r
796         results.</font></p>\r
797         <p><font face="Arial">If for some reason the Product Code {GUID} changes, the latest code can \r
798         be located via<br>Programs-&gt; Windows OpenFabrics-&gt; Uninstall WinOF&lt;right-click&gt;Properties</font></p>\r
799 </blockquote>\r
800 <p><font face="Arial">Infrequently, the 'System Device-&gt;Infiniband Fabric' may not correctly uninstall. Make sure the Infiniband Fabric device is \r
801                 completely uninstalled; use device manager for checking. The effect of a \r
802                 partially uninstalled Infiniband Fabric device is IPoIB load failure \r
803                 upon the next WinOF install.</font></p>\r
804 <h3><span style="text-decoration: underline">Uninstall Notes</span></h3>\r
805 <ol>\r
806         <li><font face="Arial">If the SRP (SCSI RDMA Protocol) driver has been previously installed, \r
807         then in order to achieve a 'clean' uninstall, the SRP target drive(s) must \r
808         be released.<br>\r
809 &nbsp;</font><ul>\r
810                 <li><font face="Arial">Use the following diskpart.exe commands from an administrator \r
811                 privileged command window:</font></li>\r
812                 <li><font face="Arial"><a href="file:///c:/windows/temp">c:\windows\temp</a>&gt; diskpart.exe<br>\r
813 &nbsp;&nbsp;&nbsp; SELECT VOLUME=&lt;Drive Letter of the SRP target to be released&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
814                 # example: SELECT VOLUME=L<br>\r
815 &nbsp;&nbsp;&nbsp; OFFLINE DISK<br>\r
816 &nbsp;&nbsp;&nbsp; EXIT</font></li>\r
817                 <li><font face="Arial">For additional SRP drives, repeat SELECT &amp; OFFLINE DISK with new \r
818                 Drive Letter.</font></li>\r
819         </ul>\r
820         <p><font face="Arial">The consequences of not releasing the SRP target drive(s) is that after the \r
821         uninstall reboot there are lingering InfiniBand driver files. These driver \r
822         files remain because while the SRP target is active they have references, \r
823         thus when the uninstall attempts to delete the files the operation fails.</font></p>\r
824         </li>\r
825 </ol>\r
826 <p><a href="#WinOF_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
827 <p>&nbsp;</p>\r
828 \r
829 <BLOCKQUOTE></BLOCKQUOTE>\r
830 <h2><u><a name="Trouble_Shooting">Trouble Shooting</a></u></h2>\r
831 <p><font face="Arial">From a command window type the following quick-start \r
832 commands:</font></p>\r
833 <ul>\r
834         <li><font face="Arial">To start the Device Manager:&nbsp; devmgmt.msc</font></li>\r
835         <li><font face="Arial">To start the Services Manager:&nbsp; services.msc</font></li>\r
836 </ul>\r
837 <p><font face="Arial">A Vista WinOF installation can fail due to protection failures when \r
838 installing the HCA driver. Vista HCA driver installation failure can be caused \r
839 by&nbsp; double-clicking the .msi installer \r
840 file to start the installation.<br>\r
841 WinOF installs for Vista (only) require the installation be started&nbsp; from a \r
842 privileged Administrator command window.<br>Start a privileged Administrator command window (Start-&gt;Command \r
843 Prompt-&gt;Right-click-&gt;Run as Administrator) and execute:<br>\r
844 &nbsp;&nbsp;&nbsp; msiexec /I \r
845 WinOF_xxx_yyy.msi</font></p>\r
846 <p><font face="Arial">To create a LOG file of your WinOF installation, execute this command: \r
847 msiexec /I WinOF_xxx_yyy.msi&nbsp; /Lv %TEMP%\WOF-install.log<br>\r
848 View %TEMP%\WOF-install.log</font></p>\r
849 <p><font face="Arial">msiexec /? for details.</font></p>\r
850 <p><font face="Arial">Server 2008 or Vista can also fail to install due to driver install files \r
851 left over from previously failed install attempts; see %windir%\system32\DriverStore\{Temp|FileRepository}. \r
852 Look for folders with the following in the folder name: mthca, mlx4_, netipoib, \r
853 srp, vnic. Once you have located one of these folders you need to remove it as \r
854 win2k8/Vista will use these files instead of what your attempting to install.; \r
855 removing the folders is a pain.<br>\r
856 Right-click the folder and select Properties-&gt;Security-&gt;Advanced, select owner \r
857 tab, select Edit button, select Administrator and check the 'Replace owner on \r
858 subcontainers and objects', now click 'OK', OK again, select Edit button from \r
859 the securities tab, check allow 'Full Control' box and click OK, OK again. At \r
860 this point you should be back to the file explorer. Now you can delete the \r
861 folder!</font></p>\r
862 <p><font face="Arial">Setupapi.log has moved in Server 2008/Vista, see '%windir%\inf\setupapi-dev.log'. \r
863 Setupapi-*.log can at times contain useful install debug info.</font></p>\r
864 <p><font face="Arial">Server 2008/Vista/HPC all use dpinst.exe to preinstall drivers into the \r
865 driver store. Windows PNP (Plug-n-Play) later will deamand drivers when the \r
866 hardware is recognized. dpinst.exe writes it's error information to '%windir%\dpinst.log'.</font></p>\r
867 <p><font face="Arial">Down rev firmware will result in IPoIB not installing or other anonmolus \r
868 behavior. Consult the event \r
869 viewer, system error records, look for 'mthca' or 'mlx4*' entries generated when the HCA \r
870 driver loads. One of the mthca or mlx4 entries will display the current firmware \r
871 revision.</font></p>\r
872 <p><font face="Arial">Firmware version information and updates \r
873                 are available at\r
874 <a href="http://www.mellanox.com/support/firmware_download.php">\r
875                 www.mellanox.com/support/firmware_download.php</a></font></p><p:colorscheme\r
876  colors="#ffffff,#000000,#808080,#000000,#ffc86c,#acc5ff,#fff4b4,#c4f48a"/>\r
877 \r
878 <div v:shape="_x0000_s1026" style="tab-stops:.6215in">\r
879         <div class="O" style="mso-line-spacing:&quot;80 20 0&quot;;mso-margin-left-alt:145;\r
880 mso-char-wrap:1;mso-kinsoku-overflow:1">\r
881                 <span style="font-family:&quot;Arial Narrow&quot;;\r
882 font-size:106%;color:#F2862F">\r
883                 <span style="mso-special-format:bullet;\r
884 position:absolute;left:-3.41%">\95</span></span><span style="font-family:&quot;Arial Narrow&quot;;\r
885 font-size:19pt;color:#F2862F"><b> </b></span></div>\r
886         <blockquote>\r
887                 <div class="O1" style="mso-line-spacing:&quot;80 0 0&quot;;mso-margin-left-alt:395;\r
888 mso-text-indent-alt:217;mso-char-wrap:1;mso-kinsoku-overflow:1">\r
889                         <span style="font-family:&quot;Arial Narrow&quot;;font-size:94%;color:#241172">\r
890                         <span style="mso-special-format:bullet;position:absolute;left:-4.4%">\96</span></span></div>\r
891         </blockquote>\r
892         <div class="O" style="mso-line-spacing:&quot;80 20 0&quot;;mso-margin-left-alt:145;\r
893 mso-char-wrap:1;mso-kinsoku-overflow:1">\r
894                 <span style="font-family:&quot;Arial Narrow&quot;;\r
895 font-size:106%;color:#F2862F">\r
896                 <span style="mso-special-format:bullet;\r
897 position:absolute;left:-3.41%">\95</span></span><font face="Arial"><b><span style="font-family: Arial Narrow; ">If \r
898                 HCA FW is older than minimal FW</span><span style="font-family: Arial Narrow; color: #F2862F"> </span> </b>\r
899                 </font></div>\r
900         <blockquote>\r
901                 <div class="O1" style="mso-line-spacing:&quot;80 0 0&quot;;mso-margin-left-alt:395;\r
902 mso-text-indent-alt:217;mso-char-wrap:1;mso-kinsoku-overflow:1">\r
903                         <font face="Arial">\r
904                         <span style="font-family: Arial Narrow; color: #241172"><b>Error \r
905                         reported to system event log </b></span></font></div>\r
906                 <div class="O1" style="mso-line-spacing:&quot;80 0 0&quot;;mso-margin-left-alt:395;\r
907 mso-text-indent-alt:217;mso-char-wrap:1;mso-kinsoku-overflow:1">\r
908                         <font face="Arial">\r
909                         <span style="font-family: Arial Narrow; color: #241172">\r
910                         <span style="mso-special-format:bullet;position:absolute;left:-4.4%">\r
911                         \96</span><b>HCA loads as memory controller to allow FW upgrade </b>\r
912                         </span></font></div>\r
913         </blockquote>\r
914         <div class="O" style="mso-line-spacing:&quot;80 20 0&quot;;mso-margin-left-alt:145;\r
915 mso-char-wrap:1;mso-kinsoku-overflow:1">\r
916                 <font face="Arial">\r
917                 <span style="font-family: Arial Narrow; color: #F2862F">\r
918                 <span style="mso-special-format:bullet;\r
919 position:absolute;left:-3.41%">\95</span></span><b><span style="font-family: Arial Narrow; ">If HCA<span style="mso-spacerun:yes">&nbsp;\r
920                 </span>FW is equal or newer than optimal version</span><span style="font-family: Arial Narrow; color: #F2862F"><br>\r
921 &nbsp;</span></b></font></div>\r
922         <div class="O1" style="mso-line-spacing:&quot;80 0 0&quot;;mso-margin-left-alt:395;\r
923 mso-text-indent-alt:217;mso-char-wrap:1;mso-kinsoku-overflow:1">\r
924                 <blockquote>\r
925                         <font face="Arial">\r
926                         <span style="font-family: Arial Narrow; color: #241172">\r
927                         <span style="mso-special-format:bullet;position:absolute;left:-4.4%">\r
928                         \96</span><b>HCA starts OK. </b></span>\r
929                         </font>\r
930                 </blockquote>\r
931         </div>\r
932         <div class="O" style="mso-line-spacing:&quot;80 20 0&quot;;mso-margin-left-alt:145;\r
933 mso-char-wrap:1;mso-kinsoku-overflow:1">\r
934                 <font face="Arial">\r
935                 <span style="font-family: Arial Narrow; color: #F2862F">\r
936                 <span style="mso-special-format:bullet;\r
937 position:absolute;left:-3.41%">\95</span></span><b><span style="font-family: Arial Narrow; ">Else</span></b></font></div>\r
938         <blockquote>\r
939                 <div class="O1" style="mso-line-spacing:&quot;80 0 0&quot;;mso-margin-left-alt:395;\r
940 mso-text-indent-alt:217;mso-char-wrap:1;mso-kinsoku-overflow:1">\r
941                         <font face="Arial">\r
942                         <span style="font-family: Arial Narrow; color: #241172">\r
943                         <b>HCA loads OK. </b></span></font></div>\r
944                 <div class="O1" style="mso-line-spacing:&quot;80 0 0&quot;;mso-margin-left-alt:395;\r
945 mso-text-indent-alt:217;mso-char-wrap:1;mso-kinsoku-overflow:1">\r
946                         <font face="Arial">\r
947                         <span style="font-family: Arial Narrow; color: #241172">\r
948                         <span style="mso-special-format:bullet;position:absolute;left:-4.4%">\r
949                         \96</span><b>Warning will be issued to system event log </b></span>\r
950                         </font>\r
951                 </div>\r
952         </blockquote>\r
953         <div class="O1" style="mso-line-spacing:&quot;80 0 0&quot;;mso-margin-left-alt:395;\r
954 mso-text-indent-alt:217;mso-char-wrap:1;mso-kinsoku-overflow:1">\r
955                 <font face="Arial">\r
956                 <![if ppt]>\r
957                 <span style="font-family:&quot;Arial Narrow&quot;;font-size:94%;color:#241172;visibility:hidden">\r
958                 <span style="mso-special-format:bullet;position:absolute;left:-4.4%">\96</span></span><![endif]><span style="font-family:&quot;Arial Narrow&quot;;font-size:17pt;color:#241172"><b>\r
959                 </b></span></font></div>\r
960         <div class="O" style="mso-line-spacing:&quot;80 50 0&quot;;mso-margin-left-alt:145">\r
961                 <font face="Arial">My computer-&gt; Manage-&gt; Event Viewer-&gt; System Events; search for \r
962                 mthca, mlx4 or ipoib entries.</font><p><a href="#WinOF_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
963                 <h3>&nbsp;</h3>\r
964                 <h3><u>Incomplete Previous Uninstall</u></h3>\r
965                 <p><font face="Arial">Should the previous uninstall silently fail, the next installation \r
966                 can fail in the Driver Install phase with the following error:<br>\r
967 &nbsp;&nbsp;&nbsp; DriverInstall - HCA Ret 2 Error 0<br>\r
968                 <br>\r
969                 At this juncture, check the Device Manager and uninstall the PCI \r
970                 device from 'InfiniBand Host Channel Adapters', and make sure you uninstall the system device\r
971                 'InfiniBand Fabric' if it is present.<br>\r
972                 <br>\r
973                 <u><b>REBOOT</b></u> and retry the WinOF installation again.</font><p>\r
974                 <font face="Arial">See \r
975                 ibscan.bat and ibcleanup.bat @\r
976                 <a href="http://www.openfabrics.org/downloads/WinOF/etc/">\r
977                 http://www.openfabrics.org/downloads/WinOF/etc/</a>.<br>\r
978                 ibscan will display WinOF files on your system.<br>\r
979                 ibcleanup will attempt to remove all WinOF files from your syste. \r
980                 WARNING - ibcleanup is not valid as a WinOF uninstall tool!</font><p><a href="#WinOF_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a><p>&nbsp;</div>\r
981 </div>\r
982 <h3><u><a name="Correct_Installation_Validation">Correct Installation Validation</a></u></h3>\r
983 <p><font face="Arial">From the Device Manager you should find the following devices:</font></p>\r
984 <ul>\r
985         <li><font face="Arial">From a command window type 'devmgmt.msc' </font></li>\r
986         <li><font face="Arial">InfiniBand Host Channel Adapters -&gt; InfiniHost or Mellanox ConnectX</font></li>\r
987         <li><font face="Arial">The System Devices -&gt; InfiniBand Fabric device is no longer present in \r
988         WinOF 2.0 and following releases.</font></li>\r
989         <li><font face="Arial">Network Adapters -&gt; OpenIB IPoIB Adapter (an Instance per HCA port).</font></li>\r
990 </ul>\r
991 <blockquote>\r
992         <h4><font face="Arial">Validation Test</font></h4>\r
993         <p><font face="Arial">Open a WinOF command window</font></p>\r
994         <ol>\r
995                 <li><font face="Arial">Start-&gt;Program Files-&gt;Windows OpenFabrics -&gt; Command \r
996 Window</font></li>\r
997                 <li><font face="Arial">run vstat.exe to view HCA configuration.</font></li>\r
998                 <li><font face="Arial">If IPoIB is installed (Device Manager-&gt;Network Adapters), ping another node on the InfiniBand fabric 'ping a.b.c.d'<br>\r
999 &nbsp;</font></li>\r
1000         </ol>\r
1001 </blockquote>\r
1002 <p><a href="#WinOF_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
1003 <p>&nbsp;</p>\r
1004 <BLOCKQUOTE></BLOCKQUOTE>\r
1005 <h2><u><a name="OpenIB_Subnet_Management_as_a_Windows_Service">Subnet Management as a Windows Service</a></u></h2>\r
1006 <p><font face="Arial">Limit the number of Subnet Managers on your fabric; one SM per fabric is \r
1007 sufficient, although redundant Subnet Managers are supported.</font></p>\r
1008 <ol>\r
1009         <li><font face="Arial">After a 'typical' WinOF install, OpenSM is installed as a <b>disabled</b> \r
1010         Windows service named &quot;InfiniBand Subnet Management&quot;.<br>\r
1011         To start the OpenSM service, from a command window type 'services.msc' to \r
1012         start the Services manager.&nbsp; From the Services manager, find and select \r
1013         'InfiniBand Subnet Manager' view; Click the start button and set the service properties to 'auto' in order to restart on the next \r
1014         system reboot.<br>\r
1015 &nbsp;</font></li>\r
1016         <li><font face="Arial">Install OpenSM as an automatic/running Windows service:<br>\r
1017         a) Select the 'OpenSM_service_Started' install feature. Once \r
1018         the install has completed, check that the Infiniband Subnet Manager service \r
1019         is running: From a command windows type 'services.msc' to start the Services \r
1020         manager. Find and open the InfiniBand Subnet \r
1021         Manager view.<br>\r
1022 &nbsp;</font></li>\r
1023         <li><font face="Arial">Consult the OpenSM log file @ %SystemRoot%\temp\osm.log to see what \r
1024         OpenSM thinks is happening.</font></li>\r
1025 </ol>\r
1026 <p><a href="#WinOF_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
1027 <p>&nbsp;</p>\r
1028 <BLOCKQUOTE></BLOCKQUOTE>\r
1029 <h2><u><a name="Local_Network_Adapter_Ordering">Local Network Adapter Ordering</a></u></h2>\r
1030 <p><font face="Arial">Local Network Adapter ordering, which results in the IP address advertised \r
1031 for the system, can be managed from<br>&nbsp;&nbsp;&nbsp; 'My Network Places-&gt; Advanced Tab-&gt; Advanced settings'<br>From the Advanced settings display, the ordering \r
1032 of Local Network Adapters can be \r
1033 reordered after the IPoIB Local Network Adapters have been installed. Please \r
1034 check for your desired adapter ordering.<br></font><br>\r
1035 <font color="#000000"><a href="#WinOF_Release_Notes"><font color="#000000">\r
1036 &lt;Return-to-Top&gt;</font></a></font></p>\r
1037 <p>&nbsp;</p>\r
1038 <BLOCKQUOTE></BLOCKQUOTE>\r
1039 <h2><u><a name="Which_WinOF_release_is_installed">Which WinOF release is installed</a></u><a name="Which_WinOF_release_is_installed">?</a></h2>\r
1040 <ol>\r
1041         <li><font face="Arial">Add/Remove Programs entry identifies the WinOF release version.</font></li>\r
1042         <li><font face="Arial">Start-&gt;Programs-&gt;Windows OpenFabrics-&gt;Release Notes&nbsp; \r
1043 (2nd Line)</font></li>\r
1044         <li><font face="Arial">Driver confirmation from the Device Manager:<br>&nbsp;&nbsp;&nbsp; Query My Computer-&gt; Manage-&gt; Device Manager-&gt; Network \r
1045 Adapters-&gt; OpenFabrics IPoIB Adapter-&gt; Properties-&gt; Driver-&gt; Details<br>&nbsp;&nbsp;&nbsp; The subversion (svn) revision number will be listed under \r
1046 'Driver Version'. The svn revision number will match what's listed in the \r
1047 release notes.</font></li>\r
1048         <li><font face="Arial">Hold the mouse point over \Program Files(x86)\WinOF\ib_read_bw.exe to display \r
1049 the file version; [WinOF-Major.Minor.not-used.svn revision number].</font></li>\r
1050 </ol>\r
1051 <ul>\r
1052         <li><font face="Arial">WinOF 1.0 is based on openib-windows <b><u>svn revision 614</u></b> @\r
1053         <a href="http://openib.tc.cornell.edu/downloads/binaries/">http://openib.tc.cornell.edu/downloads/binaries/</a> .<br>\r
1054 &nbsp;</font></li>\r
1055         <li><font face="Arial">WinOF 1.0.1 is based on openib-windows <b><u>svn revision 864</u></b>.<br>\r
1056 &nbsp;</font></li>\r
1057         <li><font face="Arial">WinOF 1.1 is based on openib-windows <b><u>\r
1058         (svn revision 1177 branches\WOF1-1).<br>\r
1059 &nbsp;</u></b></font></li>\r
1060         <li><font face="Arial">WinOF 2.0 is based on<b> (<u>svn.1763 branches\WOF2-0</u>)<br>\r
1061 &nbsp;</b></font></li>\r
1062         <li><font face="Arial">WinOF 2.1 is based on<b> (<u>svn.2210 branches\WOF2-1</u>)</b></font></li>\r
1063 </ul>\r
1064 <p><a href="#WinOF_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
1065 <p>&nbsp;</p>\r
1066 <BLOCKQUOTE></BLOCKQUOTE>\r
1067 <h2><u><a name="QLogic_VNIC_Configuration">QLogic VNIC Configuration</a></u></h2>\r
1068 <p><font face="Arial">\r
1069 <span style="font-size: 12pt; ">The QLogic VNIC \r
1070 (Virtual Network Interface Card) driver in conjunction with the QLogic Ethernet \r
1071 Virtual I/O Controller (EVIC) provides virtual Ethernet interfaces and transport \r
1072 for Ethernet packets over Infiniband.<br>\r
1073 <br>\r
1074 Users can modify NIC parameters through User Interface icon in Network \r
1075 Connections:<br>\r
1076 ( Properties-&gt;&quot;Configure...&quot; button -&gt; &quot;Advanced&quot; Tab).</span></p>\r
1077 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1078 <span style="font-size: 12pt; ">Parameters \r
1079 available:<br>\r
1080 <br>\r
1081 Vlan Id (802.1Q)&nbsp;</span></p>\r
1082 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1083 <span style="font-size: 12pt; ">&nbsp; values from 0 to \r
1084 4094 ( default&nbsp;<span class="899314318-23042008">0, </span>disabled )<br>\r
1085 &nbsp; This specifies if VLAN ID-marked packet transmission is enabled and, if so, \r
1086 specifies the ID.<br>\r
1087 <br>\r
1088 Priority (802.1P)</span></p>\r
1089 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1090 <span style="font-size: 12pt; ">&nbsp; values from 0 to 7 \r
1091 ( default 0, feature disabled)<br>\r
1092 &nbsp; This specifies if priority-marked packet transmission is enabled.<br>\r
1093 <br>\r
1094 Payload MTU size&nbsp;</span></p>\r
1095 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1096 <span style="font-size: 12pt; ">&nbsp; values from 1500 \r
1097 to 9500 (default 1500)<br>\r
1098 &nbsp; This specifies the maximum transfer unit size in 100 bytes increments.<br>\r
1099 <br>\r
1100 Recv ChkSum offload&nbsp;</span></p>\r
1101 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1102 <span style="font-size: 12pt; ">&nbsp; (default enabled)<br>\r
1103 &nbsp; This specifies if IP protocols checksum calculations for receive is offloaded.<br>\r
1104 <br>\r
1105 Send ChkSum offload</span></p>\r
1106 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1107 <span style="font-size: 12pt; ">&nbsp; (default enabled)<br>\r
1108 &nbsp; This specifies if IP protocols checksum calculations for send is offloaded.<br>\r
1109 &nbsp;</span></p>\r
1110 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1111 <span style="font-size: 12pt; ">Secondary Path&nbsp;</span></p>\r
1112 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1113 <span style="font-size: 12pt; ">&nbsp;&nbsp; (default \r
1114 disabled)<br>\r
1115 &nbsp;&nbsp; Enabled - If more than one IB path to IOC exist then secondary IB instance of \r
1116 virtual port will be created and configured with the same parameters as primary \r
1117 one. Failover from Primary to Secondary IB path is transparent for user \r
1118 application sending data through associated NIC.<br>\r
1119 <br>\r
1120 &nbsp;&nbsp; Disabled \96 only one path at a time is allowed. If more than one path to IOC \r
1121 exists then failed path will be destroyed and next available path will be used \r
1122 for new connection. With this scenario there is a possibility new interface \r
1123 instance will be assigned different MAC address when other hosts compete for \r
1124 EVIC resources.<br>\r
1125 &nbsp;</span></p>\r
1126 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1127 <font face="Arial" size="3">LBFO Bundle Id<br>\r
1128 &nbsp;&nbsp; (default disabled) Enabling support for OS provided Load Balancing and Fail \r
1129 Over functionality on adapter level.<br>\r
1130 &nbsp;&nbsp; If enabled group ID can be selected from predefined names.</font></p>\r
1131 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1132 <span style="font-size: 12pt; ">&nbsp;</span></p>\r
1133 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1134 <span style="font-size: 12pt; ">Heartbeat interval</span></p>\r
1135 <p class="MsoPlainText" style="MARGIN: 0in 0in 0pt">\r
1136 <span style="font-size: 12pt; ">&nbsp;&nbsp; configures \r
1137 interval for VNIC protocol heartbeat messages in milliseconds.<br>\r
1138 &nbsp;&nbsp; 0 \96 heartbeats disabled.<br>\r
1139 <br>\r
1140 Note:<br>\r
1141 &nbsp;&nbsp; To take advantage of the features supported by these options, ensure that the \r
1142 Ethernet gateway is also configured appropriately.&nbsp; For example, if the Payload \r
1143 MTU for a VNIC interface is set to&nbsp;<span class="899314318-23042008">4</span>000, \r
1144 the MTU at the EVIC module must also be set at least&nbsp;<span class="899314318-23042008">4</span>000 \r
1145 for the setting to take effect.</span></p>\r
1146 </font>\r
1147 <p><a href="#WinOF_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
1148 <p>&nbsp;</p>\r
1149 <BLOCKQUOTE></BLOCKQUOTE>\r
1150 <h2><u><a name="DAT_&amp;_uDAPL_Configuration">DAT &amp; uDAPL Configuration</a></u></h2>\r
1151 <p align="left"><font face="Arial">In order for DAT/DAPL programs to execute correctly, the 'dat.dll' \r
1152 file must be present in the current directory,\r
1153 %SystemRoot% or in the library search path.</font></p>\r
1154 <p align="left"><font face="Arial">WinOF installation places the dat.dll and dapl.dll \r
1155 files in the '%SystemRoot%' \r
1156 folder (a.k.a. \Windows).</font></p>\r
1157 <p align="left"><font face="Arial">The DAT/DAPL configuration file by convention is defined as \r
1158 '%SystemDrive%\DAT\dat.conf'. If the file '%SystemDrive%\DAT\dat.conf' does not exist, \r
1159 a template configuration file will be installed as '%SystemDrive%\DAT\dat.conf'.<br>\r
1160 In order to preserve existing installations, the dat.conf file is not \r
1161 automatically installed if '%SystemDrive%\DAT\dat.conf' exists.<br>\r
1162 A sample dat.conf file is always installed as '\Program Files (x86)\WinOF\dat.conf \r
1163 '.</font></p>\r
1164 <p align="left"><font face="Arial">The default DAT configuration file specification can be overridden by use \r
1165 of the environment variable DAT_OVERRIDE. Such that 'DAT_OVERRIDE=D:\MyDAT\test.conf' \r
1166 would be a valid override specification.</font></p>\r
1167 <p align="left"><font face="Arial">Within the dat.conf file, the DAPL library specification can be \r
1168 located as the 5th whitespace separated line argument. By default the DAPL \r
1169 library file is installed as %WINDIR%\dapl.dll'.</font></p>\r
1170 <p align="left"><font face="Arial">Should you choose to relocate the DAPL library file to a folder \r
1171 where whitespace appears in the full library path specification, then the full \r
1172 library file specification must be contained within double-quotes. A side effect \r
1173 of the double-quotes is the library specification is treated as a Windows string \r
1174 which implies the '\' (backslash character) is treated as an 'escape' character.&nbsp; \r
1175 Hence all backslashes in the library path must be duplicated when enclosed in \r
1176 double-quotes (e.g., &quot;C:\\Programs Files (x86)\\WinOF\\dapl.dll&quot;).</font></p>\r
1177 <h4 align="left"><span style="font-weight: 400"><font face="Arial">DAT/DAPL version 2.0 runtime \r
1178 libraries are identified as dat2.dll and dapl2.dll, both in %SystemRoot%; see \r
1179 manual for further details.</font><br>\r
1180 &nbsp;</span></h4>\r
1181 <p align="left"><a href="#WinOF_Release_Notes"><font color="#000000">\r
1182 &lt;Return-to-Top&gt;</font></a></p>\r
1183 <p align="left">&nbsp;</p>\r
1184 <BLOCKQUOTE></BLOCKQUOTE>\r
1185 <h2 align="left"><u><a name="SRP_-_SCSI_RDMA_Protocol_Driver_Installation">SRP (SCSI RDMA Protocol) Driver Installation</a></u></h2>\r
1186 <p align="left"><font face="Arial">The WinOF installer does not install the SRP driver as part of a default \r
1187 installation.&nbsp; \r
1188 If the SRP feature is selected in the custom installation window, an InfiniBand \r
1189 SRP Miniport driver will be installed; see the device manager view under SCSI \r
1190 and RAID controllers.</font></p>\r
1191 <p align="left"><font face="Arial">The system device 'InfiniBand I/O Unit' (IOU) \r
1192 device is required for correct SRP operation.&nbsp; The WinOF installer will \r
1193 install/load the IOU driver if the SRP feature is selected.&nbsp; See the device \r
1194 manager view System Devices --&gt; InfiniBand I/O Unit for conformation of correct \r
1195 IOU driver loading.</font></p>\r
1196 <p align="left"><font face="Arial">In order for the SRP miniport driver installation to complete, an SRP target must be\r
1197 detected by a Subnet Manager running somewhere on the InfiniBand fabric; either \r
1198 a local or remote Subnet Manager works.</font></p>\r
1199 <h3 align="left"><u>SRP Driver Uninstall</u></h3>\r
1200 <p align="left"><font face="Arial">If the SRP (SCSI RDMA Protocol) driver has been previously \r
1201 installed, then in order to achieve a 'clean' uninstall, the SRP target drive(s) \r
1202 must be released.&nbsp;&nbsp; Unfortunately the 'offline disk' command is only \r
1203 valid for diskpart (ver 6.0.6001) which is not distributed with Windows Server \r
1204 2003 or XP.</font></p>\r
1205 <ul>\r
1206         <li><font face="Arial">Use the following diskpart.exe commands from an administrator privileged \r
1207         command window:</font></li>\r
1208         <li>\r
1209         <font face="Arial">\r
1210         <a href="file:///c:/windows/temp" style="color: blue; text-decoration: underline">\r
1211         c:\windows\temp</a>&gt; diskpart.exe<br>\r
1212 &nbsp;&nbsp;&nbsp; SELECT VOLUME=&lt;Drive Letter of the SRP target to be released&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \r
1213         # example: SELECT VOLUME=L<br>\r
1214 &nbsp;&nbsp;&nbsp; OFFLINE DISK<br>\r
1215 &nbsp;&nbsp;&nbsp; EXIT</font></li>\r
1216         <li><font face="Arial">For additional SRP drives, repeat SELECT &amp; OFFLINE DISK with new Drive \r
1217         Letter.</font></li>\r
1218 </ul>\r
1219 <p><font face="Arial">The consequences of not releasing the SRP target drive(s) are that after the \r
1220 WinOF uninstall reboot there are lingering InfiniBand driver files. These driver \r
1221 files remain because while the SRP target is active they have references, thus \r
1222 when the WinOF uninstall attempts to delete the files the operation fails.</font></p>\r
1223 <p align="left">\r
1224 <br>\r
1225 <a href="#WinOF_Release_Notes"><font color="#000000">&lt;Return-to-Top&gt;</font></a></p>\r
1226 <p align="left">&nbsp;</p>\r
1227 <div class=Section1>\r
1228 \r
1229 <BLOCKQUOTE></BLOCKQUOTE>\r
1230 <h2><a name="WinVerbs">WinVerbs</a></h2>\r
1231 <p><font face="Arial">WinVerbs is a userspace verbs and communication management interface \r
1232 optimized\r
1233 for the Windows operating system. Its lower interface is designed to support\r
1234 any RDMA based device, including Infiniband and iWarp. Its upper interface is\r
1235 capable of providing a low latency verbs interface, plus supports Microsoft's\r
1236 NetworkDirect Interface, DAPL, and OFED libibverbs interfaces. It consists of<br>\r
1237 a userspace library and a kernel filter driver.<br>\r
1238 <br>\r
1239 The WinVerbs and WinMAD drivers load as upper filter drivers for the Infiniband HCA \r
1240 device.<br>\r
1241 (Open source iWarp drivers for Windows are not yet available.)&nbsp; A corresponding<br>\r
1242 WinVerbs.dll and libibmad.dll\r
1243 userspace libraries install as part of the Winverbs driver installation package.<br>\r
1244 Additionally, a Windows port of the OFED libibverbs library, several test\r
1245 programs and OFED InfiniBand diagnostic utilities are also included.</font></p>\r
1246 <p><font face="Arial">As of WinOF 2.1, Winverbs components are now integral \r
1247 components of a default WinOF installation.<br>\r
1248 Although WinVerbs, WinMAD drivers, OFED libraries and utilities are install \r
1249 selectable features, they are automatically included as part of the default \r
1250 WinOF install.</font></p>\r
1251 \r
1252 </div>\r
1253 \r
1254 <p class="MsoPlainText">\r
1255 <a href="#WinOF_Release_Notes" style="color: blue; text-decoration: underline"><font color="#000000">\r
1256 &lt;Return-to-Top&gt;</font></a><br>\r
1257 &nbsp;</p>\r
1258 <BLOCKQUOTE></BLOCKQUOTE>\r
1259 <h2><u><a name="Known_Issues">Known Issues</a></u><font face="Arial" size="3"><br>&nbsp;</font></h2>\r
1260 \r
1261 <ul>\r
1262         <li>\r
1263         <p class=MsoPlainText><font face="Arial" size="3">IPoIB partition \r
1264         multicast \r
1265         support requires IGMP (Internet Gateway Management Protocol) v2 Windows default is v3.<br>&nbsp;</font></p>\r
1266         <div><span class="395594910-04112008"><font face="Arial">Partition \r
1267                 multicast on ipoib will only work if the machine is configured to use \r
1268                 IGMP V2 (and not V3 which is the default).</font></span></div>\r
1269         <div><span class="395594910-04112008"><font face="Arial">To \r
1270                 configure your machine to use IGMP v2 please do the following:</font></span></div>\r
1271         <div><span class="395594910-04112008"></span><font face="Arial">&nbsp;</font></div>\r
1272         <div><span class="395594910-04112008"><font face="Arial">Server \r
1273                 2003 or XP:</font></span></div>\r
1274         <div><span class="395594910-04112008">\r
1275                 <p class="MsoNormal"><font size="3" face="Arial">netsh routing ip igmp install</font></span></div>\r
1276         <div><span class="395594910-04112008"><font face="Arial" size="2">\r
1277                 <p class="MsoNormal"><font size="3" face="Arial">netsh routing ip igmp install add \r
1278                 interface &quot;interface name of IPoIB adapter&quot;&nbsp; igmpprototype=igmprtrv2</font></p>\r
1279                 </font><font face="Arial" color="#0000ff" size="2">\r
1280                 <font face="Arial" size="2">\r
1281                 <p class="MsoNormal"></font><font size="3"><font face="Arial" size="2">If&nbsp;IGMP&nbsp;V3 is still used,&nbsp;please follow the instructions on</font><span style="color: navy"><font face="Arial" color="#0000ff" size="2">\r
1282                 <font color="#0000ff">(</font><a title="blocked::http://support.microsoft.com/default.aspx/kb/815752" style="color: blue; text-decoration: underline" href="http://support.microsoft.com/default.aspx/kb/815752">http://support.microsoft.com/default.aspx/kb/815752</a></font></span></font><span style="color: navy"><font size="3" color="#0000ff" face="Arial">)</font></span></p>\r
1283                 <p class="MsoNormal">&nbsp;</p></font>\r
1284                 <font face="Arial" size="2">\r
1285                 <p class="MsoNormal"><font size="3" face="Arial">Server 2008,</font></font><font size="3" face="Arial"> \r
1286                 HPC or Vista:</font></span></div>\r
1287         <div><span class="395594910-04112008">\r
1288                 <font face="Arial" color="#000080">If the netsh command is not \r
1289                 available, then you will need to install via the command 'servermanagercmd.exe \r
1290                 -install NPAS-RRAS-Services'.</font></span></div>\r
1291         <div><span class="395594910-04112008"><font face="Tahoma" color="#0000ff">\r
1292                 <div>\r
1293                         <p class="MsoNormal"><font face="Arial"><span style="color: navy"><font size="3">netsh \r
1294                         routing ip igmp </font></span><font color="navy" size="3">\r
1295                         <span style="color: navy">install</span></font></font></div>\r
1296                 <div><font face="Arial" color="#0000ff" size="2">\r
1297                         <p class="MsoNormal"><font face="Arial"><span style="color: navy"><font size="3">netsh \r
1298                         routing ip igmp install </font></span><font color="navy" size="3">\r
1299                         <span style="color: navy">add interface &quot;interface name of IPoIB \r
1300                         adapter&quot;&nbsp; igmpprototype=igmprtrv2</span></font></font></p>\r
1301                         <p class="MsoNormal">&nbsp;</p></font></font>\r
1302                         <font face="Tahoma" size="2">\r
1303                         <p class="MsoNormal"><font face="Arial">F</font></font><font size="3" face="Arial">uture WinOF releases</font><font size="2" face="Arial"> \r
1304                         will support IGMP V3.</font></div></span></div>\r
1305         <p class=MsoPlainText>&nbsp;</p></li>\r
1306         <li>\r
1307         <p class=MsoPlainText><font face="Arial" size="3">Sometimes an \r
1308         errant &quot;Welcome to the Found New Hardware Wizard&quot; window pops up during \r
1309         InfiniBand device installation on XP or Server 2003.<br>Just 'cancel' the FNHW popup window and proceed with installation.<br>An artifact of the 'Cancel' operation may cause a taskbar Information bubble \r
1310         to appear which incorrectly claims problems with the Infiniband device \r
1311         installation; Check IB device status via the Device Manager.</font></p></li>\r
1312 </ul>\r
1313 \r
1314 </div>\r
1315 <div class=Section1>\r
1316 \r
1317 <ul>\r
1318         <li>\r
1319         <p class=MsoPlainText><font size="3" face="Arial">\r
1320         <span style="background-color: #FFFFFF">The Microsoft hotfix </span></font>\r
1321         <font face="Arial" color="navy" size="2">\r
1322         <span style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial">\r
1323         <a href="http://support.microsoft.com/kb/915858">\r
1324         http://support.microsoft.com/kb/915858</a> </span></font>\r
1325         <font size="3" face="Arial">\r
1326         <span style="background-color: #FFFFFF">is necessary for users of SRP in any \r
1327         of the Windows Server 2003 platforms.&nbsp; The hotfix is described in Article ID \r
1328         915858 and fixes problems in the eventlog where specific event ids (56, 118, \r
1329         129) are not found in the latest IoLogMsg.dll file.&nbsp; Without the correct \r
1330         information, there is no supplied way to decipher the event log data.<br>\r
1331         The SRP hotfix need not be installed by non-SRP users; however, if the \r
1332         hotfix is installed in a system without SRP, it will not have any negative \r
1333         effects.<br>\r
1334 &nbsp;</span></font></p></li>\r
1335         <li>\r
1336         <p class=MsoPlainText><span style="background-color: #FFFFFF">\r
1337         <font face="Arial" size="3">x64 Windows platforms do not exhibit \r
1338         the following SRP behavior.<br>\r
1339         SRP when run on a Windows 32-bit platform (x86) will exhibit SRP read \r
1340         transfer hangs when the size of the SRP read&nbsp; is greater-than&nbsp; 4096 \r
1341         bytes.</font></span></p>\r
1342         <div dir="ltr" align="left">\r
1343                 <span style="background-color: #FFFFFF">\r
1344                 <font face="Arial" size="3">Setting the registry entry </font></span>\r
1345                 <font face="Arial" size="2"><strong>HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\ibsrp\Parameters<span class="795394519-15052008">\ModeFlags</span></strong></font></div>\r
1346         <p class=MsoPlainText><span style="background-color: #FFFFFF">\r
1347         <font face="Arial" size="3">&nbsp;to 1 will \r
1348         enable &gt; 4KB transfers to proceed without hanging.</font></span><br>&nbsp;<font face="Times New Roman" size="3"><br>&nbsp;</font></p></li>\r
1349 </ul>\r
1350 <p class=MsoPlainText><a href="#WinOF_Release_Notes"><font color="#000000">\r
1351 &lt;Return-to-Top&gt;</font></a><br>\r
1352 &nbsp;</p>\r
1353 \r
1354 </div>\r
1355 \r
1356 </body>\r
1357 \r
1358 </html>\r