1a87b26a91ca4e793b2686f86a86313da81b6031
[people/peper/gpxe.git] / src / net / infiniband / ib_gma.c
1 /*
2  * Copyright (C) 2009 Michael Brown <mbrown@fensystems.co.uk>.
3  *
4  * This program is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU General Public License as
6  * published by the Free Software Foundation; either version 2 of the
7  * License, or any later version.
8  *
9  * This program is distributed in the hope that it will be useful, but
10  * WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * General Public License for more details.
13  *
14  * You should have received a copy of the GNU General Public License
15  * along with this program; if not, write to the Free Software
16  * Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
17  */
18
19 FILE_LICENCE ( GPL2_OR_LATER );
20
21 #include <stdint.h>
22 #include <stdlib.h>
23 #include <string.h>
24 #include <errno.h>
25 #include <stdio.h>
26 #include <unistd.h>
27 #include <byteswap.h>
28 #include <gpxe/infiniband.h>
29 #include <gpxe/iobuf.h>
30 #include <gpxe/ib_gma.h>
31
32 /**
33  * @file
34  *
35  * Infiniband General Management Agent
36  *
37  */
38
39 /** A MAD request */
40 struct ib_mad_request {
41         /** Associated GMA */
42         struct ib_gma *gma;
43         /** List of outstanding MAD requests */
44         struct list_head list;
45         /** Retry timer */
46         struct retry_timer timer;
47         /** Destination address */
48         struct ib_address_vector av;
49         /** MAD request */
50         union ib_mad mad;
51 };
52
53 /** GMA number of send WQEs
54  *
55  * This is a policy decision.
56  */
57 #define IB_GMA_NUM_SEND_WQES 4
58
59 /** GMA number of receive WQEs
60  *
61  * This is a policy decision.
62  */
63 #define IB_GMA_NUM_RECV_WQES 2
64
65 /** GMA number of completion queue entries
66  *
67  * This is a policy decision
68  */
69 #define IB_GMA_NUM_CQES 8
70
71 /** TID magic signature */
72 #define IB_GMA_TID_MAGIC ( ( 'g' << 24 ) | ( 'P' << 16 ) | ( 'X' << 8 ) | 'E' )
73
74 /** TID to use for next MAD request */
75 static unsigned int next_request_tid;
76
77 /*****************************************************************************
78  *
79  * Subnet management MAD handlers
80  *
81  *****************************************************************************
82  */
83
84 /**
85  * Construct directed route response, if necessary
86  *
87  * @v gma               General management agent
88  * @v mad               MAD response without DR fields filled in
89  * @ret mad             MAD response with DR fields filled in
90  */
91 static union ib_mad * ib_sma_dr_response ( struct ib_gma *gma,
92                                            union ib_mad *mad ) {
93         struct ib_mad_hdr *hdr = &mad->hdr;
94         struct ib_mad_smp *smp = &mad->smp;
95         unsigned int hop_pointer;
96         unsigned int hop_count;
97
98         /* Set response fields for directed route SMPs */
99         if ( hdr->mgmt_class == IB_MGMT_CLASS_SUBN_DIRECTED_ROUTE ) {
100                 hdr->status |= htons ( IB_SMP_STATUS_D_INBOUND );
101                 hop_pointer = smp->mad_hdr.class_specific.smp.hop_pointer;
102                 hop_count = smp->mad_hdr.class_specific.smp.hop_count;
103                 assert ( hop_count == hop_pointer );
104                 if ( hop_pointer < ( sizeof ( smp->return_path.hops ) /
105                                      sizeof ( smp->return_path.hops[0] ) ) ) {
106                         smp->return_path.hops[hop_pointer] = gma->ibdev->port;
107                 } else {
108                         DBGC ( gma, "GMA %p invalid hop pointer %d\n",
109                                gma, hop_pointer );
110                         return NULL;
111                 }
112         }
113
114         return mad;
115 }
116
117 /**
118  * Get node information
119  *
120  * @v gma               General management agent
121  * @v mad               MAD
122  * @ret response        MAD response
123  */
124 static union ib_mad * ib_sma_get_node_info ( struct ib_gma *gma,
125                                              union ib_mad *mad ) {
126         struct ib_device *ibdev = gma->ibdev;
127         struct ib_node_info *node_info = &mad->smp.smp_data.node_info;
128
129         memset ( node_info, 0, sizeof ( *node_info ) );
130         node_info->base_version = IB_MGMT_BASE_VERSION;
131         node_info->class_version = IB_SMP_CLASS_VERSION;
132         node_info->node_type = IB_NODE_TYPE_HCA;
133         node_info->num_ports = ib_get_hca_info ( ibdev, &node_info->sys_guid );
134         memcpy ( &node_info->node_guid, &node_info->sys_guid,
135                  sizeof ( node_info->node_guid ) );
136         memcpy ( &node_info->port_guid, &ibdev->gid.u.half[1],
137                  sizeof ( node_info->port_guid ) );
138         node_info->partition_cap = htons ( 1 );
139         node_info->local_port_num = ibdev->port;
140
141         mad->hdr.method = IB_MGMT_METHOD_GET_RESP;
142         return ib_sma_dr_response ( gma, mad );
143 }
144
145 /**
146  * Get node description
147  *
148  * @v gma               General management agent
149  * @v mad               MAD
150  * @ret response        MAD response
151  */
152 static union ib_mad * ib_sma_get_node_desc ( struct ib_gma *gma,
153                                              union ib_mad *mad ) {
154         struct ib_device *ibdev = gma->ibdev;
155         struct ib_node_desc *node_desc = &mad->smp.smp_data.node_desc;
156         struct ib_gid_half *guid = &ibdev->gid.u.half[1];
157
158         memset ( node_desc, 0, sizeof ( *node_desc ) );
159         snprintf ( node_desc->node_string, sizeof ( node_desc->node_string ),
160                    "gPXE %02x:%02x:%02x:%02x:%02x:%02x:%02x:%02x (%s)",
161                    guid->bytes[0], guid->bytes[1], guid->bytes[2],
162                    guid->bytes[3], guid->bytes[4], guid->bytes[5],
163                    guid->bytes[6], guid->bytes[7], ibdev->dev->name );
164
165         mad->hdr.method = IB_MGMT_METHOD_GET_RESP;
166         return ib_sma_dr_response ( gma, mad );
167 }
168
169 /**
170  * Get GUID information
171  *
172  * @v gma               General management agent
173  * @v mad               MAD
174  * @ret response        MAD response
175  */
176 static union ib_mad * ib_sma_get_guid_info ( struct ib_gma *gma,
177                                              union ib_mad *mad ) {
178         struct ib_device *ibdev = gma->ibdev;
179         struct ib_guid_info *guid_info = &mad->smp.smp_data.guid_info;
180
181         memset ( guid_info, 0, sizeof ( *guid_info ) );
182         memcpy ( guid_info->guid[0], &ibdev->gid.u.half[1],
183                  sizeof ( guid_info->guid[0] ) );
184
185         mad->hdr.method = IB_MGMT_METHOD_GET_RESP;
186         return ib_sma_dr_response ( gma, mad );
187 }
188
189 /**
190  * Get port information
191  *
192  * @v gma               General management agent
193  * @v mad               MAD
194  * @ret response        MAD response
195  */
196 static union ib_mad * ib_sma_get_port_info ( struct ib_gma *gma,
197                                              union ib_mad *mad ) {
198         struct ib_device *ibdev = gma->ibdev;
199         struct ib_port_info *port_info = &mad->smp.smp_data.port_info;
200
201         memset ( port_info, 0, sizeof ( *port_info ) );
202         memcpy ( port_info->gid_prefix, &ibdev->gid.u.half[0],
203                  sizeof ( port_info->gid_prefix ) );
204         port_info->lid = ntohs ( ibdev->lid );
205         port_info->mastersm_lid = ntohs ( ibdev->sm_lid );
206         port_info->local_port_num = ibdev->port;
207         port_info->link_width_enabled = ibdev->link_width_enabled;
208         port_info->link_width_supported = ibdev->link_width_supported;
209         port_info->link_width_active = ibdev->link_width_active;
210         port_info->link_speed_supported__port_state =
211                 ( ( ibdev->link_speed_supported << 4 ) | ibdev->port_state );
212         port_info->port_phys_state__link_down_def_state =
213                 ( ( IB_PORT_PHYS_STATE_POLLING << 4 ) |
214                   IB_PORT_PHYS_STATE_POLLING );
215         port_info->link_speed_active__link_speed_enabled =
216                 ( ( ibdev->link_speed_active << 4 ) |
217                   ibdev->link_speed_enabled );
218         port_info->neighbour_mtu__mastersm_sl =
219                 ( ( IB_MTU_2048 << 4 ) | ibdev->sm_sl );
220         port_info->vl_cap__init_type = ( IB_VL_0 << 4 );
221         port_info->init_type_reply__mtu_cap = IB_MTU_2048;
222         port_info->operational_vls__enforcement = ( IB_VL_0 << 4 );
223         port_info->guid_cap = 1;
224
225         mad->hdr.method = IB_MGMT_METHOD_GET_RESP;
226         return ib_sma_dr_response ( gma, mad );
227 }
228
229 /**
230  * Set port information
231  *
232  * @v gma               General management agent
233  * @v mad               MAD
234  * @ret response        MAD response
235  */
236 static union ib_mad * ib_sma_set_port_info ( struct ib_gma *gma,
237                                              union ib_mad *mad ) {
238         struct ib_device *ibdev = gma->ibdev;
239         const struct ib_port_info *port_info = &mad->smp.smp_data.port_info;
240         unsigned int link_width_enabled;
241         unsigned int link_speed_enabled;
242         int rc;
243
244         memcpy ( &ibdev->gid.u.half[0], port_info->gid_prefix,
245                  sizeof ( ibdev->gid.u.half[0] ) );
246         ibdev->lid = ntohs ( port_info->lid );
247         ibdev->sm_lid = ntohs ( port_info->mastersm_lid );
248         if ( ( link_width_enabled = port_info->link_width_enabled ) )
249                 ibdev->link_width_enabled = link_width_enabled;
250         if ( ( link_speed_enabled =
251                ( port_info->link_speed_active__link_speed_enabled & 0xf ) ) )
252                 ibdev->link_speed_enabled = link_speed_enabled;
253         ibdev->sm_sl = ( port_info->neighbour_mtu__mastersm_sl & 0xf );
254         DBGC ( gma, "GMA %p set LID %04x SMLID %04x link width %02x speed "
255                "%02x\n", gma, ibdev->lid, ibdev->sm_lid,
256                ibdev->link_width_enabled, ibdev->link_speed_enabled );
257
258         if ( ( rc = ib_set_port_info ( ibdev, mad ) ) != 0 ) {
259                 DBGC ( gma, "GMA %p could not set port information: %s\n",
260                        gma, strerror ( rc ) );
261                 mad->hdr.status =
262                         htons ( IB_MGMT_STATUS_UNSUPPORTED_METHOD_ATTR );
263         }
264
265         return ib_sma_get_port_info ( gma, mad );
266 }
267
268 /**
269  * Get partition key table
270  *
271  * @v gma               General management agent
272  * @v mad               MAD
273  * @ret response        MAD response
274  */
275 static union ib_mad * ib_sma_get_pkey_table ( struct ib_gma *gma,
276                                               union ib_mad *mad ) {
277         struct ib_device *ibdev = gma->ibdev;
278         struct ib_pkey_table *pkey_table = &mad->smp.smp_data.pkey_table;
279
280         mad->hdr.method = IB_MGMT_METHOD_GET_RESP;
281         memset ( pkey_table, 0, sizeof ( *pkey_table ) );
282         pkey_table->pkey[0] = htons ( ibdev->pkey );
283
284         mad->hdr.method = IB_MGMT_METHOD_GET_RESP;
285         return ib_sma_dr_response ( gma, mad );
286 }
287
288 /**
289  * Set partition key table
290  *
291  * @v gma               General management agent
292  * @v mad               MAD
293  * @ret response        MAD response
294  */
295 static union ib_mad * ib_sma_set_pkey_table ( struct ib_gma *gma,
296                                               union ib_mad *mad ) {
297         struct ib_device *ibdev = gma->ibdev;
298         struct ib_pkey_table *pkey_table = &mad->smp.smp_data.pkey_table;
299         int rc;
300
301         ibdev->pkey = ntohs ( pkey_table->pkey[0] );
302         DBGC ( gma, "GMA %p set pkey %04x\n", gma, ibdev->pkey );
303
304         if ( ( rc = ib_set_pkey_table ( ibdev, mad ) ) != 0 ) {
305                 DBGC ( gma, "GMA %p could not set pkey table: %s\n",
306                        gma, strerror ( rc ) );
307                 mad->hdr.status =
308                         htons ( IB_MGMT_STATUS_UNSUPPORTED_METHOD_ATTR );
309         }
310
311         return ib_sma_get_pkey_table ( gma, mad );
312 }
313
314 /** List of attribute handlers */
315 struct ib_gma_handler ib_sma_handlers[] __ib_gma_handler = {
316         {
317                 .mgmt_class = IB_MGMT_CLASS_SUBN_LID_ROUTED,
318                 .mgmt_class_ignore = IB_SMP_CLASS_IGNORE,
319                 .class_version = IB_SMP_CLASS_VERSION,
320                 .method = IB_MGMT_METHOD_GET,
321                 .attr_id = htons ( IB_SMP_ATTR_NODE_INFO ),
322                 .handle = ib_sma_get_node_info,
323         },
324         {
325                 .mgmt_class = IB_MGMT_CLASS_SUBN_LID_ROUTED,
326                 .mgmt_class_ignore = IB_SMP_CLASS_IGNORE,
327                 .class_version = IB_SMP_CLASS_VERSION,
328                 .method = IB_MGMT_METHOD_GET,
329                 .attr_id = htons ( IB_SMP_ATTR_NODE_DESC ),
330                 .handle = ib_sma_get_node_desc,
331         },
332         {
333                 .mgmt_class = IB_MGMT_CLASS_SUBN_LID_ROUTED,
334                 .mgmt_class_ignore = IB_SMP_CLASS_IGNORE,
335                 .class_version = IB_SMP_CLASS_VERSION,
336                 .method = IB_MGMT_METHOD_GET,
337                 .attr_id = htons ( IB_SMP_ATTR_GUID_INFO ),
338                 .handle = ib_sma_get_guid_info,
339         },
340         {
341                 .mgmt_class = IB_MGMT_CLASS_SUBN_LID_ROUTED,
342                 .mgmt_class_ignore = IB_SMP_CLASS_IGNORE,
343                 .class_version = IB_SMP_CLASS_VERSION,
344                 .method = IB_MGMT_METHOD_GET,
345                 .attr_id = htons ( IB_SMP_ATTR_PORT_INFO ),
346                 .handle = ib_sma_get_port_info,
347         },
348         {
349                 .mgmt_class = IB_MGMT_CLASS_SUBN_LID_ROUTED,
350                 .mgmt_class_ignore = IB_SMP_CLASS_IGNORE,
351                 .class_version = IB_SMP_CLASS_VERSION,
352                 .method = IB_MGMT_METHOD_SET,
353                 .attr_id = htons ( IB_SMP_ATTR_PORT_INFO ),
354                 .handle = ib_sma_set_port_info,
355         },
356         {
357                 .mgmt_class = IB_MGMT_CLASS_SUBN_LID_ROUTED,
358                 .mgmt_class_ignore = IB_SMP_CLASS_IGNORE,
359                 .class_version = IB_SMP_CLASS_VERSION,
360                 .method = IB_MGMT_METHOD_GET,
361                 .attr_id = htons ( IB_SMP_ATTR_PKEY_TABLE ),
362                 .handle = ib_sma_get_pkey_table,
363         },
364         {
365                 .mgmt_class = IB_MGMT_CLASS_SUBN_LID_ROUTED,
366                 .mgmt_class_ignore = IB_SMP_CLASS_IGNORE,
367                 .class_version = IB_SMP_CLASS_VERSION,
368                 .method = IB_MGMT_METHOD_SET,
369                 .attr_id = htons ( IB_SMP_ATTR_PKEY_TABLE ),
370                 .handle = ib_sma_set_pkey_table,
371         },
372 };
373
374 /*****************************************************************************
375  *
376  * General management agent
377  *
378  *****************************************************************************
379  */
380
381 /**
382  * Call attribute handler
383  *
384  * @v gma               General management agent
385  * @v mad               MAD
386  * @ret mad             MAD response
387  */
388 static union ib_mad * ib_handle_mad ( struct ib_gma *gma, union ib_mad *mad ) {
389         struct ib_mad_hdr *hdr = &mad->hdr;
390         struct ib_gma_handler *handler;
391
392         for_each_table_entry ( handler, IB_GMA_HANDLERS ) {
393                 if ( ( ( handler->mgmt_class & ~handler->mgmt_class_ignore ) ==
394                        ( hdr->mgmt_class & ~handler->mgmt_class_ignore ) ) &&
395                      ( handler->class_version == hdr->class_version ) &&
396                      ( handler->method == hdr->method ) &&
397                      ( handler->attr_id == hdr->attr_id ) ) {
398                         return handler->handle ( gma, mad );
399                 }
400         }
401
402         hdr->method = IB_MGMT_METHOD_TRAP;
403         hdr->status = htons ( IB_MGMT_STATUS_UNSUPPORTED_METHOD_ATTR );
404         return mad;
405 }
406
407 /**
408  * Complete GMA receive
409  *
410  *
411  * @v ibdev             Infiniband device
412  * @v qp                Queue pair
413  * @v av                Address vector
414  * @v iobuf             I/O buffer
415  * @v rc                Completion status code
416  */
417 static void ib_gma_complete_recv ( struct ib_device *ibdev,
418                                    struct ib_queue_pair *qp,
419                                    struct ib_address_vector *av,
420                                    struct io_buffer *iobuf, int rc ) {
421         struct ib_gma *gma = ib_qp_get_ownerdata ( qp );
422         struct ib_mad_request *request;
423         union ib_mad *mad;
424         struct ib_mad_hdr *hdr;
425         union ib_mad *response;
426
427         /* Ignore errors */
428         if ( rc != 0 ) {
429                 DBGC ( gma, "GMA %p RX error: %s\n", gma, strerror ( rc ) );
430                 goto out;
431         }
432
433         /* Sanity checks */
434         if ( iob_len ( iobuf ) != sizeof ( *mad ) ) {
435                 DBGC ( gma, "GMA %p RX bad size (%zd bytes)\n",
436                        gma, iob_len ( iobuf ) );
437                 DBGC_HDA ( gma, 0, iobuf->data, iob_len ( iobuf ) );
438                 goto out;
439         }
440         mad = iobuf->data;
441         hdr = &mad->hdr;
442         if ( hdr->base_version != IB_MGMT_BASE_VERSION ) {
443                 DBGC ( gma, "GMA %p unsupported base version %x\n",
444                        gma, hdr->base_version );
445                 DBGC_HDA ( gma, 0, mad, sizeof ( *mad ) );
446                 goto out;
447         }
448         DBGC ( gma, "GMA %p RX TID %08x%08x (%02x,%02x,%02x,%04x) status "
449                "%04x\n", gma, ntohl ( hdr->tid[0] ), ntohl ( hdr->tid[1] ),
450                hdr->mgmt_class, hdr->class_version, hdr->method,
451                ntohs ( hdr->attr_id ), ntohs ( hdr->status ) );
452         DBGC2_HDA ( gma, 0, mad, sizeof ( *mad ) );
453
454         /* Dequeue request if applicable */
455         list_for_each_entry ( request, &gma->requests, list ) {
456                 if ( memcmp ( &request->mad.hdr.tid, &hdr->tid,
457                               sizeof ( request->mad.hdr.tid ) ) == 0 ) {
458                         stop_timer ( &request->timer );
459                         list_del ( &request->list );
460                         free ( request );
461                         break;
462                 }
463         }
464
465         /* Handle MAD */
466         if ( ( response = ib_handle_mad ( gma, mad ) ) == NULL )
467                 goto out;
468
469         /* Re-use I/O buffer for response */
470         memcpy ( mad, response, sizeof ( *mad ) );
471         DBGC ( gma, "GMA %p TX TID %08x%08x (%02x,%02x,%02x,%04x) status "
472                "%04x\n", gma, ntohl ( hdr->tid[0] ), ntohl ( hdr->tid[1] ),
473                hdr->mgmt_class, hdr->class_version, hdr->method,
474                ntohs ( hdr->attr_id ), ntohs ( hdr->status ) );
475         DBGC2_HDA ( gma, 0, mad, sizeof ( *mad ) );
476
477         /* Send MAD response, if applicable */
478         if ( ( rc = ib_post_send ( ibdev, qp, av,
479                                    iob_disown ( iobuf ) ) ) != 0 ) {
480                 DBGC ( gma, "GMA %p could not send MAD response: %s\n",
481                        gma, strerror ( rc ) );
482                 goto out;
483         }
484
485  out:
486         free_iob ( iobuf );
487 }
488
489 /** GMA completion operations */
490 static struct ib_completion_queue_operations ib_gma_completion_ops = {
491         .complete_recv = ib_gma_complete_recv,
492 };
493
494 /**
495  * Transmit MAD request
496  *
497  * @v gma               General management agent
498  * @v request           MAD request
499  * @ret rc              Return status code
500  */
501 static int ib_gma_send ( struct ib_gma *gma, struct ib_mad_request *request ) {
502         struct io_buffer *iobuf;
503         int rc;
504
505         DBGC ( gma, "GMA %p TX TID %08x%08x (%02x,%02x,%02x,%04x)\n",
506                gma, ntohl ( request->mad.hdr.tid[0] ),
507                ntohl ( request->mad.hdr.tid[1] ), request->mad.hdr.mgmt_class,
508                request->mad.hdr.class_version, request->mad.hdr.method,
509                ntohs ( request->mad.hdr.attr_id ) );
510         DBGC2_HDA ( gma, 0, &request->mad, sizeof ( request->mad ) );
511
512         /* Construct I/O buffer */
513         iobuf = alloc_iob ( sizeof ( request->mad ) );
514         if ( ! iobuf ) {
515                 DBGC ( gma, "GMA %p could not allocate buffer for TID "
516                        "%08x%08x\n", gma, ntohl ( request->mad.hdr.tid[0] ),
517                        ntohl ( request->mad.hdr.tid[1] ) );
518                 return -ENOMEM;
519         }
520         memcpy ( iob_put ( iobuf, sizeof ( request->mad ) ), &request->mad,
521                  sizeof ( request->mad ) );
522
523         /* Send I/O buffer */
524         if ( ( rc = ib_post_send ( gma->ibdev, gma->qp, &request->av,
525                                    iobuf ) ) != 0 ) {
526                 DBGC ( gma, "GMA %p could not send TID %08x%08x: %s\n",
527                        gma,  ntohl ( request->mad.hdr.tid[0] ),
528                        ntohl ( request->mad.hdr.tid[1] ), strerror ( rc ) );
529                 free_iob ( iobuf );
530                 return rc;
531         }
532
533         return 0;
534 }
535
536 /**
537  * Handle MAD request timer expiry
538  *
539  * @v timer             Retry timer
540  * @v expired           Failure indicator
541  */
542 static void ib_gma_timer_expired ( struct retry_timer *timer, int expired ) {
543         struct ib_mad_request *request =
544                 container_of ( timer, struct ib_mad_request, timer );
545         struct ib_gma *gma = request->gma;
546
547         /* Abandon TID if we have tried too many times */
548         if ( expired ) {
549                 DBGC ( gma, "GMA %p abandoning TID %08x%08x\n",
550                        gma, ntohl ( request->mad.hdr.tid[0] ),
551                        ntohl ( request->mad.hdr.tid[1] ) );
552                 list_del ( &request->list );
553                 free ( request );
554                 return;
555         }
556
557         /* Restart retransmission timer */
558         start_timer ( timer );
559
560         /* Resend request */
561         ib_gma_send ( gma, request );
562 }
563
564 /**
565  * Issue MAD request
566  *
567  * @v gma               General management agent
568  * @v mad               MAD request
569  * @v av                Destination address, or NULL for SM
570  * @v retry             Request should be retried until a response arrives
571  * @ret rc              Return status code
572  */
573 int ib_gma_request ( struct ib_gma *gma, union ib_mad *mad,
574                      struct ib_address_vector *av, int retry ) {
575         struct ib_device *ibdev = gma->ibdev;
576         struct ib_mad_request *request;
577
578         /* Allocate and initialise structure */
579         request = zalloc ( sizeof ( *request ) );
580         if ( ! request ) {
581                 DBGC ( gma, "GMA %p could not allocate MAD request\n", gma );
582                 return -ENOMEM;
583         }
584         request->gma = gma;
585         request->timer.expired = ib_gma_timer_expired;
586
587         /* Determine address vector */
588         if ( av ) {
589                 memcpy ( &request->av, av, sizeof ( request->av ) );
590         } else {
591                 request->av.lid = ibdev->sm_lid;
592                 request->av.sl = ibdev->sm_sl;
593                 request->av.qpn = IB_QPN_GSI;
594                 request->av.qkey = IB_QKEY_GSI;
595         }
596
597         /* Copy MAD body */
598         memcpy ( &request->mad, mad, sizeof ( request->mad ) );
599
600         /* Allocate TID */
601         request->mad.hdr.tid[0] = htonl ( IB_GMA_TID_MAGIC );
602         request->mad.hdr.tid[1] = htonl ( ++next_request_tid );
603
604         /* Send initial request.  Ignore errors; the retry timer will
605          * take care of those we care about.
606          */
607         ib_gma_send ( gma, request );
608
609         /* Add to list and start timer if applicable */
610         if ( retry ) {
611                 list_add ( &request->list, &gma->requests );
612                 start_timer ( &request->timer );
613         } else {
614                 free ( request );
615         }
616
617         return 0;
618 }
619
620 /**
621  * Create GMA
622  *
623  * @v ibdev             Infiniband device
624  * @v type              Queue pair type
625  * @ret gma             General management agent, or NULL
626  */
627 struct ib_gma * ib_create_gma ( struct ib_device *ibdev,
628                                 enum ib_queue_pair_type type ) {
629         struct ib_gma *gma;
630         int rc;
631
632         /* Allocate and initialise fields */
633         gma = zalloc ( sizeof ( *gma ) );
634         if ( ! gma )
635                 goto err_alloc;
636         gma->ibdev = ibdev;
637         INIT_LIST_HEAD ( &gma->requests );
638
639         /* Create completion queue */
640         gma->cq = ib_create_cq ( ibdev, IB_GMA_NUM_CQES,
641                                  &ib_gma_completion_ops );
642         if ( ! gma->cq ) {
643                 DBGC ( gma, "GMA %p could not allocate completion queue\n",
644                        gma );
645                 goto err_create_cq;
646         }
647
648         /* Create queue pair */
649         gma->qp = ib_create_qp ( ibdev, type, IB_GMA_NUM_SEND_WQES, gma->cq,
650                                  IB_GMA_NUM_RECV_WQES, gma->cq );
651         if ( ! gma->qp ) {
652                 DBGC ( gma, "GMA %p could not allocate queue pair\n", gma );
653                 goto err_create_qp;
654         }
655         ib_qp_set_ownerdata ( gma->qp, gma );
656         DBGC ( gma, "GMA %p running on QPN %#lx\n", gma, gma->qp->qpn );
657
658         /* Set queue key */
659         gma->qp->qkey = ( ( type == IB_QPT_SMI ) ? IB_QKEY_SMI : IB_QKEY_GSI );
660         if ( ( rc = ib_modify_qp ( ibdev, gma->qp ) ) != 0 ) {
661                 DBGC ( gma, "GMA %p could not set queue key: %s\n",
662                        gma, strerror ( rc ) );
663                 goto err_modify_qp;
664         }
665
666         /* Fill receive ring */
667         ib_refill_recv ( ibdev, gma->qp );
668         return gma;
669
670  err_modify_qp:
671         ib_destroy_qp ( ibdev, gma->qp );
672  err_create_qp:
673         ib_destroy_cq ( ibdev, gma->cq );
674  err_create_cq:
675         free ( gma );
676  err_alloc:
677         return NULL;
678 }
679
680 /**
681  * Destroy GMA
682  *
683  * @v gma               General management agent
684  */
685 void ib_destroy_gma ( struct ib_gma *gma ) {
686         struct ib_device *ibdev = gma->ibdev;
687         struct ib_mad_request *request;
688         struct ib_mad_request *tmp;
689
690         /* Flush any outstanding requests */
691         list_for_each_entry_safe ( request, tmp, &gma->requests, list ) {
692                 stop_timer ( &request->timer );
693                 list_del ( &request->list );
694                 free ( request );
695         }
696
697         ib_destroy_qp ( ibdev, gma->qp );
698         ib_destroy_cq ( ibdev, gma->cq );
699         free ( gma );
700 }