[infiniband] Always create an SMA and a GMA
[people/lynusvaz/gpxe.git] / src / net / infiniband / ib_gma.c
1 /*
2  * Copyright (C) 2009 Michael Brown <mbrown@fensystems.co.uk>.
3  *
4  * This program is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU General Public License as
6  * published by the Free Software Foundation; either version 2 of the
7  * License, or any later version.
8  *
9  * This program is distributed in the hope that it will be useful, but
10  * WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * General Public License for more details.
13  *
14  * You should have received a copy of the GNU General Public License
15  * along with this program; if not, write to the Free Software
16  * Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
17  */
18
19 FILE_LICENCE ( GPL2_OR_LATER );
20
21 #include <stdint.h>
22 #include <stdlib.h>
23 #include <string.h>
24 #include <errno.h>
25 #include <stdio.h>
26 #include <unistd.h>
27 #include <byteswap.h>
28 #include <gpxe/infiniband.h>
29 #include <gpxe/iobuf.h>
30 #include <gpxe/ib_gma.h>
31
32 /**
33  * @file
34  *
35  * Infiniband General Management Agent
36  *
37  */
38
39 /** A MAD request */
40 struct ib_mad_request {
41         /** Associated GMA */
42         struct ib_gma *gma;
43         /** List of outstanding MAD requests */
44         struct list_head list;
45         /** Retry timer */
46         struct retry_timer timer;
47         /** Destination address */
48         struct ib_address_vector av;
49         /** MAD request */
50         union ib_mad mad;
51 };
52
53 /** GMA number of send WQEs
54  *
55  * This is a policy decision.
56  */
57 #define IB_GMA_NUM_SEND_WQES 4
58
59 /** GMA number of receive WQEs
60  *
61  * This is a policy decision.
62  */
63 #define IB_GMA_NUM_RECV_WQES 2
64
65 /** GMA number of completion queue entries
66  *
67  * This is a policy decision
68  */
69 #define IB_GMA_NUM_CQES 8
70
71 /** TID magic signature */
72 #define IB_GMA_TID_MAGIC ( ( 'g' << 24 ) | ( 'P' << 16 ) | ( 'X' << 8 ) | 'E' )
73
74 /** TID to use for next MAD request */
75 static unsigned int next_request_tid;
76
77 /*****************************************************************************
78  *
79  * Subnet management MAD handlers
80  *
81  *****************************************************************************
82  */
83
84 /**
85  * Get node information
86  *
87  * @v gma               General management agent
88  * @v mad               MAD
89  * @ret rc              Return status code
90  */
91 static int ib_sma_get_node_info ( struct ib_gma *gma,
92                                   union ib_mad *mad ) {
93         struct ib_device *ibdev = gma->ibdev;
94         struct ib_node_info *node_info = &mad->smp.smp_data.node_info;
95
96         memset ( node_info, 0, sizeof ( *node_info ) );
97         node_info->base_version = IB_MGMT_BASE_VERSION;
98         node_info->class_version = IB_SMP_CLASS_VERSION;
99         node_info->node_type = IB_NODE_TYPE_HCA;
100         node_info->num_ports = ib_get_hca_info ( ibdev, &node_info->sys_guid );
101         memcpy ( &node_info->node_guid, &node_info->sys_guid,
102                  sizeof ( node_info->node_guid ) );
103         memcpy ( &node_info->port_guid, &ibdev->gid.u.half[1],
104                  sizeof ( node_info->port_guid ) );
105         node_info->partition_cap = htons ( 1 );
106         node_info->local_port_num = ibdev->port;
107
108         return 0;
109 }
110
111 /**
112  * Get node description
113  *
114  * @v gma               General management agent
115  * @v mad               MAD
116  * @ret rc              Return status code
117  */
118 static int ib_sma_get_node_desc ( struct ib_gma *gma,
119                                   union ib_mad *mad ) {
120         struct ib_device *ibdev = gma->ibdev;
121         struct ib_node_desc *node_desc = &mad->smp.smp_data.node_desc;
122         struct ib_gid_half *guid = &ibdev->gid.u.half[1];
123
124         memset ( node_desc, 0, sizeof ( *node_desc ) );
125         snprintf ( node_desc->node_string, sizeof ( node_desc->node_string ),
126                    "gPXE %02x:%02x:%02x:%02x:%02x:%02x:%02x:%02x (%s)",
127                    guid->bytes[0], guid->bytes[1], guid->bytes[2],
128                    guid->bytes[3], guid->bytes[4], guid->bytes[5],
129                    guid->bytes[6], guid->bytes[7], ibdev->dev->name );
130
131         return 0;
132 }
133
134 /**
135  * Get GUID information
136  *
137  * @v gma               General management agent
138  * @v mad               MAD
139  * @ret rc              Return status code
140  */
141 static int ib_sma_get_guid_info ( struct ib_gma *gma,
142                                   union ib_mad *mad ) {
143         struct ib_device *ibdev = gma->ibdev;
144         struct ib_guid_info *guid_info = &mad->smp.smp_data.guid_info;
145
146         memset ( guid_info, 0, sizeof ( *guid_info ) );
147         memcpy ( guid_info->guid[0], &ibdev->gid.u.half[1],
148                  sizeof ( guid_info->guid[0] ) );
149
150         return 0;
151 }
152
153 /**
154  * Get port information
155  *
156  * @v gma               General management agent
157  * @v mad               MAD
158  * @ret rc              Return status code
159  */
160 static int ib_sma_get_port_info ( struct ib_gma *gma,
161                                   union ib_mad *mad ) {
162         struct ib_device *ibdev = gma->ibdev;
163         struct ib_port_info *port_info = &mad->smp.smp_data.port_info;
164
165         memset ( port_info, 0, sizeof ( *port_info ) );
166         memcpy ( port_info->gid_prefix, &ibdev->gid.u.half[0],
167                  sizeof ( port_info->gid_prefix ) );
168         port_info->lid = ntohs ( ibdev->lid );
169         port_info->mastersm_lid = ntohs ( ibdev->sm_lid );
170         port_info->local_port_num = ibdev->port;
171         port_info->link_width_enabled = ibdev->link_width;
172         port_info->link_width_supported = ibdev->link_width;
173         port_info->link_width_active = ibdev->link_width;
174         port_info->link_speed_supported__port_state =
175                 ( ( ibdev->link_speed << 4 ) | ibdev->port_state );
176         port_info->port_phys_state__link_down_def_state =
177                 ( ( IB_PORT_PHYS_STATE_POLLING << 4 ) |
178                   IB_PORT_PHYS_STATE_POLLING );
179         port_info->link_speed_active__link_speed_enabled =
180                 ( ( ibdev->link_speed << 4 ) | ibdev->link_speed );
181         port_info->neighbour_mtu__mastersm_sl =
182                 ( ( IB_MTU_2048 << 4 ) | ibdev->sm_sl );
183         port_info->vl_cap__init_type = ( IB_VL_0 << 4 );
184         port_info->init_type_reply__mtu_cap = IB_MTU_2048;
185         port_info->operational_vls__enforcement = ( IB_VL_0 << 4 );
186         port_info->guid_cap = 1;
187
188         return 0;
189 }
190
191 /**
192  * Set port information
193  *
194  * @v gma               General management agent
195  * @v mad               MAD
196  * @ret rc              Return status code
197  */
198 static int ib_sma_set_port_info ( struct ib_gma *gma,
199                                   union ib_mad *mad ) {
200         struct ib_device *ibdev = gma->ibdev;
201         const struct ib_port_info *port_info = &mad->smp.smp_data.port_info;
202         int rc;
203
204         memcpy ( &ibdev->gid.u.half[0], port_info->gid_prefix,
205                  sizeof ( ibdev->gid.u.half[0] ) );
206         ibdev->lid = ntohs ( port_info->lid );
207         ibdev->sm_lid = ntohs ( port_info->mastersm_lid );
208         ibdev->sm_sl = ( port_info->neighbour_mtu__mastersm_sl & 0xf );
209
210         if ( ( rc = ib_set_port_info ( ibdev, port_info ) ) != 0 ) {
211                 DBGC ( ibdev, "IBDEV %p could not set port information: %s\n",
212                        ibdev, strerror ( rc ) );
213                 mad->hdr.status =
214                         htons ( IB_MGMT_STATUS_UNSUPPORTED_METHOD_ATTR );
215         }
216
217         return ib_sma_get_port_info ( gma, mad );
218 }
219
220 /**
221  * Get partition key table
222  *
223  * @v gma               General management agent
224  * @v mad               MAD
225  * @ret rc              Return status code
226  */
227 static int ib_sma_get_pkey_table ( struct ib_gma *gma,
228                                    union ib_mad *mad ) {
229         struct ib_device *ibdev = gma->ibdev;
230         struct ib_pkey_table *pkey_table = &mad->smp.smp_data.pkey_table;
231
232         memset ( pkey_table, 0, sizeof ( *pkey_table ) );
233         pkey_table->pkey[0] = htons ( ibdev->pkey );
234
235         return 0;
236 }
237
238 /**
239  * Set partition key table
240  *
241  * @v gma               General management agent
242  * @v mad               MAD
243  * @ret rc              Return status code
244  */
245 static int ib_sma_set_pkey_table ( struct ib_gma *gma,
246                                    union ib_mad *mad ) {
247         struct ib_device *ibdev = gma->ibdev;
248         struct ib_pkey_table *pkey_table = &mad->smp.smp_data.pkey_table;
249
250         ibdev->pkey = ntohs ( pkey_table->pkey[0] );
251
252         return ib_sma_get_pkey_table ( gma, mad );
253 }
254
255 /** List of attribute handlers */
256 struct ib_gma_handler ib_sma_handlers[] __ib_gma_handler = {
257         {
258                 .mgmt_class = IB_MGMT_CLASS_SUBN_LID_ROUTED,
259                 .mgmt_class_ignore = IB_SMP_CLASS_IGNORE,
260                 .class_version = IB_SMP_CLASS_VERSION,
261                 .method = IB_MGMT_METHOD_GET,
262                 .resp_method = IB_MGMT_METHOD_GET_RESP,
263                 .attr_id = htons ( IB_SMP_ATTR_NODE_INFO ),
264                 .handle = ib_sma_get_node_info,
265         },
266         {
267                 .mgmt_class = IB_MGMT_CLASS_SUBN_LID_ROUTED,
268                 .mgmt_class_ignore = IB_SMP_CLASS_IGNORE,
269                 .class_version = IB_SMP_CLASS_VERSION,
270                 .method = IB_MGMT_METHOD_GET,
271                 .resp_method = IB_MGMT_METHOD_GET_RESP,
272                 .attr_id = htons ( IB_SMP_ATTR_NODE_DESC ),
273                 .handle = ib_sma_get_node_desc,
274         },
275         {
276                 .mgmt_class = IB_MGMT_CLASS_SUBN_LID_ROUTED,
277                 .mgmt_class_ignore = IB_SMP_CLASS_IGNORE,
278                 .class_version = IB_SMP_CLASS_VERSION,
279                 .method = IB_MGMT_METHOD_GET,
280                 .resp_method = IB_MGMT_METHOD_GET_RESP,
281                 .attr_id = htons ( IB_SMP_ATTR_GUID_INFO ),
282                 .handle = ib_sma_get_guid_info,
283         },
284         {
285                 .mgmt_class = IB_MGMT_CLASS_SUBN_LID_ROUTED,
286                 .mgmt_class_ignore = IB_SMP_CLASS_IGNORE,
287                 .class_version = IB_SMP_CLASS_VERSION,
288                 .method = IB_MGMT_METHOD_GET,
289                 .resp_method = IB_MGMT_METHOD_GET_RESP,
290                 .attr_id = htons ( IB_SMP_ATTR_PORT_INFO ),
291                 .handle = ib_sma_get_port_info,
292         },
293         {
294                 .mgmt_class = IB_MGMT_CLASS_SUBN_LID_ROUTED,
295                 .mgmt_class_ignore = IB_SMP_CLASS_IGNORE,
296                 .class_version = IB_SMP_CLASS_VERSION,
297                 .method = IB_MGMT_METHOD_SET,
298                 .resp_method = IB_MGMT_METHOD_GET_RESP,
299                 .attr_id = htons ( IB_SMP_ATTR_PORT_INFO ),
300                 .handle = ib_sma_set_port_info,
301         },
302         {
303                 .mgmt_class = IB_MGMT_CLASS_SUBN_LID_ROUTED,
304                 .mgmt_class_ignore = IB_SMP_CLASS_IGNORE,
305                 .class_version = IB_SMP_CLASS_VERSION,
306                 .method = IB_MGMT_METHOD_GET,
307                 .resp_method = IB_MGMT_METHOD_GET_RESP,
308                 .attr_id = htons ( IB_SMP_ATTR_PKEY_TABLE ),
309                 .handle = ib_sma_get_pkey_table,
310         },
311         {
312                 .mgmt_class = IB_MGMT_CLASS_SUBN_LID_ROUTED,
313                 .mgmt_class_ignore = IB_SMP_CLASS_IGNORE,
314                 .class_version = IB_SMP_CLASS_VERSION,
315                 .method = IB_MGMT_METHOD_SET,
316                 .resp_method = IB_MGMT_METHOD_GET_RESP,
317                 .attr_id = htons ( IB_SMP_ATTR_PKEY_TABLE ),
318                 .handle = ib_sma_set_pkey_table,
319         },
320 };
321
322 /*****************************************************************************
323  *
324  * General management agent
325  *
326  *****************************************************************************
327  */
328
329 /**
330  * Call attribute handler
331  *
332  * @v gma               General management agent
333  * @v mad               MAD
334  * @ret rc              Return status code
335  */
336 static int ib_handle_mad ( struct ib_gma *gma, union ib_mad *mad ) {
337         struct ib_mad_hdr *hdr = &mad->hdr;
338         struct ib_gma_handler *handler;
339
340         for_each_table_entry ( handler, IB_GMA_HANDLERS ) {
341                 if ( ( ( handler->mgmt_class & ~handler->mgmt_class_ignore ) ==
342                        ( hdr->mgmt_class & ~handler->mgmt_class_ignore ) ) &&
343                      ( handler->class_version == hdr->class_version ) &&
344                      ( handler->method == hdr->method ) &&
345                      ( handler->attr_id == hdr->attr_id ) ) {
346                         hdr->method = handler->resp_method;
347                         return handler->handle ( gma, mad );
348                 }
349         }
350
351         hdr->method = IB_MGMT_METHOD_TRAP;
352         hdr->status = htons ( IB_MGMT_STATUS_UNSUPPORTED_METHOD_ATTR );
353         return -ENOTSUP;
354 }
355
356 /**
357  * Complete GMA receive
358  *
359  *
360  * @v ibdev             Infiniband device
361  * @v qp                Queue pair
362  * @v av                Address vector
363  * @v iobuf             I/O buffer
364  * @v rc                Completion status code
365  */
366 static void ib_gma_complete_recv ( struct ib_device *ibdev,
367                                    struct ib_queue_pair *qp,
368                                    struct ib_address_vector *av,
369                                    struct io_buffer *iobuf, int rc ) {
370         struct ib_gma *gma = ib_qp_get_ownerdata ( qp );
371         struct ib_mad_request *request;
372         union ib_mad *mad;
373         struct ib_mad_hdr *hdr;
374         unsigned int hop_pointer;
375         unsigned int hop_count;
376
377         /* Ignore errors */
378         if ( rc != 0 ) {
379                 DBGC ( gma, "GMA %p RX error: %s\n", gma, strerror ( rc ) );
380                 goto out;
381         }
382
383         /* Sanity checks */
384         if ( iob_len ( iobuf ) != sizeof ( *mad ) ) {
385                 DBGC ( gma, "GMA %p RX bad size (%zd bytes)\n",
386                        gma, iob_len ( iobuf ) );
387                 DBGC_HDA ( gma, 0, iobuf->data, iob_len ( iobuf ) );
388                 goto out;
389         }
390         mad = iobuf->data;
391         hdr = &mad->hdr;
392         if ( hdr->base_version != IB_MGMT_BASE_VERSION ) {
393                 DBGC ( gma, "GMA %p unsupported base version %x\n",
394                        gma, hdr->base_version );
395                 DBGC_HDA ( gma, 0, mad, sizeof ( *mad ) );
396                 goto out;
397         }
398         DBGC ( gma, "GMA %p RX TID %08x%08x (%02x,%02x,%02x,%04x) status "
399                "%04x\n", gma, ntohl ( hdr->tid[0] ), ntohl ( hdr->tid[1] ),
400                hdr->mgmt_class, hdr->class_version, hdr->method,
401                ntohs ( hdr->attr_id ), ntohs ( hdr->status ) );
402         DBGC2_HDA ( gma, 0, mad, sizeof ( *mad ) );
403
404         /* Dequeue request if applicable */
405         list_for_each_entry ( request, &gma->requests, list ) {
406                 if ( memcmp ( &request->mad.hdr.tid, &hdr->tid,
407                               sizeof ( request->mad.hdr.tid ) ) == 0 ) {
408                         stop_timer ( &request->timer );
409                         list_del ( &request->list );
410                         free ( request );
411                         break;
412                 }
413         }
414
415         /* Handle MAD, if possible */
416         if ( ( rc = ib_handle_mad ( gma, mad ) ) != 0 ) {
417                 DBGC ( gma, "GMA %p could not handle TID %08x%08x: %s\n",
418                        gma, ntohl ( hdr->tid[0] ), ntohl ( hdr->tid[1] ),
419                        strerror ( rc ) );
420                 /* Do not abort; we may want to send an error response */
421         }
422
423         /* Finish processing if we have no response to send */
424         if ( ! hdr->method )
425                 goto out;
426
427         DBGC ( gma, "GMA %p TX TID %08x%08x (%02x,%02x,%02x,%04x)\n", gma,
428                ntohl ( hdr->tid[0] ), ntohl ( hdr->tid[1] ), hdr->mgmt_class,
429                hdr->class_version, hdr->method, ntohs ( hdr->attr_id ) );
430         DBGC2_HDA ( gma, 0, mad, sizeof ( *mad ) );
431
432         /* Set response fields for directed route SMPs */
433         if ( hdr->mgmt_class == IB_MGMT_CLASS_SUBN_DIRECTED_ROUTE ) {
434                 struct ib_mad_smp *smp = &mad->smp;
435
436                 hdr->status |= htons ( IB_SMP_STATUS_D_INBOUND );
437                 hop_pointer = smp->mad_hdr.class_specific.smp.hop_pointer;
438                 hop_count = smp->mad_hdr.class_specific.smp.hop_count;
439                 assert ( hop_count == hop_pointer );
440                 if ( hop_pointer < ( sizeof ( smp->return_path.hops ) /
441                                      sizeof ( smp->return_path.hops[0] ) ) ) {
442                         smp->return_path.hops[hop_pointer] = ibdev->port;
443                 } else {
444                         DBGC ( gma, "GMA %p invalid hop pointer %d\n",
445                                gma, hop_pointer );
446                         goto out;
447                 }
448         }
449
450         /* Send MAD response, if applicable */
451         if ( ( rc = ib_post_send ( ibdev, qp, av,
452                                    iob_disown ( iobuf ) ) ) != 0 ) {
453                 DBGC ( gma, "GMA %p could not send MAD response: %s\n",
454                        gma, strerror ( rc ) );
455                 goto out;
456         }
457
458  out:
459         free_iob ( iobuf );
460 }
461
462 /** GMA completion operations */
463 static struct ib_completion_queue_operations ib_gma_completion_ops = {
464         .complete_recv = ib_gma_complete_recv,
465 };
466
467 /**
468  * Transmit MAD request
469  *
470  * @v gma               General management agent
471  * @v request           MAD request
472  * @ret rc              Return status code
473  */
474 static int ib_gma_send ( struct ib_gma *gma, struct ib_mad_request *request ) {
475         struct io_buffer *iobuf;
476         int rc;
477
478         DBGC ( gma, "GMA %p TX TID %08x%08x (%02x,%02x,%02x,%04x)\n",
479                gma, ntohl ( request->mad.hdr.tid[0] ),
480                ntohl ( request->mad.hdr.tid[1] ), request->mad.hdr.mgmt_class,
481                request->mad.hdr.class_version, request->mad.hdr.method,
482                ntohs ( request->mad.hdr.attr_id ) );
483         DBGC2_HDA ( gma, 0, &request->mad, sizeof ( request->mad ) );
484
485         /* Construct I/O buffer */
486         iobuf = alloc_iob ( sizeof ( request->mad ) );
487         if ( ! iobuf ) {
488                 DBGC ( gma, "GMA %p could not allocate buffer for TID "
489                        "%08x%08x\n", gma, ntohl ( request->mad.hdr.tid[0] ),
490                        ntohl ( request->mad.hdr.tid[1] ) );
491                 return -ENOMEM;
492         }
493         memcpy ( iob_put ( iobuf, sizeof ( request->mad ) ), &request->mad,
494                  sizeof ( request->mad ) );
495
496         /* Send I/O buffer */
497         if ( ( rc = ib_post_send ( gma->ibdev, gma->qp, &request->av,
498                                    iobuf ) ) != 0 ) {
499                 DBGC ( gma, "GMA %p could not send TID %08x%08x: %s\n",
500                        gma,  ntohl ( request->mad.hdr.tid[0] ),
501                        ntohl ( request->mad.hdr.tid[1] ), strerror ( rc ) );
502                 free_iob ( iobuf );
503                 return rc;
504         }
505
506         return 0;
507 }
508
509 /**
510  * Handle MAD request timer expiry
511  *
512  * @v timer             Retry timer
513  * @v expired           Failure indicator
514  */
515 static void ib_gma_timer_expired ( struct retry_timer *timer, int expired ) {
516         struct ib_mad_request *request =
517                 container_of ( timer, struct ib_mad_request, timer );
518         struct ib_gma *gma = request->gma;
519
520         /* Abandon TID if we have tried too many times */
521         if ( expired ) {
522                 DBGC ( gma, "GMA %p abandoning TID %08x%08x\n",
523                        gma, ntohl ( request->mad.hdr.tid[0] ),
524                        ntohl ( request->mad.hdr.tid[1] ) );
525                 list_del ( &request->list );
526                 free ( request );
527                 return;
528         }
529
530         /* Restart retransmission timer */
531         start_timer ( timer );
532
533         /* Resend request */
534         ib_gma_send ( gma, request );
535 }
536
537 /**
538  * Issue MAD request
539  *
540  * @v gma               General management agent
541  * @v mad               MAD request
542  * @v av                Destination address, or NULL for SM
543  * @v retry             Request should be retried until a response arrives
544  * @ret rc              Return status code
545  */
546 int ib_gma_request ( struct ib_gma *gma, union ib_mad *mad,
547                      struct ib_address_vector *av, int retry ) {
548         struct ib_device *ibdev = gma->ibdev;
549         struct ib_mad_request *request;
550
551         /* Allocate and initialise structure */
552         request = zalloc ( sizeof ( *request ) );
553         if ( ! request ) {
554                 DBGC ( gma, "GMA %p could not allocate MAD request\n", gma );
555                 return -ENOMEM;
556         }
557         request->gma = gma;
558         request->timer.expired = ib_gma_timer_expired;
559
560         /* Determine address vector */
561         if ( av ) {
562                 memcpy ( &request->av, av, sizeof ( request->av ) );
563         } else {
564                 request->av.lid = ibdev->sm_lid;
565                 request->av.sl = ibdev->sm_sl;
566                 request->av.qpn = IB_QPN_GMA;
567                 request->av.qkey = IB_QKEY_GMA;
568         }
569
570         /* Copy MAD body */
571         memcpy ( &request->mad, mad, sizeof ( request->mad ) );
572
573         /* Allocate TID */
574         request->mad.hdr.tid[0] = htonl ( IB_GMA_TID_MAGIC );
575         request->mad.hdr.tid[1] = htonl ( ++next_request_tid );
576
577         /* Send initial request.  Ignore errors; the retry timer will
578          * take care of those we care about.
579          */
580         ib_gma_send ( gma, request );
581
582         /* Add to list and start timer if applicable */
583         if ( retry ) {
584                 list_add ( &request->list, &gma->requests );
585                 start_timer ( &request->timer );
586         } else {
587                 free ( request );
588         }
589
590         return 0;
591 }
592
593 /**
594  * Create GMA
595  *
596  * @v ibdev             Infiniband device
597  * @v type              Queue pair type
598  * @ret gma             General management agent, or NULL
599  */
600 struct ib_gma * ib_create_gma ( struct ib_device *ibdev,
601                                 enum ib_queue_pair_type type ) {
602         struct ib_gma *gma;
603         unsigned long qkey;
604
605         /* Allocate and initialise fields */
606         gma = zalloc ( sizeof ( *gma ) );
607         if ( ! gma )
608                 goto err_alloc;
609         gma->ibdev = ibdev;
610         INIT_LIST_HEAD ( &gma->requests );
611
612         /* Create completion queue */
613         gma->cq = ib_create_cq ( ibdev, IB_GMA_NUM_CQES,
614                                  &ib_gma_completion_ops );
615         if ( ! gma->cq ) {
616                 DBGC ( gma, "GMA %p could not allocate completion queue\n",
617                        gma );
618                 goto err_create_cq;
619         }
620
621         /* Create queue pair */
622         qkey = ( ( type == IB_QPT_SMA ) ? IB_QKEY_SMA : IB_QKEY_GMA );
623         gma->qp = ib_create_qp ( ibdev, type, IB_GMA_NUM_SEND_WQES, gma->cq,
624                                  IB_GMA_NUM_RECV_WQES, gma->cq, qkey );
625         if ( ! gma->qp ) {
626                 DBGC ( gma, "GMA %p could not allocate queue pair\n", gma );
627                 goto err_create_qp;
628         }
629         ib_qp_set_ownerdata ( gma->qp, gma );
630
631         DBGC ( gma, "GMA %p running on QPN %#lx\n", gma, gma->qp->qpn );
632
633         /* Fill receive ring */
634         ib_refill_recv ( ibdev, gma->qp );
635         return gma;
636
637         ib_destroy_qp ( ibdev, gma->qp );
638  err_create_qp:
639         ib_destroy_cq ( ibdev, gma->cq );
640  err_create_cq:
641         free ( gma );
642  err_alloc:
643         return NULL;
644 }
645
646 /**
647  * Destroy GMA
648  *
649  * @v gma               General management agent
650  */
651 void ib_destroy_gma ( struct ib_gma *gma ) {
652         struct ib_device *ibdev = gma->ibdev;
653         struct ib_mad_request *request;
654         struct ib_mad_request *tmp;
655
656         /* Flush any outstanding requests */
657         list_for_each_entry_safe ( request, tmp, &gma->requests, list ) {
658                 stop_timer ( &request->timer );
659                 list_del ( &request->list );
660                 free ( request );
661         }
662
663         ib_destroy_qp ( ibdev, gma->qp );
664         ib_destroy_cq ( ibdev, gma->cq );
665         free ( gma );
666 }