[infiniband] Implement SMA as an instance of a GMA
[people/sha0/gpxe.git] / src / net / infiniband / ib_gma.c
1 /*
2  * Copyright (C) 2009 Michael Brown <mbrown@fensystems.co.uk>.
3  *
4  * This program is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU General Public License as
6  * published by the Free Software Foundation; either version 2 of the
7  * License, or any later version.
8  *
9  * This program is distributed in the hope that it will be useful, but
10  * WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * General Public License for more details.
13  *
14  * You should have received a copy of the GNU General Public License
15  * along with this program; if not, write to the Free Software
16  * Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
17  */
18
19 FILE_LICENCE ( GPL2_OR_LATER );
20
21 #include <stdint.h>
22 #include <stdlib.h>
23 #include <string.h>
24 #include <errno.h>
25 #include <stdio.h>
26 #include <unistd.h>
27 #include <byteswap.h>
28 #include <gpxe/infiniband.h>
29 #include <gpxe/iobuf.h>
30 #include <gpxe/ib_gma.h>
31
32 /**
33  * @file
34  *
35  * Infiniband General Management Agent
36  *
37  */
38
39 /** A MAD request */
40 struct ib_mad_request {
41         /** Associated GMA */
42         struct ib_gma *gma;
43         /** List of outstanding MAD requests */
44         struct list_head list;
45         /** Retry timer */
46         struct retry_timer timer;
47         /** Destination address */
48         struct ib_address_vector av;
49         /** MAD request */
50         union ib_mad mad;
51 };
52
53 /** GMA number of send WQEs
54  *
55  * This is a policy decision.
56  */
57 #define IB_GMA_NUM_SEND_WQES 4
58
59 /** GMA number of receive WQEs
60  *
61  * This is a policy decision.
62  */
63 #define IB_GMA_NUM_RECV_WQES 2
64
65 /** GMA number of completion queue entries
66  *
67  * This is a policy decision
68  */
69 #define IB_GMA_NUM_CQES 8
70
71 /** GMA TID magic signature */
72 #define IB_GMA_TID_MAGIC ( ( 'g' << 24 ) | ( 'P' << 16 ) | ( 'X' << 8 ) | 'E' )
73
74 /** TID to use for next MAD request */
75 static unsigned int next_request_tid;
76
77 /**
78  * Call attribute handler
79  *
80  * @v gma               General management agent
81  * @v mad               MAD
82  * @ret rc              Return status code
83  */
84 static int ib_handle_mad ( struct ib_gma *gma, union ib_mad *mad ) {
85         struct ib_mad_hdr *hdr = &mad->hdr;
86         struct ib_gma_handler *handler;
87
88         for_each_table_entry ( handler, IB_GMA_HANDLERS ) {
89                 if ( ( ( handler->mgmt_class & ~handler->mgmt_class_ignore ) ==
90                        ( hdr->mgmt_class & ~handler->mgmt_class_ignore ) ) &&
91                      ( handler->class_version == hdr->class_version ) &&
92                      ( handler->method == hdr->method ) &&
93                      ( handler->attr_id == hdr->attr_id ) ) {
94                         hdr->method = handler->resp_method;
95                         return handler->handle ( gma, mad );
96                 }
97         }
98
99         hdr->method = IB_MGMT_METHOD_TRAP;
100         hdr->status = htons ( IB_MGMT_STATUS_UNSUPPORTED_METHOD_ATTR );
101         return -ENOTSUP;
102 }
103
104 /**
105  * Complete GMA receive
106  *
107  *
108  * @v ibdev             Infiniband device
109  * @v qp                Queue pair
110  * @v av                Address vector
111  * @v iobuf             I/O buffer
112  * @v rc                Completion status code
113  */
114 static void ib_gma_complete_recv ( struct ib_device *ibdev,
115                                    struct ib_queue_pair *qp,
116                                    struct ib_address_vector *av,
117                                    struct io_buffer *iobuf, int rc ) {
118         struct ib_gma *gma = ib_qp_get_ownerdata ( qp );
119         struct ib_mad_request *request;
120         union ib_mad *mad;
121         struct ib_mad_hdr *hdr;
122         unsigned int hop_pointer;
123         unsigned int hop_count;
124
125         /* Ignore errors */
126         if ( rc != 0 ) {
127                 DBGC ( gma, "GMA %p RX error: %s\n", gma, strerror ( rc ) );
128                 goto out;
129         }
130
131         /* Sanity checks */
132         if ( iob_len ( iobuf ) != sizeof ( *mad ) ) {
133                 DBGC ( gma, "GMA %p RX bad size (%zd bytes)\n",
134                        gma, iob_len ( iobuf ) );
135                 DBGC_HDA ( gma, 0, iobuf->data, iob_len ( iobuf ) );
136                 goto out;
137         }
138         mad = iobuf->data;
139         hdr = &mad->hdr;
140         if ( hdr->base_version != IB_MGMT_BASE_VERSION ) {
141                 DBGC ( gma, "GMA %p unsupported base version %x\n",
142                        gma, hdr->base_version );
143                 DBGC_HDA ( gma, 0, mad, sizeof ( *mad ) );
144                 goto out;
145         }
146         DBGC ( gma, "GMA %p RX TID %08x%08x (%02x,%02x,%02x,%04x) status "
147                "%04x\n", gma, ntohl ( hdr->tid[0] ), ntohl ( hdr->tid[1] ),
148                hdr->mgmt_class, hdr->class_version, hdr->method,
149                ntohs ( hdr->attr_id ), ntohs ( hdr->status ) );
150         DBGC2_HDA ( gma, 0, mad, sizeof ( *mad ) );
151
152         /* Dequeue request if applicable */
153         list_for_each_entry ( request, &gma->requests, list ) {
154                 if ( memcmp ( &request->mad.hdr.tid, &hdr->tid,
155                               sizeof ( request->mad.hdr.tid ) ) == 0 ) {
156                         stop_timer ( &request->timer );
157                         list_del ( &request->list );
158                         free ( request );
159                         break;
160                 }
161         }
162
163         /* Handle MAD, if possible */
164         if ( ( rc = ib_handle_mad ( gma, mad ) ) != 0 ) {
165                 DBGC ( gma, "GMA %p could not handle TID %08x%08x: %s\n",
166                        gma, ntohl ( hdr->tid[0] ), ntohl ( hdr->tid[1] ),
167                        strerror ( rc ) );
168                 /* Do not abort; we may want to send an error response */
169         }
170
171         /* Finish processing if we have no response to send */
172         if ( ! hdr->method )
173                 goto out;
174
175         DBGC ( gma, "GMA %p TX TID %08x%08x (%02x,%02x,%02x,%04x)\n", gma,
176                ntohl ( hdr->tid[0] ), ntohl ( hdr->tid[1] ), hdr->mgmt_class,
177                hdr->class_version, hdr->method, ntohs ( hdr->attr_id ) );
178         DBGC2_HDA ( gma, 0, mad, sizeof ( *mad ) );
179
180         /* Set response fields for directed route SMPs */
181         if ( hdr->mgmt_class == IB_MGMT_CLASS_SUBN_DIRECTED_ROUTE ) {
182                 struct ib_mad_smp *smp = &mad->smp;
183
184                 hdr->status |= htons ( IB_SMP_STATUS_D_INBOUND );
185                 hop_pointer = smp->mad_hdr.class_specific.smp.hop_pointer;
186                 hop_count = smp->mad_hdr.class_specific.smp.hop_count;
187                 assert ( hop_count == hop_pointer );
188                 if ( hop_pointer < ( sizeof ( smp->return_path.hops ) /
189                                      sizeof ( smp->return_path.hops[0] ) ) ) {
190                         smp->return_path.hops[hop_pointer] = ibdev->port;
191                 } else {
192                         DBGC ( gma, "GMA %p invalid hop pointer %d\n",
193                                gma, hop_pointer );
194                         goto out;
195                 }
196         }
197
198         /* Send MAD response, if applicable */
199         if ( ( rc = ib_post_send ( ibdev, qp, av,
200                                    iob_disown ( iobuf ) ) ) != 0 ) {
201                 DBGC ( gma, "GMA %p could not send MAD response: %s\n",
202                        gma, strerror ( rc ) );
203                 goto out;
204         }
205
206  out:
207         free_iob ( iobuf );
208 }
209
210 /**
211  * Complete GMA send
212  *
213  *
214  * @v ibdev             Infiniband device
215  * @v qp                Queue pair
216  * @v iobuf             I/O buffer
217  * @v rc                Completion status code
218  */
219 static void ib_gma_complete_send ( struct ib_device *ibdev __unused,
220                                    struct ib_queue_pair *qp,
221                                    struct io_buffer *iobuf, int rc ) {
222         struct ib_gma *gma = ib_qp_get_ownerdata ( qp );
223
224         if ( rc != 0 ) {
225                 DBGC ( gma, "GMA %p send completion error: %s\n",
226                        gma, strerror ( rc ) );
227         }
228         free_iob ( iobuf );
229 }
230
231 /** GMA completion operations */
232 static struct ib_completion_queue_operations ib_gma_completion_ops = {
233         .complete_send = ib_gma_complete_send,
234         .complete_recv = ib_gma_complete_recv,
235 };
236
237 /**
238  * Transmit MAD request
239  *
240  * @v gma               General management agent
241  * @v request           MAD request
242  * @ret rc              Return status code
243  */
244 static int ib_gma_send ( struct ib_gma *gma, struct ib_mad_request *request ) {
245         struct io_buffer *iobuf;
246         int rc;
247
248         DBGC ( gma, "GMA %p TX TID %08x%08x (%02x,%02x,%02x,%04x)\n",
249                gma, ntohl ( request->mad.hdr.tid[0] ),
250                ntohl ( request->mad.hdr.tid[1] ), request->mad.hdr.mgmt_class,
251                request->mad.hdr.class_version, request->mad.hdr.method,
252                ntohs ( request->mad.hdr.attr_id ) );
253         DBGC2_HDA ( gma, 0, &request->mad, sizeof ( request->mad ) );
254
255         /* Construct I/O buffer */
256         iobuf = alloc_iob ( sizeof ( request->mad ) );
257         if ( ! iobuf ) {
258                 DBGC ( gma, "GMA %p could not allocate buffer for TID "
259                        "%08x%08x\n", gma, ntohl ( request->mad.hdr.tid[0] ),
260                        ntohl ( request->mad.hdr.tid[1] ) );
261                 return -ENOMEM;
262         }
263         memcpy ( iob_put ( iobuf, sizeof ( request->mad ) ), &request->mad,
264                  sizeof ( request->mad ) );
265
266         /* Send I/O buffer */
267         if ( ( rc = ib_post_send ( gma->ibdev, gma->qp, &request->av,
268                                    iobuf ) ) != 0 ) {
269                 DBGC ( gma, "GMA %p could not send TID %08x%08x: %s\n",
270                        gma,  ntohl ( request->mad.hdr.tid[0] ),
271                        ntohl ( request->mad.hdr.tid[1] ), strerror ( rc ) );
272                 free_iob ( iobuf );
273                 return rc;
274         }
275
276         return 0;
277 }
278
279 /**
280  * Handle MAD request timer expiry
281  *
282  * @v timer             Retry timer
283  * @v expired           Failure indicator
284  */
285 static void ib_gma_timer_expired ( struct retry_timer *timer, int expired ) {
286         struct ib_mad_request *request =
287                 container_of ( timer, struct ib_mad_request, timer );
288         struct ib_gma *gma = request->gma;
289
290         /* Abandon TID if we have tried too many times */
291         if ( expired ) {
292                 DBGC ( gma, "GMA %p abandoning TID %08x%08x\n",
293                        gma, ntohl ( request->mad.hdr.tid[0] ),
294                        ntohl ( request->mad.hdr.tid[1] ) );
295                 list_del ( &request->list );
296                 free ( request );
297                 return;
298         }
299
300         /* Restart retransmission timer */
301         start_timer ( timer );
302
303         /* Resend request */
304         ib_gma_send ( gma, request );
305 }
306
307 /**
308  * Issue MAD request
309  *
310  * @v gma               General management agent
311  * @v mad               MAD request
312  * @v av                Destination address, or NULL for SM
313  * @v retry             Request should be retried until a response arrives
314  * @ret rc              Return status code
315  */
316 int ib_gma_request ( struct ib_gma *gma, union ib_mad *mad,
317                      struct ib_address_vector *av, int retry ) {
318         struct ib_device *ibdev = gma->ibdev;
319         struct ib_mad_request *request;
320
321         /* Allocate and initialise structure */
322         request = zalloc ( sizeof ( *request ) );
323         if ( ! request ) {
324                 DBGC ( gma, "GMA %p could not allocate MAD request\n", gma );
325                 return -ENOMEM;
326         }
327         request->gma = gma;
328         request->timer.expired = ib_gma_timer_expired;
329
330         /* Determine address vector */
331         if ( av ) {
332                 memcpy ( &request->av, av, sizeof ( request->av ) );
333         } else {
334                 request->av.lid = ibdev->sm_lid;
335                 request->av.sl = ibdev->sm_sl;
336                 request->av.qpn = IB_QPN_GMA;
337                 request->av.qkey = IB_QKEY_GMA;
338         }
339
340         /* Copy MAD body */
341         memcpy ( &request->mad, mad, sizeof ( request->mad ) );
342
343         /* Allocate TID */
344         request->mad.hdr.tid[0] = htonl ( IB_GMA_TID_MAGIC );
345         request->mad.hdr.tid[1] = htonl ( ++next_request_tid );
346
347         /* Send initial request.  Ignore errors; the retry timer will
348          * take care of those we care about.
349          */
350         ib_gma_send ( gma, request );
351
352         /* Add to list and start timer if applicable */
353         if ( retry ) {
354                 list_add ( &request->list, &gma->requests );
355                 start_timer ( &request->timer );
356         } else {
357                 free ( request );
358         }
359
360         return 0;
361 }
362
363 /**
364  * Create GMA
365  *
366  * @v gma               General management agent
367  * @v ibdev             Infiniband device
368  * @v qkey              Queue key
369  * @ret rc              Return status code
370  */
371 int ib_create_gma ( struct ib_gma *gma, struct ib_device *ibdev,
372                     unsigned long qkey ) {
373         int rc;
374
375         /* Initialise fields */
376         memset ( gma, 0, sizeof ( *gma ) );
377         gma->ibdev = ibdev;
378         INIT_LIST_HEAD ( &gma->requests );
379
380         /* Create completion queue */
381         gma->cq = ib_create_cq ( ibdev, IB_GMA_NUM_CQES,
382                                  &ib_gma_completion_ops );
383         if ( ! gma->cq ) {
384                 DBGC ( gma, "GMA %p could not allocate completion queue\n",
385                        gma );
386                 rc = -ENOMEM;
387                 goto err_create_cq;
388         }
389
390         /* Create queue pair */
391         gma->qp = ib_create_qp ( ibdev, IB_GMA_NUM_SEND_WQES, gma->cq,
392                                  IB_GMA_NUM_RECV_WQES, gma->cq, qkey );
393         if ( ! gma->qp ) {
394                 DBGC ( gma, "GMA %p could not allocate queue pair\n", gma );
395                 rc = -ENOMEM;
396                 goto err_create_qp;
397         }
398         ib_qp_set_ownerdata ( gma->qp, gma );
399
400         DBGC ( gma, "GMA %p running on QPN %#lx\n", gma, gma->qp->qpn );
401
402         /* Fill receive ring */
403         ib_refill_recv ( ibdev, gma->qp );
404         return 0;
405
406         ib_destroy_qp ( ibdev, gma->qp );
407  err_create_qp:
408         ib_destroy_cq ( ibdev, gma->cq );
409  err_create_cq:
410         return rc;
411 }
412
413 /**
414  * Destroy GMA
415  *
416  * @v gma               General management agent
417  */
418 void ib_destroy_gma ( struct ib_gma *gma ) {
419         struct ib_device *ibdev = gma->ibdev;
420         struct ib_mad_request *request;
421         struct ib_mad_request *tmp;
422
423         /* Flush any outstanding requests */
424         list_for_each_entry_safe ( request, tmp, &gma->requests, list ) {
425                 stop_timer ( &request->timer );
426                 list_del ( &request->list );
427                 free ( request );
428         }
429
430         ib_destroy_qp ( ibdev, gma->qp );
431         ib_destroy_cq ( ibdev, gma->cq );
432 }