b15dcc61a0059182f9b601305e8e402d91a6b373
[people/lynusvaz/gpxe.git] / src / net / infiniband.c
1 /*
2  * Copyright (C) 2007 Michael Brown <mbrown@fensystems.co.uk>.
3  *
4  * This program is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU General Public License as
6  * published by the Free Software Foundation; either version 2 of the
7  * License, or any later version.
8  *
9  * This program is distributed in the hope that it will be useful, but
10  * WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * General Public License for more details.
13  *
14  * You should have received a copy of the GNU General Public License
15  * along with this program; if not, write to the Free Software
16  * Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
17  */
18
19 FILE_LICENCE ( GPL2_OR_LATER );
20
21 #include <stdint.h>
22 #include <stdlib.h>
23 #include <stdio.h>
24 #include <string.h>
25 #include <unistd.h>
26 #include <byteswap.h>
27 #include <errno.h>
28 #include <assert.h>
29 #include <gpxe/list.h>
30 #include <gpxe/if_arp.h>
31 #include <gpxe/netdevice.h>
32 #include <gpxe/iobuf.h>
33 #include <gpxe/ipoib.h>
34 #include <gpxe/process.h>
35 #include <gpxe/infiniband.h>
36 #include <gpxe/ib_gma.h>
37
38 /** @file
39  *
40  * Infiniband protocol
41  *
42  */
43
44 /** List of Infiniband devices */
45 struct list_head ib_devices = LIST_HEAD_INIT ( ib_devices );
46
47 /***************************************************************************
48  *
49  * Completion queues
50  *
51  ***************************************************************************
52  */
53
54 /**
55  * Create completion queue
56  *
57  * @v ibdev             Infiniband device
58  * @v num_cqes          Number of completion queue entries
59  * @v op                Completion queue operations
60  * @ret cq              New completion queue
61  */
62 struct ib_completion_queue *
63 ib_create_cq ( struct ib_device *ibdev, unsigned int num_cqes,
64                struct ib_completion_queue_operations *op ) {
65         struct ib_completion_queue *cq;
66         int rc;
67
68         DBGC ( ibdev, "IBDEV %p creating completion queue\n", ibdev );
69
70         /* Allocate and initialise data structure */
71         cq = zalloc ( sizeof ( *cq ) );
72         if ( ! cq )
73                 goto err_alloc_cq;
74         cq->ibdev = ibdev;
75         list_add ( &cq->list, &ibdev->cqs );
76         cq->num_cqes = num_cqes;
77         INIT_LIST_HEAD ( &cq->work_queues );
78         cq->op = op;
79
80         /* Perform device-specific initialisation and get CQN */
81         if ( ( rc = ibdev->op->create_cq ( ibdev, cq ) ) != 0 ) {
82                 DBGC ( ibdev, "IBDEV %p could not initialise completion "
83                        "queue: %s\n", ibdev, strerror ( rc ) );
84                 goto err_dev_create_cq;
85         }
86
87         DBGC ( ibdev, "IBDEV %p created %d-entry completion queue %p (%p) "
88                "with CQN %#lx\n", ibdev, num_cqes, cq,
89                ib_cq_get_drvdata ( cq ), cq->cqn );
90         return cq;
91
92         ibdev->op->destroy_cq ( ibdev, cq );
93  err_dev_create_cq:
94         list_del ( &cq->list );
95         free ( cq );
96  err_alloc_cq:
97         return NULL;
98 }
99
100 /**
101  * Destroy completion queue
102  *
103  * @v ibdev             Infiniband device
104  * @v cq                Completion queue
105  */
106 void ib_destroy_cq ( struct ib_device *ibdev,
107                      struct ib_completion_queue *cq ) {
108         DBGC ( ibdev, "IBDEV %p destroying completion queue %#lx\n",
109                ibdev, cq->cqn );
110         assert ( list_empty ( &cq->work_queues ) );
111         ibdev->op->destroy_cq ( ibdev, cq );
112         list_del ( &cq->list );
113         free ( cq );
114 }
115
116 /**
117  * Poll completion queue
118  *
119  * @v ibdev             Infiniband device
120  * @v cq                Completion queue
121  */
122 void ib_poll_cq ( struct ib_device *ibdev,
123                   struct ib_completion_queue *cq ) {
124         struct ib_work_queue *wq;
125
126         /* Poll completion queue */
127         ibdev->op->poll_cq ( ibdev, cq );
128
129         /* Refill receive work queues */
130         list_for_each_entry ( wq, &cq->work_queues, list ) {
131                 if ( ! wq->is_send )
132                         ib_refill_recv ( ibdev, wq->qp );
133         }
134 }
135
136 /***************************************************************************
137  *
138  * Work queues
139  *
140  ***************************************************************************
141  */
142
143 /**
144  * Create queue pair
145  *
146  * @v ibdev             Infiniband device
147  * @v type              Queue pair type
148  * @v num_send_wqes     Number of send work queue entries
149  * @v send_cq           Send completion queue
150  * @v num_recv_wqes     Number of receive work queue entries
151  * @v recv_cq           Receive completion queue
152  * @v qkey              Queue key
153  * @ret qp              Queue pair
154  */
155 struct ib_queue_pair * ib_create_qp ( struct ib_device *ibdev,
156                                       enum ib_queue_pair_type type,
157                                       unsigned int num_send_wqes,
158                                       struct ib_completion_queue *send_cq,
159                                       unsigned int num_recv_wqes,
160                                       struct ib_completion_queue *recv_cq,
161                                       unsigned long qkey ) {
162         struct ib_queue_pair *qp;
163         size_t total_size;
164         int rc;
165
166         DBGC ( ibdev, "IBDEV %p creating queue pair\n", ibdev );
167
168         /* Allocate and initialise data structure */
169         total_size = ( sizeof ( *qp ) +
170                        ( num_send_wqes * sizeof ( qp->send.iobufs[0] ) ) +
171                        ( num_recv_wqes * sizeof ( qp->recv.iobufs[0] ) ) );
172         qp = zalloc ( total_size );
173         if ( ! qp )
174                 goto err_alloc_qp;
175         qp->ibdev = ibdev;
176         list_add ( &qp->list, &ibdev->qps );
177         qp->type = type;
178         qp->qkey = qkey;
179         qp->send.qp = qp;
180         qp->send.is_send = 1;
181         qp->send.cq = send_cq;
182         list_add ( &qp->send.list, &send_cq->work_queues );
183         qp->send.num_wqes = num_send_wqes;
184         qp->send.iobufs = ( ( ( void * ) qp ) + sizeof ( *qp ) );
185         qp->recv.qp = qp;
186         qp->recv.cq = recv_cq;
187         list_add ( &qp->recv.list, &recv_cq->work_queues );
188         qp->recv.num_wqes = num_recv_wqes;
189         qp->recv.iobufs = ( ( ( void * ) qp ) + sizeof ( *qp ) +
190                             ( num_send_wqes * sizeof ( qp->send.iobufs[0] ) ));
191         INIT_LIST_HEAD ( &qp->mgids );
192
193         /* Perform device-specific initialisation and get QPN */
194         if ( ( rc = ibdev->op->create_qp ( ibdev, qp ) ) != 0 ) {
195                 DBGC ( ibdev, "IBDEV %p could not initialise queue pair: "
196                        "%s\n", ibdev, strerror ( rc ) );
197                 goto err_dev_create_qp;
198         }
199         DBGC ( ibdev, "IBDEV %p created queue pair %p (%p) with QPN %#lx\n",
200                ibdev, qp, ib_qp_get_drvdata ( qp ), qp->qpn );
201         DBGC ( ibdev, "IBDEV %p QPN %#lx has %d send entries at [%p,%p)\n",
202                ibdev, qp->qpn, num_send_wqes, qp->send.iobufs,
203                qp->recv.iobufs );
204         DBGC ( ibdev, "IBDEV %p QPN %#lx has %d receive entries at [%p,%p)\n",
205                ibdev, qp->qpn, num_recv_wqes, qp->recv.iobufs,
206                ( ( ( void * ) qp ) + total_size ) );
207
208         /* Calculate externally-visible QPN */
209         switch ( type ) {
210         case IB_QPT_SMA:
211                 qp->ext_qpn = IB_QPN_SMA;
212                 break;
213         case IB_QPT_GMA:
214                 qp->ext_qpn = IB_QPN_GMA;
215                 break;
216         default:
217                 qp->ext_qpn = qp->qpn;
218                 break;
219         }
220         if ( qp->ext_qpn != qp->qpn ) {
221                 DBGC ( ibdev, "IBDEV %p QPN %#lx has external QPN %#lx\n",
222                        ibdev, qp->qpn, qp->ext_qpn );
223         }
224
225         return qp;
226
227         ibdev->op->destroy_qp ( ibdev, qp );
228  err_dev_create_qp:
229         list_del ( &qp->send.list );
230         list_del ( &qp->recv.list );
231         list_del ( &qp->list );
232         free ( qp );
233  err_alloc_qp:
234         return NULL;
235 }
236
237 /**
238  * Modify queue pair
239  *
240  * @v ibdev             Infiniband device
241  * @v qp                Queue pair
242  * @v mod_list          Modification list
243  * @v qkey              New queue key, if applicable
244  * @ret rc              Return status code
245  */
246 int ib_modify_qp ( struct ib_device *ibdev, struct ib_queue_pair *qp,
247                    unsigned long mod_list, unsigned long qkey ) {
248         int rc;
249
250         DBGC ( ibdev, "IBDEV %p modifying QPN %#lx\n", ibdev, qp->qpn );
251
252         if ( mod_list & IB_MODIFY_QKEY )
253                 qp->qkey = qkey;
254
255         if ( ( rc = ibdev->op->modify_qp ( ibdev, qp, mod_list ) ) != 0 ) {
256                 DBGC ( ibdev, "IBDEV %p could not modify QPN %#lx: %s\n",
257                        ibdev, qp->qpn, strerror ( rc ) );
258                 return rc;
259         }
260
261         return 0;
262 }
263
264 /**
265  * Destroy queue pair
266  *
267  * @v ibdev             Infiniband device
268  * @v qp                Queue pair
269  */
270 void ib_destroy_qp ( struct ib_device *ibdev, struct ib_queue_pair *qp ) {
271         struct io_buffer *iobuf;
272         unsigned int i;
273
274         DBGC ( ibdev, "IBDEV %p destroying QPN %#lx\n",
275                ibdev, qp->qpn );
276
277         assert ( list_empty ( &qp->mgids ) );
278
279         /* Perform device-specific destruction */
280         ibdev->op->destroy_qp ( ibdev, qp );
281
282         /* Complete any remaining I/O buffers with errors */
283         for ( i = 0 ; i < qp->send.num_wqes ; i++ ) {
284                 if ( ( iobuf = qp->send.iobufs[i] ) != NULL )
285                         ib_complete_send ( ibdev, qp, iobuf, -ECANCELED );
286         }
287         for ( i = 0 ; i < qp->recv.num_wqes ; i++ ) {
288                 if ( ( iobuf = qp->recv.iobufs[i] ) != NULL ) {
289                         ib_complete_recv ( ibdev, qp, NULL, iobuf,
290                                            -ECANCELED );
291                 }
292         }
293
294         /* Remove work queues from completion queue */
295         list_del ( &qp->send.list );
296         list_del ( &qp->recv.list );
297
298         /* Free QP */
299         list_del ( &qp->list );
300         free ( qp );
301 }
302
303 /**
304  * Find queue pair by QPN
305  *
306  * @v ibdev             Infiniband device
307  * @v qpn               Queue pair number
308  * @ret qp              Queue pair, or NULL
309  */
310 struct ib_queue_pair * ib_find_qp_qpn ( struct ib_device *ibdev,
311                                         unsigned long qpn ) {
312         struct ib_queue_pair *qp;
313
314         list_for_each_entry ( qp, &ibdev->qps, list ) {
315                 if ( ( qpn == qp->qpn ) || ( qpn == qp->ext_qpn ) )
316                         return qp;
317         }
318         return NULL;
319 }
320
321 /**
322  * Find queue pair by multicast GID
323  *
324  * @v ibdev             Infiniband device
325  * @v gid               Multicast GID
326  * @ret qp              Queue pair, or NULL
327  */
328 struct ib_queue_pair * ib_find_qp_mgid ( struct ib_device *ibdev,
329                                          struct ib_gid *gid ) {
330         struct ib_queue_pair *qp;
331         struct ib_multicast_gid *mgid;
332
333         list_for_each_entry ( qp, &ibdev->qps, list ) {
334                 list_for_each_entry ( mgid, &qp->mgids, list ) {
335                         if ( memcmp ( &mgid->gid, gid,
336                                       sizeof ( mgid->gid ) ) == 0 ) {
337                                 return qp;
338                         }
339                 }
340         }
341         return NULL;
342 }
343
344 /**
345  * Find work queue belonging to completion queue
346  *
347  * @v cq                Completion queue
348  * @v qpn               Queue pair number
349  * @v is_send           Find send work queue (rather than receive)
350  * @ret wq              Work queue, or NULL if not found
351  */
352 struct ib_work_queue * ib_find_wq ( struct ib_completion_queue *cq,
353                                     unsigned long qpn, int is_send ) {
354         struct ib_work_queue *wq;
355
356         list_for_each_entry ( wq, &cq->work_queues, list ) {
357                 if ( ( wq->qp->qpn == qpn ) && ( wq->is_send == is_send ) )
358                         return wq;
359         }
360         return NULL;
361 }
362
363 /**
364  * Post send work queue entry
365  *
366  * @v ibdev             Infiniband device
367  * @v qp                Queue pair
368  * @v av                Address vector
369  * @v iobuf             I/O buffer
370  * @ret rc              Return status code
371  */
372 int ib_post_send ( struct ib_device *ibdev, struct ib_queue_pair *qp,
373                    struct ib_address_vector *av,
374                    struct io_buffer *iobuf ) {
375         int rc;
376
377         /* Check queue fill level */
378         if ( qp->send.fill >= qp->send.num_wqes ) {
379                 DBGC ( ibdev, "IBDEV %p QPN %#lx send queue full\n",
380                        ibdev, qp->qpn );
381                 return -ENOBUFS;
382         }
383
384         /* Fill in optional parameters in address vector */
385         if ( ! av->qkey )
386                 av->qkey = qp->qkey;
387         if ( ! av->rate )
388                 av->rate = IB_RATE_2_5;
389
390         /* Post to hardware */
391         if ( ( rc = ibdev->op->post_send ( ibdev, qp, av, iobuf ) ) != 0 ) {
392                 DBGC ( ibdev, "IBDEV %p QPN %#lx could not post send WQE: "
393                        "%s\n", ibdev, qp->qpn, strerror ( rc ) );
394                 return rc;
395         }
396
397         qp->send.fill++;
398         return 0;
399 }
400
401 /**
402  * Post receive work queue entry
403  *
404  * @v ibdev             Infiniband device
405  * @v qp                Queue pair
406  * @v iobuf             I/O buffer
407  * @ret rc              Return status code
408  */
409 int ib_post_recv ( struct ib_device *ibdev, struct ib_queue_pair *qp,
410                    struct io_buffer *iobuf ) {
411         int rc;
412
413         /* Check packet length */
414         if ( iob_tailroom ( iobuf ) < IB_MAX_PAYLOAD_SIZE ) {
415                 DBGC ( ibdev, "IBDEV %p QPN %#lx wrong RX buffer size (%zd)\n",
416                        ibdev, qp->qpn, iob_tailroom ( iobuf ) );
417                 return -EINVAL;
418         }
419
420         /* Check queue fill level */
421         if ( qp->recv.fill >= qp->recv.num_wqes ) {
422                 DBGC ( ibdev, "IBDEV %p QPN %#lx receive queue full\n",
423                        ibdev, qp->qpn );
424                 return -ENOBUFS;
425         }
426
427         /* Post to hardware */
428         if ( ( rc = ibdev->op->post_recv ( ibdev, qp, iobuf ) ) != 0 ) {
429                 DBGC ( ibdev, "IBDEV %p QPN %#lx could not post receive WQE: "
430                        "%s\n", ibdev, qp->qpn, strerror ( rc ) );
431                 return rc;
432         }
433
434         qp->recv.fill++;
435         return 0;
436 }
437
438 /**
439  * Complete send work queue entry
440  *
441  * @v ibdev             Infiniband device
442  * @v qp                Queue pair
443  * @v iobuf             I/O buffer
444  * @v rc                Completion status code
445  */
446 void ib_complete_send ( struct ib_device *ibdev, struct ib_queue_pair *qp,
447                         struct io_buffer *iobuf, int rc ) {
448
449         if ( qp->send.cq->op->complete_send ) {
450                 qp->send.cq->op->complete_send ( ibdev, qp, iobuf, rc );
451         } else {
452                 free_iob ( iobuf );
453         }
454         qp->send.fill--;
455 }
456
457 /**
458  * Complete receive work queue entry
459  *
460  * @v ibdev             Infiniband device
461  * @v qp                Queue pair
462  * @v av                Address vector
463  * @v iobuf             I/O buffer
464  * @v rc                Completion status code
465  */
466 void ib_complete_recv ( struct ib_device *ibdev, struct ib_queue_pair *qp,
467                         struct ib_address_vector *av,
468                         struct io_buffer *iobuf, int rc ) {
469
470         if ( qp->recv.cq->op->complete_recv ) {
471                 qp->recv.cq->op->complete_recv ( ibdev, qp, av, iobuf, rc );
472         } else {
473                 free_iob ( iobuf );
474         }
475         qp->recv.fill--;
476 }
477
478 /**
479  * Refill receive work queue
480  *
481  * @v ibdev             Infiniband device
482  * @v qp                Queue pair
483  */
484 void ib_refill_recv ( struct ib_device *ibdev, struct ib_queue_pair *qp ) {
485         struct io_buffer *iobuf;
486         int rc;
487
488         /* Keep filling while unfilled entries remain */
489         while ( qp->recv.fill < qp->recv.num_wqes ) {
490
491                 /* Allocate I/O buffer */
492                 iobuf = alloc_iob ( IB_MAX_PAYLOAD_SIZE );
493                 if ( ! iobuf ) {
494                         /* Non-fatal; we will refill on next attempt */
495                         return;
496                 }
497
498                 /* Post I/O buffer */
499                 if ( ( rc = ib_post_recv ( ibdev, qp, iobuf ) ) != 0 ) {
500                         DBGC ( ibdev, "IBDEV %p could not refill: %s\n",
501                                ibdev, strerror ( rc ) );
502                         free_iob ( iobuf );
503                         /* Give up */
504                         return;
505                 }
506         }
507 }
508
509 /***************************************************************************
510  *
511  * Link control
512  *
513  ***************************************************************************
514  */
515
516 /**
517  * Open port
518  *
519  * @v ibdev             Infiniband device
520  * @ret rc              Return status code
521  */
522 int ib_open ( struct ib_device *ibdev ) {
523         int rc;
524
525         /* Increment device open request counter */
526         if ( ibdev->open_count++ > 0 ) {
527                 /* Device was already open; do nothing */
528                 return 0;
529         }
530
531         /* Create subnet management agent */
532         ibdev->sma = ib_create_gma ( ibdev, IB_QPT_SMA );
533         if ( ! ibdev->sma ) {
534                 DBGC ( ibdev, "IBDEV %p could not create SMA\n", ibdev );
535                 rc = -ENOMEM;
536                 goto err_create_sma;
537         }
538
539         /* Create general management agent */
540         ibdev->gma = ib_create_gma ( ibdev, IB_QPT_GMA );
541         if ( ! ibdev->gma ) {
542                 DBGC ( ibdev, "IBDEV %p could not create GMA\n", ibdev );
543                 rc = -ENOMEM;
544                 goto err_create_gma;
545         }
546
547         /* Open device */
548         if ( ( rc = ibdev->op->open ( ibdev ) ) != 0 ) {
549                 DBGC ( ibdev, "IBDEV %p could not open: %s\n",
550                        ibdev, strerror ( rc ) );
551                 goto err_open;
552         }
553
554         assert ( ibdev->open_count == 1 );
555         return 0;
556
557         ibdev->op->close ( ibdev );
558  err_open:
559         ib_destroy_gma ( ibdev->gma );
560  err_create_gma:
561         ib_destroy_gma ( ibdev->sma );
562  err_create_sma:
563         assert ( ibdev->open_count == 1 );
564         ibdev->open_count = 0;
565         return rc;
566 }
567
568 /**
569  * Close port
570  *
571  * @v ibdev             Infiniband device
572  */
573 void ib_close ( struct ib_device *ibdev ) {
574
575         /* Decrement device open request counter */
576         ibdev->open_count--;
577
578         /* Close device if this was the last remaining requested opening */
579         if ( ibdev->open_count == 0 ) {
580                 ib_destroy_gma ( ibdev->gma );
581                 ib_destroy_gma ( ibdev->sma );
582                 ibdev->op->close ( ibdev );
583         }
584 }
585
586 /***************************************************************************
587  *
588  * Multicast
589  *
590  ***************************************************************************
591  */
592
593 /**
594  * Attach to multicast group
595  *
596  * @v ibdev             Infiniband device
597  * @v qp                Queue pair
598  * @v gid               Multicast GID
599  * @ret rc              Return status code
600  *
601  * Note that this function handles only the local device's attachment
602  * to the multicast GID; it does not issue the relevant MADs to join
603  * the multicast group on the subnet.
604  */
605 int ib_mcast_attach ( struct ib_device *ibdev, struct ib_queue_pair *qp,
606                       struct ib_gid *gid ) {
607         struct ib_multicast_gid *mgid;
608         int rc;
609
610         /* Add to software multicast GID list */
611         mgid = zalloc ( sizeof ( *mgid ) );
612         if ( ! mgid ) {
613                 rc = -ENOMEM;
614                 goto err_alloc_mgid;
615         }
616         memcpy ( &mgid->gid, gid, sizeof ( mgid->gid ) );
617         list_add ( &mgid->list, &qp->mgids );
618
619         /* Add to hardware multicast GID list */
620         if ( ( rc = ibdev->op->mcast_attach ( ibdev, qp, gid ) ) != 0 )
621                 goto err_dev_mcast_attach;
622
623         return 0;
624
625  err_dev_mcast_attach:
626         list_del ( &mgid->list );
627         free ( mgid );
628  err_alloc_mgid:
629         return rc;
630 }
631
632 /**
633  * Detach from multicast group
634  *
635  * @v ibdev             Infiniband device
636  * @v qp                Queue pair
637  * @v gid               Multicast GID
638  */
639 void ib_mcast_detach ( struct ib_device *ibdev, struct ib_queue_pair *qp,
640                        struct ib_gid *gid ) {
641         struct ib_multicast_gid *mgid;
642
643         /* Remove from hardware multicast GID list */
644         ibdev->op->mcast_detach ( ibdev, qp, gid );
645
646         /* Remove from software multicast GID list */
647         list_for_each_entry ( mgid, &qp->mgids, list ) {
648                 if ( memcmp ( &mgid->gid, gid, sizeof ( mgid->gid ) ) == 0 ) {
649                         list_del ( &mgid->list );
650                         free ( mgid );
651                         break;
652                 }
653         }
654 }
655
656 /***************************************************************************
657  *
658  * Miscellaneous
659  *
660  ***************************************************************************
661  */
662
663 /**
664  * Get Infiniband HCA information
665  *
666  * @v ibdev             Infiniband device
667  * @ret hca_guid        HCA GUID
668  * @ret num_ports       Number of ports
669  */
670 int ib_get_hca_info ( struct ib_device *ibdev,
671                       struct ib_gid_half *hca_guid ) {
672         struct ib_device *tmp;
673         int num_ports = 0;
674
675         /* Search for IB devices with the same physical device to
676          * identify port count and a suitable Node GUID.
677          */
678         for_each_ibdev ( tmp ) {
679                 if ( tmp->dev != ibdev->dev )
680                         continue;
681                 if ( num_ports == 0 ) {
682                         memcpy ( hca_guid, &tmp->gid.u.half[1],
683                                  sizeof ( *hca_guid ) );
684                 }
685                 num_ports++;
686         }
687         return num_ports;
688 }
689
690 /** Set port information
691  *
692  * @v ibdev             Infiniband device
693  * @v port_info         New port information
694  */
695 int ib_set_port_info ( struct ib_device *ibdev,
696                        const struct ib_port_info *port_info ) {
697         int rc;
698
699         /* Adapters with embedded SMAs do not need to support this method */
700         if ( ! ibdev->op->set_port_info ) {
701                 DBGC ( ibdev, "IBDEV %p does not support setting port "
702                        "information\n", ibdev );
703                 return -ENOTSUP;
704         }
705
706         if ( ( rc = ibdev->op->set_port_info ( ibdev, port_info ) ) != 0 ) {
707                 DBGC ( ibdev, "IBDEV %p could not set port information: %s\n",
708                        ibdev, strerror ( rc ) );
709                 return rc;
710         }
711
712         return 0;
713 };
714
715 /***************************************************************************
716  *
717  * Event queues
718  *
719  ***************************************************************************
720  */
721
722 /**
723  * Handle Infiniband link state change
724  *
725  * @v ibdev             Infiniband device
726  */
727 void ib_link_state_changed ( struct ib_device *ibdev ) {
728
729         /* Notify IPoIB of link state change */
730         ipoib_link_state_changed ( ibdev );
731 }
732
733 /**
734  * Poll event queue
735  *
736  * @v ibdev             Infiniband device
737  */
738 void ib_poll_eq ( struct ib_device *ibdev ) {
739         struct ib_completion_queue *cq;
740
741         /* Poll device's event queue */
742         ibdev->op->poll_eq ( ibdev );
743
744         /* Poll all completion queues */
745         list_for_each_entry ( cq, &ibdev->cqs, list )
746                 ib_poll_cq ( ibdev, cq );
747 }
748
749 /**
750  * Single-step the Infiniband event queue
751  *
752  * @v process           Infiniband event queue process
753  */
754 static void ib_step ( struct process *process __unused ) {
755         struct ib_device *ibdev;
756
757         for_each_ibdev ( ibdev )
758                 ib_poll_eq ( ibdev );
759 }
760
761 /** Infiniband event queue process */
762 struct process ib_process __permanent_process = {
763         .step = ib_step,
764 };
765
766 /***************************************************************************
767  *
768  * Infiniband device creation/destruction
769  *
770  ***************************************************************************
771  */
772
773 /**
774  * Allocate Infiniband device
775  *
776  * @v priv_size         Size of driver private data area
777  * @ret ibdev           Infiniband device, or NULL
778  */
779 struct ib_device * alloc_ibdev ( size_t priv_size ) {
780         struct ib_device *ibdev;
781         void *drv_priv;
782         size_t total_len;
783
784         total_len = ( sizeof ( *ibdev ) + priv_size );
785         ibdev = zalloc ( total_len );
786         if ( ibdev ) {
787                 drv_priv = ( ( ( void * ) ibdev ) + sizeof ( *ibdev ) );
788                 ib_set_drvdata ( ibdev, drv_priv );
789                 INIT_LIST_HEAD ( &ibdev->cqs );
790                 INIT_LIST_HEAD ( &ibdev->qps );
791                 ibdev->lid = IB_LID_NONE;
792                 ibdev->pkey = IB_PKEY_NONE;
793         }
794         return ibdev;
795 }
796
797 /**
798  * Register Infiniband device
799  *
800  * @v ibdev             Infiniband device
801  * @ret rc              Return status code
802  */
803 int register_ibdev ( struct ib_device *ibdev ) {
804         int rc;
805
806         /* Add to device list */
807         ibdev_get ( ibdev );
808         list_add_tail ( &ibdev->list, &ib_devices );
809
810         /* Add IPoIB device */
811         if ( ( rc = ipoib_probe ( ibdev ) ) != 0 ) {
812                 DBGC ( ibdev, "IBDEV %p could not add IPoIB device: %s\n",
813                        ibdev, strerror ( rc ) );
814                 goto err_ipoib_probe;
815         }
816
817         DBGC ( ibdev, "IBDEV %p registered (phys %s)\n", ibdev,
818                ibdev->dev->name );
819         return 0;
820
821  err_ipoib_probe:
822         list_del ( &ibdev->list );
823         ibdev_put ( ibdev );
824         return rc;
825 }
826
827 /**
828  * Unregister Infiniband device
829  *
830  * @v ibdev             Infiniband device
831  */
832 void unregister_ibdev ( struct ib_device *ibdev ) {
833
834         /* Close device */
835         ipoib_remove ( ibdev );
836
837         /* Remove from device list */
838         list_del ( &ibdev->list );
839         ibdev_put ( ibdev );
840         DBGC ( ibdev, "IBDEV %p unregistered\n", ibdev );
841 }