src/net/infiniband.c

   1 /*
   2  * Copyright (C) 2007 Michael Brown <mbrown@fensystems.co.uk>.
   3  *
   4  * This program is free software; you can redistribute it and/or
   5  * modify it under the terms of the GNU General Public License as
   6  * published by the Free Software Foundation; either version 2 of the
   7  * License, or any later version.
   8  *
   9  * This program is distributed in the hope that it will be useful, but
  10  * WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  12  * General Public License for more details.
  13  *
  14  * You should have received a copy of the GNU General Public License
  15  * along with this program; if not, write to the Free Software
  16  * Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  17  */
  18
  19 FILE_LICENCE ( GPL2_OR_LATER );
  20
  21 #include <stdint.h>
  22 #include <stdlib.h>
  23 #include <stdio.h>
  24 #include <string.h>
  25 #include <unistd.h>
  26 #include <byteswap.h>
  27 #include <errno.h>
  28 #include <assert.h>
  29 #include <gpxe/list.h>
  30 #include <gpxe/if_arp.h>
  31 #include <gpxe/netdevice.h>
  32 #include <gpxe/iobuf.h>
  33 #include <gpxe/ipoib.h>
  34 #include <gpxe/process.h>
  35 #include <gpxe/infiniband.h>
  36 #include <gpxe/ib_gma.h>
  37
  38 /** @file
  39  *
  40  * Infiniband protocol
  41  *
  42  */
  43
  44 /** List of Infiniband devices */
  45 struct list_head ib_devices = LIST_HEAD_INIT ( ib_devices );
  46
  47 /***************************************************************************
  48  *
  49  * Completion queues
  50  *
  51  ***************************************************************************
  52  */
  53
  54 /**
  55  * Create completion queue
  56  *
  57  * @v ibdev             Infiniband device
  58  * @v num_cqes          Number of completion queue entries
  59  * @v op                Completion queue operations
  60  * @ret cq              New completion queue
  61  */
  62 struct ib_completion_queue *
  63 ib_create_cq ( struct ib_device *ibdev, unsigned int num_cqes,
  64                struct ib_completion_queue_operations *op ) {
  65         struct ib_completion_queue *cq;
  66         int rc;
  67
  68         DBGC ( ibdev, "IBDEV %p creating completion queue\n", ibdev );
  69
  70         /* Allocate and initialise data structure */
  71         cq = zalloc ( sizeof ( *cq ) );
  72         if ( ! cq )
  73                 goto err_alloc_cq;
  74         cq->ibdev = ibdev;
  75         list_add ( &cq->list, &ibdev->cqs );
  76         cq->num_cqes = num_cqes;
  77         INIT_LIST_HEAD ( &cq->work_queues );
  78         cq->op = op;
  79
  80         /* Perform device-specific initialisation and get CQN */
  81         if ( ( rc = ibdev->op->create_cq ( ibdev, cq ) ) != 0 ) {
  82                 DBGC ( ibdev, "IBDEV %p could not initialise completion "
  83                        "queue: %s\n", ibdev, strerror ( rc ) );
  84                 goto err_dev_create_cq;
  85         }
  86
  87         DBGC ( ibdev, "IBDEV %p created %d-entry completion queue %p (%p) "
  88                "with CQN %#lx\n", ibdev, num_cqes, cq,
  89                ib_cq_get_drvdata ( cq ), cq->cqn );
  90         return cq;
  91
  92         ibdev->op->destroy_cq ( ibdev, cq );
  93  err_dev_create_cq:
  94         list_del ( &cq->list );
  95         free ( cq );
  96  err_alloc_cq:
  97         return NULL;
  98 }
  99
 100 /**
 101  * Destroy completion queue
 102  *
 103  * @v ibdev             Infiniband device
 104  * @v cq                Completion queue
 105  */
 106 void ib_destroy_cq ( struct ib_device *ibdev,
 107                      struct ib_completion_queue *cq ) {
 108         DBGC ( ibdev, "IBDEV %p destroying completion queue %#lx\n",
 109                ibdev, cq->cqn );
 110         assert ( list_empty ( &cq->work_queues ) );
 111         ibdev->op->destroy_cq ( ibdev, cq );
 112         list_del ( &cq->list );
 113         free ( cq );
 114 }
 115
 116 /**
 117  * Poll completion queue
 118  *
 119  * @v ibdev             Infiniband device
 120  * @v cq                Completion queue
 121  */
 122 void ib_poll_cq ( struct ib_device *ibdev,
 123                   struct ib_completion_queue *cq ) {
 124         struct ib_work_queue *wq;
 125
 126         /* Poll completion queue */
 127         ibdev->op->poll_cq ( ibdev, cq );
 128
 129         /* Refill receive work queues */
 130         list_for_each_entry ( wq, &cq->work_queues, list ) {
 131                 if ( ! wq->is_send )
 132                         ib_refill_recv ( ibdev, wq->qp );
 133         }
 134 }
 135
 136 /***************************************************************************
 137  *
 138  * Work queues
 139  *
 140  ***************************************************************************
 141  */
 142
 143 /**
 144  * Create queue pair
 145  *
 146  * @v ibdev             Infiniband device
 147  * @v type              Queue pair type
 148  * @v num_send_wqes     Number of send work queue entries
 149  * @v send_cq           Send completion queue
 150  * @v num_recv_wqes     Number of receive work queue entries
 151  * @v recv_cq           Receive completion queue
 152  * @v qkey              Queue key
 153  * @ret qp              Queue pair
 154  */
 155 struct ib_queue_pair * ib_create_qp ( struct ib_device *ibdev,
 156                                       enum ib_queue_pair_type type,
 157                                       unsigned int num_send_wqes,
 158                                       struct ib_completion_queue *send_cq,
 159                                       unsigned int num_recv_wqes,
 160                                       struct ib_completion_queue *recv_cq,
 161                                       unsigned long qkey ) {
 162         struct ib_queue_pair *qp;
 163         size_t total_size;
 164         int rc;
 165
 166         DBGC ( ibdev, "IBDEV %p creating queue pair\n", ibdev );
 167
 168         /* Allocate and initialise data structure */
 169         total_size = ( sizeof ( *qp ) +
 170                        ( num_send_wqes * sizeof ( qp->send.iobufs[0] ) ) +
 171                        ( num_recv_wqes * sizeof ( qp->recv.iobufs[0] ) ) );
 172         qp = zalloc ( total_size );
 173         if ( ! qp )
 174                 goto err_alloc_qp;
 175         qp->ibdev = ibdev;
 176         list_add ( &qp->list, &ibdev->qps );
 177         qp->type = type;
 178         qp->qkey = qkey;
 179         qp->send.qp = qp;
 180         qp->send.is_send = 1;
 181         qp->send.cq = send_cq;
 182         list_add ( &qp->send.list, &send_cq->work_queues );
 183         qp->send.num_wqes = num_send_wqes;
 184         qp->send.iobufs = ( ( ( void * ) qp ) + sizeof ( *qp ) );
 185         qp->recv.qp = qp;
 186         qp->recv.cq = recv_cq;
 187         list_add ( &qp->recv.list, &recv_cq->work_queues );
 188         qp->recv.num_wqes = num_recv_wqes;
 189         qp->recv.iobufs = ( ( ( void * ) qp ) + sizeof ( *qp ) +
 190                             ( num_send_wqes * sizeof ( qp->send.iobufs[0] ) ));
 191         INIT_LIST_HEAD ( &qp->mgids );
 192
 193         /* Perform device-specific initialisation and get QPN */
 194         if ( ( rc = ibdev->op->create_qp ( ibdev, qp ) ) != 0 ) {
 195                 DBGC ( ibdev, "IBDEV %p could not initialise queue pair: "
 196                        "%s\n", ibdev, strerror ( rc ) );
 197                 goto err_dev_create_qp;
 198         }
 199         DBGC ( ibdev, "IBDEV %p created queue pair %p (%p) with QPN %#lx\n",
 200                ibdev, qp, ib_qp_get_drvdata ( qp ), qp->qpn );
 201         DBGC ( ibdev, "IBDEV %p QPN %#lx has %d send entries at [%p,%p)\n",
 202                ibdev, qp->qpn, num_send_wqes, qp->send.iobufs,
 203                qp->recv.iobufs );
 204         DBGC ( ibdev, "IBDEV %p QPN %#lx has %d receive entries at [%p,%p)\n",
 205                ibdev, qp->qpn, num_recv_wqes, qp->recv.iobufs,
 206                ( ( ( void * ) qp ) + total_size ) );
 207
 208         /* Calculate externally-visible QPN */
 209         switch ( type ) {
 210         case IB_QPT_SMA:
 211                 qp->ext_qpn = IB_QPN_SMA;
 212                 break;
 213         case IB_QPT_GMA:
 214                 qp->ext_qpn = IB_QPN_GMA;
 215                 break;
 216         default:
 217                 qp->ext_qpn = qp->qpn;
 218                 break;
 219         }
 220         if ( qp->ext_qpn != qp->qpn ) {
 221                 DBGC ( ibdev, "IBDEV %p QPN %#lx has external QPN %#lx\n",
 222                        ibdev, qp->qpn, qp->ext_qpn );
 223         }
 224
 225         return qp;
 226
 227         ibdev->op->destroy_qp ( ibdev, qp );
 228  err_dev_create_qp:
 229         list_del ( &qp->send.list );
 230         list_del ( &qp->recv.list );
 231         list_del ( &qp->list );
 232         free ( qp );
 233  err_alloc_qp:
 234         return NULL;
 235 }
 236
 237 /**
 238  * Modify queue pair
 239  *
 240  * @v ibdev             Infiniband device
 241  * @v qp                Queue pair
 242  * @v mod_list          Modification list
 243  * @v qkey              New queue key, if applicable
 244  * @ret rc              Return status code
 245  */
 246 int ib_modify_qp ( struct ib_device *ibdev, struct ib_queue_pair *qp,
 247                    unsigned long mod_list, unsigned long qkey ) {
 248         int rc;
 249
 250         DBGC ( ibdev, "IBDEV %p modifying QPN %#lx\n", ibdev, qp->qpn );
 251
 252         if ( mod_list & IB_MODIFY_QKEY )
 253                 qp->qkey = qkey;
 254
 255         if ( ( rc = ibdev->op->modify_qp ( ibdev, qp, mod_list ) ) != 0 ) {
 256                 DBGC ( ibdev, "IBDEV %p could not modify QPN %#lx: %s\n",
 257                        ibdev, qp->qpn, strerror ( rc ) );
 258                 return rc;
 259         }
 260
 261         return 0;
 262 }
 263
 264 /**
 265  * Destroy queue pair
 266  *
 267  * @v ibdev             Infiniband device
 268  * @v qp                Queue pair
 269  */
 270 void ib_destroy_qp ( struct ib_device *ibdev, struct ib_queue_pair *qp ) {
 271         struct io_buffer *iobuf;
 272         unsigned int i;
 273
 274         DBGC ( ibdev, "IBDEV %p destroying QPN %#lx\n",
 275                ibdev, qp->qpn );
 276
 277         assert ( list_empty ( &qp->mgids ) );
 278
 279         /* Perform device-specific destruction */
 280         ibdev->op->destroy_qp ( ibdev, qp );
 281
 282         /* Complete any remaining I/O buffers with errors */
 283         for ( i = 0 ; i < qp->send.num_wqes ; i++ ) {
 284                 if ( ( iobuf = qp->send.iobufs[i] ) != NULL )
 285                         ib_complete_send ( ibdev, qp, iobuf, -ECANCELED );
 286         }
 287         for ( i = 0 ; i < qp->recv.num_wqes ; i++ ) {
 288                 if ( ( iobuf = qp->recv.iobufs[i] ) != NULL ) {
 289                         ib_complete_recv ( ibdev, qp, NULL, iobuf,
 290                                            -ECANCELED );
 291                 }
 292         }
 293
 294         /* Remove work queues from completion queue */
 295         list_del ( &qp->send.list );
 296         list_del ( &qp->recv.list );
 297
 298         /* Free QP */
 299         list_del ( &qp->list );
 300         free ( qp );
 301 }
 302
 303 /**
 304  * Find queue pair by QPN
 305  *
 306  * @v ibdev             Infiniband device
 307  * @v qpn               Queue pair number
 308  * @ret qp              Queue pair, or NULL
 309  */
 310 struct ib_queue_pair * ib_find_qp_qpn ( struct ib_device *ibdev,
 311                                         unsigned long qpn ) {
 312         struct ib_queue_pair *qp;
 313
 314         list_for_each_entry ( qp, &ibdev->qps, list ) {
 315                 if ( ( qpn == qp->qpn ) || ( qpn == qp->ext_qpn ) )
 316                         return qp;
 317         }
 318         return NULL;
 319 }
 320
 321 /**
 322  * Find queue pair by multicast GID
 323  *
 324  * @v ibdev             Infiniband device
 325  * @v gid               Multicast GID
 326  * @ret qp              Queue pair, or NULL
 327  */
 328 struct ib_queue_pair * ib_find_qp_mgid ( struct ib_device *ibdev,
 329                                          struct ib_gid *gid ) {
 330         struct ib_queue_pair *qp;
 331         struct ib_multicast_gid *mgid;
 332
 333         list_for_each_entry ( qp, &ibdev->qps, list ) {
 334                 list_for_each_entry ( mgid, &qp->mgids, list ) {
 335                         if ( memcmp ( &mgid->gid, gid,
 336                                       sizeof ( mgid->gid ) ) == 0 ) {
 337                                 return qp;
 338                         }
 339                 }
 340         }
 341         return NULL;
 342 }
 343
 344 /**
 345  * Find work queue belonging to completion queue
 346  *
 347  * @v cq                Completion queue
 348  * @v qpn               Queue pair number
 349  * @v is_send           Find send work queue (rather than receive)
 350  * @ret wq              Work queue, or NULL if not found
 351  */
 352 struct ib_work_queue * ib_find_wq ( struct ib_completion_queue *cq,
 353                                     unsigned long qpn, int is_send ) {
 354         struct ib_work_queue *wq;
 355
 356         list_for_each_entry ( wq, &cq->work_queues, list ) {
 357                 if ( ( wq->qp->qpn == qpn ) && ( wq->is_send == is_send ) )
 358                         return wq;
 359         }
 360         return NULL;
 361 }
 362
 363 /**
 364  * Post send work queue entry
 365  *
 366  * @v ibdev             Infiniband device
 367  * @v qp                Queue pair
 368  * @v av                Address vector
 369  * @v iobuf             I/O buffer
 370  * @ret rc              Return status code
 371  */
 372 int ib_post_send ( struct ib_device *ibdev, struct ib_queue_pair *qp,
 373                    struct ib_address_vector *av,
 374                    struct io_buffer *iobuf ) {
 375         int rc;
 376
 377         /* Check queue fill level */
 378         if ( qp->send.fill >= qp->send.num_wqes ) {
 379                 DBGC ( ibdev, "IBDEV %p QPN %#lx send queue full\n",
 380                        ibdev, qp->qpn );
 381                 return -ENOBUFS;
 382         }
 383
 384         /* Fill in optional parameters in address vector */
 385         if ( ! av->qkey )
 386                 av->qkey = qp->qkey;
 387         if ( ! av->rate )
 388                 av->rate = IB_RATE_2_5;
 389
 390         /* Post to hardware */
 391         if ( ( rc = ibdev->op->post_send ( ibdev, qp, av, iobuf ) ) != 0 ) {
 392                 DBGC ( ibdev, "IBDEV %p QPN %#lx could not post send WQE: "
 393                        "%s\n", ibdev, qp->qpn, strerror ( rc ) );
 394                 return rc;
 395         }
 396
 397         qp->send.fill++;
 398         return 0;
 399 }
 400
 401 /**
 402  * Post receive work queue entry
 403  *
 404  * @v ibdev             Infiniband device
 405  * @v qp                Queue pair
 406  * @v iobuf             I/O buffer
 407  * @ret rc              Return status code
 408  */
 409 int ib_post_recv ( struct ib_device *ibdev, struct ib_queue_pair *qp,
 410                    struct io_buffer *iobuf ) {
 411         int rc;
 412
 413         /* Check packet length */
 414         if ( iob_tailroom ( iobuf ) < IB_MAX_PAYLOAD_SIZE ) {
 415                 DBGC ( ibdev, "IBDEV %p QPN %#lx wrong RX buffer size (%zd)\n",
 416                        ibdev, qp->qpn, iob_tailroom ( iobuf ) );
 417                 return -EINVAL;
 418         }
 419
 420         /* Check queue fill level */
 421         if ( qp->recv.fill >= qp->recv.num_wqes ) {
 422                 DBGC ( ibdev, "IBDEV %p QPN %#lx receive queue full\n",
 423                        ibdev, qp->qpn );
 424                 return -ENOBUFS;
 425         }
 426
 427         /* Post to hardware */
 428         if ( ( rc = ibdev->op->post_recv ( ibdev, qp, iobuf ) ) != 0 ) {
 429                 DBGC ( ibdev, "IBDEV %p QPN %#lx could not post receive WQE: "
 430                        "%s\n", ibdev, qp->qpn, strerror ( rc ) );
 431                 return rc;
 432         }
 433
 434         qp->recv.fill++;
 435         return 0;
 436 }
 437
 438 /**
 439  * Complete send work queue entry
 440  *
 441  * @v ibdev             Infiniband device
 442  * @v qp                Queue pair
 443  * @v iobuf             I/O buffer
 444  * @v rc                Completion status code
 445  */
 446 void ib_complete_send ( struct ib_device *ibdev, struct ib_queue_pair *qp,
 447                         struct io_buffer *iobuf, int rc ) {
 448
 449         if ( qp->send.cq->op->complete_send ) {
 450                 qp->send.cq->op->complete_send ( ibdev, qp, iobuf, rc );
 451         } else {
 452                 free_iob ( iobuf );
 453         }
 454         qp->send.fill--;
 455 }
 456
 457 /**
 458  * Complete receive work queue entry
 459  *
 460  * @v ibdev             Infiniband device
 461  * @v qp                Queue pair
 462  * @v av                Address vector
 463  * @v iobuf             I/O buffer
 464  * @v rc                Completion status code
 465  */
 466 void ib_complete_recv ( struct ib_device *ibdev, struct ib_queue_pair *qp,
 467                         struct ib_address_vector *av,
 468                         struct io_buffer *iobuf, int rc ) {
 469
 470         if ( qp->recv.cq->op->complete_recv ) {
 471                 qp->recv.cq->op->complete_recv ( ibdev, qp, av, iobuf, rc );
 472         } else {
 473                 free_iob ( iobuf );
 474         }
 475         qp->recv.fill--;
 476 }
 477
 478 /**
 479  * Refill receive work queue
 480  *
 481  * @v ibdev             Infiniband device
 482  * @v qp                Queue pair
 483  */
 484 void ib_refill_recv ( struct ib_device *ibdev, struct ib_queue_pair *qp ) {
 485         struct io_buffer *iobuf;
 486         int rc;
 487
 488         /* Keep filling while unfilled entries remain */
 489         while ( qp->recv.fill < qp->recv.num_wqes ) {
 490
 491                 /* Allocate I/O buffer */
 492                 iobuf = alloc_iob ( IB_MAX_PAYLOAD_SIZE );
 493                 if ( ! iobuf ) {
 494                         /* Non-fatal; we will refill on next attempt */
 495                         return;
 496                 }
 497
 498                 /* Post I/O buffer */
 499                 if ( ( rc = ib_post_recv ( ibdev, qp, iobuf ) ) != 0 ) {
 500                         DBGC ( ibdev, "IBDEV %p could not refill: %s\n",
 501                                ibdev, strerror ( rc ) );
 502                         free_iob ( iobuf );
 503                         /* Give up */
 504                         return;
 505                 }
 506         }
 507 }
 508
 509 /***************************************************************************
 510  *
 511  * Link control
 512  *
 513  ***************************************************************************
 514  */
 515
 516 /**
 517  * Open port
 518  *
 519  * @v ibdev             Infiniband device
 520  * @ret rc              Return status code
 521  */
 522 int ib_open ( struct ib_device *ibdev ) {
 523         int rc;
 524
 525         /* Increment device open request counter */
 526         if ( ibdev->open_count++ > 0 ) {
 527                 /* Device was already open; do nothing */
 528                 return 0;
 529         }
 530
 531         /* Create subnet management agent */
 532         ibdev->sma = ib_create_gma ( ibdev, IB_QPT_SMA );
 533         if ( ! ibdev->sma ) {
 534                 DBGC ( ibdev, "IBDEV %p could not create SMA\n", ibdev );
 535                 rc = -ENOMEM;
 536                 goto err_create_sma;
 537         }
 538
 539         /* Create general management agent */
 540         ibdev->gma = ib_create_gma ( ibdev, IB_QPT_GMA );
 541         if ( ! ibdev->gma ) {
 542                 DBGC ( ibdev, "IBDEV %p could not create GMA\n", ibdev );
 543                 rc = -ENOMEM;
 544                 goto err_create_gma;
 545         }
 546
 547         /* Open device */
 548         if ( ( rc = ibdev->op->open ( ibdev ) ) != 0 ) {
 549                 DBGC ( ibdev, "IBDEV %p could not open: %s\n",
 550                        ibdev, strerror ( rc ) );
 551                 goto err_open;
 552         }
 553
 554         assert ( ibdev->open_count == 1 );
 555         return 0;
 556
 557         ibdev->op->close ( ibdev );
 558  err_open:
 559         ib_destroy_gma ( ibdev->gma );
 560  err_create_gma:
 561         ib_destroy_gma ( ibdev->sma );
 562  err_create_sma:
 563         assert ( ibdev->open_count == 1 );
 564         ibdev->open_count = 0;
 565         return rc;
 566 }
 567
 568 /**
 569  * Close port
 570  *
 571  * @v ibdev             Infiniband device
 572  */
 573 void ib_close ( struct ib_device *ibdev ) {
 574
 575         /* Decrement device open request counter */
 576         ibdev->open_count--;
 577
 578         /* Close device if this was the last remaining requested opening */
 579         if ( ibdev->open_count == 0 ) {
 580                 ib_destroy_gma ( ibdev->gma );
 581                 ib_destroy_gma ( ibdev->sma );
 582                 ibdev->op->close ( ibdev );
 583         }
 584 }
 585
 586 /***************************************************************************
 587  *
 588  * Multicast
 589  *
 590  ***************************************************************************
 591  */
 592
 593 /**
 594  * Attach to multicast group
 595  *
 596  * @v ibdev             Infiniband device
 597  * @v qp                Queue pair
 598  * @v gid               Multicast GID
 599  * @ret rc              Return status code
 600  *
 601  * Note that this function handles only the local device's attachment
 602  * to the multicast GID; it does not issue the relevant MADs to join
 603  * the multicast group on the subnet.
 604  */
 605 int ib_mcast_attach ( struct ib_device *ibdev, struct ib_queue_pair *qp,
 606                       struct ib_gid *gid ) {
 607         struct ib_multicast_gid *mgid;
 608         int rc;
 609
 610         /* Add to software multicast GID list */
 611         mgid = zalloc ( sizeof ( *mgid ) );
 612         if ( ! mgid ) {
 613                 rc = -ENOMEM;
 614                 goto err_alloc_mgid;
 615         }
 616         memcpy ( &mgid->gid, gid, sizeof ( mgid->gid ) );
 617         list_add ( &mgid->list, &qp->mgids );
 618
 619         /* Add to hardware multicast GID list */
 620         if ( ( rc = ibdev->op->mcast_attach ( ibdev, qp, gid ) ) != 0 )
 621                 goto err_dev_mcast_attach;
 622
 623         return 0;
 624
 625  err_dev_mcast_attach:
 626         list_del ( &mgid->list );
 627         free ( mgid );
 628  err_alloc_mgid:
 629         return rc;
 630 }
 631
 632 /**
 633  * Detach from multicast group
 634  *
 635  * @v ibdev             Infiniband device
 636  * @v qp                Queue pair
 637  * @v gid               Multicast GID
 638  */
 639 void ib_mcast_detach ( struct ib_device *ibdev, struct ib_queue_pair *qp,
 640                        struct ib_gid *gid ) {
 641         struct ib_multicast_gid *mgid;
 642
 643         /* Remove from hardware multicast GID list */
 644         ibdev->op->mcast_detach ( ibdev, qp, gid );
 645
 646         /* Remove from software multicast GID list */
 647         list_for_each_entry ( mgid, &qp->mgids, list ) {
 648                 if ( memcmp ( &mgid->gid, gid, sizeof ( mgid->gid ) ) == 0 ) {
 649                         list_del ( &mgid->list );
 650                         free ( mgid );
 651                         break;
 652                 }
 653         }
 654 }
 655
 656 /***************************************************************************
 657  *
 658  * Miscellaneous
 659  *
 660  ***************************************************************************
 661  */
 662
 663 /**
 664  * Get Infiniband HCA information
 665  *
 666  * @v ibdev             Infiniband device
 667  * @ret hca_guid        HCA GUID
 668  * @ret num_ports       Number of ports
 669  */
 670 int ib_get_hca_info ( struct ib_device *ibdev,
 671                       struct ib_gid_half *hca_guid ) {
 672         struct ib_device *tmp;
 673         int num_ports = 0;
 674
 675         /* Search for IB devices with the same physical device to
 676          * identify port count and a suitable Node GUID.
 677          */
 678         for_each_ibdev ( tmp ) {
 679                 if ( tmp->dev != ibdev->dev )
 680                         continue;
 681                 if ( num_ports == 0 ) {
 682                         memcpy ( hca_guid, &tmp->gid.u.half[1],
 683                                  sizeof ( *hca_guid ) );
 684                 }
 685                 num_ports++;
 686         }
 687         return num_ports;
 688 }
 689
 690 /** Set port information
 691  *
 692  * @v ibdev             Infiniband device
 693  * @v port_info         New port information
 694  */
 695 int ib_set_port_info ( struct ib_device *ibdev,
 696                        const struct ib_port_info *port_info ) {
 697         int rc;
 698
 699         /* Adapters with embedded SMAs do not need to support this method */
 700         if ( ! ibdev->op->set_port_info ) {
 701                 DBGC ( ibdev, "IBDEV %p does not support setting port "
 702                        "information\n", ibdev );
 703                 return -ENOTSUP;
 704         }
 705
 706         if ( ( rc = ibdev->op->set_port_info ( ibdev, port_info ) ) != 0 ) {
 707                 DBGC ( ibdev, "IBDEV %p could not set port information: %s\n",
 708                        ibdev, strerror ( rc ) );
 709                 return rc;
 710         }
 711
 712         return 0;
 713 };
 714
 715 /***************************************************************************
 716  *
 717  * Event queues
 718  *
 719  ***************************************************************************
 720  */
 721
 722 /**
 723  * Handle Infiniband link state change
 724  *
 725  * @v ibdev             Infiniband device
 726  */
 727 void ib_link_state_changed ( struct ib_device *ibdev ) {
 728
 729         /* Notify IPoIB of link state change */
 730         ipoib_link_state_changed ( ibdev );
 731 }
 732
 733 /**
 734  * Poll event queue
 735  *
 736  * @v ibdev             Infiniband device
 737  */
 738 void ib_poll_eq ( struct ib_device *ibdev ) {
 739         struct ib_completion_queue *cq;
 740
 741         /* Poll device's event queue */
 742         ibdev->op->poll_eq ( ibdev );
 743
 744         /* Poll all completion queues */
 745         list_for_each_entry ( cq, &ibdev->cqs, list )
 746                 ib_poll_cq ( ibdev, cq );
 747 }
 748
 749 /**
 750  * Single-step the Infiniband event queue
 751  *
 752  * @v process           Infiniband event queue process
 753  */
 754 static void ib_step ( struct process *process __unused ) {
 755         struct ib_device *ibdev;
 756
 757         for_each_ibdev ( ibdev )
 758                 ib_poll_eq ( ibdev );
 759 }
 760
 761 /** Infiniband event queue process */
 762 struct process ib_process __permanent_process = {
 763         .step = ib_step,
 764 };
 765
 766 /***************************************************************************
 767  *
 768  * Infiniband device creation/destruction
 769  *
 770  ***************************************************************************
 771  */
 772
 773 /**
 774  * Allocate Infiniband device
 775  *
 776  * @v priv_size         Size of driver private data area
 777  * @ret ibdev           Infiniband device, or NULL
 778  */
 779 struct ib_device * alloc_ibdev ( size_t priv_size ) {
 780         struct ib_device *ibdev;
 781         void *drv_priv;
 782         size_t total_len;
 783
 784         total_len = ( sizeof ( *ibdev ) + priv_size );
 785         ibdev = zalloc ( total_len );
 786         if ( ibdev ) {
 787                 drv_priv = ( ( ( void * ) ibdev ) + sizeof ( *ibdev ) );
 788                 ib_set_drvdata ( ibdev, drv_priv );
 789                 INIT_LIST_HEAD ( &ibdev->cqs );
 790                 INIT_LIST_HEAD ( &ibdev->qps );
 791                 ibdev->lid = IB_LID_NONE;
 792                 ibdev->pkey = IB_PKEY_NONE;
 793         }
 794         return ibdev;
 795 }
 796
 797 /**
 798  * Register Infiniband device
 799  *
 800  * @v ibdev             Infiniband device
 801  * @ret rc              Return status code
 802  */
 803 int register_ibdev ( struct ib_device *ibdev ) {
 804         int rc;
 805
 806         /* Add to device list */
 807         ibdev_get ( ibdev );
 808         list_add_tail ( &ibdev->list, &ib_devices );
 809
 810         /* Add IPoIB device */
 811         if ( ( rc = ipoib_probe ( ibdev ) ) != 0 ) {
 812                 DBGC ( ibdev, "IBDEV %p could not add IPoIB device: %s\n",
 813                        ibdev, strerror ( rc ) );
 814                 goto err_ipoib_probe;
 815         }
 816
 817         DBGC ( ibdev, "IBDEV %p registered (phys %s)\n", ibdev,
 818                ibdev->dev->name );
 819         return 0;
 820
 821  err_ipoib_probe:
 822         list_del ( &ibdev->list );
 823         ibdev_put ( ibdev );
 824         return rc;
 825 }
 826
 827 /**
 828  * Unregister Infiniband device
 829  *
 830  * @v ibdev             Infiniband device
 831  */
 832 void unregister_ibdev ( struct ib_device *ibdev ) {
 833
 834         /* Close device */
 835         ipoib_remove ( ibdev );
 836
 837         /* Remove from device list */
 838         list_del ( &ibdev->list );
 839         ibdev_put ( ibdev );
 840         DBGC ( ibdev, "IBDEV %p unregistered\n", ibdev );
 841 }