9a0692eec65166d1357452fb754c0a50e9f48764
[people/andreif/gpxe.git] / src / net / infiniband.c
1 /*
2  * Copyright (C) 2007 Michael Brown <mbrown@fensystems.co.uk>.
3  *
4  * This program is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU General Public License as
6  * published by the Free Software Foundation; either version 2 of the
7  * License, or any later version.
8  *
9  * This program is distributed in the hope that it will be useful, but
10  * WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * General Public License for more details.
13  *
14  * You should have received a copy of the GNU General Public License
15  * along with this program; if not, write to the Free Software
16  * Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
17  */
18
19 #include <stdint.h>
20 #include <stdlib.h>
21 #include <stdio.h>
22 #include <string.h>
23 #include <byteswap.h>
24 #include <errno.h>
25 #include <assert.h>
26 #include <gpxe/list.h>
27 #include <gpxe/if_arp.h>
28 #include <gpxe/netdevice.h>
29 #include <gpxe/iobuf.h>
30 #include <gpxe/infiniband.h>
31
32 /** @file
33  *
34  * Infiniband protocol
35  *
36  */
37
38 /**
39  * Create completion queue
40  *
41  * @v ibdev             Infiniband device
42  * @v num_cqes          Number of completion queue entries
43  * @ret cq              New completion queue
44  */
45 struct ib_completion_queue * ib_create_cq ( struct ib_device *ibdev,
46                                             unsigned int num_cqes ) {
47         struct ib_completion_queue *cq;
48         int rc;
49
50         DBGC ( ibdev, "IBDEV %p creating completion queue\n", ibdev );
51
52         /* Allocate and initialise data structure */
53         cq = zalloc ( sizeof ( *cq ) );
54         if ( ! cq )
55                 return NULL;
56         cq->num_cqes = num_cqes;
57         INIT_LIST_HEAD ( &cq->work_queues );
58
59         /* Perform device-specific initialisation and get CQN */
60         if ( ( rc = ibdev->op->create_cq ( ibdev, cq ) ) != 0 ) {
61                 DBGC ( ibdev, "IBDEV %p could not initialise completion "
62                        "queue: %s\n", ibdev, strerror ( rc ) );
63                 free ( cq );
64                 return NULL;
65         }
66
67         DBGC ( ibdev, "IBDEV %p created completion queue %#lx\n",
68                ibdev, cq->cqn );
69         return cq;
70 }
71
72 /**
73  * Destroy completion queue
74  *
75  * @v ibdev             Infiniband device
76  * @v cq                Completion queue
77  */
78 void ib_destroy_cq ( struct ib_device *ibdev,
79                      struct ib_completion_queue *cq ) {
80         DBGC ( ibdev, "IBDEV %p destroying completion queue %#lx\n",
81                ibdev, cq->cqn );
82         assert ( list_empty ( &cq->work_queues ) );
83         ibdev->op->destroy_cq ( ibdev, cq );
84         free ( cq );
85 }
86
87 /**
88  * Create queue pair
89  *
90  * @v ibdev             Infiniband device
91  * @v num_send_wqes     Number of send work queue entries
92  * @v send_cq           Send completion queue
93  * @v num_recv_wqes     Number of receive work queue entries
94  * @v recv_cq           Receive completion queue
95  * @ret qp              Queue pair
96  */
97 struct ib_queue_pair * ib_create_qp ( struct ib_device *ibdev,
98                                       unsigned int num_send_wqes,
99                                       struct ib_completion_queue *send_cq,
100                                       unsigned int num_recv_wqes,
101                                       struct ib_completion_queue *recv_cq ) {
102         struct ib_queue_pair *qp;
103         int rc;
104
105         DBGC ( ibdev, "IBDEV %p creating queue pair\n", ibdev );
106
107         /* Allocate and initialise data structure */
108         qp = zalloc ( sizeof ( *qp ) +
109                       ( num_send_wqes * sizeof ( qp->send.iobufs[0] ) ) +
110                       ( num_recv_wqes * sizeof ( qp->recv.iobufs[0] ) ) );
111         if ( ! qp )
112                 return NULL;
113         qp->send.qp = qp;
114         qp->send.is_send = 1;
115         qp->send.cq = send_cq;
116         list_add ( &qp->send.list, &send_cq->work_queues );
117         qp->send.num_wqes = num_send_wqes;
118         qp->send.iobufs = ( ( ( void * ) qp ) + sizeof ( *qp ) );
119         qp->recv.qp = qp;
120         qp->recv.cq = recv_cq;
121         list_add ( &qp->recv.list, &recv_cq->work_queues );
122         qp->recv.num_wqes = num_recv_wqes;
123         qp->recv.iobufs = ( ( ( void * ) qp ) + sizeof ( *qp ) +
124                             ( num_send_wqes * sizeof ( qp->send.iobufs[0] ) ));
125
126         /* Perform device-specific initialisation and get QPN */
127         if ( ( rc = ibdev->op->create_qp ( ibdev, qp ) ) != 0 ) {
128                 DBGC ( ibdev, "IBDEV %p could not initialise queue pair: "
129                        "%s\n", ibdev, strerror ( rc ) );
130                 free ( qp );
131                 return NULL;
132         }
133
134         DBGC ( ibdev, "IBDEV %p created queue pair %#lx\n",
135                ibdev, qp->qpn );
136         return qp;
137 }
138
139 /**
140  * Destroy queue pair
141  *
142  * @v ibdev             Infiniband device
143  * @v qp                Queue pair
144  */
145 void ib_destroy_qp ( struct ib_device *ibdev,
146                      struct ib_queue_pair *qp ) {
147         DBGC ( ibdev, "IBDEV %p destroying queue pair %#lx\n",
148                ibdev, qp->qpn );
149         ibdev->op->destroy_qp ( ibdev, qp );
150         free ( qp );
151 }
152
153
154
155 /**
156  * Find work queue belonging to completion queue
157  *
158  * @v cq                Completion queue
159  * @v qpn               Queue pair number
160  * @v is_send           Find send work queue (rather than receive)
161  * @ret wq              Work queue, or NULL if not found
162  */
163 struct ib_work_queue * ib_find_wq ( struct ib_completion_queue *cq,
164                                     unsigned long qpn, int is_send ) {
165         struct ib_work_queue *wq;
166
167         list_for_each_entry ( wq, &cq->work_queues, list ) {
168                 if ( ( wq->qp->qpn == qpn ) && ( wq->is_send == is_send ) )
169                         return wq;
170         }
171         return NULL;
172 }
173
174
175
176 /** Infiniband broadcast MAC address */
177 static uint8_t ib_broadcast[IB_ALEN] = { 0xff, };
178
179 /**
180  * Transmit Infiniband packet
181  *
182  * @v iobuf             I/O buffer
183  * @v netdev            Network device
184  * @v net_protocol      Network-layer protocol
185  * @v ll_dest           Link-layer destination address
186  *
187  * Prepends the Infiniband link-layer header and transmits the packet.
188  */
189 static int ib_tx ( struct io_buffer *iobuf, struct net_device *netdev,
190                    struct net_protocol *net_protocol, const void *ll_dest ) {
191         struct ibhdr *ibhdr = iob_push ( iobuf, sizeof ( *ibhdr ) );
192
193         /* Build Infiniband header */
194         ibhdr->proto = net_protocol->net_proto;
195         ibhdr->reserved = 0;
196
197         ( void ) ll_dest;
198
199         /* Hand off to network device */
200         return netdev_tx ( netdev, iobuf );
201 }
202
203 /**
204  * Process received Infiniband packet
205  *
206  * @v iobuf     I/O buffer
207  * @v netdev    Network device
208  *
209  * Strips off the Infiniband link-layer header and passes up to the
210  * network-layer protocol.
211  */
212 static int ib_rx ( struct io_buffer *iobuf, struct net_device *netdev ) {
213         struct ibhdr *ibhdr = iobuf->data;
214
215         /* Sanity check */
216         if ( iob_len ( iobuf ) < sizeof ( *ibhdr ) ) {
217                 DBG ( "Infiniband packet too short (%d bytes)\n",
218                       iob_len ( iobuf ) );
219                 free_iob ( iobuf );
220                 return -EINVAL;
221         }
222
223         /* Strip off Infiniband header */
224         iob_pull ( iobuf, sizeof ( *ibhdr ) );
225
226         /* Hand off to network-layer protocol */
227         return net_rx ( iobuf, netdev, ibhdr->proto, NULL );
228 }
229
230 /**
231  * Transcribe Infiniband address
232  *
233  * @v ll_addr   Link-layer address
234  * @ret string  Link-layer address in human-readable format
235  */
236 const char * ib_ntoa ( const void *ll_addr ) {
237         static char buf[61];
238         const uint8_t *ib_addr = ll_addr;
239         unsigned int i;
240         char *p = buf;
241
242         for ( i = 0 ; i < IB_ALEN ; i++ ) {
243                 p += sprintf ( p, ":%02x", ib_addr[i] );
244         }
245         return ( buf + 1 );
246 }
247
248 /** Infiniband protocol */
249 struct ll_protocol infiniband_protocol __ll_protocol = {
250         .name           = "Infiniband",
251         .ll_proto       = htons ( ARPHRD_INFINIBAND ),
252         .ll_addr_len    = IB_ALEN,
253         .ll_header_len  = IB_HLEN,
254         .ll_broadcast   = ib_broadcast,
255         .tx             = ib_tx,
256         .rx             = ib_rx,
257         .ntoa           = ib_ntoa,
258 };