01ce21c2fb9d50cf83c04d5c5ebe922d2a0a4dcb
[people/peper/gpxe.git] / src / net / infiniband / ib_cm.c
1 /*
2  * Copyright (C) 2009 Michael Brown <mbrown@fensystems.co.uk>.
3  *
4  * This program is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU General Public License as
6  * published by the Free Software Foundation; either version 2 of the
7  * License, or any later version.
8  *
9  * This program is distributed in the hope that it will be useful, but
10  * WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * General Public License for more details.
13  *
14  * You should have received a copy of the GNU General Public License
15  * along with this program; if not, write to the Free Software
16  * Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
17  */
18
19 FILE_LICENCE ( GPL2_OR_LATER );
20
21 #include <stdint.h>
22 #include <stdlib.h>
23 #include <string.h>
24 #include <byteswap.h>
25 #include <errno.h>
26 #include <assert.h>
27 #include <gpxe/infiniband.h>
28 #include <gpxe/ib_mi.h>
29 #include <gpxe/ib_pathrec.h>
30 #include <gpxe/ib_cm.h>
31
32 /**
33  * @file
34  *
35  * Infiniband communication management
36  *
37  */
38
39 /**
40  * Send "ready to use" response
41  *
42  * @v ibdev             Infiniband device
43  * @v mi                Management interface
44  * @v conn              Connection
45  * @v av                Address vector
46  * @ret rc              Return status code
47  */
48 static int ib_cm_send_rtu ( struct ib_device *ibdev,
49                             struct ib_mad_interface *mi,
50                             struct ib_connection *conn,
51                             struct ib_address_vector *av ) {
52         union ib_mad mad;
53         struct ib_cm_ready_to_use *ready =
54                 &mad.cm.cm_data.ready_to_use;
55         int rc;
56
57         /* Construct "ready to use" response */
58         memset ( &mad, 0, sizeof ( mad ) );
59         mad.hdr.mgmt_class = IB_MGMT_CLASS_CM;
60         mad.hdr.class_version = IB_CM_CLASS_VERSION;
61         mad.hdr.method = IB_MGMT_METHOD_SEND;
62         mad.hdr.attr_id = htons ( IB_CM_ATTR_READY_TO_USE );
63         ready->local_id = htonl ( conn->local_id );
64         ready->remote_id = htonl ( conn->remote_id );
65         if ( ( rc = ib_mi_send ( ibdev, mi, &mad, av ) ) != 0 ){
66                 DBGC ( conn, "CM %p could not send RTU: %s\n",
67                        conn, strerror ( rc ) );
68                 return rc;
69         }
70
71         return 0;
72 }
73
74 /**
75  * Handle connection request transaction completion
76  *
77  * @v ibdev             Infiniband device
78  * @v mi                Management interface
79  * @v madx              Management transaction
80  * @v rc                Status code
81  * @v mad               Received MAD (or NULL on error)
82  * @v av                Source address vector (or NULL on error)
83  */
84 static void ib_cm_req_complete ( struct ib_device *ibdev,
85                                  struct ib_mad_interface *mi,
86                                  struct ib_mad_transaction *madx,
87                                  int rc, union ib_mad *mad,
88                                  struct ib_address_vector *av ) {
89         struct ib_connection *conn = ib_madx_get_ownerdata ( madx );
90         struct ib_queue_pair *qp = conn->qp;
91         struct ib_cm_common *common = &mad->cm.cm_data.common;
92         struct ib_cm_connect_reply *connect_rep =
93                 &mad->cm.cm_data.connect_reply;
94         struct ib_cm_connect_reject *connect_rej =
95                 &mad->cm.cm_data.connect_reject;
96         void *private_data = NULL;
97         size_t private_data_len = 0;
98
99         /* Report failures */
100         if ( rc != 0 ) {
101                 DBGC ( conn, "CM %p connection request failed: %s\n",
102                        conn, strerror ( rc ) );
103                 goto out;
104         }
105
106         /* Record remote communication ID */
107         conn->remote_id = ntohl ( common->local_id );
108
109         /* Handle response */
110         switch ( mad->hdr.attr_id ) {
111
112         case htons ( IB_CM_ATTR_CONNECT_REPLY ) :
113                 /* Extract fields */
114                 qp->av.qpn = ( ntohl ( connect_rep->local_qpn ) >> 8 );
115                 qp->send.psn = ( ntohl ( connect_rep->starting_psn ) >> 8 );
116                 private_data = &connect_rep->private_data;
117                 private_data_len = sizeof ( connect_rep->private_data );
118                 DBGC ( conn, "CM %p connected to QPN %lx PSN %x\n",
119                        conn, qp->av.qpn, qp->send.psn );
120
121                 /* Modify queue pair */
122                 if ( ( rc = ib_modify_qp ( ibdev, qp ) ) != 0 ) {
123                         DBGC ( conn, "CM %p could not modify queue pair: %s\n",
124                                conn, strerror ( rc ) );
125                         goto out;
126                 }
127
128                 /* Send "ready to use" reply */
129                 if ( ( rc = ib_cm_send_rtu ( ibdev, mi, conn, av ) ) != 0 ) {
130                         /* Treat as non-fatal */
131                         rc = 0;
132                 }
133                 break;
134
135         case htons ( IB_CM_ATTR_CONNECT_REJECT ) :
136                 /* Extract fields */
137                 DBGC ( conn, "CM %p connection rejected (reason %d)\n",
138                        conn, ntohs ( connect_rej->reason ) );
139                 private_data = &connect_rej->private_data;
140                 private_data_len = sizeof ( connect_rej->private_data );
141                 rc = -ENOTCONN;
142                 break;
143
144         default:
145                 DBGC ( conn, "CM %p unexpected response (attribute %04x)\n",
146                        conn, ntohs ( mad->hdr.attr_id ) );
147                 rc = -EIO;
148                 break;
149         }
150
151  out:
152         /* Destroy the completed transaction */
153         ib_destroy_madx ( ibdev, ibdev->gsi, madx );
154         conn->madx = NULL;
155
156         /* Hand off to the upper completion handler */
157         conn->op->changed ( ibdev, qp, conn, rc, private_data,
158                             private_data_len );
159 }
160
161 /** Connection request operations */
162 static struct ib_mad_transaction_operations ib_cm_req_op = {
163         .complete = ib_cm_req_complete,
164 };
165
166 /**
167  * Handle connection path transaction completion
168  *
169  * @v ibdev             Infiniband device
170  * @v path              Path
171  * @v rc                Status code
172  * @v av                Address vector, or NULL on error
173  */
174 static void ib_cm_path_complete ( struct ib_device *ibdev,
175                                   struct ib_path *path, int rc,
176                                   struct ib_address_vector *av ) {
177         struct ib_connection *conn = ib_path_get_ownerdata ( path );
178         struct ib_queue_pair *qp = conn->qp;
179         union ib_mad mad;
180         struct ib_cm_connect_request *connect_req =
181                 &mad.cm.cm_data.connect_request;
182         size_t private_data_len;
183
184         /* Report failures */
185         if ( rc != 0 ) {
186                 DBGC ( conn, "CM %p path lookup failed: %s\n",
187                        conn, strerror ( rc ) );
188                 conn->op->changed ( ibdev, qp, conn, rc, NULL, 0 );
189                 goto out;
190         }
191
192         /* Update queue pair peer path */
193         memcpy ( &qp->av, av, sizeof ( qp->av ) );
194
195         /* Construct connection request */
196         memset ( &mad, 0, sizeof ( mad ) );
197         mad.hdr.mgmt_class = IB_MGMT_CLASS_CM;
198         mad.hdr.class_version = IB_CM_CLASS_VERSION;
199         mad.hdr.method = IB_MGMT_METHOD_SEND;
200         mad.hdr.attr_id = htons ( IB_CM_ATTR_CONNECT_REQUEST );
201         connect_req->local_id = htonl ( conn->local_id );
202         memcpy ( &connect_req->service_id, &conn->service_id,
203                  sizeof ( connect_req->service_id ) );
204         ib_get_hca_info ( ibdev, &connect_req->local_ca );
205         connect_req->local_qpn__responder_resources =
206                 htonl ( ( qp->qpn << 8 ) | 1 );
207         connect_req->local_eecn__initiator_depth = htonl ( ( 0 << 8 ) | 1 );
208         connect_req->remote_eecn__remote_timeout__service_type__ee_flow_ctrl =
209                 htonl ( ( 0x14 << 3 ) | ( IB_CM_TRANSPORT_RC << 1 ) |
210                         ( 0 << 0 ) );
211         connect_req->starting_psn__local_timeout__retry_count =
212                 htonl ( ( qp->recv.psn << 8 ) | ( 0x14 << 3 ) |
213                         ( 0x07 << 0 ) );
214         connect_req->pkey = htons ( ibdev->pkey );
215         connect_req->payload_mtu__rdc_exists__rnr_retry =
216                 ( ( IB_MTU_2048 << 4 ) | ( 1 << 3 ) | ( 0x07 << 0 ) );
217         connect_req->max_cm_retries__srq =
218                 ( ( 0x0f << 4 ) | ( 0 << 3 ) );
219         connect_req->primary.local_lid = htons ( ibdev->lid );
220         connect_req->primary.remote_lid = htons ( conn->qp->av.lid );
221         memcpy ( &connect_req->primary.local_gid, &ibdev->gid,
222                  sizeof ( connect_req->primary.local_gid ) );
223         memcpy ( &connect_req->primary.remote_gid, &conn->qp->av.gid,
224                  sizeof ( connect_req->primary.remote_gid ) );
225         connect_req->primary.flow_label__rate =
226                 htonl ( ( 0 << 12 ) | ( conn->qp->av.rate << 0 ) );
227         connect_req->primary.hop_limit = 0;
228         connect_req->primary.sl__subnet_local =
229                 ( ( conn->qp->av.sl << 4 ) | ( 1 << 3 ) );
230         connect_req->primary.local_ack_timeout = ( 0x13 << 3 );
231         private_data_len = conn->private_data_len;
232         if ( private_data_len > sizeof ( connect_req->private_data ) )
233                 private_data_len = sizeof ( connect_req->private_data );
234         memcpy ( &connect_req->private_data, &conn->private_data,
235                  private_data_len );
236
237         /* Create connection request */
238         conn->madx = ib_create_madx ( ibdev, ibdev->gsi, &mad, NULL,
239                                       &ib_cm_req_op );
240         if ( ! conn->madx ) {
241                 DBGC ( conn, "CM %p could not create connection request\n",
242                        conn );
243                 conn->op->changed ( ibdev, qp, conn, rc, NULL, 0 );
244                 goto out;
245         }
246         ib_madx_set_ownerdata ( conn->madx, conn );
247
248  out:
249         /* Destroy the completed transaction */
250         ib_destroy_path ( ibdev, path );
251         conn->path = NULL;
252 }
253
254 /** Connection path operations */
255 static struct ib_path_operations ib_cm_path_op = {
256         .complete = ib_cm_path_complete,
257 };
258
259 /**
260  * Create connection to remote QP
261  *
262  * @v ibdev             Infiniband device
263  * @v qp                Queue pair
264  * @v dgid              Target GID
265  * @v service_id        Target service ID
266  * @v private_data      Connection request private data
267  * @v private_data_len  Length of connection request private data
268  * @v op                Connection operations
269  * @ret conn            Connection
270  */
271 struct ib_connection *
272 ib_create_conn ( struct ib_device *ibdev, struct ib_queue_pair *qp,
273                  struct ib_gid *dgid, struct ib_gid_half *service_id,
274                  void *private_data, size_t private_data_len,
275                  struct ib_connection_operations *op ) {
276         struct ib_connection *conn;
277
278         /* Allocate and initialise request */
279         conn = zalloc ( sizeof ( *conn ) + private_data_len );
280         if ( ! conn )
281                 goto err_alloc_conn;
282         conn->ibdev = ibdev;
283         conn->qp = qp;
284         memset ( &qp->av, 0, sizeof ( qp->av ) );
285         qp->av.gid_present = 1;
286         memcpy ( &qp->av.gid, dgid, sizeof ( qp->av.gid ) );
287         conn->local_id = random();
288         memcpy ( &conn->service_id, service_id, sizeof ( conn->service_id ) );
289         conn->op = op;
290         conn->private_data_len = private_data_len;
291         memcpy ( &conn->private_data, private_data, private_data_len );
292
293         /* Create path */
294         conn->path = ib_create_path ( ibdev, &qp->av, &ib_cm_path_op );
295         if ( ! conn->path )
296                 goto err_create_path;
297         ib_path_set_ownerdata ( conn->path, conn );
298
299         DBGC ( conn, "CM %p created for IBDEV %p QPN %lx\n",
300                conn, ibdev, qp->qpn );
301         DBGC ( conn, "CM %p connecting to %08x:%08x:%08x:%08x %08x:%08x\n",
302                conn, ntohl ( dgid->u.dwords[0] ), ntohl ( dgid->u.dwords[1] ),
303                ntohl ( dgid->u.dwords[2] ), ntohl ( dgid->u.dwords[3] ),
304                ntohl ( service_id->u.dwords[0] ),
305                ntohl ( service_id->u.dwords[1] ) );
306
307         return conn;
308
309         ib_destroy_path ( ibdev, conn->path );
310  err_create_path:
311         free ( conn );
312  err_alloc_conn:
313         return NULL;
314 }
315
316 /**
317  * Destroy connection to remote QP
318  *
319  * @v ibdev             Infiniband device
320  * @v qp                Queue pair
321  * @v conn              Connection
322  */
323 void ib_destroy_conn ( struct ib_device *ibdev,
324                        struct ib_queue_pair *qp __unused,
325                        struct ib_connection *conn ) {
326
327         if ( conn->madx )
328                 ib_destroy_madx ( ibdev, ibdev->gsi, conn->madx );
329         if ( conn->path )
330                 ib_destroy_path ( ibdev, conn->path );
331         free ( conn );
332 }