[infiniband] Update all other MAD users to use a management interface
[people/lynusvaz/gpxe.git] / src / net / infiniband / ib_mcast.c
1 /*
2  * Copyright (C) 2007 Michael Brown <mbrown@fensystems.co.uk>.
3  *
4  * This program is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU General Public License as
6  * published by the Free Software Foundation; either version 2 of the
7  * License, or any later version.
8  *
9  * This program is distributed in the hope that it will be useful, but
10  * WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * General Public License for more details.
13  *
14  * You should have received a copy of the GNU General Public License
15  * along with this program; if not, write to the Free Software
16  * Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
17  */
18
19 FILE_LICENCE ( GPL2_OR_LATER );
20
21 #include <stdint.h>
22 #include <string.h>
23 #include <byteswap.h>
24 #include <errno.h>
25 #include <gpxe/list.h>
26 #include <gpxe/infiniband.h>
27 #include <gpxe/ib_mi.h>
28 #include <gpxe/ib_mcast.h>
29
30 /** @file
31  *
32  * Infiniband multicast groups
33  *
34  */
35
36 /**
37  * Generate multicast membership MAD
38  *
39  * @v ibdev             Infiniband device
40  * @v gid               Multicast GID
41  * @v join              Join (rather than leave) group
42  * @v mad               MAD to fill in
43  */
44 static void ib_mcast_mad ( struct ib_device *ibdev, struct ib_gid *gid,
45                            int join, union ib_mad *mad ) {
46         struct ib_mad_sa *sa = &mad->sa;
47
48         /* Construct multicast membership record request */
49         memset ( sa, 0, sizeof ( *sa ) );
50         sa->mad_hdr.mgmt_class = IB_MGMT_CLASS_SUBN_ADM;
51         sa->mad_hdr.class_version = IB_SA_CLASS_VERSION;
52         sa->mad_hdr.method =
53                 ( join ? IB_MGMT_METHOD_SET : IB_MGMT_METHOD_DELETE );
54         sa->mad_hdr.attr_id = htons ( IB_SA_ATTR_MC_MEMBER_REC );
55         sa->sa_hdr.comp_mask[1] =
56                 htonl ( IB_SA_MCMEMBER_REC_MGID | IB_SA_MCMEMBER_REC_PORT_GID |
57                         IB_SA_MCMEMBER_REC_JOIN_STATE );
58         sa->sa_data.mc_member_record.scope__join_state = 1;
59         memcpy ( &sa->sa_data.mc_member_record.mgid, gid,
60                  sizeof ( sa->sa_data.mc_member_record.mgid ) );
61         memcpy ( &sa->sa_data.mc_member_record.port_gid, &ibdev->gid,
62                  sizeof ( sa->sa_data.mc_member_record.port_gid ) );
63 }
64
65 /**
66  * Handle multicast membership record join response
67  *
68  * @v ibdev             Infiniband device
69  * @v mi                Management interface
70  * @v madx              Management transaction
71  * @v rc                Status code
72  * @v mad               Received MAD (or NULL on error)
73  * @v av                Source address vector (or NULL on error)
74  */
75 static void ib_mcast_complete ( struct ib_device *ibdev,
76                                 struct ib_mad_interface *mi __unused,
77                                 struct ib_mad_transaction *madx,
78                                 int rc, union ib_mad *mad,
79                                 struct ib_address_vector *av __unused ) {
80         struct ib_mc_membership *membership = ib_madx_get_ownerdata ( madx );
81         struct ib_queue_pair *qp = membership->qp;
82         struct ib_gid *gid = &membership->gid;
83         struct ib_mc_member_record *mc_member_record =
84                 &mad->sa.sa_data.mc_member_record;
85         int joined;
86         unsigned long qkey;
87
88         /* Report failures */
89         if ( rc != 0 ) {
90                 DBGC ( ibdev, "IBDEV %p QPN %lx join failed: %s\n",
91                        ibdev, qp->qpn, strerror ( rc ) );
92                 goto out;
93         }
94
95         /* Extract values from MAD */
96         joined = ( mad->hdr.method == IB_MGMT_METHOD_GET_RESP );
97         qkey = ntohl ( mc_member_record->qkey );
98         DBGC ( ibdev, "IBDEV %p QPN %lx %s %08x:%08x:%08x:%08x qkey %lx\n",
99                ibdev, qp->qpn, ( joined ? "joined" : "left" ),
100                ntohl ( gid->u.dwords[0] ), ntohl ( gid->u.dwords[1] ),
101                ntohl ( gid->u.dwords[2] ), ntohl ( gid->u.dwords[3] ),
102                qkey );
103
104         /* Set queue key */
105         qp->qkey = qkey;
106         if ( ( rc = ib_modify_qp ( ibdev, qp ) ) != 0 ) {
107                 DBGC ( ibdev, "IBDEV %p QPN %lx could not modify qkey: %s\n",
108                        ibdev, qp->qpn, strerror ( rc ) );
109                 goto out;
110         }
111
112  out:
113         /* Destroy the completed transaction */
114         ib_destroy_madx ( ibdev, mi, madx );
115         membership->madx = NULL;
116
117         /* Hand off to upper completion handler */
118         membership->complete ( ibdev, qp, membership, rc, mad );
119 }
120
121 /** Multicast membership management transaction completion operations */
122 static struct ib_mad_transaction_operations ib_mcast_op = {
123         .complete = ib_mcast_complete,
124 };
125
126 /**
127  * Join multicast group
128  *
129  * @v ibdev             Infiniband device
130  * @v qp                Queue pair
131  * @v membership        Multicast group membership
132  * @v gid               Multicast GID to join
133  * @v joined            Join completion handler
134  * @ret rc              Return status code
135  */
136 int ib_mcast_join ( struct ib_device *ibdev, struct ib_queue_pair *qp,
137                     struct ib_mc_membership *membership, struct ib_gid *gid,
138                     void ( * complete ) ( struct ib_device *ibdev,
139                                           struct ib_queue_pair *qp,
140                                           struct ib_mc_membership *membership,
141                                           int rc, union ib_mad *mad ) ) {
142         union ib_mad mad;
143         int rc;
144
145         DBGC ( ibdev, "IBDEV %p QPN %lx joining %08x:%08x:%08x:%08x\n",
146                ibdev, qp->qpn, ntohl ( gid->u.dwords[0] ),
147                ntohl ( gid->u.dwords[1] ), ntohl ( gid->u.dwords[2] ),
148                ntohl ( gid->u.dwords[3] ) );
149
150         /* Initialise structure */
151         membership->qp = qp;
152         memcpy ( &membership->gid, gid, sizeof ( membership->gid ) );
153         membership->complete = complete;
154
155         /* Attach queue pair to multicast GID */
156         if ( ( rc = ib_mcast_attach ( ibdev, qp, gid ) ) != 0 ) {
157                 DBGC ( ibdev, "IBDEV %p QPN %lx could not attach: %s\n",
158                        ibdev, qp->qpn, strerror ( rc ) );
159                 goto err_mcast_attach;
160         }
161
162         /* Initiate multicast membership join */
163         ib_mcast_mad ( ibdev, gid, 1, &mad );
164         membership->madx = ib_create_madx ( ibdev, ibdev->gsi, &mad, NULL,
165                                             &ib_mcast_op );
166         if ( ! membership->madx ) {
167                 DBGC ( ibdev, "IBDEV %p QPN %lx could not create join "
168                        "transaction\n", ibdev, qp->qpn );
169                 rc = -ENOMEM;
170                 goto err_create_madx;
171         }
172         ib_madx_set_ownerdata ( membership->madx, membership );
173
174         return 0;
175
176         ib_destroy_madx ( ibdev, ibdev->gsi, membership->madx );
177  err_create_madx:
178         ib_mcast_detach ( ibdev, qp, gid );
179  err_mcast_attach:
180         return rc;
181 }
182
183 /**
184  * Leave multicast group
185  *
186  * @v ibdev             Infiniband device
187  * @v qp                Queue pair
188  * @v membership        Multicast group membership
189  */
190 void ib_mcast_leave ( struct ib_device *ibdev, struct ib_queue_pair *qp,
191                       struct ib_mc_membership *membership ) {
192         struct ib_gid *gid = &membership->gid;
193         union ib_mad mad;
194         int rc;
195
196         DBGC ( ibdev, "IBDEV %p QPN %lx leaving %08x:%08x:%08x:%08x\n",
197                ibdev, qp->qpn, ntohl ( gid->u.dwords[0] ),
198                ntohl ( gid->u.dwords[1] ), ntohl ( gid->u.dwords[2] ),
199                ntohl ( gid->u.dwords[3] ) );
200
201         /* Detach from multicast GID */
202         ib_mcast_detach ( ibdev, qp, &membership->gid );
203
204         /* Cancel multicast membership join, if applicable */
205         if ( membership->madx ) {
206                 ib_destroy_madx ( ibdev, ibdev->gsi, membership->madx );
207                 membership->madx = NULL;
208         }
209
210         /* Send a single group leave MAD */
211         ib_mcast_mad ( ibdev, &membership->gid, 0, &mad );
212         if ( ( rc = ib_mi_send ( ibdev, ibdev->gsi, &mad, NULL ) ) != 0 ) {
213                 DBGC ( ibdev, "IBDEV %p QPN %lx could not send leave request: "
214                        "%s\n", ibdev, qp->qpn, strerror ( rc ) );
215         }
216 }