a05b601ada5ef084db1931f1b417ba2e8287bf5a
[mirror/winof/.git] / hw / mthca / kernel / mt_cache.c
1 /*
2  * Copyright (c) 2004 Topspin Communications.  All rights reserved.
3  * Copyright (c) 2005 Intel Corporation. All rights reserved.
4  * Copyright (c) 2005 Sun Microsystems, Inc. All rights reserved.
5  * Copyright (c) 2005 Voltaire, Inc. All rights reserved.
6  *
7  * This software is available to you under a choice of one of two
8  * licenses.  You may choose to be licensed under the terms of the GNU
9  * General Public License (GPL) Version 2, available from the file
10  * COPYING in the main directory of this source tree, or the
11  * OpenIB.org BSD license below:
12  *
13  *     Redistribution and use in source and binary forms, with or
14  *     without modification, are permitted provided that the following
15  *     conditions are met:
16  *
17  *      - Redistributions of source code must retain the above
18  *        copyright notice, this list of conditions and the following
19  *        disclaimer.
20  *
21  *      - Redistributions in binary form must reproduce the above
22  *        copyright notice, this list of conditions and the following
23  *        disclaimer in the documentation and/or other materials
24  *        provided with the distribution.
25  *
26  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
27  * EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
28  * MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
29  * NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS
30  * BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN
31  * ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN
32  * CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
33  * SOFTWARE.
34  *
35  * $Id: cache.c 2918 2005-07-27 21:04:40Z roland $
36  */
37
38 #include <mt_l2w.h>
39 #include "mthca_dev.h"
40 #if defined(EVENT_TRACING)
41 #ifdef offsetof
42 #undef offsetof
43 #endif
44 #include "mt_cache.tmh"
45 #endif
46 #include <ib_cache.h>
47
48 #include "ib_cache.h"
49
50 #ifdef ALLOC_PRAGMA
51 #pragma alloc_text (PAGE, ib_cache_setup)
52 #pragma alloc_text (PAGE, ib_cache_cleanup)
53 #endif
54
55
56 #pragma warning( disable : 4200)
57 struct ib_pkey_cache {
58         int             table_len;
59         u16             table[0];
60 };
61
62 struct ib_gid_cache {
63         int             table_len;
64         union ib_gid    table[0];
65 };
66 #pragma warning( default  : 4200)
67
68 struct ib_update_work {
69         PIO_WORKITEM work_item;
70         struct ib_device  *device;
71         u8                 port_num;
72 };
73
74 int ib_get_cached_gid(struct ib_device *device,
75                       u8                port_num,
76                       int               index,
77                       union ib_gid     *gid)
78 {
79         struct ib_gid_cache *cache;
80         int ret = 0;
81         SPIN_LOCK_PREP(lh);
82
83         // sanity checks
84         if (port_num < start_port(device) || port_num > end_port(device))
85                 return -EINVAL;
86         if (!device->cache.gid_cache)
87                 return -EFAULT;
88
89         read_lock_irqsave(&device->cache.lock, &lh);
90
91         cache = device->cache.gid_cache[port_num - start_port(device)];
92
93         if (index < 0 || index >= cache->table_len)
94                 ret = -EINVAL;
95         else
96                 *gid = cache->table[index];
97
98         read_unlock_irqrestore(&lh);
99
100         return ret;
101 }
102
103 int ib_find_cached_gid(struct ib_device *device,
104                        union ib_gid     *gid,
105                        u8               *port_num,
106                        u16              *index)
107 {
108         struct ib_gid_cache *cache;
109         int i;
110         u8 p;
111         int ret = -ENOENT;
112         SPIN_LOCK_PREP(lh);
113
114         *port_num = (u8)-1;
115         if (index)
116                 *index = (u16)-1;
117
118         read_lock_irqsave(&device->cache.lock, &lh);
119
120         for (p = 0; p <= end_port(device) - start_port(device); ++p) {
121                 cache = device->cache.gid_cache[p];
122                 for (i = 0; i < cache->table_len; ++i) {
123                         if (!memcmp(gid, &cache->table[i], sizeof *gid)) {
124                                 *port_num = p + start_port(device);
125                                 if (index)
126                                         *index = (u16)i;
127                                 ret = 0;
128                                 goto found;
129                         }
130                 }
131         }
132 found:
133         read_unlock_irqrestore(&lh);
134
135         return ret;
136 }
137
138 int ib_get_cached_pkey(struct ib_device *device,
139                        u8                port_num,
140                        int               index,
141                        u16              *pkey)
142 {
143         struct ib_pkey_cache *cache;
144         int ret = 0;
145         SPIN_LOCK_PREP(lh);
146
147         // sanity checks
148         if (port_num < start_port(device) || port_num > end_port(device))
149                 return -EINVAL;
150         if (!device->cache.gid_cache)
151                 return -EFAULT;
152
153         read_lock_irqsave(&device->cache.lock, &lh);
154
155         cache = device->cache.pkey_cache[port_num - start_port(device)];
156
157         if (index < 0 || index >= cache->table_len)
158                 ret = -EINVAL;
159         else
160                 *pkey = cache->table[index];
161
162         read_unlock_irqrestore(&lh);
163
164         return ret;
165 }
166
167 int ib_find_cached_pkey(struct ib_device *device,
168                         u8                port_num,
169                         u16               pkey,
170                         u16              *index)
171 {
172         struct ib_pkey_cache *cache;
173         int i;
174         int ret = -ENOENT;
175         SPIN_LOCK_PREP(lh);
176
177         if (port_num < start_port(device) || port_num > end_port(device))
178                 return -EINVAL;
179
180         read_lock_irqsave(&device->cache.lock, &lh);
181
182         cache = device->cache.pkey_cache[port_num - start_port(device)];
183
184         *index = (u16)-1;
185
186         for (i = 0; i < cache->table_len; ++i)
187                 if ((cache->table[i] & 0x7fff) == (pkey & 0x7fff)) {
188                         *index = (u16)i;
189                         ret = 0;
190                         break;
191                 }
192
193         read_unlock_irqrestore(&lh);
194
195         return ret;
196 }
197
198 static void ib_cache_update(struct ib_device *device,
199                             u8                port)
200 {
201         struct ib_port_attr       *tprops = NULL;
202         struct ib_pkey_cache      *pkey_cache = NULL, *old_pkey_cache;
203         struct ib_gid_cache       *gid_cache = NULL, *old_gid_cache;
204         int                        i;
205         int                        ret;
206         SPIN_LOCK_PREP(lh);
207
208         tprops = kmalloc(sizeof *tprops, GFP_KERNEL);
209         if (!tprops)
210                 return;
211
212         ret = ib_query_port(device, port, tprops);
213         if (ret) {
214                 HCA_PRINT(TRACE_LEVEL_WARNING,HCA_DBG_LOW,("ib_query_port failed (%d) for %s, port %d\n",
215                        ret, device->name, port));
216                 goto err;
217         }
218
219         pkey_cache = kmalloc(sizeof *pkey_cache + tprops->pkey_tbl_len *
220                              sizeof *pkey_cache->table, GFP_KERNEL);
221         if (!pkey_cache)
222                 goto err;
223
224         pkey_cache->table_len = tprops->pkey_tbl_len;
225
226         gid_cache = kmalloc(sizeof *gid_cache + tprops->gid_tbl_len *
227                             sizeof *gid_cache->table, GFP_KERNEL);
228         if (!gid_cache)
229                 goto err;
230
231         gid_cache->table_len = tprops->gid_tbl_len;
232
233         for (i = 0; i < pkey_cache->table_len; ++i) {
234                 ret = ib_query_pkey(device, port, (u16)i, pkey_cache->table + i);
235                 if (ret) {
236                         HCA_PRINT(TRACE_LEVEL_WARNING ,HCA_DBG_LOW,("ib_query_pkey failed (%d) for %s (index %d)\n",
237                                ret, device->name, i));
238                         goto err;
239                 }
240         }
241
242         for (i = 0; i < gid_cache->table_len; ++i) {
243                 ret = ib_query_gid(device, port, i, gid_cache->table + i);
244                 if (ret) {
245                         HCA_PRINT(TRACE_LEVEL_WARNING ,HCA_DBG_LOW,("ib_query_gid failed (%d) for %s (index %d)\n",
246                                ret, device->name, i));
247                         goto err;
248                 }
249         }
250
251         write_lock_irq(&device->cache.lock, &lh);
252
253         old_pkey_cache = device->cache.pkey_cache[port - start_port(device)];
254         old_gid_cache  = device->cache.gid_cache [port - start_port(device)];
255
256         device->cache.pkey_cache[port - start_port(device)] = pkey_cache;
257         device->cache.gid_cache [port - start_port(device)] = gid_cache;
258
259         write_unlock_irq(&lh);
260
261         kfree(old_pkey_cache);
262         kfree(old_gid_cache);
263         kfree(tprops);
264         return;
265
266 err:
267         kfree(pkey_cache);
268         kfree(gid_cache);
269         kfree(tprops);
270 }
271
272 static void ib_cache_task(void *work_ptr)
273 {
274         struct ib_update_work *work = work_ptr;
275
276         ib_cache_update(work->device, work->port_num);
277 }
278
279 /* leo: wrapper for Linux work_item callback */
280 VOID
281   ib_work_item (
282     IN PDEVICE_OBJECT  DeviceObject,
283     IN PVOID  Context 
284     )
285 {
286         struct ib_update_work *work = (struct ib_update_work *)Context;
287         UNREFERENCED_PARAMETER(DeviceObject);
288         ib_cache_task(Context);
289         IoFreeWorkItem(work->work_item);
290         kfree(Context);
291 }
292
293 static void ib_cache_event(struct ib_event_handler *handler,
294                            struct ib_event *event)
295 {
296         struct ib_update_work *work;
297         static int temp_skip = 10;
298
299         if (temp_skip-- <= 0)
300                 return;
301
302         if (event->event == IB_EVENT_PORT_ERR    ||
303             event->event == IB_EVENT_PORT_ACTIVE ||
304             event->event == IB_EVENT_LID_CHANGE  ||
305             event->event == IB_EVENT_PKEY_CHANGE ||
306             event->event == IB_EVENT_SM_CHANGE) {
307                 work = kmalloc(sizeof *work, GFP_ATOMIC);
308                 //TODO: what will happen on allocation failure ?
309                 if (work) {
310                         work->device   = event->device;
311                         work->port_num = event->element.port_num;
312
313                         { // schedule a work item to work
314                                 // get PDO
315                                 PDEVICE_OBJECT pdo = handler->device->mdev->ext->cl_ext.p_self_do;
316
317                                 // allocate work item
318                                 work->work_item = IoAllocateWorkItem(pdo);
319                                 if (work->work_item == NULL) {
320                                         //TODO: at least - print error. Need to return code, but the function is void 
321                                 }
322                                 else { // schedule the work
323                                         IoQueueWorkItem(
324                                                         work->work_item,
325                                                         ib_work_item,
326                                                         DelayedWorkQueue,
327                                                         work
328                                                         );
329                                 }
330                         }
331                         
332                 }
333         }
334 }
335
336 static void ib_cache_setup_one(struct ib_device *device)
337 {
338         u8 p;
339
340         rwlock_init(&device->cache.lock);
341
342         device->cache.pkey_cache =
343                 kmalloc(sizeof *device->cache.pkey_cache *
344                         (end_port(device) - start_port(device) + 1), GFP_KERNEL);
345         device->cache.gid_cache =
346                 kmalloc(sizeof *device->cache.gid_cache *
347                         (end_port(device) - start_port(device) + 1), GFP_KERNEL);
348
349         if (!device->cache.pkey_cache || !device->cache.gid_cache) {
350                 HCA_PRINT(TRACE_LEVEL_WARNING ,HCA_DBG_LOW,("Couldn't allocate cache "
351                        "for %s\n", device->name));
352                 goto err;
353         }
354
355         for (p = 0; p <= end_port(device) - start_port(device); ++p) {
356                 device->cache.pkey_cache[p] = NULL;
357                 device->cache.gid_cache [p] = NULL;
358                 ib_cache_update(device, p + start_port(device));
359         }
360
361         INIT_IB_EVENT_HANDLER(&device->cache.event_handler,
362                               device, ib_cache_event);
363         if (ib_register_event_handler(&device->cache.event_handler))
364                 goto err_cache;
365
366         return;
367
368 err_cache:
369         for (p = 0; p <= end_port(device) - start_port(device); ++p) {
370                 kfree(device->cache.pkey_cache[p]);
371                 kfree(device->cache.gid_cache[p]);
372         }
373
374 err:
375         kfree(device->cache.pkey_cache);
376         kfree(device->cache.gid_cache);
377 }
378
379 static void ib_cache_cleanup_one(struct ib_device *device)
380 {
381         int p;
382
383         ib_unregister_event_handler(&device->cache.event_handler);
384         //TODO: how to do that ?
385         // LINUX: flush_scheduled_work();
386
387         for (p = 0; p <= end_port(device) - start_port(device); ++p) {
388                 kfree(device->cache.pkey_cache[p]);
389                 kfree(device->cache.gid_cache[p]);
390         }
391
392         kfree(device->cache.pkey_cache);
393         kfree(device->cache.gid_cache);
394 }
395
396 static struct ib_client cache_client = { "cache", ib_cache_setup_one, ib_cache_cleanup_one };
397
398 int ib_cache_setup(void)
399 {
400         return ib_register_client(&cache_client);
401 }
402
403 void ib_cache_cleanup(void)
404 {
405         ib_unregister_client(&cache_client);
406 }
407