[virtio] Move virtio-pci.h and virtio-ring.h to include/gpxe
[people/mcb30/gpxe.git] / src / drivers / net / virtio-net.c
1 /* virtio-net.c - etherboot driver for virtio network interface
2  *
3  * (c) Copyright 2008 Bull S.A.S.
4  *
5  *  Author: Laurent Vivier <Laurent.Vivier@bull.net>
6  *
7  * some parts from Linux Virtio PCI driver
8  *
9  *  Copyright IBM Corp. 2007
10  *  Authors: Anthony Liguori  <aliguori@us.ibm.com>
11  *
12  *  some parts from Linux Virtio Ring
13  *
14  *  Copyright Rusty Russell IBM Corporation 2007
15  *
16  * This work is licensed under the terms of the GNU GPL, version 2 or later.
17  * See the COPYING file in the top-level directory.
18  *
19  *
20  */
21
22 #include "etherboot.h"
23 #include "nic.h"
24 #include "gpxe/virtio-ring.h"
25 #include "gpxe/virtio-pci.h"
26 #include "virtio-net.h"
27
28 #define BUG() do { \
29    printf("BUG: failure at %s:%d/%s()!\n", \
30           __FILE__, __LINE__, __FUNCTION__); \
31    while(1); \
32 } while (0)
33 #define BUG_ON(condition) do { if (condition) BUG(); } while (0)
34
35 /* Ethernet header */
36
37 struct eth_hdr {
38    unsigned char dst_addr[ETH_ALEN];
39    unsigned char src_addr[ETH_ALEN];
40    unsigned short type;
41 };
42
43 struct eth_frame {
44    struct eth_hdr hdr;
45    unsigned char data[ETH_FRAME_LEN];
46 };
47
48 typedef unsigned char virtio_queue_t[PAGE_MASK + vring_size(MAX_QUEUE_NUM)];
49
50 /* TX: virtio header and eth buffer */
51
52 static struct virtio_net_hdr tx_virtio_hdr;
53 static struct eth_frame tx_eth_frame;
54
55 /* RX: virtio headers and buffers */
56
57 #define RX_BUF_NB  6
58 static struct virtio_net_hdr rx_hdr[RX_BUF_NB];
59 static unsigned char rx_buffer[RX_BUF_NB][ETH_FRAME_LEN];
60
61 /* virtio queues and vrings */
62
63 enum {
64    RX_INDEX = 0,
65    TX_INDEX,
66    QUEUE_NB
67 };
68
69 static virtio_queue_t queue[QUEUE_NB];
70 static struct vring vring[QUEUE_NB];
71 static u16 free_head[QUEUE_NB];
72 static u16 last_used_idx[QUEUE_NB];
73 static u16 vdata[QUEUE_NB][MAX_QUEUE_NUM];
74
75 /*
76  * Virtio PCI interface
77  *
78  */
79
80 static int vp_find_vq(struct nic *nic, int queue_index)
81 {
82    struct vring * vr = &vring[queue_index];
83    u16 num;
84
85    /* select the queue */
86
87    outw(queue_index, nic->ioaddr + VIRTIO_PCI_QUEUE_SEL);
88
89    /* check if the queue is available */
90
91    num = inw(nic->ioaddr + VIRTIO_PCI_QUEUE_NUM);
92    if (!num) {
93            printf("ERROR: queue size is 0\n");
94            return -1;
95    }
96
97    if (num > MAX_QUEUE_NUM) {
98            printf("ERROR: queue size %d > %d\n", num, MAX_QUEUE_NUM);
99            return -1;
100    }
101
102    /* check if the queue is already active */
103
104    if (inl(nic->ioaddr + VIRTIO_PCI_QUEUE_PFN)) {
105            printf("ERROR: queue already active\n");
106            return -1;
107    }
108
109    /* initialize the queue */
110
111    vring_init(vr, num, (unsigned char*)&queue[queue_index]);
112
113    /* activate the queue
114     *
115     * NOTE: vr->desc is initialized by vring_init()
116     */
117
118    outl((unsigned long)virt_to_phys(vr->desc) >> PAGE_SHIFT,
119         nic->ioaddr + VIRTIO_PCI_QUEUE_PFN);
120
121    return num;
122 }
123
124 /*
125  * Virtual ring management
126  *
127  */
128
129 static void vring_enable_cb(int queue_index)
130 {
131    vring[queue_index].avail->flags &= ~VRING_AVAIL_F_NO_INTERRUPT;
132 }
133
134 static void vring_disable_cb(int queue_index)
135 {
136    vring[queue_index].avail->flags |= VRING_AVAIL_F_NO_INTERRUPT;
137 }
138
139 /*
140  * vring_free
141  *
142  * put at the begin of the free list the current desc[head]
143  */
144
145 static void vring_detach(int queue_index, unsigned int head)
146 {
147    struct vring *vr = &vring[queue_index];
148         unsigned int i;
149
150         /* find end of given descriptor */
151
152    i = head;
153    while (vr->desc[i].flags & VRING_DESC_F_NEXT)
154            i = vr->desc[i].next;
155
156    /* link it with free list and point to it */
157
158    vr->desc[i].next = free_head[queue_index];
159    wmb();
160    free_head[queue_index] = head;
161 }
162
163 /*
164  * vring_more_used
165  *
166  * is there some used buffers ?
167  *
168  */
169
170 static inline int vring_more_used(int queue_index)
171 {
172    wmb();
173    return last_used_idx[queue_index] != vring[queue_index].used->idx;
174 }
175
176 /*
177  * vring_get_buf
178  *
179  * get a buffer from the used list
180  *
181  */
182
183 static int vring_get_buf(int queue_index, unsigned int *len)
184 {
185    struct vring *vr = &vring[queue_index];
186    struct vring_used_elem *elem;
187    u32 id;
188    int ret;
189
190    BUG_ON(!vring_more_used(queue_index));
191
192    elem = &vr->used->ring[last_used_idx[queue_index] % vr->num];
193    wmb();
194    id = elem->id;
195    if (len != NULL)
196            *len = elem->len;
197
198    ret = vdata[queue_index][id];
199
200    vring_detach(queue_index, id);
201
202    last_used_idx[queue_index]++;
203
204    return ret;
205 }
206
207 static void vring_add_buf(int queue_index, int index, int num_added)
208 {
209    struct vring *vr = &vring[queue_index];
210    int i, avail, head;
211
212    BUG_ON(queue_index >= QUEUE_NB);
213
214    head = free_head[queue_index];
215    i = head;
216
217    if (queue_index == TX_INDEX) {
218
219            BUG_ON(index != 0);
220
221            /* add header into vring */
222
223            vr->desc[i].flags = VRING_DESC_F_NEXT;
224            vr->desc[i].addr = (u64)virt_to_phys(&tx_virtio_hdr);
225            vr->desc[i].len = sizeof(struct virtio_net_hdr);
226            i = vr->desc[i].next;
227
228            /* add frame buffer into vring */
229
230            vr->desc[i].flags = 0;
231            vr->desc[i].addr = (u64)virt_to_phys(&tx_eth_frame);
232            vr->desc[i].len = ETH_FRAME_LEN;
233            i = vr->desc[i].next;
234
235    } else if (queue_index == RX_INDEX) {
236
237            BUG_ON(index >= RX_BUF_NB);
238
239            /* add header into vring */
240
241            vr->desc[i].flags = VRING_DESC_F_NEXT|VRING_DESC_F_WRITE;
242            vr->desc[i].addr = (u64)virt_to_phys(&rx_hdr[index]);
243            vr->desc[i].len = sizeof(struct virtio_net_hdr);
244            i = vr->desc[i].next;
245
246            /* add frame buffer into vring */
247
248            vr->desc[i].flags = VRING_DESC_F_WRITE;
249            vr->desc[i].addr = (u64)virt_to_phys(&rx_buffer[index]);
250            vr->desc[i].len = ETH_FRAME_LEN;
251            i = vr->desc[i].next;
252    }
253
254    free_head[queue_index] = i;
255
256    vdata[queue_index][head] = index;
257
258    avail = (vr->avail->idx + num_added) % vr->num;
259    vr->avail->ring[avail] = head;
260    wmb();
261 }
262
263 static void vring_kick(struct nic *nic, int queue_index, int num_added)
264 {
265    struct vring *vr = &vring[queue_index];
266
267    wmb();
268    vr->avail->idx += num_added;
269
270    mb();
271    if (!(vr->used->flags & VRING_USED_F_NO_NOTIFY))
272            vp_notify(nic, queue_index);
273 }
274
275 /*
276  * virtnet_disable
277  *
278  * Turn off ethernet interface
279  *
280  */
281
282 static void virtnet_disable(struct nic *nic)
283 {
284    int i;
285
286    for (i = 0; i < QUEUE_NB; i++) {
287            vring_disable_cb(i);
288            vp_del_vq(nic, i);
289    }
290    vp_reset(nic);
291 }
292
293 /*
294  * virtnet_poll
295  *
296  * Wait for a frame
297  *
298  * return true if there is a packet ready to read
299  *
300  * nic->packet should contain data on return
301  * nic->packetlen should contain length of data
302  *
303  */
304 static int virtnet_poll(struct nic *nic, int retrieve)
305 {
306    unsigned int len;
307    u16 token;
308    struct virtio_net_hdr *hdr;
309
310    if (!vring_more_used(RX_INDEX))
311            return 0;
312
313    if (!retrieve)
314            return 1;
315
316    token = vring_get_buf(RX_INDEX, &len);
317
318    BUG_ON(len > sizeof(struct virtio_net_hdr) + ETH_FRAME_LEN);
319
320    hdr = &rx_hdr[token];   /* FIXME: check flags */
321    len -= sizeof(struct virtio_net_hdr);
322
323         nic->packetlen = len;
324    memcpy(nic->packet, (char *)rx_buffer[token], nic->packetlen);
325
326    /* add buffer to desc */
327
328    vring_add_buf(RX_INDEX, token, 0);
329    vring_kick(nic, RX_INDEX, 1);
330
331    return 1;
332 }
333
334 /*
335  *
336  * virtnet_transmit
337  *
338  * Transmit a frame
339  *
340  */
341
342 static void virtnet_transmit(struct nic *nic, const char *destaddr,
343         unsigned int type, unsigned int len, const char *data)
344 {
345    /*
346     * from http://www.etherboot.org/wiki/dev/devmanual :
347     *     "You do not need more than one transmit buffer."
348     */
349
350    /* FIXME: initialize header according to vp_get_features() */
351
352    tx_virtio_hdr.flags = 0;
353    tx_virtio_hdr.csum_offset = 0;
354    tx_virtio_hdr.csum_start = 0;
355    tx_virtio_hdr.gso_type = VIRTIO_NET_HDR_GSO_NONE;
356    tx_virtio_hdr.gso_size = 0;
357    tx_virtio_hdr.hdr_len = 0;
358
359    /* add ethernet frame into vring */
360
361    BUG_ON(len > sizeof(tx_eth_frame.data));
362
363    memcpy(tx_eth_frame.hdr.dst_addr, destaddr, ETH_ALEN);
364    memcpy(tx_eth_frame.hdr.src_addr, nic->node_addr, ETH_ALEN);
365    tx_eth_frame.hdr.type = htons(type);
366    memcpy(tx_eth_frame.data, data, len);
367
368    vring_add_buf(TX_INDEX, 0, 0);
369
370    vring_kick(nic, TX_INDEX, 1);
371
372    /*
373     * http://www.etherboot.org/wiki/dev/devmanual
374     *
375     *   "You should ensure the packet is fully transmitted
376     *    before returning from this routine"
377     */
378
379    while (!vring_more_used(TX_INDEX)) {
380            mb();
381            udelay(10);
382    }
383
384    /* free desc */
385
386    (void)vring_get_buf(TX_INDEX, NULL);
387 }
388
389 static void virtnet_irq(struct nic *nic __unused, irq_action_t action)
390 {
391    switch ( action ) {
392    case DISABLE :
393            vring_disable_cb(RX_INDEX);
394            vring_disable_cb(TX_INDEX);
395            break;
396    case ENABLE :
397            vring_enable_cb(RX_INDEX);
398            vring_enable_cb(TX_INDEX);
399            break;
400    case FORCE :
401            break;
402    }
403 }
404
405 static void provide_buffers(struct nic *nic)
406 {
407    int i;
408
409    for (i = 0; i < RX_BUF_NB; i++)
410            vring_add_buf(RX_INDEX, i, i);
411
412    /* nofify */
413
414    vring_kick(nic, RX_INDEX, i);
415 }
416
417 static struct nic_operations virtnet_operations = {
418         .connect = dummy_connect,
419         .poll = virtnet_poll,
420         .transmit = virtnet_transmit,
421         .irq = virtnet_irq,
422 };
423
424 /*
425  * virtnet_probe
426  *
427  * Look for a virtio network adapter
428  *
429  */
430
431 static int virtnet_probe(struct nic *nic, struct pci_device *pci)
432 {
433    u32 features;
434    int i;
435
436    /* Mask the bit that says "this is an io addr" */
437
438    nic->ioaddr = pci->ioaddr & ~3;
439
440    /* Copy IRQ from PCI information */
441
442    nic->irqno = pci->irq;
443
444    printf("I/O address 0x%08x, IRQ #%d\n", nic->ioaddr, nic->irqno);
445
446    adjust_pci_device(pci);
447
448    vp_reset(nic);
449
450    features = vp_get_features(nic);
451    if (features & (1 << VIRTIO_NET_F_MAC)) {
452            vp_get(nic, offsetof(struct virtio_net_config, mac),
453                   nic->node_addr, ETH_ALEN);
454            printf("MAC address ");
455            for (i = 0; i < ETH_ALEN; i++) {
456                    printf("%02x%c", nic->node_addr[i],
457                           (i == ETH_ALEN - 1) ? '\n' : ':');
458            }
459    }
460
461    /* initialize emit/receive queue */
462
463    for (i = 0; i < QUEUE_NB; i++) {
464            free_head[i] = 0;
465            last_used_idx[i] = 0;
466            memset((char*)&queue[i], 0, sizeof(queue[i]));
467            if (vp_find_vq(nic, i) == -1)
468                    printf("Cannot register queue #%d\n", i);
469    }
470
471    /* provide some receive buffers */
472
473     provide_buffers(nic);
474
475    /* define NIC interface */
476
477     nic->nic_op = &virtnet_operations;
478
479    /* driver is ready */
480
481    vp_set_features(nic, features & (1 << VIRTIO_NET_F_MAC));
482    vp_set_status(nic, VIRTIO_CONFIG_S_DRIVER | VIRTIO_CONFIG_S_DRIVER_OK);
483
484    return 1;
485 }
486
487 static struct pci_device_id virtnet_nics[] = {
488 PCI_ROM(0x1af4, 0x1000, "virtio-net",              "Virtio Network Interface"),
489 };
490
491 PCI_DRIVER ( virtnet_driver, virtnet_nics, PCI_NO_CLASS );
492
493 DRIVER ( "VIRTIO-NET", nic_driver, pci_driver, virtnet_driver,
494          virtnet_probe, virtnet_disable );