[virtio] Add virtio-net driver
[etherboot.git] / src / drivers / net / virtio-net.c
1 /* virtio-net.c - etherboot driver for virtio network interface
2  *
3  * (c) Copyright 2008 Bull S.A.S.
4  *
5  *  Author: Laurent Vivier <Laurent.Vivier@bull.net>
6  *
7  * some parts from Linux Virtio PCI driver
8  *
9  *  Copyright IBM Corp. 2007
10  *  Authors: Anthony Liguori  <aliguori@us.ibm.com>
11  *
12  *  some parts from Linux Virtio Ring
13  *
14  *  Copyright Rusty Russell IBM Corporation 2007
15  *
16  * This work is licensed under the terms of the GNU GPL, version 2 or later.
17  * See the COPYING file in the top-level directory.
18  *
19  *
20  */
21
22 #include "etherboot.h"
23 #include "pci.h"
24 #include "nic.h"
25 #include "timer.h"
26 #include "virtio-ring.h"
27 #include "virtio-pci.h"
28 #include "virtio-net.h"
29
30 #define BUG() do { \
31    printf("BUG: failure at %s:%d/%s()!\n", \
32           __FILE__, __LINE__, __FUNCTION__); \
33    while(1); \
34 } while (0)
35 #define BUG_ON(condition) do { if (condition) BUG(); } while (0)
36
37 /* Ethernet header */
38
39 struct eth_hdr {
40    unsigned char dst_addr[ETH_ALEN];
41    unsigned char src_addr[ETH_ALEN];
42    unsigned short type;
43 };
44
45 struct eth_frame {
46    struct eth_hdr hdr;
47    unsigned char data[ETH_FRAME_LEN];
48 };
49
50 typedef unsigned char virtio_queue_t[PAGE_MASK + vring_size(MAX_QUEUE_NUM)];
51
52 /* TX: virtio header and eth buffer */
53
54 static struct virtio_net_hdr tx_virtio_hdr;
55 static struct eth_frame tx_eth_frame;
56
57 /* RX: virtio headers and buffers */
58
59 #define RX_BUF_NB  6
60 static struct virtio_net_hdr rx_hdr[RX_BUF_NB];
61 static unsigned char rx_buffer[RX_BUF_NB][ETH_FRAME_LEN];
62
63 /* virtio queues and vrings */
64
65 enum {
66    RX_INDEX = 0,
67    TX_INDEX,
68    QUEUE_NB
69 };
70
71 static virtio_queue_t queue[QUEUE_NB];
72 static struct vring vring[QUEUE_NB];
73 static u16 free_head[QUEUE_NB];
74 static u16 last_used_idx[QUEUE_NB];
75 static u16 vdata[QUEUE_NB][MAX_QUEUE_NUM];
76
77 /*
78  * Virtio PCI interface
79  *
80  */
81
82 static int vp_find_vq(struct nic *nic, int queue_index)
83 {
84    struct vring * vr = &vring[queue_index];
85    u16 num;
86
87    /* select the queue */
88
89    outw(queue_index, nic->ioaddr + VIRTIO_PCI_QUEUE_SEL);
90
91    /* check if the queue is available */
92
93    num = inw(nic->ioaddr + VIRTIO_PCI_QUEUE_NUM);
94    if (!num) {
95            printf("ERROR: queue size is 0\n");
96            return -1;
97    }
98
99    if (num > MAX_QUEUE_NUM) {
100            printf("ERROR: queue size %d > %d\n", num, MAX_QUEUE_NUM);
101            return -1;
102    }
103
104    /* check if the queue is already active */
105
106    if (inl(nic->ioaddr + VIRTIO_PCI_QUEUE_PFN)) {
107            printf("ERROR: queue already active\n");
108            return -1;
109    }
110
111    /* initialize the queue */
112
113    vring_init(vr, num, (unsigned char*)&queue[queue_index]);
114
115    /* activate the queue
116     *
117     * NOTE: vr->desc is initialized by vring_init()
118     */
119
120    outl((unsigned long)virt_to_phys(vr->desc) >> PAGE_SHIFT,
121         nic->ioaddr + VIRTIO_PCI_QUEUE_PFN);
122
123    return num;
124 }
125
126 /*
127  * Virtual ring management
128  *
129  */
130
131 static void vring_enable_cb(int queue_index)
132 {
133    vring[queue_index].avail->flags &= ~VRING_AVAIL_F_NO_INTERRUPT;
134 }
135
136 static void vring_disable_cb(int queue_index)
137 {
138    vring[queue_index].avail->flags |= VRING_AVAIL_F_NO_INTERRUPT;
139 }
140
141 /*
142  * vring_free
143  *
144  * put at the begin of the free list the current desc[head]
145  */
146
147 static void vring_detach(int queue_index, unsigned int head)
148 {
149    struct vring *vr = &vring[queue_index];
150         unsigned int i;
151
152         /* find end of given descriptor */
153
154    i = head;
155    while (vr->desc[i].flags & VRING_DESC_F_NEXT)
156            i = vr->desc[i].next;
157
158    /* link it with free list and point to it */
159
160    vr->desc[i].next = free_head[queue_index];
161    wmb();
162    free_head[queue_index] = head;
163 }
164
165 /*
166  * vring_more_used
167  *
168  * is there some used buffers ?
169  *
170  */
171
172 static inline int vring_more_used(int queue_index)
173 {
174    wmb();
175    return last_used_idx[queue_index] != vring[queue_index].used->idx;
176 }
177
178 /*
179  * vring_get_buf
180  *
181  * get a buffer from the used list
182  *
183  */
184
185 static int vring_get_buf(int queue_index, unsigned int *len)
186 {
187    struct vring *vr = &vring[queue_index];
188    struct vring_used_elem *elem;
189    u32 id;
190    int ret;
191
192    elem = &vr->used->ring[last_used_idx[queue_index] % vr->num];
193    wmb();
194    id = elem->id;
195    if (len != NULL)
196            *len = elem->len;
197
198    ret = vdata[queue_index][id];
199
200    vring_detach(queue_index, id);
201
202    last_used_idx[queue_index]++;
203
204    return ret;
205 }
206
207 static void vring_add_buf(int queue_index, int index, int num_added)
208 {
209    struct vring *vr = &vring[queue_index];
210    int i, avail, head;
211
212    BUG_ON(queue_index >= QUEUE_NB);
213
214    head = free_head[queue_index];
215    i = head;
216
217    if (queue_index == TX_INDEX) {
218
219            BUG_ON(index != 0);
220
221            /* add header into vring */
222
223            vr->desc[i].flags = VRING_DESC_F_NEXT;
224            vr->desc[i].addr = (u64)virt_to_phys(&tx_virtio_hdr);
225            vr->desc[i].len = sizeof(struct virtio_net_hdr);
226            i = vr->desc[i].next;
227
228            /* add frame buffer into vring */
229
230            vr->desc[i].flags = 0;
231            vr->desc[i].addr = (u64)virt_to_phys(&tx_eth_frame);
232            vr->desc[i].len = ETH_FRAME_LEN;
233            i = vr->desc[i].next;
234
235    } else if (queue_index == RX_INDEX) {
236
237            BUG_ON(index >= RX_BUF_NB);
238
239            /* add header into vring */
240
241            vr->desc[i].flags = VRING_DESC_F_NEXT|VRING_DESC_F_WRITE;
242            vr->desc[i].addr = (u64)virt_to_phys(&rx_hdr[index]);
243            vr->desc[i].len = sizeof(struct virtio_net_hdr);
244            i = vr->desc[i].next;
245
246            /* add frame buffer into vring */
247
248            vr->desc[i].flags = VRING_DESC_F_WRITE;
249            vr->desc[i].addr = (u64)virt_to_phys(&rx_buffer[index]);
250            vr->desc[i].len = ETH_FRAME_LEN;
251            i = vr->desc[i].next;
252    }
253
254    free_head[queue_index] = i;
255
256    vdata[queue_index][head] = index;
257
258    avail = (vr->avail->idx + num_added) % vr->num;
259    vr->avail->ring[avail] = head;
260    wmb();
261 }
262
263 static void vring_kick(struct nic *nic, int queue_index, int num_added)
264 {
265    struct vring *vr = &vring[queue_index];
266
267    wmb();
268    vr->avail->idx += num_added;
269
270    mb();
271    if (!(vr->used->flags & VRING_USED_F_NO_NOTIFY))
272            vp_notify(nic, queue_index);
273 }
274
275 /*
276  * virtnet_disable
277  *
278  * Turn off ethernet interface
279  *
280  */
281
282 static void virtnet_disable(struct dev *dev)
283 {
284    int i;
285    struct nic *nic = (struct nic *)dev;
286
287    for (i = 0; i < QUEUE_NB; i++) {
288            vring_disable_cb(i);
289            vp_del_vq(nic, i);
290    }
291    vp_reset(nic);
292 }
293
294 /*
295  * virtnet_poll
296  *
297  * Wait for a frame
298  *
299  * return true if there is a packet ready to read
300  *
301  * nic->packet should contain data on return
302  * nic->packetlen should contain length of data
303  *
304  */
305 static int virtnet_poll(struct nic *nic, int retrieve)
306 {
307    unsigned int len;
308    u16 token;
309    struct virtio_net_hdr *hdr;
310
311    if (!vring_more_used(RX_INDEX))
312            return 0;
313
314    if (!retrieve)
315            return 1;
316
317    token = vring_get_buf(RX_INDEX, &len);
318
319    BUG_ON(len > sizeof(struct virtio_net_hdr) + ETH_FRAME_LEN);
320
321    hdr = &rx_hdr[token];   /* FIXME: check flags */
322    len -= sizeof(struct virtio_net_hdr);
323
324         nic->packetlen = len;
325    memcpy(nic->packet, (char *)rx_buffer[token], nic->packetlen);
326
327    /* add buffer to desc */
328
329    vring_add_buf(RX_INDEX, token, 0);
330    vring_kick(nic, RX_INDEX, 1);
331
332    return 1;
333 }
334
335 /*
336  *
337  * virtnet_transmit
338  *
339  * Transmit a frame
340  *
341  */
342
343 static void virtnet_transmit(struct nic *nic, const char *destaddr,
344         unsigned int type, unsigned int len, const char *data)
345 {
346    /*
347     * from http://www.etherboot.org/wiki/dev/devmanual :
348     *     "You do not need more than one transmit buffer."
349     */
350
351    /* FIXME: initialize header according to vp_get_features() */
352
353    tx_virtio_hdr.flags = 0;
354    tx_virtio_hdr.csum_offset = 0;
355    tx_virtio_hdr.csum_start = 0;
356    tx_virtio_hdr.gso_type = VIRTIO_NET_HDR_GSO_NONE;
357    tx_virtio_hdr.gso_size = 0;
358    tx_virtio_hdr.hdr_len = 0;
359
360    /* add ethernet frame into vring */
361
362    BUG_ON(len > sizeof(tx_eth_frame.data));
363
364    memcpy(tx_eth_frame.hdr.dst_addr, destaddr, ETH_ALEN);
365    memcpy(tx_eth_frame.hdr.src_addr, nic->node_addr, ETH_ALEN);
366    tx_eth_frame.hdr.type = htons(type);
367    memcpy(tx_eth_frame.data, data, len);
368
369    vring_add_buf(TX_INDEX, 0, 0);
370
371    /*
372     * http://www.etherboot.org/wiki/dev/devmanual
373     *
374     *   "You should ensure the packet is fully transmitted
375     *    before returning from this routine"
376     */
377
378    while (vring_more_used(TX_INDEX)) {
379            mb();
380            udelay(10);
381            poll_interruptions();
382    }
383
384    vring_kick(nic, TX_INDEX, 1);
385
386    /* free desc */
387
388    (void)vring_get_buf(TX_INDEX, NULL);
389 }
390
391 static void virtnet_irq(struct nic *nic __unused, irq_action_t action)
392 {
393    switch ( action ) {
394    case DISABLE :
395            vring_disable_cb(RX_INDEX);
396            vring_disable_cb(TX_INDEX);
397            break;
398    case ENABLE :
399            vring_enable_cb(RX_INDEX);
400            vring_enable_cb(TX_INDEX);
401            break;
402    case FORCE :
403            break;
404    }
405 }
406
407 static void provide_buffers(struct nic *nic)
408 {
409    int i;
410
411    for (i = 0; i < RX_BUF_NB; i++)
412            vring_add_buf(RX_INDEX, i, i);
413
414    /* nofify */
415
416    vring_kick(nic, RX_INDEX, i);
417 }
418
419 /*
420  * virtnet_probe
421  *
422  * Look for a virtio network adapter
423  *
424  */
425
426 static int virtnet_probe(struct dev *dev, struct pci_device *pci)
427 {
428    struct nic *nic = (struct nic *)dev;
429    u32 features;
430    int i;
431
432    /* Mask the bit that says "this is an io addr" */
433
434    nic->ioaddr = pci->ioaddr & ~3;
435
436    /* Copy IRQ from PCI information */
437
438    nic->irqno = pci->irq;
439
440    printf("I/O address 0x%08x, IRQ #%d\n", nic->ioaddr, nic->irqno);
441
442    adjust_pci_device(pci);
443
444    vp_reset(nic);
445
446    features = vp_get_features(nic);
447    if (features & (1 << VIRTIO_NET_F_MAC)) {
448            vp_get(nic, offsetof(struct virtio_net_config, mac),
449                   nic->node_addr, ETH_ALEN);
450            printf("MAC address %!\n", nic->node_addr);
451    }
452
453    /* initialize emit/receive queue */
454
455    for (i = 0; i < QUEUE_NB; i++) {
456            free_head[i] = 0;
457            last_used_idx[i] = 0;
458            memset((char*)&queue[i], 0, sizeof(queue[i]));
459            if (vp_find_vq(nic, i) == -1)
460                    printf("Cannot register queue #%d\n", i);
461    }
462
463    /* provide some receive buffers */
464
465     provide_buffers(nic);
466
467    /* define NIC interface */
468
469    dev->disable = virtnet_disable;
470    nic->poll = virtnet_poll;
471    nic->transmit = virtnet_transmit;
472    nic->irq = virtnet_irq;
473
474    /* driver is ready */
475
476    vp_set_features(nic, features & (1 << VIRTIO_NET_F_MAC));
477    vp_set_status(nic, VIRTIO_CONFIG_S_DRIVER | VIRTIO_CONFIG_S_DRIVER_OK);
478
479    return 1;
480 }
481
482 static struct pci_id virtnet_nics[] = {
483 PCI_ROM(0x1af4, 0x1000, "virtio-net",              "Virtio Network Interface"),
484 };
485
486 static struct pci_driver virtnet_driver __pci_driver = {
487    .type     = NIC_DRIVER,
488    .name     = "VIRTIO-NET",
489    .probe    = virtnet_probe,
490    .ids      = virtnet_nics,
491    .id_count = sizeof(virtnet_nics)/sizeof(virtnet_nics[0]),
492    .class    = 0,
493 };