Temporary hack to work around the "TX overflow" problem in the interim
[people/xl0/gpxe.git] / src / drivers / net / etherfabric.c
1 /**************************************************************************
2  *
3  * Etherboot driver for Level 5 Etherfabric network cards
4  *
5  * Written by Michael Brown <mbrown@fensystems.co.uk>
6  *
7  * Copyright Fen Systems Ltd. 2005
8  * Copyright Level 5 Networks Inc. 2005
9  *
10  * This software may be used and distributed according to the terms of
11  * the GNU General Public License (GPL), incorporated herein by
12  * reference.  Drivers based on or derived from this code fall under
13  * the GPL and must retain the authorship, copyright and license
14  * notice.
15  *
16  **************************************************************************
17  */
18
19 #include "etherboot.h"
20 #include "nic.h"
21 #include <gpxe/pci.h>
22 #include <gpxe/bitbash.h>
23 #include <gpxe/i2c.h>
24 #include "timer.h"
25 #define dma_addr_t unsigned long
26 #include "etherfabric.h"
27
28 /**************************************************************************
29  *
30  * Constants and macros
31  *
32  **************************************************************************
33  */
34
35 #define EFAB_ASSERT(x)                                                        \
36         do {                                                                  \
37                 if ( ! (x) ) {                                                \
38                         DBG ( "ASSERT(%s) failed at %s line %d [%s]\n", #x,   \
39                               __FILE__, __LINE__, __FUNCTION__ );             \
40                 }                                                             \
41         } while (0)
42
43 #define EFAB_TRACE(...)
44
45 #define EFAB_REGDUMP(...)
46
47 #define FALCON_USE_IO_BAR 1
48
49 /*
50  * EtherFabric constants 
51  *
52  */
53
54 /* PCI Definitions */
55 #define EFAB_VENDID_LEVEL5      0x1924
56 #define FALCON_P_DEVID          0x0703  /* Temporary PCI ID */
57 #define EF1002_DEVID            0xC101
58
59 /**************************************************************************
60  *
61  * Data structures
62  *
63  **************************************************************************
64  */
65
66 /*
67  * Buffers used for TX, RX and event queue
68  *
69  */
70 #define EFAB_BUF_ALIGN          4096
71 #define EFAB_DATA_BUF_SIZE      2048
72 #define EFAB_RX_BUFS            16
73 #define EFAB_RXD_SIZE           512
74 #define EFAB_TXD_SIZE           512
75 #define EFAB_EVQ_SIZE           512
76 struct efab_buffers {
77         uint8_t eventq[4096];
78         uint8_t rxd[4096];
79         uint8_t txd[4096];
80         uint8_t tx_buf[EFAB_DATA_BUF_SIZE];
81         uint8_t rx_buf[EFAB_RX_BUFS][EFAB_DATA_BUF_SIZE];
82         uint8_t padding[EFAB_BUF_ALIGN-1];
83 };
84 static struct efab_buffers efab_buffers;
85
86 /** An RX buffer */
87 struct efab_rx_buf {
88         uint8_t *addr;
89         unsigned int len;
90         int id;
91 };
92
93 /** A TX buffer */
94 struct efab_tx_buf {
95         uint8_t *addr;
96         unsigned int len;
97         int id;
98 };
99
100 /** Etherfabric event type */
101 enum efab_event_type {
102         EFAB_EV_NONE = 0,
103         EFAB_EV_TX,
104         EFAB_EV_RX,
105 };
106
107 /** Etherfabric event */
108 struct efab_event {
109         /** Event type */
110         enum efab_event_type type;
111         /** RX buffer ID */
112         int rx_id;
113         /** RX length */
114         unsigned int rx_len;
115 };
116
117 /*
118  * Etherfabric abstraction layer
119  *
120  */
121 struct efab_nic;
122 struct efab_operations {
123         void ( * get_membase ) ( struct efab_nic *efab );
124         int ( * reset ) ( struct efab_nic *efab );
125         int ( * init_nic ) ( struct efab_nic *efab );
126         int ( * read_eeprom ) ( struct efab_nic *efab );
127         void ( * build_rx_desc ) ( struct efab_nic *efab,
128                                    struct efab_rx_buf *rx_buf );
129         void ( * notify_rx_desc ) ( struct efab_nic *efab );
130         void ( * build_tx_desc ) ( struct efab_nic *efab,
131                                    struct efab_tx_buf *tx_buf );
132         void ( * notify_tx_desc ) ( struct efab_nic *efab );
133         int ( * fetch_event ) ( struct efab_nic *efab,
134                                 struct efab_event *event );
135         void ( * mask_irq ) ( struct efab_nic *efab, int enabled );
136         void ( * generate_irq ) ( struct efab_nic *efab );
137         void ( * mac_writel ) ( struct efab_nic *efab, efab_dword_t *value,
138                                 unsigned int mac_reg );
139         void ( * mac_readl ) ( struct efab_nic *efab, efab_dword_t *value,
140                                unsigned int mac_reg );
141         int ( * init_mac ) ( struct efab_nic *efab );
142         void ( * mdio_write ) ( struct efab_nic *efab, int location,
143                                 int value );
144         int ( * mdio_read ) ( struct efab_nic *efab, int location );
145 };
146
147 /*
148  * Driver private data structure
149  *
150  */
151 struct efab_nic {
152
153         /** PCI device */
154         struct pci_device *pci;
155
156         /** Operations table */
157         struct efab_operations *op;
158
159         /** Memory base */
160         void *membase;
161
162         /** I/O base */
163         unsigned int iobase;
164
165         /** Buffers */
166         uint8_t *eventq;                /* Falcon only */
167         uint8_t *txd;                   /* Falcon only */
168         uint8_t *rxd;                   /* Falcon only */
169         struct efab_tx_buf tx_buf;
170         struct efab_rx_buf rx_bufs[EFAB_RX_BUFS];
171
172         /** Buffer pointers */
173         unsigned int eventq_read_ptr;   /* Falcon only */
174         unsigned int tx_write_ptr;
175         unsigned int rx_write_ptr;
176
177         /** Port 0/1 on the NIC */
178         int port;
179
180         /** MAC address */
181         uint8_t mac_addr[ETH_ALEN];
182         /** GMII link options */
183         unsigned int link_options;
184         /** Link status */
185         int link_up;
186
187         /** INT_REG_KER for Falcon */
188         efab_oword_t int_ker __attribute__ (( aligned ( 16 ) ));
189
190         /** EEPROM access */
191         struct i2c_bit_basher ef1002_i2c;
192         unsigned long ef1002_i2c_outputs;
193         struct i2c_device ef1002_eeprom;
194 };
195
196 /**************************************************************************
197  *
198  * GMII routines
199  *
200  **************************************************************************
201  */
202
203 /* GMII registers */
204 #define MII_BMSR                0x01    /* Basic mode status register  */
205 #define MII_ADVERTISE           0x04    /* Advertisement control register */
206 #define MII_LPA                 0x05    /* Link partner ability register*/
207 #define GMII_GTCR               0x09    /* 1000BASE-T control register */
208 #define GMII_GTSR               0x0a    /* 1000BASE-T status register */
209 #define GMII_PSSR               0x11    /* PHY-specific status register */
210
211 /* Basic mode status register. */
212 #define BMSR_LSTATUS            0x0004  /* Link status                 */
213
214 /* Link partner ability register. */
215 #define LPA_10HALF              0x0020  /* Can do 10mbps half-duplex   */
216 #define LPA_10FULL              0x0040  /* Can do 10mbps full-duplex   */
217 #define LPA_100HALF             0x0080  /* Can do 100mbps half-duplex  */
218 #define LPA_100FULL             0x0100  /* Can do 100mbps full-duplex  */
219 #define LPA_100BASE4            0x0200  /* Can do 100mbps 4k packets   */
220 #define LPA_PAUSE               0x0400  /* Bit 10 - MAC pause */
221
222 /* Pseudo extensions to the link partner ability register */
223 #define LPA_1000FULL            0x00020000
224 #define LPA_1000HALF            0x00010000
225
226 #define LPA_100                 (LPA_100FULL | LPA_100HALF | LPA_100BASE4)
227 #define LPA_1000                ( LPA_1000FULL | LPA_1000HALF )
228 #define LPA_DUPLEX              ( LPA_10FULL | LPA_100FULL | LPA_1000FULL )
229
230 /* Mask of bits not associated with speed or duplexity. */
231 #define LPA_OTHER               ~( LPA_10FULL | LPA_10HALF | LPA_100FULL | \
232                                    LPA_100HALF | LPA_1000FULL | LPA_1000HALF )
233
234 /* PHY-specific status register */
235 #define PSSR_LSTATUS            0x0400  /* Bit 10 - link status */
236
237 /**
238  * Retrieve GMII autonegotiation advertised abilities
239  *
240  */
241 static unsigned int gmii_autoneg_advertised ( struct efab_nic *efab ) {
242         unsigned int mii_advertise;
243         unsigned int gmii_advertise;
244         
245         /* Extended bits are in bits 8 and 9 of GMII_GTCR */
246         mii_advertise = efab->op->mdio_read ( efab, MII_ADVERTISE );
247         gmii_advertise = ( ( efab->op->mdio_read ( efab, GMII_GTCR ) >> 8 )
248                            & 0x03 );
249         return ( ( gmii_advertise << 16 ) | mii_advertise );
250 }
251
252 /**
253  * Retrieve GMII autonegotiation link partner abilities
254  *
255  */
256 static unsigned int gmii_autoneg_lpa ( struct efab_nic *efab ) {
257         unsigned int mii_lpa;
258         unsigned int gmii_lpa;
259         
260         /* Extended bits are in bits 10 and 11 of GMII_GTSR */
261         mii_lpa = efab->op->mdio_read ( efab, MII_LPA );
262         gmii_lpa = ( efab->op->mdio_read ( efab, GMII_GTSR ) >> 10 ) & 0x03;
263         return ( ( gmii_lpa << 16 ) | mii_lpa );
264 }
265
266 /**
267  * Calculate GMII autonegotiated link technology
268  *
269  */
270 static unsigned int gmii_nway_result ( unsigned int negotiated ) {
271         unsigned int other_bits;
272
273         /* Mask out the speed and duplexity bits */
274         other_bits = negotiated & LPA_OTHER;
275
276         if ( negotiated & LPA_1000FULL )
277                 return ( other_bits | LPA_1000FULL );
278         else if ( negotiated & LPA_1000HALF )
279                 return ( other_bits | LPA_1000HALF );
280         else if ( negotiated & LPA_100FULL )
281                 return ( other_bits | LPA_100FULL );
282         else if ( negotiated & LPA_100BASE4 )
283                 return ( other_bits | LPA_100BASE4 );
284         else if ( negotiated & LPA_100HALF )
285                 return ( other_bits | LPA_100HALF );
286         else if ( negotiated & LPA_10FULL )
287                 return ( other_bits | LPA_10FULL );
288         else return ( other_bits | LPA_10HALF );
289 }
290
291 /**
292  * Check GMII PHY link status
293  *
294  */
295 static int gmii_link_ok ( struct efab_nic *efab ) {
296         int status;
297         int phy_status;
298         
299         /* BMSR is latching - it returns "link down" if the link has
300          * been down at any point since the last read.  To get a
301          * real-time status, we therefore read the register twice and
302          * use the result of the second read.
303          */
304         efab->op->mdio_read ( efab, MII_BMSR );
305         status = efab->op->mdio_read ( efab, MII_BMSR );
306
307         /* Read the PHY-specific Status Register.  This is
308          * non-latching, so we need do only a single read.
309          */
310         phy_status = efab->op->mdio_read ( efab, GMII_PSSR );
311
312         return ( ( status & BMSR_LSTATUS ) && ( phy_status & PSSR_LSTATUS ) );
313 }
314
315 /**************************************************************************
316  *
317  * Alaska PHY
318  *
319  **************************************************************************
320  */
321
322 /**
323  * Initialise Alaska PHY
324  *
325  */
326 static void alaska_init ( struct efab_nic *efab ) {
327         unsigned int advertised, lpa;
328
329         /* Read link up status */
330         efab->link_up = gmii_link_ok ( efab );
331
332         if ( ! efab->link_up )
333                 return;
334
335         /* Determine link options from PHY. */
336         advertised = gmii_autoneg_advertised ( efab );
337         lpa = gmii_autoneg_lpa ( efab );
338         efab->link_options = gmii_nway_result ( advertised & lpa );
339
340         printf ( "%dMbps %s-duplex (%04x,%04x)\n",
341                  ( efab->link_options & LPA_1000 ? 1000 :
342                    ( efab->link_options & LPA_100 ? 100 : 10 ) ),
343                  ( efab->link_options & LPA_DUPLEX ? "full" : "half" ),
344                  advertised, lpa );
345 }
346
347 /**************************************************************************
348  *
349  * Mentor MAC
350  *
351  **************************************************************************
352  */
353
354 /* GMAC configuration register 1 */
355 #define GM_CFG1_REG_MAC 0x00
356 #define GM_SW_RST_LBN 31
357 #define GM_SW_RST_WIDTH 1
358 #define GM_RX_FC_EN_LBN 5
359 #define GM_RX_FC_EN_WIDTH 1
360 #define GM_TX_FC_EN_LBN 4
361 #define GM_TX_FC_EN_WIDTH 1
362 #define GM_RX_EN_LBN 2
363 #define GM_RX_EN_WIDTH 1
364 #define GM_TX_EN_LBN 0
365 #define GM_TX_EN_WIDTH 1
366
367 /* GMAC configuration register 2 */
368 #define GM_CFG2_REG_MAC 0x01
369 #define GM_PAMBL_LEN_LBN 12
370 #define GM_PAMBL_LEN_WIDTH 4
371 #define GM_IF_MODE_LBN 8
372 #define GM_IF_MODE_WIDTH 2
373 #define GM_PAD_CRC_EN_LBN 2
374 #define GM_PAD_CRC_EN_WIDTH 1
375 #define GM_FD_LBN 0
376 #define GM_FD_WIDTH 1
377
378 /* GMAC maximum frame length register */
379 #define GM_MAX_FLEN_REG_MAC 0x04
380 #define GM_MAX_FLEN_LBN 0
381 #define GM_MAX_FLEN_WIDTH 16
382
383 /* GMAC MII management configuration register */
384 #define GM_MII_MGMT_CFG_REG_MAC 0x08
385 #define GM_MGMT_CLK_SEL_LBN 0
386 #define GM_MGMT_CLK_SEL_WIDTH 3
387
388 /* GMAC MII management command register */
389 #define GM_MII_MGMT_CMD_REG_MAC 0x09
390 #define GM_MGMT_SCAN_CYC_LBN 1
391 #define GM_MGMT_SCAN_CYC_WIDTH 1
392 #define GM_MGMT_RD_CYC_LBN 0
393 #define GM_MGMT_RD_CYC_WIDTH 1
394
395 /* GMAC MII management address register */
396 #define GM_MII_MGMT_ADR_REG_MAC 0x0a
397 #define GM_MGMT_PHY_ADDR_LBN 8
398 #define GM_MGMT_PHY_ADDR_WIDTH 5
399 #define GM_MGMT_REG_ADDR_LBN 0
400 #define GM_MGMT_REG_ADDR_WIDTH 5
401
402 /* GMAC MII management control register */
403 #define GM_MII_MGMT_CTL_REG_MAC 0x0b
404 #define GM_MGMT_CTL_LBN 0
405 #define GM_MGMT_CTL_WIDTH 16
406
407 /* GMAC MII management status register */
408 #define GM_MII_MGMT_STAT_REG_MAC 0x0c
409 #define GM_MGMT_STAT_LBN 0
410 #define GM_MGMT_STAT_WIDTH 16
411
412 /* GMAC MII management indicators register */
413 #define GM_MII_MGMT_IND_REG_MAC 0x0d
414 #define GM_MGMT_BUSY_LBN 0
415 #define GM_MGMT_BUSY_WIDTH 1
416
417 /* GMAC station address register 1 */
418 #define GM_ADR1_REG_MAC 0x10
419 #define GM_HWADDR_5_LBN 24
420 #define GM_HWADDR_5_WIDTH 8
421 #define GM_HWADDR_4_LBN 16
422 #define GM_HWADDR_4_WIDTH 8
423 #define GM_HWADDR_3_LBN 8
424 #define GM_HWADDR_3_WIDTH 8
425 #define GM_HWADDR_2_LBN 0
426 #define GM_HWADDR_2_WIDTH 8
427
428 /* GMAC station address register 2 */
429 #define GM_ADR2_REG_MAC 0x11
430 #define GM_HWADDR_1_LBN 24
431 #define GM_HWADDR_1_WIDTH 8
432 #define GM_HWADDR_0_LBN 16
433 #define GM_HWADDR_0_WIDTH 8
434
435 /* GMAC FIFO configuration register 0 */
436 #define GMF_CFG0_REG_MAC 0x12
437 #define GMF_FTFENREQ_LBN 12
438 #define GMF_FTFENREQ_WIDTH 1
439 #define GMF_STFENREQ_LBN 11
440 #define GMF_STFENREQ_WIDTH 1
441 #define GMF_FRFENREQ_LBN 10
442 #define GMF_FRFENREQ_WIDTH 1
443 #define GMF_SRFENREQ_LBN 9
444 #define GMF_SRFENREQ_WIDTH 1
445 #define GMF_WTMENREQ_LBN 8
446 #define GMF_WTMENREQ_WIDTH 1
447
448 /* GMAC FIFO configuration register 1 */
449 #define GMF_CFG1_REG_MAC 0x13
450 #define GMF_CFGFRTH_LBN 16
451 #define GMF_CFGFRTH_WIDTH 5
452 #define GMF_CFGXOFFRTX_LBN 0
453 #define GMF_CFGXOFFRTX_WIDTH 16
454
455 /* GMAC FIFO configuration register 2 */
456 #define GMF_CFG2_REG_MAC 0x14
457 #define GMF_CFGHWM_LBN 16
458 #define GMF_CFGHWM_WIDTH 6
459 #define GMF_CFGLWM_LBN 0
460 #define GMF_CFGLWM_WIDTH 6
461
462 /* GMAC FIFO configuration register 3 */
463 #define GMF_CFG3_REG_MAC 0x15
464 #define GMF_CFGHWMFT_LBN 16
465 #define GMF_CFGHWMFT_WIDTH 6
466 #define GMF_CFGFTTH_LBN 0
467 #define GMF_CFGFTTH_WIDTH 6
468
469 /* GMAC FIFO configuration register 4 */
470 #define GMF_CFG4_REG_MAC 0x16
471 #define GMF_HSTFLTRFRM_PAUSE_LBN 12
472 #define GMF_HSTFLTRFRM_PAUSE_WIDTH 12
473
474 /* GMAC FIFO configuration register 5 */
475 #define GMF_CFG5_REG_MAC 0x17
476 #define GMF_CFGHDPLX_LBN 22
477 #define GMF_CFGHDPLX_WIDTH 1
478 #define GMF_CFGBYTMODE_LBN 19
479 #define GMF_CFGBYTMODE_WIDTH 1
480 #define GMF_HSTDRPLT64_LBN 18
481 #define GMF_HSTDRPLT64_WIDTH 1
482 #define GMF_HSTFLTRFRMDC_PAUSE_LBN 12
483 #define GMF_HSTFLTRFRMDC_PAUSE_WIDTH 1
484
485 struct efab_mentormac_parameters {
486         int gmf_cfgfrth;
487         int gmf_cfgftth;
488         int gmf_cfghwmft;
489         int gmf_cfghwm;
490         int gmf_cfglwm;
491 };
492
493 /**
494  * Reset Mentor MAC
495  *
496  */
497 static void mentormac_reset ( struct efab_nic *efab ) {
498         efab_dword_t reg;
499         int save_port;
500
501         /* Take into reset */
502         EFAB_POPULATE_DWORD_1 ( reg, GM_SW_RST, 1 );
503         efab->op->mac_writel ( efab, &reg, GM_CFG1_REG_MAC );
504         udelay ( 1000 );
505
506         /* Take out of reset */
507         EFAB_POPULATE_DWORD_1 ( reg, GM_SW_RST, 0 );
508         efab->op->mac_writel ( efab, &reg, GM_CFG1_REG_MAC );
509         udelay ( 1000 );
510
511         /* Mentor MAC connects both PHYs to MAC 0 */
512         save_port = efab->port;
513         efab->port = 0;
514         /* Configure GMII interface so PHY is accessible.  Note that
515          * GMII interface is connected only to port 0, and that on
516          * Falcon this is a no-op.
517          */
518         EFAB_POPULATE_DWORD_1 ( reg, GM_MGMT_CLK_SEL, 0x4 );
519         efab->op->mac_writel ( efab, &reg, GM_MII_MGMT_CFG_REG_MAC );
520         udelay ( 10 );
521         efab->port = save_port;
522 }
523
524 /**
525  * Initialise Mentor MAC
526  *
527  */
528 static void mentormac_init ( struct efab_nic *efab,
529                              struct efab_mentormac_parameters *params ) {
530         int pause, if_mode, full_duplex, bytemode, half_duplex;
531         efab_dword_t reg;
532
533         /* Configuration register 1 */
534         pause = ( efab->link_options & LPA_PAUSE ) ? 1 : 0;
535         if ( ! ( efab->link_options & LPA_DUPLEX ) ) {
536                 /* Half-duplex operation requires TX flow control */
537                 pause = 1;
538         }
539         EFAB_POPULATE_DWORD_4 ( reg,
540                                 GM_TX_EN, 1,
541                                 GM_TX_FC_EN, pause,
542                                 GM_RX_EN, 1,
543                                 GM_RX_FC_EN, 1 );
544         efab->op->mac_writel ( efab, &reg, GM_CFG1_REG_MAC );
545         udelay ( 10 );
546
547         /* Configuration register 2 */
548         if_mode = ( efab->link_options & LPA_1000 ) ? 2 : 1;
549         full_duplex = ( efab->link_options & LPA_DUPLEX ) ? 1 : 0;
550         EFAB_POPULATE_DWORD_4 ( reg,
551                                 GM_IF_MODE, if_mode,
552                                 GM_PAD_CRC_EN, 1,
553                                 GM_FD, full_duplex,
554                                 GM_PAMBL_LEN, 0x7 /* ? */ );
555         efab->op->mac_writel ( efab, &reg, GM_CFG2_REG_MAC );
556         udelay ( 10 );
557
558         /* Max frame len register */
559         EFAB_POPULATE_DWORD_1 ( reg, GM_MAX_FLEN, ETH_FRAME_LEN + 4 /* FCS */);
560         efab->op->mac_writel ( efab, &reg, GM_MAX_FLEN_REG_MAC );
561         udelay ( 10 );
562
563         /* FIFO configuration register 0 */
564         EFAB_POPULATE_DWORD_5 ( reg,
565                                 GMF_FTFENREQ, 1,
566                                 GMF_STFENREQ, 1,
567                                 GMF_FRFENREQ, 1,
568                                 GMF_SRFENREQ, 1,
569                                 GMF_WTMENREQ, 1 );
570         efab->op->mac_writel ( efab, &reg, GMF_CFG0_REG_MAC );
571         udelay ( 10 );
572
573         /* FIFO configuration register 1 */
574         EFAB_POPULATE_DWORD_2 ( reg,
575                                 GMF_CFGFRTH, params->gmf_cfgfrth,
576                                 GMF_CFGXOFFRTX, 0xffff );
577         efab->op->mac_writel ( efab, &reg, GMF_CFG1_REG_MAC );
578         udelay ( 10 );
579
580         /* FIFO configuration register 2 */
581         EFAB_POPULATE_DWORD_2 ( reg,
582                                 GMF_CFGHWM, params->gmf_cfghwm,
583                                 GMF_CFGLWM, params->gmf_cfglwm );
584         efab->op->mac_writel ( efab, &reg, GMF_CFG2_REG_MAC );
585         udelay ( 10 );
586
587         /* FIFO configuration register 3 */
588         EFAB_POPULATE_DWORD_2 ( reg,
589                                 GMF_CFGHWMFT, params->gmf_cfghwmft,
590                                 GMF_CFGFTTH, params->gmf_cfgftth );
591         efab->op->mac_writel ( efab, &reg, GMF_CFG3_REG_MAC );
592         udelay ( 10 );
593
594         /* FIFO configuration register 4 */
595         EFAB_POPULATE_DWORD_1 ( reg, GMF_HSTFLTRFRM_PAUSE, 1 );
596         efab->op->mac_writel ( efab, &reg, GMF_CFG4_REG_MAC );
597         udelay ( 10 );
598         
599         /* FIFO configuration register 5 */
600         bytemode = ( efab->link_options & LPA_1000 ) ? 1 : 0;
601         half_duplex = ( efab->link_options & LPA_DUPLEX ) ? 0 : 1;
602         efab->op->mac_readl ( efab, &reg, GMF_CFG5_REG_MAC );
603         EFAB_SET_DWORD_FIELD ( reg, GMF_CFGBYTMODE, bytemode );
604         EFAB_SET_DWORD_FIELD ( reg, GMF_CFGHDPLX, half_duplex );
605         EFAB_SET_DWORD_FIELD ( reg, GMF_HSTDRPLT64, half_duplex );
606         EFAB_SET_DWORD_FIELD ( reg, GMF_HSTFLTRFRMDC_PAUSE, 0 );
607         efab->op->mac_writel ( efab, &reg, GMF_CFG5_REG_MAC );
608         udelay ( 10 );
609         
610         /* MAC address */
611         EFAB_POPULATE_DWORD_4 ( reg,
612                                 GM_HWADDR_5, efab->mac_addr[5],
613                                 GM_HWADDR_4, efab->mac_addr[4],
614                                 GM_HWADDR_3, efab->mac_addr[3],
615                                 GM_HWADDR_2, efab->mac_addr[2] );
616         efab->op->mac_writel ( efab, &reg, GM_ADR1_REG_MAC );
617         udelay ( 10 );
618         EFAB_POPULATE_DWORD_2 ( reg,
619                                 GM_HWADDR_1, efab->mac_addr[1],
620                                 GM_HWADDR_0, efab->mac_addr[0] );
621         efab->op->mac_writel ( efab, &reg, GM_ADR2_REG_MAC );
622         udelay ( 10 );
623 }
624
625 /**
626  * Wait for GMII access to complete
627  *
628  */
629 static int mentormac_gmii_wait ( struct efab_nic *efab ) {
630         int count;
631         efab_dword_t indicator;
632
633         for ( count = 0 ; count < 1000 ; count++ ) {
634                 udelay ( 10 );
635                 efab->op->mac_readl ( efab, &indicator,
636                                       GM_MII_MGMT_IND_REG_MAC );
637                 if ( EFAB_DWORD_FIELD ( indicator, GM_MGMT_BUSY ) == 0 )
638                         return 1;
639         }
640         printf ( "Timed out waiting for GMII\n" );
641         return 0;
642 }
643
644 /**
645  * Write a GMII register
646  *
647  */
648 static void mentormac_mdio_write ( struct efab_nic *efab, int phy_id,
649                                    int location, int value ) {
650         efab_dword_t reg;
651         int save_port;
652
653         EFAB_TRACE ( "Writing GMII %d register %02x with %04x\n", phy_id,
654                      location, value );
655
656         /* Mentor MAC connects both PHYs to MAC 0 */
657         save_port = efab->port;
658         efab->port = 0;
659
660         /* Check MII not currently being accessed */
661         if ( ! mentormac_gmii_wait ( efab ) )
662                 goto out;
663
664         /* Write the address register */
665         EFAB_POPULATE_DWORD_2 ( reg,
666                                 GM_MGMT_PHY_ADDR, phy_id,
667                                 GM_MGMT_REG_ADDR, location );
668         efab->op->mac_writel ( efab, &reg, GM_MII_MGMT_ADR_REG_MAC );
669         udelay ( 10 );
670
671         /* Write data */
672         EFAB_POPULATE_DWORD_1 ( reg, GM_MGMT_CTL, value );
673         efab->op->mac_writel ( efab, &reg, GM_MII_MGMT_CTL_REG_MAC );
674
675         /* Wait for data to be written */
676         mentormac_gmii_wait ( efab );
677
678  out:
679         /* Restore efab->port */
680         efab->port = save_port;
681 }
682
683 /**
684  * Read a GMII register
685  *
686  */
687 static int mentormac_mdio_read ( struct efab_nic *efab, int phy_id,
688                                  int location ) {
689         efab_dword_t reg;
690         int value = 0xffff;
691         int save_port;
692
693         /* Mentor MAC connects both PHYs to MAC 0 */
694         save_port = efab->port;
695         efab->port = 0;
696
697         /* Check MII not currently being accessed */
698         if ( ! mentormac_gmii_wait ( efab ) )
699                 goto out;
700
701         /* Write the address register */
702         EFAB_POPULATE_DWORD_2 ( reg,
703                                 GM_MGMT_PHY_ADDR, phy_id,
704                                 GM_MGMT_REG_ADDR, location );
705         efab->op->mac_writel ( efab, &reg, GM_MII_MGMT_ADR_REG_MAC );
706         udelay ( 10 );
707
708         /* Request data to be read */
709         EFAB_POPULATE_DWORD_1 ( reg, GM_MGMT_RD_CYC, 1 );
710         efab->op->mac_writel ( efab, &reg, GM_MII_MGMT_CMD_REG_MAC );
711
712         /* Wait for data to be become available */
713         if ( mentormac_gmii_wait ( efab ) ) {
714                 /* Read data */
715                 efab->op->mac_readl ( efab, &reg, GM_MII_MGMT_STAT_REG_MAC );
716                 value = EFAB_DWORD_FIELD ( reg, GM_MGMT_STAT );
717                 EFAB_TRACE ( "Read from GMII %d register %02x, got %04x\n",
718                              phy_id, location, value );
719         }
720
721         /* Signal completion */
722         EFAB_ZERO_DWORD ( reg );
723         efab->op->mac_writel ( efab, &reg, GM_MII_MGMT_CMD_REG_MAC );
724         udelay ( 10 );
725
726  out:
727         /* Restore efab->port */
728         efab->port = save_port;
729
730         return value;
731 }
732
733 /**************************************************************************
734  *
735  * EF1002 routines
736  *
737  **************************************************************************
738  */
739
740 /** Control and General Status */
741 #define EF1_CTR_GEN_STATUS0_REG 0x0
742 #define EF1_MASTER_EVENTS_LBN 12
743 #define EF1_MASTER_EVENTS_WIDTH 1
744 #define EF1_TX_ENGINE_EN_LBN 19
745 #define EF1_TX_ENGINE_EN_WIDTH 1
746 #define EF1_RX_ENGINE_EN_LBN 18
747 #define EF1_RX_ENGINE_EN_WIDTH 1
748 #define EF1_TURBO2_LBN 17
749 #define EF1_TURBO2_WIDTH 1
750 #define EF1_TURBO1_LBN 16
751 #define EF1_TURBO1_WIDTH 1
752 #define EF1_TURBO3_LBN 14
753 #define EF1_TURBO3_WIDTH 1
754 #define EF1_LB_RESET_LBN 3
755 #define EF1_LB_RESET_WIDTH 1
756 #define EF1_MAC_RESET_LBN 2
757 #define EF1_MAC_RESET_WIDTH 1
758 #define EF1_CAM_ENABLE_LBN 1
759 #define EF1_CAM_ENABLE_WIDTH 1
760
761 /** IRQ sources */
762 #define EF1_IRQ_SRC_REG 0x0008
763
764 /** IRQ mask */
765 #define EF1_IRQ_MASK_REG 0x000c
766 #define EF1_IRQ_PHY1_LBN 11
767 #define EF1_IRQ_PHY1_WIDTH 1
768 #define EF1_IRQ_PHY0_LBN 10
769 #define EF1_IRQ_PHY0_WIDTH 1
770 #define EF1_IRQ_SERR_LBN 7
771 #define EF1_IRQ_SERR_WIDTH 1
772 #define EF1_IRQ_EVQ_LBN 3
773 #define EF1_IRQ_EVQ_WIDTH 1
774
775 /** Event generation */
776 #define EF1_EVT3_REG 0x38
777
778 /** EEPROM access */
779 #define EF1_EEPROM_REG 0x40
780 #define EF1_EEPROM_SDA_LBN 31
781 #define EF1_EEPROM_SDA_WIDTH 1
782 #define EF1_EEPROM_SCL_LBN 30
783 #define EF1_EEPROM_SCL_WIDTH 1
784 #define EF1_JTAG_DISCONNECT_LBN 17
785 #define EF1_JTAG_DISCONNECT_WIDTH 1
786 #define EF1_EEPROM_LBN 0
787 #define EF1_EEPROM_WIDTH 32
788
789 /** Control register 2 */
790 #define EF1_CTL2_REG 0x4c
791 #define EF1_PLL_TRAP_LBN 31
792 #define EF1_PLL_TRAP_WIDTH 1
793 #define EF1_MEM_MAP_4MB_LBN 11
794 #define EF1_MEM_MAP_4MB_WIDTH 1
795 #define EF1_EV_INTR_CLR_WRITE_LBN 6
796 #define EF1_EV_INTR_CLR_WRITE_WIDTH 1
797 #define EF1_BURST_MERGE_LBN 5
798 #define EF1_BURST_MERGE_WIDTH 1
799 #define EF1_CLEAR_NULL_PAD_LBN 4
800 #define EF1_CLEAR_NULL_PAD_WIDTH 1
801 #define EF1_SW_RESET_LBN 2
802 #define EF1_SW_RESET_WIDTH 1
803 #define EF1_INTR_AFTER_EVENT_LBN 1
804 #define EF1_INTR_AFTER_EVENT_WIDTH 1
805
806 /** Event FIFO */
807 #define EF1_EVENT_FIFO_REG 0x50
808
809 /** Event FIFO count */
810 #define EF1_EVENT_FIFO_COUNT_REG 0x5c
811 #define EF1_EV_COUNT_LBN 0
812 #define EF1_EV_COUNT_WIDTH 16
813
814 /** TX DMA control and status */
815 #define EF1_DMA_TX_CSR_REG 0x80
816 #define EF1_DMA_TX_CSR_CHAIN_EN_LBN 8
817 #define EF1_DMA_TX_CSR_CHAIN_EN_WIDTH 1
818 #define EF1_DMA_TX_CSR_ENABLE_LBN 4
819 #define EF1_DMA_TX_CSR_ENABLE_WIDTH 1
820 #define EF1_DMA_TX_CSR_INT_EN_LBN 0
821 #define EF1_DMA_TX_CSR_INT_EN_WIDTH 1
822
823 /** RX DMA control and status */
824 #define EF1_DMA_RX_CSR_REG 0xa0
825 #define EF1_DMA_RX_ABOVE_1GB_EN_LBN 6
826 #define EF1_DMA_RX_ABOVE_1GB_EN_WIDTH 1
827 #define EF1_DMA_RX_BELOW_1MB_EN_LBN 5
828 #define EF1_DMA_RX_BELOW_1MB_EN_WIDTH 1 
829 #define EF1_DMA_RX_CSR_ENABLE_LBN 0
830 #define EF1_DMA_RX_CSR_ENABLE_WIDTH 1
831
832 /** Level 5 watermark register (in MAC space) */
833 #define EF1_GMF_L5WM_REG_MAC 0x20
834 #define EF1_L5WM_LBN 0
835 #define EF1_L5WM_WIDTH 32
836
837 /** MAC clock */
838 #define EF1_GM_MAC_CLK_REG 0x112000
839 #define EF1_GM_PORT0_MAC_CLK_LBN 0
840 #define EF1_GM_PORT0_MAC_CLK_WIDTH 1
841 #define EF1_GM_PORT1_MAC_CLK_LBN 1
842 #define EF1_GM_PORT1_MAC_CLK_WIDTH 1
843
844 /** TX descriptor FIFO */
845 #define EF1_TX_DESC_FIFO 0x141000
846 #define EF1_TX_KER_EVQ_LBN 80
847 #define EF1_TX_KER_EVQ_WIDTH 12
848 #define EF1_TX_KER_IDX_LBN 64
849 #define EF1_TX_KER_IDX_WIDTH 16
850 #define EF1_TX_KER_MODE_LBN 63
851 #define EF1_TX_KER_MODE_WIDTH 1
852 #define EF1_TX_KER_PORT_LBN 60
853 #define EF1_TX_KER_PORT_WIDTH 1
854 #define EF1_TX_KER_CONT_LBN 56
855 #define EF1_TX_KER_CONT_WIDTH 1
856 #define EF1_TX_KER_BYTE_CNT_LBN 32
857 #define EF1_TX_KER_BYTE_CNT_WIDTH 24
858 #define EF1_TX_KER_BUF_ADR_LBN 0
859 #define EF1_TX_KER_BUF_ADR_WIDTH 32
860
861 /** TX descriptor FIFO flush */
862 #define EF1_TX_DESC_FIFO_FLUSH 0x141ffc
863
864 /** RX descriptor FIFO */
865 #define EF1_RX_DESC_FIFO 0x145000
866 #define EF1_RX_KER_EVQ_LBN 48
867 #define EF1_RX_KER_EVQ_WIDTH 12
868 #define EF1_RX_KER_IDX_LBN 32
869 #define EF1_RX_KER_IDX_WIDTH 16
870 #define EF1_RX_KER_BUF_ADR_LBN 0
871 #define EF1_RX_KER_BUF_ADR_WIDTH 32
872
873 /** RX descriptor FIFO flush */
874 #define EF1_RX_DESC_FIFO_FLUSH 0x145ffc 
875
876 /** CAM */
877 #define EF1_CAM_BASE 0x1c0000
878 #define EF1_CAM_WTF_DOES_THIS_DO_LBN 0
879 #define EF1_CAM_WTF_DOES_THIS_DO_WIDTH 32
880
881 /** Event queue pointers */
882 #define EF1_EVQ_PTR_BASE 0x260000
883 #define EF1_EVQ_SIZE_LBN 29
884 #define EF1_EVQ_SIZE_WIDTH 2
885 #define EF1_EVQ_SIZE_4K 3
886 #define EF1_EVQ_SIZE_2K 2
887 #define EF1_EVQ_SIZE_1K 1
888 #define EF1_EVQ_SIZE_512 0
889 #define EF1_EVQ_BUF_BASE_ID_LBN 0
890 #define EF1_EVQ_BUF_BASE_ID_WIDTH 29
891
892 /* MAC registers */
893 #define EF1002_MAC_REGBANK 0x110000
894 #define EF1002_MAC_REGBANK_SIZE 0x1000
895 #define EF1002_MAC_REG_SIZE 0x08
896
897 /** Offset of a MAC register within EF1002 */
898 #define EF1002_MAC_REG( efab, mac_reg )                         \
899         ( EF1002_MAC_REGBANK +                                  \
900           ( (efab)->port * EF1002_MAC_REGBANK_SIZE ) +          \
901           ( (mac_reg) * EF1002_MAC_REG_SIZE ) )
902
903 /* Event queue entries */
904 #define EF1_EV_CODE_LBN 20
905 #define EF1_EV_CODE_WIDTH 8
906 #define EF1_RX_EV_DECODE 0x01
907 #define EF1_TX_EV_DECODE 0x02
908 #define EF1_TIMER_EV_DECODE 0x0b
909 #define EF1_DRV_GEN_EV_DECODE 0x0f
910
911 /* Receive events */
912 #define EF1_RX_EV_LEN_LBN 48
913 #define EF1_RX_EV_LEN_WIDTH 16
914 #define EF1_RX_EV_PORT_LBN 17
915 #define EF1_RX_EV_PORT_WIDTH 3
916 #define EF1_RX_EV_OK_LBN 16
917 #define EF1_RX_EV_OK_WIDTH 1
918 #define EF1_RX_EV_IDX_LBN 0
919 #define EF1_RX_EV_IDX_WIDTH 16
920
921 /* Transmit events */
922 #define EF1_TX_EV_PORT_LBN 17
923 #define EF1_TX_EV_PORT_WIDTH 3
924 #define EF1_TX_EV_OK_LBN 16
925 #define EF1_TX_EV_OK_WIDTH 1
926 #define EF1_TX_EV_IDX_LBN 0
927 #define EF1_TX_EV_IDX_WIDTH 16
928
929 /* I2C ID of the EEPROM */
930 #define EF1_EEPROM_I2C_ID 0x50
931
932 /* Offset of MAC address within EEPROM */
933 #define EF1_EEPROM_HWADDR_OFFSET 0x0
934
935 /**
936  * Write dword to EF1002 register
937  *
938  */
939 static inline void ef1002_writel ( struct efab_nic *efab, efab_dword_t *value,
940                                    unsigned int reg ) {
941         EFAB_REGDUMP ( "Writing register %x with " EFAB_DWORD_FMT "\n",
942                        reg, EFAB_DWORD_VAL ( *value ) );
943         writel ( value->u32[0], efab->membase + reg );
944 }
945
946 /**
947  * Read dword from an EF1002 register
948  *
949  */
950 static inline void ef1002_readl ( struct efab_nic *efab, efab_dword_t *value,
951                                   unsigned int reg ) {
952         value->u32[0] = readl ( efab->membase + reg );
953         EFAB_REGDUMP ( "Read from register %x, got " EFAB_DWORD_FMT "\n",
954                        reg, EFAB_DWORD_VAL ( *value ) );
955 }
956
957 /**
958  * Read dword from an EF1002 register, silently
959  *
960  */
961 static inline void ef1002_readl_silent ( struct efab_nic *efab,
962                                          efab_dword_t *value,
963                                          unsigned int reg ) {
964         value->u32[0] = readl ( efab->membase + reg );
965 }
966
967 /**
968  * Get memory base
969  *
970  */
971 static void ef1002_get_membase ( struct efab_nic *efab ) {
972         unsigned long membase_phys;
973
974         membase_phys = pci_bar_start ( efab->pci, PCI_BASE_ADDRESS_0 );
975         efab->membase = ioremap ( membase_phys, 0x800000 );
976 }
977
978 /** PCI registers to backup/restore over a device reset */
979 static const unsigned int efab_pci_reg_addr[] = {
980         PCI_COMMAND, 0x0c /* PCI_CACHE_LINE_SIZE */,
981         PCI_BASE_ADDRESS_0, PCI_BASE_ADDRESS_1, PCI_BASE_ADDRESS_2,
982         PCI_BASE_ADDRESS_3, PCI_ROM_ADDRESS, PCI_INTERRUPT_LINE,
983 };
984 /** Number of registers in efab_pci_reg_addr */
985 #define EFAB_NUM_PCI_REG \
986         ( sizeof ( efab_pci_reg_addr ) / sizeof ( efab_pci_reg_addr[0] ) )
987 /** PCI configuration space backup */
988 struct efab_pci_reg {
989         uint32_t reg[EFAB_NUM_PCI_REG];
990 };
991
992 /*
993  * I2C interface and EEPROM
994  *
995  */
996
997 static unsigned long ef1002_i2c_bits[] = {
998         [I2C_BIT_SCL] = ( 1 << 30 ),
999         [I2C_BIT_SDA] = ( 1 << 31 ),
1000 };
1001
1002 static void ef1002_i2c_write_bit ( struct bit_basher *basher,
1003                                    unsigned int bit_id, unsigned long data ) {
1004         struct efab_nic *efab = container_of ( basher, struct efab_nic,
1005                                                ef1002_i2c.basher );
1006         unsigned long mask;
1007         efab_dword_t reg;
1008
1009         mask = ef1002_i2c_bits[bit_id];
1010         efab->ef1002_i2c_outputs &= ~mask;
1011         efab->ef1002_i2c_outputs |= ( data & mask );
1012         EFAB_POPULATE_DWORD_1 ( reg, EF1_EEPROM, efab->ef1002_i2c_outputs );
1013         ef1002_writel ( efab, &reg, EF1_EEPROM_REG );
1014 }
1015
1016 static int ef1002_i2c_read_bit ( struct bit_basher *basher,
1017                                  unsigned int bit_id ) {
1018         struct efab_nic *efab = container_of ( basher, struct efab_nic,
1019                                                ef1002_i2c.basher );
1020         unsigned long mask;
1021         efab_dword_t reg;
1022
1023         mask = ef1002_i2c_bits[bit_id];
1024         ef1002_readl ( efab, &reg, EF1_EEPROM_REG );
1025         return ( EFAB_DWORD_FIELD ( reg, EF1_EEPROM ) & mask );
1026 }
1027
1028 static void ef1002_init_eeprom ( struct efab_nic *efab ) {
1029         efab->ef1002_i2c.basher.write = ef1002_i2c_write_bit;
1030         efab->ef1002_i2c.basher.read = ef1002_i2c_read_bit;
1031         init_i2c_bit_basher ( &efab->ef1002_i2c );
1032         efab->ef1002_eeprom.address = EF1_EEPROM_I2C_ID;
1033 }
1034
1035 /**
1036  * Reset device
1037  *
1038  */
1039 static int ef1002_reset ( struct efab_nic *efab ) {
1040         struct efab_pci_reg pci_reg;
1041         struct pci_device *pci_dev = efab->pci;
1042         efab_dword_t reg;
1043         unsigned int i;
1044         uint32_t tmp;
1045
1046         /* Back up PCI configuration registers */
1047         for ( i = 0 ; i < EFAB_NUM_PCI_REG ; i++ ) {
1048                 pci_read_config_dword ( pci_dev, efab_pci_reg_addr[i],
1049                                         &pci_reg.reg[i] );
1050         }
1051
1052         /* Reset the whole device. */
1053         EFAB_POPULATE_DWORD_1 ( reg, EF1_SW_RESET, 1 );
1054         ef1002_writel ( efab, &reg, EF1_CTL2_REG );
1055         mdelay ( 200 );
1056         
1057         /* Restore PCI configuration space */
1058         for ( i = 0 ; i < EFAB_NUM_PCI_REG ; i++ ) {
1059                 pci_write_config_dword ( pci_dev, efab_pci_reg_addr[i],
1060                                          pci_reg.reg[i] );
1061         }
1062
1063         /* Verify PCI configuration space */
1064         for ( i = 0 ; i < EFAB_NUM_PCI_REG ; i++ ) {
1065                 pci_read_config_dword ( pci_dev, efab_pci_reg_addr[i], &tmp );
1066                 if ( tmp != pci_reg.reg[i] ) {
1067                         printf ( "PCI restore failed on register %02x "
1068                                  "(is %08lx, should be %08lx); reboot\n",
1069                                  i, tmp, pci_reg.reg[i] );
1070                         return 0;
1071                 }
1072         }
1073
1074         /* Verify device reset complete */
1075         ef1002_readl ( efab, &reg, EF1_CTR_GEN_STATUS0_REG );
1076         if ( EFAB_DWORD_IS_ALL_ONES ( reg ) ) {
1077                 printf ( "Reset failed\n" );
1078                 return 0;
1079         }
1080
1081         return 1;
1082 }
1083
1084 /**
1085  * Initialise NIC
1086  *
1087  */
1088 static int ef1002_init_nic ( struct efab_nic *efab ) {
1089         efab_dword_t reg;
1090
1091         /* No idea what CAM is, but the 'datasheet' says that we have
1092          * to write these values in at start of day
1093          */
1094         EFAB_POPULATE_DWORD_1 ( reg, EF1_CAM_WTF_DOES_THIS_DO, 0x6 );
1095         ef1002_writel ( efab, &reg, EF1_CAM_BASE + 0x20018 );
1096         udelay ( 1000 );
1097         EFAB_POPULATE_DWORD_1 ( reg, EF1_CAM_WTF_DOES_THIS_DO, 0x01000000 );
1098         ef1002_writel ( efab, &reg, EF1_CAM_BASE + 0x00018 );
1099         udelay ( 1000 );
1100
1101         /* General control register 0 */
1102         ef1002_readl ( efab, &reg, EF1_CTR_GEN_STATUS0_REG );
1103         EFAB_SET_DWORD_FIELD ( reg, EF1_MASTER_EVENTS, 0 );
1104         EFAB_SET_DWORD_FIELD ( reg, EF1_TX_ENGINE_EN, 0 );
1105         EFAB_SET_DWORD_FIELD ( reg, EF1_RX_ENGINE_EN, 0 );
1106         EFAB_SET_DWORD_FIELD ( reg, EF1_TURBO2, 1 );
1107         EFAB_SET_DWORD_FIELD ( reg, EF1_TURBO1, 1 );
1108         EFAB_SET_DWORD_FIELD ( reg, EF1_TURBO3, 1 );
1109         EFAB_SET_DWORD_FIELD ( reg, EF1_CAM_ENABLE, 1 );
1110         ef1002_writel ( efab, &reg, EF1_CTR_GEN_STATUS0_REG );
1111         udelay ( 1000 );
1112
1113         /* General control register 2 */
1114         ef1002_readl ( efab, &reg, EF1_CTL2_REG );
1115         EFAB_SET_DWORD_FIELD ( reg, EF1_PLL_TRAP, 1 );
1116         EFAB_SET_DWORD_FIELD ( reg, EF1_MEM_MAP_4MB, 0 );
1117         EFAB_SET_DWORD_FIELD ( reg, EF1_EV_INTR_CLR_WRITE, 0 );
1118         EFAB_SET_DWORD_FIELD ( reg, EF1_BURST_MERGE, 0 );
1119         EFAB_SET_DWORD_FIELD ( reg, EF1_CLEAR_NULL_PAD, 1 );
1120         EFAB_SET_DWORD_FIELD ( reg, EF1_INTR_AFTER_EVENT, 1 );
1121         ef1002_writel ( efab, &reg, EF1_CTL2_REG );
1122         udelay ( 1000 );
1123
1124         /* Enable RX DMA */
1125         ef1002_readl ( efab, &reg, EF1_DMA_RX_CSR_REG );
1126         EFAB_SET_DWORD_FIELD ( reg, EF1_DMA_RX_CSR_ENABLE, 1 );
1127         EFAB_SET_DWORD_FIELD ( reg, EF1_DMA_RX_BELOW_1MB_EN, 1 );
1128         EFAB_SET_DWORD_FIELD ( reg, EF1_DMA_RX_ABOVE_1GB_EN, 1 );
1129         ef1002_writel ( efab, &reg, EF1_DMA_RX_CSR_REG );
1130         udelay ( 1000 );
1131
1132         /* Enable TX DMA */
1133         ef1002_readl ( efab, &reg, EF1_DMA_TX_CSR_REG );
1134         EFAB_SET_DWORD_FIELD ( reg, EF1_DMA_TX_CSR_CHAIN_EN, 1 );
1135         EFAB_SET_DWORD_FIELD ( reg, EF1_DMA_TX_CSR_ENABLE, 0 /* ?? */ );
1136         EFAB_SET_DWORD_FIELD ( reg, EF1_DMA_TX_CSR_INT_EN, 0 /* ?? */ );
1137         ef1002_writel ( efab, &reg, EF1_DMA_TX_CSR_REG );
1138         udelay ( 1000 );
1139
1140         /* Disconnect the JTAG chain.  Read-modify-write is impossible
1141          * on the I2C control bits, since reading gives the state of
1142          * the line inputs rather than the last written state.
1143          */
1144         ef1002_readl ( efab, &reg, EF1_EEPROM_REG );
1145         EFAB_SET_DWORD_FIELD ( reg, EF1_EEPROM_SDA, 1 );
1146         EFAB_SET_DWORD_FIELD ( reg, EF1_EEPROM_SCL, 1 );
1147         EFAB_SET_DWORD_FIELD ( reg, EF1_JTAG_DISCONNECT, 1 );
1148         ef1002_writel ( efab, &reg, EF1_EEPROM_REG );
1149         udelay ( 10 );
1150
1151         /* Flush descriptor queues */
1152         EFAB_ZERO_DWORD ( reg );
1153         ef1002_writel ( efab, &reg, EF1_RX_DESC_FIFO_FLUSH );
1154         ef1002_writel ( efab, &reg, EF1_TX_DESC_FIFO_FLUSH );
1155         wmb();
1156         udelay ( 10000 );
1157
1158         /* Reset MAC */
1159         mentormac_reset ( efab );
1160
1161         /* Attach I2C bus */
1162         ef1002_init_eeprom ( efab );
1163
1164         return 1;
1165 }
1166
1167 /**
1168  * Read MAC address from EEPROM
1169  *
1170  */
1171 static int ef1002_read_eeprom ( struct efab_nic *efab ) {
1172         struct i2c_interface *i2c = &efab->ef1002_i2c.i2c;
1173         struct i2c_device *i2cdev = &efab->ef1002_eeprom;
1174
1175         return ( i2c->read ( i2c, i2cdev, EF1_EEPROM_HWADDR_OFFSET,
1176                              efab->mac_addr, sizeof ( efab->mac_addr ) ) == 0);
1177 }
1178
1179 /** RX descriptor */
1180 typedef efab_qword_t ef1002_rx_desc_t;
1181
1182 /**
1183  * Build RX descriptor
1184  *
1185  */
1186 static void ef1002_build_rx_desc ( struct efab_nic *efab,
1187                                    struct efab_rx_buf *rx_buf ) {
1188         ef1002_rx_desc_t rxd;
1189
1190         EFAB_POPULATE_QWORD_3 ( rxd,
1191                                 EF1_RX_KER_EVQ, 0,
1192                                 EF1_RX_KER_IDX, rx_buf->id,
1193                                 EF1_RX_KER_BUF_ADR,
1194                                 virt_to_bus ( rx_buf->addr ) );
1195         ef1002_writel ( efab, &rxd.dword[0], EF1_RX_DESC_FIFO + 0 );
1196         wmb();
1197         ef1002_writel ( efab, &rxd.dword[1], EF1_RX_DESC_FIFO + 4 );
1198         udelay ( 10 );
1199 }
1200
1201 /**
1202  * Update RX descriptor write pointer
1203  *
1204  */
1205 static void ef1002_notify_rx_desc ( struct efab_nic *efab __unused ) {
1206         /* Nothing to do */
1207 }
1208
1209 /** TX descriptor */
1210 typedef efab_oword_t ef1002_tx_desc_t;
1211
1212 /**
1213  * Build TX descriptor
1214  *
1215  */
1216 static void ef1002_build_tx_desc ( struct efab_nic *efab,
1217                                    struct efab_tx_buf *tx_buf ) {
1218         ef1002_tx_desc_t txd;
1219
1220         EFAB_POPULATE_OWORD_7 ( txd,
1221                                 EF1_TX_KER_EVQ, 0,
1222                                 EF1_TX_KER_IDX, tx_buf->id,
1223                                 EF1_TX_KER_MODE, 0 /* IP mode */,
1224                                 EF1_TX_KER_PORT, efab->port,
1225                                 EF1_TX_KER_CONT, 0,
1226                                 EF1_TX_KER_BYTE_CNT, tx_buf->len,
1227                                 EF1_TX_KER_BUF_ADR,
1228                                 virt_to_bus ( tx_buf->addr ) );
1229
1230         ef1002_writel ( efab, &txd.dword[0], EF1_TX_DESC_FIFO + 0 );
1231         ef1002_writel ( efab, &txd.dword[1], EF1_TX_DESC_FIFO + 4 );
1232         wmb();
1233         ef1002_writel ( efab, &txd.dword[2], EF1_TX_DESC_FIFO + 8 );
1234         udelay ( 10 );
1235 }
1236
1237 /**
1238  * Update TX descriptor write pointer
1239  *
1240  */
1241 static void ef1002_notify_tx_desc ( struct efab_nic *efab __unused ) {
1242         /* Nothing to do */
1243 }
1244
1245 /** An event */
1246 typedef efab_qword_t ef1002_event_t;
1247
1248 /**
1249  * Retrieve event from event queue
1250  *
1251  */
1252 static int ef1002_fetch_event ( struct efab_nic *efab,
1253                                 struct efab_event *event ) {
1254         efab_dword_t reg;
1255         int ev_code;
1256         int words;
1257
1258         /* Check event FIFO depth */
1259         ef1002_readl_silent ( efab, &reg, EF1_EVENT_FIFO_COUNT_REG );
1260         words = EFAB_DWORD_FIELD ( reg, EF1_EV_COUNT );
1261         if ( ! words )
1262                 return 0;
1263
1264         /* Read event data */
1265         ef1002_readl ( efab, &reg, EF1_EVENT_FIFO_REG );
1266         DBG ( "Event is " EFAB_DWORD_FMT "\n", EFAB_DWORD_VAL ( reg ) );
1267
1268         /* Decode event */
1269         ev_code = EFAB_DWORD_FIELD ( reg, EF1_EV_CODE );
1270         switch ( ev_code ) {
1271         case EF1_TX_EV_DECODE:
1272                 event->type = EFAB_EV_TX;
1273                 break;
1274         case EF1_RX_EV_DECODE:
1275                 event->type = EFAB_EV_RX;
1276                 event->rx_id = EFAB_DWORD_FIELD ( reg, EF1_RX_EV_IDX );
1277                 /* RX len not available via event FIFO */
1278                 event->rx_len = ETH_FRAME_LEN;
1279                 break;
1280         case EF1_TIMER_EV_DECODE:
1281                 /* These are safe to ignore.  We seem to get some at
1282                  * start of day, presumably due to the timers starting
1283                  * up with random contents.
1284                  */
1285                 event->type = EFAB_EV_NONE;
1286                 break;
1287         default:
1288                 printf ( "Unknown event type %d data %08lx\n", ev_code,
1289                          EFAB_DWORD_FIELD ( reg, EFAB_DWORD_0 ) );
1290                 event->type = EFAB_EV_NONE;
1291         }
1292
1293         /* Clear any pending interrupts */
1294         ef1002_readl ( efab, &reg, EF1_IRQ_SRC_REG );
1295
1296         return 1;
1297 }
1298
1299 /**
1300  * Enable/disable interrupts
1301  *
1302  */
1303 static void ef1002_mask_irq ( struct efab_nic *efab, int enabled ) {
1304         efab_dword_t irq_mask;
1305
1306         EFAB_POPULATE_DWORD_2 ( irq_mask,
1307                                 EF1_IRQ_SERR, enabled,
1308                                 EF1_IRQ_EVQ, enabled );
1309         ef1002_writel ( efab, &irq_mask, EF1_IRQ_MASK_REG );
1310 }
1311
1312 /**
1313  * Generate interrupt
1314  *
1315  */
1316 static void ef1002_generate_irq ( struct efab_nic *efab ) {
1317         ef1002_event_t test_event;
1318
1319         EFAB_POPULATE_QWORD_1 ( test_event,
1320                                 EF1_EV_CODE, EF1_DRV_GEN_EV_DECODE );
1321         ef1002_writel ( efab, &test_event.dword[0], EF1_EVT3_REG );
1322 }
1323
1324 /**
1325  * Write dword to an EF1002 MAC register
1326  *
1327  */
1328 static void ef1002_mac_writel ( struct efab_nic *efab,
1329                                 efab_dword_t *value, unsigned int mac_reg ) {
1330         ef1002_writel ( efab, value, EF1002_MAC_REG ( efab, mac_reg ) );
1331 }
1332
1333 /**
1334  * Read dword from an EF1002 MAC register
1335  *
1336  */
1337 static void ef1002_mac_readl ( struct efab_nic *efab,
1338                                efab_dword_t *value, unsigned int mac_reg ) {
1339         ef1002_readl ( efab, value, EF1002_MAC_REG ( efab, mac_reg ) );
1340 }
1341
1342 /**
1343  * Initialise MAC
1344  *
1345  */
1346 static int ef1002_init_mac ( struct efab_nic *efab ) {
1347         static struct efab_mentormac_parameters ef1002_mentormac_params = {
1348                 .gmf_cfgfrth = 0x13,
1349                 .gmf_cfgftth = 0x10,
1350                 .gmf_cfghwmft = 0x555,
1351                 .gmf_cfghwm = 0x2a,
1352                 .gmf_cfglwm = 0x15,
1353         };
1354         efab_dword_t reg;
1355         unsigned int mac_clk;
1356
1357         /* Initialise PHY */
1358         alaska_init ( efab );
1359
1360         /* Initialise MAC */
1361         mentormac_init ( efab, &ef1002_mentormac_params );
1362
1363         /* Write Level 5 watermark register */
1364         EFAB_POPULATE_DWORD_1 ( reg, EF1_L5WM, 0x10040000 );
1365         efab->op->mac_writel ( efab, &reg, EF1_GMF_L5WM_REG_MAC );
1366         udelay ( 10 );
1367
1368         /* Set MAC clock speed */
1369         ef1002_readl ( efab, &reg, EF1_GM_MAC_CLK_REG );
1370         mac_clk = ( efab->link_options & LPA_1000 ) ? 0 : 1;
1371         if ( efab->port == 0 ) {
1372                 EFAB_SET_DWORD_FIELD ( reg, EF1_GM_PORT0_MAC_CLK, mac_clk );
1373         } else {
1374                 EFAB_SET_DWORD_FIELD ( reg, EF1_GM_PORT1_MAC_CLK, mac_clk );
1375         }
1376         ef1002_writel ( efab, &reg, EF1_GM_MAC_CLK_REG );
1377         udelay ( 10 );
1378
1379         return 1;
1380 }
1381
1382 /** MDIO write */
1383 static void ef1002_mdio_write ( struct efab_nic *efab, int location,
1384                                 int value ) {
1385         mentormac_mdio_write ( efab, efab->port + 2, location, value );
1386 }
1387
1388 /** MDIO read */
1389 static int ef1002_mdio_read ( struct efab_nic *efab, int location ) {
1390         return mentormac_mdio_read ( efab, efab->port + 2, location );
1391 }
1392
1393 static struct efab_operations ef1002_operations = {
1394         .get_membase            = ef1002_get_membase,
1395         .reset                  = ef1002_reset,
1396         .init_nic               = ef1002_init_nic,
1397         .read_eeprom            = ef1002_read_eeprom,
1398         .build_rx_desc          = ef1002_build_rx_desc,
1399         .notify_rx_desc         = ef1002_notify_rx_desc,
1400         .build_tx_desc          = ef1002_build_tx_desc,
1401         .notify_tx_desc         = ef1002_notify_tx_desc,
1402         .fetch_event            = ef1002_fetch_event,
1403         .mask_irq               = ef1002_mask_irq,
1404         .generate_irq           = ef1002_generate_irq,
1405         .mac_writel             = ef1002_mac_writel,
1406         .mac_readl              = ef1002_mac_readl,
1407         .init_mac               = ef1002_init_mac,
1408         .mdio_write             = ef1002_mdio_write,
1409         .mdio_read              = ef1002_mdio_read,
1410 };
1411
1412 /**************************************************************************
1413  *
1414  * Falcon routines
1415  *
1416  **************************************************************************
1417  */
1418
1419 /* I/O BAR address register */
1420 #define FCN_IOM_IND_ADR_REG 0x0
1421
1422 /* I/O BAR data register */
1423 #define FCN_IOM_IND_DAT_REG 0x4
1424
1425 /* Interrupt enable register */
1426 #define FCN_INT_EN_REG_KER 0x0010
1427 #define FCN_MEM_PERR_INT_EN_KER_LBN 5
1428 #define FCN_MEM_PERR_INT_EN_KER_WIDTH 1
1429 #define FCN_KER_INT_CHAR_LBN 4
1430 #define FCN_KER_INT_CHAR_WIDTH 1
1431 #define FCN_KER_INT_KER_LBN 3
1432 #define FCN_KER_INT_KER_WIDTH 1
1433 #define FCN_ILL_ADR_ERR_INT_EN_KER_LBN 2
1434 #define FCN_ILL_ADR_ERR_INT_EN_KER_WIDTH 1
1435 #define FCN_SRM_PERR_INT_EN_KER_LBN 1
1436 #define FCN_SRM_PERR_INT_EN_KER_WIDTH 1
1437 #define FCN_DRV_INT_EN_KER_LBN 0
1438 #define FCN_DRV_INT_EN_KER_WIDTH 1
1439
1440 /* Interrupt status register */
1441 #define FCN_INT_ADR_REG_KER     0x0030
1442 #define FCN_INT_ADR_KER_LBN 0
1443 #define FCN_INT_ADR_KER_WIDTH EFAB_DMA_TYPE_WIDTH ( 64 )
1444
1445 /* Interrupt acknowledge register */
1446 #define FCN_INT_ACK_KER_REG 0x0050
1447
1448 /* SPI host command register */
1449 #define FCN_EE_SPI_HCMD_REG_KER 0x0100
1450 #define FCN_EE_SPI_HCMD_CMD_EN_LBN 31
1451 #define FCN_EE_SPI_HCMD_CMD_EN_WIDTH 1
1452 #define FCN_EE_WR_TIMER_ACTIVE_LBN 28
1453 #define FCN_EE_WR_TIMER_ACTIVE_WIDTH 1
1454 #define FCN_EE_SPI_HCMD_SF_SEL_LBN 24
1455 #define FCN_EE_SPI_HCMD_SF_SEL_WIDTH 1
1456 #define FCN_EE_SPI_EEPROM 0
1457 #define FCN_EE_SPI_FLASH 1
1458 #define FCN_EE_SPI_HCMD_DABCNT_LBN 16
1459 #define FCN_EE_SPI_HCMD_DABCNT_WIDTH 5
1460 #define FCN_EE_SPI_HCMD_READ_LBN 15
1461 #define FCN_EE_SPI_HCMD_READ_WIDTH 1
1462 #define FCN_EE_SPI_READ 1
1463 #define FCN_EE_SPI_WRITE 0
1464 #define FCN_EE_SPI_HCMD_DUBCNT_LBN 12
1465 #define FCN_EE_SPI_HCMD_DUBCNT_WIDTH 2
1466 #define FCN_EE_SPI_HCMD_ADBCNT_LBN 8
1467 #define FCN_EE_SPI_HCMD_ADBCNT_WIDTH 2
1468 #define FCN_EE_SPI_HCMD_ENC_LBN 0
1469 #define FCN_EE_SPI_HCMD_ENC_WIDTH 8
1470
1471 /* SPI host address register */
1472 #define FCN_EE_SPI_HADR_REG_KER 0x0110
1473 #define FCN_EE_SPI_HADR_DUBYTE_LBN 24
1474 #define FCN_EE_SPI_HADR_DUBYTE_WIDTH 8
1475 #define FCN_EE_SPI_HADR_ADR_LBN 0
1476 #define FCN_EE_SPI_HADR_ADR_WIDTH 24
1477
1478 /* SPI host data register */
1479 #define FCN_EE_SPI_HDATA_REG_KER 0x0120
1480 #define FCN_EE_SPI_HDATA3_LBN 96
1481 #define FCN_EE_SPI_HDATA3_WIDTH 32
1482 #define FCN_EE_SPI_HDATA2_LBN 64
1483 #define FCN_EE_SPI_HDATA2_WIDTH 32
1484 #define FCN_EE_SPI_HDATA1_LBN 32
1485 #define FCN_EE_SPI_HDATA1_WIDTH 32
1486 #define FCN_EE_SPI_HDATA0_LBN 0
1487 #define FCN_EE_SPI_HDATA0_WIDTH 32
1488
1489 /* GPIO control register */
1490 #define FCN_GPIO_CTL_REG_KER 0x0210
1491 #define FCN_FLASH_PRESENT_LBN 7
1492 #define FCN_FLASH_PRESENT_WIDTH 1
1493 #define FCN_EEPROM_PRESENT_LBN 6
1494 #define FCN_EEPROM_PRESENT_WIDTH 1
1495
1496 /* Global control register */
1497 #define FCN_GLB_CTL_REG_KER     0x0220
1498 #define FCN_EXT_PHY_RST_CTL_LBN 63
1499 #define FCN_EXT_PHY_RST_CTL_WIDTH 1
1500 #define FCN_PCIE_SD_RST_CTL_LBN 61
1501 #define FCN_PCIE_SD_RST_CTL_WIDTH 1
1502 #define FCN_PCIX_RST_CTL_LBN 60
1503 #define FCN_PCIX_RST_CTL_WIDTH 1
1504 #define FCN_RST_EXT_PHY_LBN 31
1505 #define FCN_RST_EXT_PHY_WIDTH 1
1506 #define FCN_INT_RST_DUR_LBN 4
1507 #define FCN_INT_RST_DUR_WIDTH 3
1508 #define FCN_EXT_PHY_RST_DUR_LBN 1
1509 #define FCN_EXT_PHY_RST_DUR_WIDTH 3
1510 #define FCN_SWRST_LBN 0
1511 #define FCN_SWRST_WIDTH 1
1512 #define FCN_INCLUDE_IN_RESET 0
1513 #define FCN_EXCLUDE_FROM_RESET 1
1514
1515 /* Timer table for kernel access */
1516 #define FCN_TIMER_CMD_REG_KER 0x420
1517 #define FCN_TIMER_MODE_LBN 12
1518 #define FCN_TIMER_MODE_WIDTH 2
1519 #define FCN_TIMER_MODE_DIS 0
1520 #define FCN_TIMER_MODE_INT_HLDOFF 1
1521 #define FCN_TIMER_VAL_LBN 0
1522 #define FCN_TIMER_VAL_WIDTH 12
1523
1524 /* SRAM receive descriptor cache configuration register */
1525 #define FCN_SRM_RX_DC_CFG_REG_KER 0x610
1526 #define FCN_SRM_RX_DC_BASE_ADR_LBN 0
1527 #define FCN_SRM_RX_DC_BASE_ADR_WIDTH 21
1528
1529 /* SRAM transmit descriptor cache configuration register */
1530 #define FCN_SRM_TX_DC_CFG_REG_KER 0x620
1531 #define FCN_SRM_TX_DC_BASE_ADR_LBN 0
1532 #define FCN_SRM_TX_DC_BASE_ADR_WIDTH 21
1533
1534 /* Receive filter control register */
1535 #define FCN_RX_FILTER_CTL_REG_KER 0x810
1536 #define FCN_NUM_KER_LBN 24
1537 #define FCN_NUM_KER_WIDTH 2
1538
1539 /* Receive descriptor update register */
1540 #define FCN_RX_DESC_UPD_REG_KER 0x0830
1541 #define FCN_RX_DESC_WPTR_LBN 96
1542 #define FCN_RX_DESC_WPTR_WIDTH 12
1543 #define FCN_RX_DESC_UPD_REG_KER_DWORD ( FCN_RX_DESC_UPD_REG_KER + 12 )
1544 #define FCN_RX_DESC_WPTR_DWORD_LBN 0
1545 #define FCN_RX_DESC_WPTR_DWORD_WIDTH 12
1546
1547 /* Receive descriptor cache configuration register */
1548 #define FCN_RX_DC_CFG_REG_KER 0x840
1549 #define FCN_RX_DC_SIZE_LBN 0
1550 #define FCN_RX_DC_SIZE_WIDTH 2
1551
1552 /* Transmit descriptor update register */
1553 #define FCN_TX_DESC_UPD_REG_KER 0x0a10
1554 #define FCN_TX_DESC_WPTR_LBN 96
1555 #define FCN_TX_DESC_WPTR_WIDTH 12
1556 #define FCN_TX_DESC_UPD_REG_KER_DWORD ( FCN_TX_DESC_UPD_REG_KER + 12 )
1557 #define FCN_TX_DESC_WPTR_DWORD_LBN 0
1558 #define FCN_TX_DESC_WPTR_DWORD_WIDTH 12
1559
1560 /* Transmit descriptor cache configuration register */
1561 #define FCN_TX_DC_CFG_REG_KER 0xa20
1562 #define FCN_TX_DC_SIZE_LBN 0
1563 #define FCN_TX_DC_SIZE_WIDTH 2
1564
1565 /* PHY management transmit data register */
1566 #define FCN_MD_TXD_REG_KER 0xc00
1567 #define FCN_MD_TXD_LBN 0
1568 #define FCN_MD_TXD_WIDTH 16
1569
1570 /* PHY management receive data register */
1571 #define FCN_MD_RXD_REG_KER 0xc10
1572 #define FCN_MD_RXD_LBN 0
1573 #define FCN_MD_RXD_WIDTH 16
1574
1575 /* PHY management configuration & status register */
1576 #define FCN_MD_CS_REG_KER 0xc20
1577 #define FCN_MD_GC_LBN 4
1578 #define FCN_MD_GC_WIDTH 1
1579 #define FCN_MD_RIC_LBN 2
1580 #define FCN_MD_RIC_WIDTH 1
1581 #define FCN_MD_WRC_LBN 0
1582 #define FCN_MD_WRC_WIDTH 1
1583
1584 /* PHY management PHY address register */
1585 #define FCN_MD_PHY_ADR_REG_KER 0xc30
1586 #define FCN_MD_PHY_ADR_LBN 0
1587 #define FCN_MD_PHY_ADR_WIDTH 16
1588
1589 /* PHY management ID register */
1590 #define FCN_MD_ID_REG_KER 0xc40
1591 #define FCN_MD_PRT_ADR_LBN 11
1592 #define FCN_MD_PRT_ADR_WIDTH 5
1593 #define FCN_MD_DEV_ADR_LBN 6
1594 #define FCN_MD_DEV_ADR_WIDTH 5
1595
1596 /* PHY management status & mask register */
1597 #define FCN_MD_STAT_REG_KER 0xc50
1598 #define FCN_MD_BSY_LBN 0
1599 #define FCN_MD_BSY_WIDTH 1
1600
1601 /* Port 0 and 1 MAC control registers */
1602 #define FCN_MAC0_CTRL_REG_KER 0xc80
1603 #define FCN_MAC1_CTRL_REG_KER 0xc90
1604 #define FCN_MAC_XOFF_VAL_LBN 16
1605 #define FCN_MAC_XOFF_VAL_WIDTH 16
1606 #define FCN_MAC_BCAD_ACPT_LBN 4
1607 #define FCN_MAC_BCAD_ACPT_WIDTH 1
1608 #define FCN_MAC_UC_PROM_LBN 3
1609 #define FCN_MAC_UC_PROM_WIDTH 1
1610 #define FCN_MAC_LINK_STATUS_LBN 2
1611 #define FCN_MAC_LINK_STATUS_WIDTH 1
1612 #define FCN_MAC_SPEED_LBN 0
1613 #define FCN_MAC_SPEED_WIDTH 2
1614
1615 /* XGMAC global configuration - port 0*/
1616 #define FCN_XM_GLB_CFG_REG_P0_KER 0x1220
1617 #define FCN_XM_RX_STAT_EN_LBN 11
1618 #define FCN_XM_RX_STAT_EN_WIDTH 1
1619 #define FCN_XM_TX_STAT_EN_LBN 10
1620 #define FCN_XM_TX_STAT_EN_WIDTH 1
1621 #define FCN_XM_CUT_THRU_MODE_LBN 7
1622 #define FCN_XM_CUT_THRU_MODE_WIDTH 1
1623 #define FCN_XM_RX_JUMBO_MODE_LBN 6
1624 #define FCN_XM_RX_JUMBO_MODE_WIDTH 1
1625
1626 /* XGMAC transmit configuration - port 0 */
1627 #define FCN_XM_TX_CFG_REG_P0_KER 0x1230
1628 #define FCN_XM_IPG_LBN 16
1629 #define FCN_XM_IPG_WIDTH 4
1630 #define FCN_XM_WTF_DOES_THIS_DO_LBN 9
1631 #define FCN_XM_WTF_DOES_THIS_DO_WIDTH 1
1632 #define FCN_XM_TXCRC_LBN 8
1633 #define FCN_XM_TXCRC_WIDTH 1
1634 #define FCN_XM_AUTO_PAD_LBN 5
1635 #define FCN_XM_AUTO_PAD_WIDTH 1
1636 #define FCN_XM_TX_PRMBL_LBN 2
1637 #define FCN_XM_TX_PRMBL_WIDTH 1
1638 #define FCN_XM_TXEN_LBN 1
1639 #define FCN_XM_TXEN_WIDTH 1
1640
1641 /* XGMAC receive configuration - port 0 */
1642 #define FCN_XM_RX_CFG_REG_P0_KER 0x1240
1643 #define FCN_XM_PASS_CRC_ERR_LBN 25
1644 #define FCN_XM_PASS_CRC_ERR_WIDTH 1
1645 #define FCN_XM_AUTO_DEPAD_LBN 8
1646 #define FCN_XM_AUTO_DEPAD_WIDTH 1
1647 #define FCN_XM_RXEN_LBN 1
1648 #define FCN_XM_RXEN_WIDTH 1
1649
1650 /* Receive descriptor pointer table */
1651 #define FCN_RX_DESC_PTR_TBL_KER 0x11800
1652 #define FCN_RX_DESCQ_BUF_BASE_ID_LBN 36
1653 #define FCN_RX_DESCQ_BUF_BASE_ID_WIDTH 20
1654 #define FCN_RX_DESCQ_EVQ_ID_LBN 24
1655 #define FCN_RX_DESCQ_EVQ_ID_WIDTH 12
1656 #define FCN_RX_DESCQ_OWNER_ID_LBN 10
1657 #define FCN_RX_DESCQ_OWNER_ID_WIDTH 14
1658 #define FCN_RX_DESCQ_SIZE_LBN 3
1659 #define FCN_RX_DESCQ_SIZE_WIDTH 2
1660 #define FCN_RX_DESCQ_SIZE_4K 3
1661 #define FCN_RX_DESCQ_SIZE_2K 2
1662 #define FCN_RX_DESCQ_SIZE_1K 1
1663 #define FCN_RX_DESCQ_SIZE_512 0
1664 #define FCN_RX_DESCQ_TYPE_LBN 2
1665 #define FCN_RX_DESCQ_TYPE_WIDTH 1
1666 #define FCN_RX_DESCQ_JUMBO_LBN 1
1667 #define FCN_RX_DESCQ_JUMBO_WIDTH 1
1668 #define FCN_RX_DESCQ_EN_LBN 0
1669 #define FCN_RX_DESCQ_EN_WIDTH 1
1670
1671 /* Transmit descriptor pointer table */
1672 #define FCN_TX_DESC_PTR_TBL_KER 0x11900
1673 #define FCN_TX_DESCQ_EN_LBN 88
1674 #define FCN_TX_DESCQ_EN_WIDTH 1
1675 #define FCN_TX_DESCQ_BUF_BASE_ID_LBN 36
1676 #define FCN_TX_DESCQ_BUF_BASE_ID_WIDTH 20
1677 #define FCN_TX_DESCQ_EVQ_ID_LBN 24
1678 #define FCN_TX_DESCQ_EVQ_ID_WIDTH 12
1679 #define FCN_TX_DESCQ_OWNER_ID_LBN 10
1680 #define FCN_TX_DESCQ_OWNER_ID_WIDTH 14
1681 #define FCN_TX_DESCQ_SIZE_LBN 3
1682 #define FCN_TX_DESCQ_SIZE_WIDTH 2
1683 #define FCN_TX_DESCQ_SIZE_4K 3
1684 #define FCN_TX_DESCQ_SIZE_2K 2
1685 #define FCN_TX_DESCQ_SIZE_1K 1
1686 #define FCN_TX_DESCQ_SIZE_512 0
1687 #define FCN_TX_DESCQ_TYPE_LBN 1
1688 #define FCN_TX_DESCQ_TYPE_WIDTH 2
1689 #define FCN_TX_DESCQ_FLUSH_LBN 0
1690 #define FCN_TX_DESCQ_FLUSH_WIDTH 1
1691
1692 /* Event queue pointer */
1693 #define FCN_EVQ_PTR_TBL_KER 0x11a00
1694 #define FCN_EVQ_EN_LBN 23
1695 #define FCN_EVQ_EN_WIDTH 1
1696 #define FCN_EVQ_SIZE_LBN 20
1697 #define FCN_EVQ_SIZE_WIDTH 3
1698 #define FCN_EVQ_SIZE_32K 6
1699 #define FCN_EVQ_SIZE_16K 5
1700 #define FCN_EVQ_SIZE_8K 4
1701 #define FCN_EVQ_SIZE_4K 3
1702 #define FCN_EVQ_SIZE_2K 2
1703 #define FCN_EVQ_SIZE_1K 1
1704 #define FCN_EVQ_SIZE_512 0
1705 #define FCN_EVQ_BUF_BASE_ID_LBN 0
1706 #define FCN_EVQ_BUF_BASE_ID_WIDTH 20
1707
1708 /* Event queue read pointer */
1709 #define FCN_EVQ_RPTR_REG_KER 0x11b00
1710 #define FCN_EVQ_RPTR_LBN 0
1711 #define FCN_EVQ_RPTR_WIDTH 14
1712 #define FCN_EVQ_RPTR_REG_KER_DWORD ( FCN_EVQ_RPTR_REG_KER + 0 )
1713 #define FCN_EVQ_RPTR_DWORD_LBN 0
1714 #define FCN_EVQ_RPTR_DWORD_WIDTH 14
1715
1716 /* Special buffer descriptors */
1717 #define FCN_BUF_FULL_TBL_KER 0x18000
1718 #define FCN_IP_DAT_BUF_SIZE_LBN 50
1719 #define FCN_IP_DAT_BUF_SIZE_WIDTH 1
1720 #define FCN_IP_DAT_BUF_SIZE_8K 1
1721 #define FCN_IP_DAT_BUF_SIZE_4K 0
1722 #define FCN_BUF_ADR_FBUF_LBN 14
1723 #define FCN_BUF_ADR_FBUF_WIDTH 34
1724 #define FCN_BUF_OWNER_ID_FBUF_LBN 0
1725 #define FCN_BUF_OWNER_ID_FBUF_WIDTH 14
1726
1727 /* MAC registers */
1728 #define FALCON_MAC_REGBANK 0xe00
1729 #define FALCON_MAC_REGBANK_SIZE 0x200
1730 #define FALCON_MAC_REG_SIZE 0x10
1731
1732 /** Offset of a MAC register within Falcon */
1733 #define FALCON_MAC_REG( efab, mac_reg )                         \
1734         ( FALCON_MAC_REGBANK +                                  \
1735           ( (efab)->port * FALCON_MAC_REGBANK_SIZE ) +          \
1736           ( (mac_reg) * FALCON_MAC_REG_SIZE ) )
1737 #define FCN_MAC_DATA_LBN 0
1738 #define FCN_MAC_DATA_WIDTH 32
1739
1740 /* Transmit descriptor */
1741 #define FCN_TX_KER_PORT_LBN 63
1742 #define FCN_TX_KER_PORT_WIDTH 1
1743 #define FCN_TX_KER_BYTE_CNT_LBN 48
1744 #define FCN_TX_KER_BYTE_CNT_WIDTH 14
1745 #define FCN_TX_KER_BUF_ADR_LBN 0
1746 #define FCN_TX_KER_BUF_ADR_WIDTH EFAB_DMA_TYPE_WIDTH ( 46 )
1747
1748 /* Receive descriptor */
1749 #define FCN_RX_KER_BUF_SIZE_LBN 48
1750 #define FCN_RX_KER_BUF_SIZE_WIDTH 14
1751 #define FCN_RX_KER_BUF_ADR_LBN 0
1752 #define FCN_RX_KER_BUF_ADR_WIDTH EFAB_DMA_TYPE_WIDTH ( 46 )
1753
1754 /* Event queue entries */
1755 #define FCN_EV_CODE_LBN 60
1756 #define FCN_EV_CODE_WIDTH 4
1757 #define FCN_RX_IP_EV_DECODE 0
1758 #define FCN_TX_IP_EV_DECODE 2
1759 #define FCN_DRIVER_EV_DECODE 5
1760
1761 /* Receive events */
1762 #define FCN_RX_PORT_LBN 30
1763 #define FCN_RX_PORT_WIDTH 1
1764 #define FCN_RX_EV_BYTE_CNT_LBN 16
1765 #define FCN_RX_EV_BYTE_CNT_WIDTH 14
1766 #define FCN_RX_EV_DESC_PTR_LBN 0
1767 #define FCN_RX_EV_DESC_PTR_WIDTH 12
1768
1769 /* Transmit events */
1770 #define FCN_TX_EV_DESC_PTR_LBN 0
1771 #define FCN_TX_EV_DESC_PTR_WIDTH 12
1772
1773 /* Fixed special buffer numbers to use */
1774 #define FALCON_EVQ_ID 0
1775 #define FALCON_TXD_ID 1
1776 #define FALCON_RXD_ID 2
1777
1778 #if FALCON_USE_IO_BAR
1779
1780 /* Write dword via the I/O BAR */
1781 static inline void _falcon_writel ( struct efab_nic *efab, uint32_t value,
1782                                     unsigned int reg ) {
1783         outl ( reg, efab->iobase + FCN_IOM_IND_ADR_REG );
1784         outl ( value, efab->iobase + FCN_IOM_IND_DAT_REG );
1785 }
1786
1787 /* Read dword via the I/O BAR */
1788 static inline uint32_t _falcon_readl ( struct efab_nic *efab,
1789                                        unsigned int reg ) {
1790         outl ( reg, efab->iobase + FCN_IOM_IND_ADR_REG );
1791         return inl ( efab->iobase + FCN_IOM_IND_DAT_REG );
1792 }
1793
1794 #else /* FALCON_USE_IO_BAR */
1795
1796 #define _falcon_writel( efab, value, reg ) \
1797         writel ( (value), (efab)->membase + (reg) )
1798 #define _falcon_readl( efab, reg ) readl ( (efab)->membase + (reg) )
1799
1800 #endif /* FALCON_USE_IO_BAR */
1801
1802 /**
1803  * Write to a Falcon register
1804  *
1805  */
1806 static inline void falcon_write ( struct efab_nic *efab, efab_oword_t *value,
1807                                   unsigned int reg ) {
1808
1809         EFAB_REGDUMP ( "Writing register %x with " EFAB_OWORD_FMT "\n",
1810                        reg, EFAB_OWORD_VAL ( *value ) );
1811
1812         _falcon_writel ( efab, value->u32[0], reg + 0  );
1813         _falcon_writel ( efab, value->u32[1], reg + 4  );
1814         _falcon_writel ( efab, value->u32[2], reg + 8  );
1815         _falcon_writel ( efab, value->u32[3], reg + 12 );
1816         wmb();
1817 }
1818
1819 /**
1820  * Write to Falcon SRAM
1821  *
1822  */
1823 static inline void falcon_write_sram ( struct efab_nic *efab,
1824                                        efab_qword_t *value,
1825                                        unsigned int index ) {
1826         unsigned int reg = ( FCN_BUF_FULL_TBL_KER +
1827                              ( index * sizeof ( *value ) ) );
1828
1829         EFAB_REGDUMP ( "Writing SRAM register %x with " EFAB_QWORD_FMT "\n",
1830                        reg, EFAB_QWORD_VAL ( *value ) );
1831
1832         _falcon_writel ( efab, value->u32[0], reg + 0  );
1833         _falcon_writel ( efab, value->u32[1], reg + 4  );
1834         wmb();
1835 }
1836
1837 /**
1838  * Write dword to Falcon register that allows partial writes
1839  *
1840  */
1841 static inline void falcon_writel ( struct efab_nic *efab, efab_dword_t *value,
1842                                    unsigned int reg ) {
1843         EFAB_REGDUMP ( "Writing partial register %x with " EFAB_DWORD_FMT "\n",
1844                        reg, EFAB_DWORD_VAL ( *value ) );
1845         _falcon_writel ( efab, value->u32[0], reg );
1846 }
1847
1848 /**
1849  * Read from a Falcon register
1850  *
1851  */
1852 static inline void falcon_read ( struct efab_nic *efab, efab_oword_t *value,
1853                                  unsigned int reg ) {
1854         value->u32[0] = _falcon_readl ( efab, reg + 0  );
1855         value->u32[1] = _falcon_readl ( efab, reg + 4  );
1856         value->u32[2] = _falcon_readl ( efab, reg + 8  );
1857         value->u32[3] = _falcon_readl ( efab, reg + 12 );
1858
1859         EFAB_REGDUMP ( "Read from register %x, got " EFAB_OWORD_FMT "\n",
1860                        reg, EFAB_OWORD_VAL ( *value ) );
1861 }
1862
1863 /** 
1864  * Read from Falcon SRAM
1865  *
1866  */
1867 static inline void falcon_read_sram ( struct efab_nic *efab,
1868                                       efab_qword_t *value,
1869                                       unsigned int index ) {
1870         unsigned int reg = ( FCN_BUF_FULL_TBL_KER +
1871                              ( index * sizeof ( *value ) ) );
1872
1873         value->u32[0] = _falcon_readl ( efab, reg + 0 );
1874         value->u32[1] = _falcon_readl ( efab, reg + 4 );
1875         EFAB_REGDUMP ( "Read from SRAM register %x, got " EFAB_QWORD_FMT "\n",
1876                        reg, EFAB_QWORD_VAL ( *value ) );
1877 }
1878
1879 /**
1880  * Read dword from a portion of a Falcon register
1881  *
1882  */
1883 static inline void falcon_readl ( struct efab_nic *efab, efab_dword_t *value,
1884                                   unsigned int reg ) {
1885         value->u32[0] = _falcon_readl ( efab, reg );
1886         EFAB_REGDUMP ( "Read from register %x, got " EFAB_DWORD_FMT "\n",
1887                        reg, EFAB_DWORD_VAL ( *value ) );
1888 }
1889
1890 /**
1891  * Verified write to Falcon SRAM
1892  *
1893  */
1894 static inline void falcon_write_sram_verify ( struct efab_nic *efab,
1895                                              efab_qword_t *value,
1896                                              unsigned int index ) {
1897         efab_qword_t verify;
1898         
1899         falcon_write_sram ( efab, value, index );
1900         udelay ( 1000 );
1901         falcon_read_sram ( efab, &verify, index );
1902         if ( memcmp ( &verify, value, sizeof ( verify ) ) != 0 ) {
1903                 printf ( "SRAM index %x failure: wrote " EFAB_QWORD_FMT
1904                          " got " EFAB_QWORD_FMT "\n", index,
1905                          EFAB_QWORD_VAL ( *value ),
1906                          EFAB_QWORD_VAL ( verify ) );
1907         }
1908 }
1909
1910 /**
1911  * Get memory base
1912  *
1913  */
1914 static void falcon_get_membase ( struct efab_nic *efab ) {
1915         unsigned long membase_phys;
1916
1917         membase_phys = pci_bar_start ( efab->pci, PCI_BASE_ADDRESS_2 );
1918         efab->membase = ioremap ( membase_phys, 0x20000 );
1919 }
1920
1921 #define FCN_DUMP_REG( efab, _reg ) do {                         \
1922                 efab_oword_t reg;                               \
1923                 falcon_read ( efab, &reg, _reg );               \
1924                 printf ( #_reg " = " EFAB_OWORD_FMT "\n",       \
1925                          EFAB_OWORD_VAL ( reg ) );              \
1926         } while ( 0 );
1927
1928 #define FCN_DUMP_MAC_REG( efab, _mac_reg ) do {                 \
1929                 efab_dword_t reg;                               \
1930                 efab->op->mac_readl ( efab, &reg, _mac_reg );   \
1931                 printf ( #_mac_reg " = " EFAB_DWORD_FMT "\n",   \
1932                          EFAB_DWORD_VAL ( reg ) );              \
1933         } while ( 0 );
1934
1935 /**
1936  * Dump register contents (for debugging)
1937  *
1938  * Marked as static inline so that it will not be compiled in if not
1939  * used.
1940  */
1941 static inline void falcon_dump_regs ( struct efab_nic *efab ) {
1942         FCN_DUMP_REG ( efab, FCN_INT_EN_REG_KER );
1943         FCN_DUMP_REG ( efab, FCN_INT_ADR_REG_KER );
1944         FCN_DUMP_REG ( efab, FCN_GLB_CTL_REG_KER );
1945         FCN_DUMP_REG ( efab, FCN_TIMER_CMD_REG_KER );
1946         FCN_DUMP_REG ( efab, FCN_SRM_RX_DC_CFG_REG_KER );
1947         FCN_DUMP_REG ( efab, FCN_SRM_TX_DC_CFG_REG_KER );
1948         FCN_DUMP_REG ( efab, FCN_RX_FILTER_CTL_REG_KER );
1949         FCN_DUMP_REG ( efab, FCN_RX_DC_CFG_REG_KER );
1950         FCN_DUMP_REG ( efab, FCN_TX_DC_CFG_REG_KER );
1951         FCN_DUMP_REG ( efab, FCN_MAC0_CTRL_REG_KER );
1952         FCN_DUMP_REG ( efab, FCN_MAC1_CTRL_REG_KER );
1953         FCN_DUMP_REG ( efab, FCN_XM_GLB_CFG_REG_P0_KER );
1954         FCN_DUMP_REG ( efab, FCN_XM_TX_CFG_REG_P0_KER );
1955         FCN_DUMP_REG ( efab, FCN_XM_RX_CFG_REG_P0_KER );
1956         FCN_DUMP_REG ( efab, FCN_RX_DESC_PTR_TBL_KER );
1957         FCN_DUMP_REG ( efab, FCN_TX_DESC_PTR_TBL_KER );
1958         FCN_DUMP_REG ( efab, FCN_EVQ_PTR_TBL_KER );
1959         FCN_DUMP_MAC_REG ( efab, GM_CFG1_REG_MAC );
1960         FCN_DUMP_MAC_REG ( efab, GM_CFG2_REG_MAC );
1961         FCN_DUMP_MAC_REG ( efab, GM_MAX_FLEN_REG_MAC );
1962         FCN_DUMP_MAC_REG ( efab, GM_MII_MGMT_CFG_REG_MAC );
1963         FCN_DUMP_MAC_REG ( efab, GM_ADR1_REG_MAC );
1964         FCN_DUMP_MAC_REG ( efab, GM_ADR2_REG_MAC );
1965         FCN_DUMP_MAC_REG ( efab, GMF_CFG0_REG_MAC );
1966         FCN_DUMP_MAC_REG ( efab, GMF_CFG1_REG_MAC );
1967         FCN_DUMP_MAC_REG ( efab, GMF_CFG2_REG_MAC );
1968         FCN_DUMP_MAC_REG ( efab, GMF_CFG3_REG_MAC );
1969         FCN_DUMP_MAC_REG ( efab, GMF_CFG4_REG_MAC );
1970         FCN_DUMP_MAC_REG ( efab, GMF_CFG5_REG_MAC );
1971 }
1972
1973 /**
1974  * Create special buffer
1975  *
1976  */
1977 static void falcon_create_special_buffer ( struct efab_nic *efab,
1978                                            void *addr, unsigned int index ) {
1979         efab_qword_t buf_desc;
1980         unsigned long dma_addr;
1981
1982         memset ( addr, 0, 4096 );
1983         dma_addr = virt_to_bus ( addr );
1984         EFAB_ASSERT ( ( dma_addr & ( EFAB_BUF_ALIGN - 1 ) ) == 0 );
1985         EFAB_POPULATE_QWORD_3 ( buf_desc,
1986                                 FCN_IP_DAT_BUF_SIZE, FCN_IP_DAT_BUF_SIZE_4K,
1987                                 FCN_BUF_ADR_FBUF, ( dma_addr >> 12 ),
1988                                 FCN_BUF_OWNER_ID_FBUF, 0 );
1989         falcon_write_sram_verify ( efab, &buf_desc, index );
1990 }
1991
1992 /**
1993  * Update event queue read pointer
1994  *
1995  */
1996 static void falcon_eventq_read_ack ( struct efab_nic *efab ) {
1997         efab_dword_t reg;
1998
1999         EFAB_ASSERT ( efab->eventq_read_ptr < EFAB_EVQ_SIZE );
2000
2001         EFAB_POPULATE_DWORD_1 ( reg, FCN_EVQ_RPTR_DWORD,
2002                                 efab->eventq_read_ptr );
2003         falcon_writel ( efab, &reg, FCN_EVQ_RPTR_REG_KER_DWORD );
2004 }
2005
2006 /**
2007  * Reset device
2008  *
2009  */
2010 static int falcon_reset ( struct efab_nic *efab ) {
2011         efab_oword_t glb_ctl_reg_ker;
2012
2013         /* Initiate software reset */
2014         EFAB_POPULATE_OWORD_5 ( glb_ctl_reg_ker,
2015                                 FCN_EXT_PHY_RST_CTL, FCN_EXCLUDE_FROM_RESET,
2016                                 FCN_PCIE_SD_RST_CTL, FCN_EXCLUDE_FROM_RESET,
2017                                 FCN_PCIX_RST_CTL, FCN_EXCLUDE_FROM_RESET,
2018                                 FCN_INT_RST_DUR, 0x7 /* datasheet */,
2019                                 FCN_SWRST, 1 );
2020         falcon_write ( efab, &glb_ctl_reg_ker, FCN_GLB_CTL_REG_KER );
2021
2022         /* Allow 20ms for reset */
2023         mdelay ( 20 );
2024
2025         /* Check for device reset complete */
2026         falcon_read ( efab, &glb_ctl_reg_ker, FCN_GLB_CTL_REG_KER );
2027         if ( EFAB_OWORD_FIELD ( glb_ctl_reg_ker, FCN_SWRST ) != 0 ) {
2028                 printf ( "Reset failed\n" );
2029                 return 0;
2030         }
2031
2032         return 1;
2033 }
2034
2035 /**
2036  * Initialise NIC
2037  *
2038  */
2039 static int falcon_init_nic ( struct efab_nic *efab ) {
2040         efab_oword_t reg;
2041         efab_dword_t timer_cmd;
2042
2043         /* Set up TX and RX descriptor caches in SRAM */
2044         EFAB_POPULATE_OWORD_1 ( reg, FCN_SRM_TX_DC_BASE_ADR,
2045                                 0x130000 /* recommended in datasheet */ );
2046         falcon_write ( efab, &reg, FCN_SRM_TX_DC_CFG_REG_KER );
2047         EFAB_POPULATE_OWORD_1 ( reg, FCN_TX_DC_SIZE, 2 /* 32 descriptors */ );
2048         falcon_write ( efab, &reg, FCN_TX_DC_CFG_REG_KER );
2049         EFAB_POPULATE_OWORD_1 ( reg, FCN_SRM_RX_DC_BASE_ADR,
2050                                 0x100000 /* recommended in datasheet */ );
2051         falcon_write ( efab, &reg, FCN_SRM_RX_DC_CFG_REG_KER );
2052         EFAB_POPULATE_OWORD_1 ( reg, FCN_RX_DC_SIZE, 2 /* 32 descriptors */ );
2053         falcon_write ( efab, &reg, FCN_RX_DC_CFG_REG_KER );
2054         
2055         /* Set number of RSS CPUs */
2056         EFAB_POPULATE_OWORD_1 ( reg, FCN_NUM_KER, 0 );
2057         falcon_write ( efab, &reg, FCN_RX_FILTER_CTL_REG_KER );
2058         udelay ( 1000 );
2059         
2060         /* Reset the MAC */
2061         mentormac_reset ( efab );
2062
2063         /* Set up event queue */
2064         falcon_create_special_buffer ( efab, efab->eventq, FALCON_EVQ_ID );
2065         EFAB_POPULATE_OWORD_3 ( reg,
2066                                 FCN_EVQ_EN, 1,
2067                                 FCN_EVQ_SIZE, FCN_EVQ_SIZE_512,
2068                                 FCN_EVQ_BUF_BASE_ID, FALCON_EVQ_ID );
2069         falcon_write ( efab, &reg, FCN_EVQ_PTR_TBL_KER );
2070         udelay ( 1000 );
2071
2072         /* Set timer register */
2073         EFAB_POPULATE_DWORD_2 ( timer_cmd,
2074                                 FCN_TIMER_MODE, FCN_TIMER_MODE_DIS,
2075                                 FCN_TIMER_VAL, 0 );
2076         falcon_writel ( efab, &timer_cmd, FCN_TIMER_CMD_REG_KER );
2077         udelay ( 1000 );
2078
2079         /* Initialise event queue read pointer */
2080         falcon_eventq_read_ack ( efab );
2081         
2082         /* Set up TX descriptor ring */
2083         falcon_create_special_buffer ( efab, efab->txd, FALCON_TXD_ID );
2084         EFAB_POPULATE_OWORD_5 ( reg,
2085                                 FCN_TX_DESCQ_EN, 1,
2086                                 FCN_TX_DESCQ_BUF_BASE_ID, FALCON_TXD_ID,
2087                                 FCN_TX_DESCQ_EVQ_ID, 0,
2088                                 FCN_TX_DESCQ_SIZE, FCN_TX_DESCQ_SIZE_512,
2089                                 FCN_TX_DESCQ_TYPE, 0 /* kernel queue */ );
2090         falcon_write ( efab, &reg, FCN_TX_DESC_PTR_TBL_KER );
2091
2092         /* Set up RX descriptor ring */
2093         falcon_create_special_buffer ( efab, efab->rxd, FALCON_RXD_ID );
2094         EFAB_POPULATE_OWORD_6 ( reg,
2095                                 FCN_RX_DESCQ_BUF_BASE_ID, FALCON_RXD_ID,
2096                                 FCN_RX_DESCQ_EVQ_ID, 0,
2097                                 FCN_RX_DESCQ_SIZE, FCN_RX_DESCQ_SIZE_512,
2098                                 FCN_RX_DESCQ_TYPE, 0 /* kernel queue */,
2099                                 FCN_RX_DESCQ_JUMBO, 1,
2100                                 FCN_RX_DESCQ_EN, 1 );
2101         falcon_write ( efab, &reg, FCN_RX_DESC_PTR_TBL_KER );
2102
2103         /* Program INT_ADR_REG_KER */
2104         EFAB_POPULATE_OWORD_1 ( reg,
2105                                 FCN_INT_ADR_KER,
2106                                 virt_to_bus ( &efab->int_ker ) );
2107         falcon_write ( efab, &reg, FCN_INT_ADR_REG_KER );
2108         udelay ( 1000 );
2109
2110         return 1;
2111 }
2112
2113 /** SPI device */
2114 struct efab_spi_device {
2115         /** Device ID */
2116         unsigned int device_id;
2117         /** Address length (in bytes) */
2118         unsigned int addr_len;
2119         /** Read command */
2120         unsigned int read_command;
2121 };
2122
2123 /**
2124  * Wait for SPI command completion
2125  *
2126  */
2127 static int falcon_spi_wait ( struct efab_nic *efab ) {
2128         efab_oword_t reg;
2129         int count;
2130
2131         count = 0;
2132         do {
2133                 udelay ( 100 );
2134                 falcon_read ( efab, &reg, FCN_EE_SPI_HCMD_REG_KER );
2135                 if ( EFAB_OWORD_FIELD ( reg, FCN_EE_SPI_HCMD_CMD_EN ) == 0 )
2136                         return 1;
2137         } while ( ++count < 1000 );
2138         printf ( "Timed out waiting for SPI\n" );
2139         return 0;
2140 }
2141
2142 /**
2143  * Perform SPI read
2144  *
2145  */
2146 static int falcon_spi_read ( struct efab_nic *efab,
2147                              struct efab_spi_device *spi,
2148                              int address, void *data, unsigned int len ) {
2149         efab_oword_t reg;
2150
2151         /* Program address register */
2152         EFAB_POPULATE_OWORD_1 ( reg, FCN_EE_SPI_HADR_ADR, address );
2153         falcon_write ( efab, &reg, FCN_EE_SPI_HADR_REG_KER );
2154         
2155         /* Issue read command */
2156         EFAB_POPULATE_OWORD_7 ( reg,
2157                                 FCN_EE_SPI_HCMD_CMD_EN, 1, 
2158                                 FCN_EE_SPI_HCMD_SF_SEL, spi->device_id,
2159                                 FCN_EE_SPI_HCMD_DABCNT, len,
2160                                 FCN_EE_SPI_HCMD_READ, FCN_EE_SPI_READ,
2161                                 FCN_EE_SPI_HCMD_DUBCNT, 0,
2162                                 FCN_EE_SPI_HCMD_ADBCNT, spi->addr_len,
2163                                 FCN_EE_SPI_HCMD_ENC, spi->read_command );
2164         falcon_write ( efab, &reg, FCN_EE_SPI_HCMD_REG_KER );
2165         
2166         /* Wait for read to complete */
2167         if ( ! falcon_spi_wait ( efab ) )
2168                 return 0;
2169         
2170         /* Read data */
2171         falcon_read ( efab, &reg, FCN_EE_SPI_HDATA_REG_KER );
2172         memcpy ( data, &reg, len );
2173
2174         return 1;
2175 }
2176
2177 #define SPI_READ_CMD 0x03
2178 #define AT25F1024_ADDR_LEN 3
2179 #define AT25F1024_READ_CMD SPI_READ_CMD
2180 #define MC25XX640_ADDR_LEN 2
2181 #define MC25XX640_READ_CMD SPI_READ_CMD
2182
2183 /** Falcon Flash SPI device */
2184 static struct efab_spi_device falcon_spi_flash = {
2185         .device_id      = FCN_EE_SPI_FLASH,
2186         .addr_len       = AT25F1024_ADDR_LEN,
2187         .read_command   = AT25F1024_READ_CMD,
2188 };
2189
2190 /** Falcon EEPROM SPI device */
2191 static struct efab_spi_device falcon_spi_large_eeprom = {
2192         .device_id      = FCN_EE_SPI_EEPROM,
2193         .addr_len       = MC25XX640_ADDR_LEN,
2194         .read_command   = MC25XX640_READ_CMD,
2195 };
2196
2197 /** Offset of MAC address within EEPROM or Flash */
2198 #define FALCON_MAC_ADDRESS_OFFSET(port) ( 0x310 + 0x08 * (port) )
2199
2200 /**
2201  * Read MAC address from EEPROM
2202  *
2203  */
2204 static int falcon_read_eeprom ( struct efab_nic *efab ) {
2205         efab_oword_t reg;
2206         int has_flash;
2207         struct efab_spi_device *spi;
2208
2209         /* Determine the SPI device containing the MAC address */
2210         falcon_read ( efab, &reg, FCN_GPIO_CTL_REG_KER );
2211         has_flash = EFAB_OWORD_FIELD ( reg, FCN_FLASH_PRESENT );
2212         spi = has_flash ? &falcon_spi_flash : &falcon_spi_large_eeprom;
2213
2214         return falcon_spi_read ( efab, spi,
2215                                  FALCON_MAC_ADDRESS_OFFSET ( efab->port ),
2216                                  efab->mac_addr, sizeof ( efab->mac_addr ) );
2217 }
2218
2219 /** RX descriptor */
2220 typedef efab_qword_t falcon_rx_desc_t;
2221
2222 /**
2223  * Build RX descriptor
2224  *
2225  */
2226 static void falcon_build_rx_desc ( struct efab_nic *efab,
2227                                    struct efab_rx_buf *rx_buf ) {
2228         falcon_rx_desc_t *rxd;
2229
2230         rxd = ( ( falcon_rx_desc_t * ) efab->rxd ) + rx_buf->id;
2231         EFAB_POPULATE_QWORD_2 ( *rxd,
2232                                 FCN_RX_KER_BUF_SIZE, EFAB_DATA_BUF_SIZE,
2233                                 FCN_RX_KER_BUF_ADR,
2234                                 virt_to_bus ( rx_buf->addr ) );
2235 }
2236
2237 /**
2238  * Update RX descriptor write pointer
2239  *
2240  */
2241 static void falcon_notify_rx_desc ( struct efab_nic *efab ) {
2242         efab_dword_t reg;
2243
2244         EFAB_POPULATE_DWORD_1 ( reg, FCN_RX_DESC_WPTR_DWORD,
2245                                 efab->rx_write_ptr );
2246         falcon_writel ( efab, &reg, FCN_RX_DESC_UPD_REG_KER_DWORD );
2247 }
2248
2249 /** TX descriptor */
2250 typedef efab_qword_t falcon_tx_desc_t;
2251
2252 /**
2253  * Build TX descriptor
2254  *
2255  */
2256 static void falcon_build_tx_desc ( struct efab_nic *efab,
2257                                    struct efab_tx_buf *tx_buf ) {
2258         falcon_rx_desc_t *txd;
2259
2260         txd = ( ( falcon_rx_desc_t * ) efab->txd ) + tx_buf->id;
2261         EFAB_POPULATE_QWORD_3 ( *txd,
2262                                 FCN_TX_KER_PORT, efab->port,
2263                                 FCN_TX_KER_BYTE_CNT, tx_buf->len,
2264                                 FCN_TX_KER_BUF_ADR,
2265                                 virt_to_bus ( tx_buf->addr ) );
2266 }
2267
2268 /**
2269  * Update TX descriptor write pointer
2270  *
2271  */
2272 static void falcon_notify_tx_desc ( struct efab_nic *efab ) {
2273         efab_dword_t reg;
2274
2275         EFAB_POPULATE_DWORD_1 ( reg, FCN_TX_DESC_WPTR_DWORD,
2276                                 efab->tx_write_ptr );
2277         falcon_writel ( efab, &reg, FCN_TX_DESC_UPD_REG_KER_DWORD );
2278 }
2279
2280 /** An event */
2281 typedef efab_qword_t falcon_event_t;
2282
2283 /**
2284  * Retrieve event from event queue
2285  *
2286  */
2287 static int falcon_fetch_event ( struct efab_nic *efab,
2288                                 struct efab_event *event ) {
2289         falcon_event_t *evt;
2290         int ev_code;
2291         int rx_port;
2292
2293         /* Check for event */
2294         evt = ( ( falcon_event_t * ) efab->eventq ) + efab->eventq_read_ptr;
2295         if ( EFAB_QWORD_IS_ZERO ( *evt ) ) {
2296                 /* No event */
2297                 return 0;
2298         }
2299         
2300         DBG ( "Event is " EFAB_QWORD_FMT "\n", EFAB_QWORD_VAL ( *evt ) );
2301
2302         /* Decode event */
2303         ev_code = EFAB_QWORD_FIELD ( *evt, FCN_EV_CODE );
2304         switch ( ev_code ) {
2305         case FCN_TX_IP_EV_DECODE:
2306                 event->type = EFAB_EV_TX;
2307                 break;
2308         case FCN_RX_IP_EV_DECODE:
2309                 event->type = EFAB_EV_RX;
2310                 event->rx_id = EFAB_QWORD_FIELD ( *evt, FCN_RX_EV_DESC_PTR );
2311                 event->rx_len = EFAB_QWORD_FIELD ( *evt, FCN_RX_EV_BYTE_CNT );
2312                 rx_port = EFAB_QWORD_FIELD ( *evt, FCN_RX_PORT );
2313                 if ( rx_port != efab->port ) {
2314                         /* Ignore packets on the wrong port.  We can't
2315                          * just set event->type = EFAB_EV_NONE,
2316                          * because then the descriptor ring won't get
2317                          * refilled.
2318                          */
2319                         event->rx_len = 0;
2320                 }
2321                 break;
2322         case FCN_DRIVER_EV_DECODE:
2323                 /* Ignore start-of-day events */
2324                 event->type = EFAB_EV_NONE;
2325                 break;
2326         default:
2327                 printf ( "Unknown event type %d\n", ev_code );
2328                 event->type = EFAB_EV_NONE;
2329         }
2330
2331         /* Clear event and any pending interrupts */
2332         EFAB_ZERO_QWORD ( *evt );
2333         falcon_writel ( efab, 0, FCN_INT_ACK_KER_REG );
2334         udelay ( 10 );
2335
2336         /* Increment and update event queue read pointer */
2337         efab->eventq_read_ptr = ( ( efab->eventq_read_ptr + 1 )
2338                                   % EFAB_EVQ_SIZE );
2339         falcon_eventq_read_ack ( efab );
2340
2341         return 1;
2342 }
2343
2344 /**
2345  * Enable/disable/generate interrupt
2346  *
2347  */
2348 static inline void falcon_interrupts ( struct efab_nic *efab, int enabled,
2349                                        int force ) {
2350         efab_oword_t int_en_reg_ker;
2351
2352         EFAB_POPULATE_OWORD_2 ( int_en_reg_ker,
2353                                 FCN_KER_INT_KER, force,
2354                                 FCN_DRV_INT_EN_KER, enabled );
2355         falcon_write ( efab, &int_en_reg_ker, FCN_INT_EN_REG_KER );     
2356 }
2357
2358 /**
2359  * Enable/disable interrupts
2360  *
2361  */
2362 static void falcon_mask_irq ( struct efab_nic *efab, int enabled ) {
2363         falcon_interrupts ( efab, enabled, 0 );
2364         if ( enabled ) {
2365                 /* Events won't trigger interrupts until we do this */
2366                 falcon_eventq_read_ack ( efab );
2367         }
2368 }
2369
2370 /**
2371  * Generate interrupt
2372  *
2373  */
2374 static void falcon_generate_irq ( struct efab_nic *efab ) {
2375         falcon_interrupts ( efab, 1, 1 );
2376 }
2377
2378 /**
2379  * Write dword to a Falcon MAC register
2380  *
2381  */
2382 static void falcon_mac_writel ( struct efab_nic *efab,
2383                                 efab_dword_t *value, unsigned int mac_reg ) {
2384         efab_oword_t temp;
2385
2386         EFAB_POPULATE_OWORD_1 ( temp, FCN_MAC_DATA,
2387                                 EFAB_DWORD_FIELD ( *value, FCN_MAC_DATA ) );
2388         falcon_write ( efab, &temp, FALCON_MAC_REG ( efab, mac_reg ) );
2389 }
2390
2391 /**
2392  * Read dword from a Falcon MAC register
2393  *
2394  */
2395 static void falcon_mac_readl ( struct efab_nic *efab, efab_dword_t *value,
2396                                unsigned int mac_reg ) {
2397         efab_oword_t temp;
2398
2399         falcon_read ( efab, &temp, FALCON_MAC_REG ( efab, mac_reg ) );
2400         EFAB_POPULATE_DWORD_1 ( *value, FCN_MAC_DATA,
2401                                 EFAB_OWORD_FIELD ( temp, FCN_MAC_DATA ) );
2402 }
2403
2404 /**
2405  * Initialise MAC
2406  *
2407  */
2408 static int falcon_init_mac ( struct efab_nic *efab ) {
2409         static struct efab_mentormac_parameters falcon_mentormac_params = {
2410                 .gmf_cfgfrth = 0x12,
2411                 .gmf_cfgftth = 0x08,
2412                 .gmf_cfghwmft = 0x1c,
2413                 .gmf_cfghwm = 0x3f,
2414                 .gmf_cfglwm = 0xa,
2415         };
2416         efab_oword_t reg;
2417         int link_speed;
2418
2419         /* Initialise PHY */
2420         alaska_init ( efab );
2421
2422         /* Initialise MAC */
2423         mentormac_init ( efab, &falcon_mentormac_params );
2424
2425         /* Configure the Falcon MAC wrapper */
2426         EFAB_POPULATE_OWORD_4 ( reg,
2427                                 FCN_XM_RX_JUMBO_MODE, 0,
2428                                 FCN_XM_CUT_THRU_MODE, 0,
2429                                 FCN_XM_TX_STAT_EN, 1,
2430                                 FCN_XM_RX_STAT_EN, 1);
2431         falcon_write ( efab, &reg, FCN_XM_GLB_CFG_REG_P0_KER );
2432
2433         EFAB_POPULATE_OWORD_6 ( reg, 
2434                                 FCN_XM_TXEN, 1,
2435                                 FCN_XM_TX_PRMBL, 1,
2436                                 FCN_XM_AUTO_PAD, 1,
2437                                 FCN_XM_TXCRC, 1,
2438                                 FCN_XM_WTF_DOES_THIS_DO, 1,
2439                                 FCN_XM_IPG, 0x3 );
2440         falcon_write ( efab, &reg, FCN_XM_TX_CFG_REG_P0_KER );
2441
2442         EFAB_POPULATE_OWORD_3 ( reg,
2443                                 FCN_XM_RXEN, 1,
2444                                 FCN_XM_AUTO_DEPAD, 1,
2445                                 FCN_XM_PASS_CRC_ERR, 1 );
2446         falcon_write ( efab, &reg, FCN_XM_RX_CFG_REG_P0_KER );
2447
2448 #warning "10G support not yet present"
2449 #define LPA_10000 0
2450         if ( efab->link_options & LPA_10000 ) {
2451                 link_speed = 0x3;
2452         } else if ( efab->link_options & LPA_1000 ) {
2453                 link_speed = 0x2;
2454         } else if ( efab->link_options & LPA_100 ) {
2455                 link_speed = 0x1;
2456         } else {
2457                 link_speed = 0x0;
2458         }
2459         EFAB_POPULATE_OWORD_5 ( reg,
2460                                 FCN_MAC_XOFF_VAL, 0xffff /* datasheet */,
2461                                 FCN_MAC_BCAD_ACPT, 1,
2462                                 FCN_MAC_UC_PROM, 0,
2463                                 FCN_MAC_LINK_STATUS, 1,
2464                                 FCN_MAC_SPEED, link_speed );
2465         falcon_write ( efab, &reg, ( efab->port == 0 ?
2466                              FCN_MAC0_CTRL_REG_KER : FCN_MAC1_CTRL_REG_KER ) );
2467
2468         return 1;
2469 }
2470
2471 /**
2472  * Wait for GMII access to complete
2473  *
2474  */
2475 static int falcon_gmii_wait ( struct efab_nic *efab ) {
2476         efab_oword_t md_stat;
2477         int count;
2478
2479         for ( count = 0 ; count < 1000 ; count++ ) {
2480                 udelay ( 10 );
2481                 falcon_read ( efab, &md_stat, FCN_MD_STAT_REG_KER );
2482                 if ( EFAB_OWORD_FIELD ( md_stat, FCN_MD_BSY ) == 0 )
2483                         return 1;
2484         }
2485         printf ( "Timed out waiting for GMII\n" );
2486         return 0;
2487 }
2488
2489 /** MDIO write */
2490 static void falcon_mdio_write ( struct efab_nic *efab, int location,
2491                                 int value ) {
2492         int phy_id = efab->port + 2;
2493         efab_oword_t reg;
2494
2495 #warning "10G PHY access not yet in place"
2496
2497         EFAB_TRACE ( "Writing GMII %d register %02x with %04x\n",
2498                      phy_id, location, value );
2499
2500         /* Check MII not currently being accessed */
2501         if ( ! falcon_gmii_wait ( efab ) )
2502                 return;
2503
2504         /* Write the address registers */
2505         EFAB_POPULATE_OWORD_1 ( reg, FCN_MD_PHY_ADR, 0 /* phy_id ? */ );
2506         falcon_write ( efab, &reg, FCN_MD_PHY_ADR_REG_KER );
2507         udelay ( 10 );
2508         EFAB_POPULATE_OWORD_2 ( reg,
2509                                 FCN_MD_PRT_ADR, phy_id,
2510                                 FCN_MD_DEV_ADR, location );
2511         falcon_write ( efab, &reg, FCN_MD_ID_REG_KER );
2512         udelay ( 10 );
2513
2514         /* Write data */
2515         EFAB_POPULATE_OWORD_1 ( reg, FCN_MD_TXD, value );
2516         falcon_write ( efab, &reg, FCN_MD_TXD_REG_KER );
2517         udelay ( 10 );
2518         EFAB_POPULATE_OWORD_2 ( reg,
2519                                 FCN_MD_WRC, 1,
2520                                 FCN_MD_GC, 1 );
2521         falcon_write ( efab, &reg, FCN_MD_CS_REG_KER );
2522         udelay ( 10 );
2523         
2524         /* Wait for data to be written */
2525         falcon_gmii_wait ( efab );
2526 }
2527
2528 /** MDIO read */
2529 static int falcon_mdio_read ( struct efab_nic *efab, int location ) {
2530         int phy_id = efab->port + 2;
2531         efab_oword_t reg;
2532         int value;
2533
2534         /* Check MII not currently being accessed */
2535         if ( ! falcon_gmii_wait ( efab ) )
2536                 return 0xffff;
2537
2538         /* Write the address registers */
2539         EFAB_POPULATE_OWORD_1 ( reg, FCN_MD_PHY_ADR, 0 /* phy_id ? */ );
2540         falcon_write ( efab, &reg, FCN_MD_PHY_ADR_REG_KER );
2541         udelay ( 10 );
2542         EFAB_POPULATE_OWORD_2 ( reg,
2543                                 FCN_MD_PRT_ADR, phy_id,
2544                                 FCN_MD_DEV_ADR, location );
2545         falcon_write ( efab, &reg, FCN_MD_ID_REG_KER );
2546         udelay ( 10 );
2547
2548         /* Request data to be read */
2549         EFAB_POPULATE_OWORD_2 ( reg,
2550                                 FCN_MD_RIC, 1,
2551                                 FCN_MD_GC, 1 );
2552         falcon_write ( efab, &reg, FCN_MD_CS_REG_KER );
2553         udelay ( 10 );
2554         
2555         /* Wait for data to become available */
2556         falcon_gmii_wait ( efab );
2557
2558         /* Read the data */
2559         falcon_read ( efab, &reg, FCN_MD_RXD_REG_KER );
2560         value = EFAB_OWORD_FIELD ( reg, FCN_MD_RXD );
2561
2562         EFAB_TRACE ( "Read from GMII %d register %02x, got %04x\n",
2563                      phy_id, location, value );
2564
2565         return value;
2566 }
2567
2568 static struct efab_operations falcon_operations = {
2569         .get_membase            = falcon_get_membase,
2570         .reset                  = falcon_reset,
2571         .init_nic               = falcon_init_nic,
2572         .read_eeprom            = falcon_read_eeprom,
2573         .build_rx_desc          = falcon_build_rx_desc,
2574         .notify_rx_desc         = falcon_notify_rx_desc,
2575         .build_tx_desc          = falcon_build_tx_desc,
2576         .notify_tx_desc         = falcon_notify_tx_desc,
2577         .fetch_event            = falcon_fetch_event,
2578         .mask_irq               = falcon_mask_irq,
2579         .generate_irq           = falcon_generate_irq,
2580         .mac_writel             = falcon_mac_writel,
2581         .mac_readl              = falcon_mac_readl,
2582         .init_mac               = falcon_init_mac,
2583         .mdio_write             = falcon_mdio_write,
2584         .mdio_read              = falcon_mdio_read,
2585 };
2586
2587 /**************************************************************************
2588  *
2589  * Etherfabric abstraction layer
2590  *
2591  **************************************************************************
2592  */
2593
2594 /**
2595  * Push RX buffer to RXD ring
2596  *
2597  */
2598 static inline void efab_push_rx_buffer ( struct efab_nic *efab,
2599                                          struct efab_rx_buf *rx_buf ) {
2600         /* Create RX descriptor */
2601         rx_buf->id = efab->rx_write_ptr;
2602         efab->op->build_rx_desc ( efab, rx_buf );
2603
2604         /* Update RX write pointer */
2605         efab->rx_write_ptr = ( efab->rx_write_ptr + 1 ) % EFAB_RXD_SIZE;
2606         efab->op->notify_rx_desc ( efab );
2607
2608         DBG ( "Added RX id %x\n", rx_buf->id );
2609 }
2610
2611 /**
2612  * Push TX buffer to TXD ring
2613  *
2614  */
2615 static inline void efab_push_tx_buffer ( struct efab_nic *efab,
2616                                          struct efab_tx_buf *tx_buf ) {
2617         /* Create TX descriptor */
2618         tx_buf->id = efab->tx_write_ptr;
2619         efab->op->build_tx_desc ( efab, tx_buf );
2620
2621         /* Update TX write pointer */
2622         efab->tx_write_ptr = ( efab->tx_write_ptr + 1 ) % EFAB_TXD_SIZE;
2623         efab->op->notify_tx_desc ( efab );
2624
2625         DBG ( "Added TX id %x\n", tx_buf->id );
2626 }
2627
2628 /**
2629  * Initialise MAC and wait for link up
2630  *
2631  */
2632 static int efab_init_mac ( struct efab_nic *efab ) {
2633         int count;
2634
2635         /* This can take several seconds */
2636         printf ( "Waiting for link.." );
2637         count = 0;
2638         do {
2639                 putchar ( '.' );
2640                 if ( ! efab->op->init_mac ( efab ) ) {
2641                         printf ( "failed\n" );
2642                         return 0;
2643                 }
2644                 if ( efab->link_up ) {
2645                         /* PHY init printed the message for us */
2646                         return 1;
2647                 }
2648                 sleep ( 1 );
2649         } while ( ++count < 5 );
2650         printf ( "timed out\n" );
2651
2652         return 0;
2653 }
2654
2655 /**
2656  * Initialise NIC
2657  *
2658  */
2659 static int efab_init_nic ( struct efab_nic *efab ) {
2660         int i;
2661
2662         /* Initialise NIC */
2663         if ( ! efab->op->init_nic ( efab ) )
2664                 return 0;
2665
2666         /* Push RX descriptors */
2667         for ( i = 0 ; i < EFAB_RX_BUFS ; i++ ) {
2668                 efab_push_rx_buffer ( efab, &efab->rx_bufs[i] );
2669         }
2670
2671         /* Read MAC address from EEPROM */
2672         if ( ! efab->op->read_eeprom ( efab ) )
2673                 return 0;
2674         efab->mac_addr[ETH_ALEN-1] += efab->port;
2675
2676         /* Initialise MAC and wait for link up */
2677         if ( ! efab_init_mac ( efab ) )
2678                 return 0;
2679
2680         return 1;
2681 }
2682
2683 /**************************************************************************
2684  *
2685  * Etherboot interface
2686  *
2687  **************************************************************************
2688  */
2689
2690 /**************************************************************************
2691 POLL - Wait for a frame
2692 ***************************************************************************/
2693 static int etherfabric_poll ( struct nic *nic, int retrieve ) {
2694         struct efab_nic *efab = nic->priv_data;
2695         struct efab_event event;
2696         static struct efab_rx_buf *rx_buf = NULL;
2697         int i;
2698
2699         /* Process the event queue until we hit either a packet
2700          * received event or an empty event slot.
2701          */
2702         while ( ( rx_buf == NULL ) &&
2703                 efab->op->fetch_event ( efab, &event ) ) {
2704                 if ( event.type == EFAB_EV_TX ) {
2705                         /* TX completed - mark as done */
2706                         DBG ( "TX id %x complete\n",
2707                               efab->tx_buf.id );
2708                 } else if ( event.type == EFAB_EV_RX ) {
2709                         /* RX - find corresponding buffer */
2710                         for ( i = 0 ; i < EFAB_RX_BUFS ; i++ ) {
2711                                 if ( efab->rx_bufs[i].id == event.rx_id ) {
2712                                         rx_buf = &efab->rx_bufs[i];
2713                                         rx_buf->len = event.rx_len;
2714                                         DBG ( "RX id %x (len %x) received\n",
2715                                               rx_buf->id, rx_buf->len );
2716                                         break;
2717                                 }
2718                         }
2719                         if ( ! rx_buf ) {
2720                                 printf ( "Invalid RX ID %x\n", event.rx_id );
2721                         }
2722                 } else if ( event.type == EFAB_EV_NONE ) {
2723                         DBG ( "Ignorable event\n" );
2724                 } else {
2725                         DBG ( "Unknown event\n" );
2726                 }
2727         }
2728
2729         /* If there is no packet, return 0 */
2730         if ( ! rx_buf )
2731                 return 0;
2732
2733         /* If we don't want to retrieve it just yet, return 1 */
2734         if ( ! retrieve )
2735                 return 1;
2736
2737         /* There seems to be a hardware race.  The event can show up
2738          * on the event FIFO before the DMA has completed, so we
2739          * insert a tiny delay.  If this proves unreliable, we should
2740          * switch to using event DMA rather than the event FIFO, since
2741          * event DMA ordering is guaranteed.
2742          */
2743         udelay ( 1 );
2744
2745         /* Copy packet contents */
2746         nic->packetlen = rx_buf->len;
2747         memcpy ( nic->packet, rx_buf->addr, nic->packetlen );
2748
2749         /* Give this buffer back to the NIC */
2750         efab_push_rx_buffer ( efab, rx_buf );
2751
2752         /* Prepare to receive next packet */
2753         rx_buf = NULL;
2754
2755         return 1;
2756 }
2757
2758 /**************************************************************************
2759 TRANSMIT - Transmit a frame
2760 ***************************************************************************/
2761 static void etherfabric_transmit ( struct nic *nic, const char *dest,
2762                                    unsigned int type, unsigned int size,
2763                                    const char *data ) {
2764         struct efab_nic *efab = nic->priv_data;
2765         unsigned int nstype = htons ( type );
2766
2767         /* Fill TX buffer, pad to ETH_ZLEN */
2768         memcpy ( efab->tx_buf.addr, dest, ETH_ALEN );
2769         memcpy ( efab->tx_buf.addr + ETH_ALEN, nic->node_addr, ETH_ALEN );
2770         memcpy ( efab->tx_buf.addr + 2 * ETH_ALEN, &nstype, 2 );
2771         memcpy ( efab->tx_buf.addr + ETH_HLEN, data, size );
2772         size += ETH_HLEN;
2773         while ( size < ETH_ZLEN ) {
2774                 efab->tx_buf.addr[size++] = '\0';
2775         }
2776         efab->tx_buf.len = size;
2777
2778         /* Push TX descriptor */
2779         efab_push_tx_buffer ( efab, &efab->tx_buf );
2780
2781         /* Allow enough time for the packet to be transmitted.  This
2782          * is a temporary hack until we update to the new driver API.
2783          */
2784         udelay ( 20 );
2785
2786         return;
2787 }
2788
2789 /**************************************************************************
2790 DISABLE - Turn off ethernet interface
2791 ***************************************************************************/
2792 static void etherfabric_disable ( struct nic *nic ) {
2793         struct efab_nic *efab = nic->priv_data;
2794
2795         efab->op->reset ( efab );
2796         if ( efab->membase )
2797                 iounmap ( efab->membase );
2798 }
2799
2800 /**************************************************************************
2801 IRQ - handle interrupts
2802 ***************************************************************************/
2803 static void etherfabric_irq ( struct nic *nic, irq_action_t action ) {
2804         struct efab_nic *efab = nic->priv_data;
2805        
2806         switch ( action ) {
2807         case DISABLE :
2808                 efab->op->mask_irq ( efab, 1 );
2809                 break;
2810         case ENABLE :
2811                 efab->op->mask_irq ( efab, 0 );
2812                 break;
2813         case FORCE :
2814                 /* Force NIC to generate a receive interrupt */
2815                 efab->op->generate_irq ( efab );
2816                 break;
2817         }
2818         
2819         return;
2820 }
2821
2822 static struct nic_operations etherfabric_operations = {
2823         .connect        = dummy_connect,
2824         .poll           = etherfabric_poll,
2825         .transmit       = etherfabric_transmit,
2826         .irq            = etherfabric_irq,
2827 };
2828
2829 /**************************************************************************
2830 PROBE - Look for an adapter, this routine's visible to the outside
2831 ***************************************************************************/
2832 static int etherfabric_probe ( struct nic *nic, struct pci_device *pci ) {
2833         static struct efab_nic efab;
2834         static int nic_port = 1;
2835         struct efab_buffers *buffers;
2836         int i;
2837
2838         /* Set up our private data structure */
2839         nic->priv_data = &efab;
2840         memset ( &efab, 0, sizeof ( efab ) );
2841         memset ( &efab_buffers, 0, sizeof ( efab_buffers ) );
2842
2843         /* Hook in appropriate operations table.  Do this early. */
2844         if ( pci->device == EF1002_DEVID ) {
2845                 efab.op = &ef1002_operations;
2846         } else {
2847                 efab.op = &falcon_operations;
2848         }
2849
2850         /* Initialise efab data structure */
2851         efab.pci = pci;
2852         buffers = ( ( struct efab_buffers * )
2853                     ( ( ( void * ) &efab_buffers ) +
2854                       ( - virt_to_bus ( &efab_buffers ) ) % EFAB_BUF_ALIGN ) );
2855         efab.eventq = buffers->eventq;
2856         efab.txd = buffers->txd;
2857         efab.rxd = buffers->rxd;
2858         efab.tx_buf.addr = buffers->tx_buf;
2859         for ( i = 0 ; i < EFAB_RX_BUFS ; i++ ) {
2860                 efab.rx_bufs[i].addr = buffers->rx_buf[i];
2861         }
2862
2863         /* Enable the PCI device */
2864         adjust_pci_device ( pci );
2865         nic->ioaddr = pci->ioaddr & ~3;
2866         nic->irqno = pci->irq;
2867
2868         /* Get iobase/membase */
2869         efab.iobase = nic->ioaddr;
2870         efab.op->get_membase ( &efab );
2871
2872         /* Switch NIC ports (i.e. try different ports on each probe) */
2873         nic_port = 1 - nic_port;
2874         efab.port = nic_port;
2875
2876         /* Initialise hardware */
2877         if ( ! efab_init_nic ( &efab ) )
2878                 return 0;
2879         memcpy ( nic->node_addr, efab.mac_addr, ETH_ALEN );
2880
2881         /* point to NIC specific routines */
2882         nic->nic_op = &etherfabric_operations;
2883
2884         return 1;
2885 }
2886
2887 static struct pci_device_id etherfabric_nics[] = {
2888 PCI_ROM(0x1924, 0xC101, "ef1002", "EtherFabric EF1002"),
2889 PCI_ROM(0x1924, 0x0703, "falcon", "EtherFabric Falcon"),
2890 };
2891
2892 PCI_DRIVER ( etherfabric_driver, etherfabric_nics, PCI_NO_CLASS );
2893
2894 DRIVER ( "EFAB", nic_driver, pci_driver, etherfabric_driver,
2895          etherfabric_probe, etherfabric_disable );
2896
2897 /*
2898  * Local variables:
2899  *  c-basic-offset: 8
2900  *  c-indent-level: 8
2901  *  tab-width: 8
2902  * End:
2903  */