Basic non-volatile storage support
[people/xl0/gpxe.git] / src / drivers / net / etherfabric.c
1 /**************************************************************************
2  *
3  * Etherboot driver for Level 5 Etherfabric network cards
4  *
5  * Written by Michael Brown <mbrown@fensystems.co.uk>
6  *
7  * Copyright Fen Systems Ltd. 2005
8  * Copyright Level 5 Networks Inc. 2005
9  *
10  * This software may be used and distributed according to the terms of
11  * the GNU General Public License (GPL), incorporated herein by
12  * reference.  Drivers based on or derived from this code fall under
13  * the GPL and must retain the authorship, copyright and license
14  * notice.
15  *
16  **************************************************************************
17  */
18
19 #include "etherboot.h"
20 #include "nic.h"
21 #include <errno.h>
22 #include <gpxe/pci.h>
23 #include <gpxe/bitbash.h>
24 #include <gpxe/i2c.h>
25 #include <gpxe/nvs.h>
26 #include "timer.h"
27 #define dma_addr_t unsigned long
28 #include "etherfabric.h"
29
30 /**************************************************************************
31  *
32  * Constants and macros
33  *
34  **************************************************************************
35  */
36
37 #define EFAB_ASSERT(x)                                                        \
38         do {                                                                  \
39                 if ( ! (x) ) {                                                \
40                         DBG ( "ASSERT(%s) failed at %s line %d [%s]\n", #x,   \
41                               __FILE__, __LINE__, __FUNCTION__ );             \
42                 }                                                             \
43         } while (0)
44
45 #define EFAB_TRACE(...) DBG ( __VA_ARGS__ )
46
47 #define EFAB_REGDUMP(...)
48
49 #define EFAB_LOG(...) printf ( __VA_ARGS__ )
50 #define EFAB_ERR(...) printf ( __VA_ARGS__ )
51
52 #define FALCON_USE_IO_BAR 1
53
54 /*
55  * EtherFabric constants 
56  *
57  */
58
59 /* PCI Definitions */
60 #define EFAB_VENDID_LEVEL5      0x1924
61 #define FALCON_P_DEVID          0x0703  /* Temporary PCI ID */
62 #define EF1002_DEVID            0xC101
63
64 /**************************************************************************
65  *
66  * Data structures
67  *
68  **************************************************************************
69  */
70
71 /*
72  * Buffers used for TX, RX and event queue
73  *
74  */
75 #define EFAB_BUF_ALIGN          4096
76 #define EFAB_DATA_BUF_SIZE      2048
77 #define EFAB_RX_BUFS            16
78 #define EFAB_RXD_SIZE           512
79 #define EFAB_TXD_SIZE           512
80 #define EFAB_EVQ_SIZE           512
81 struct efab_buffers {
82         uint8_t eventq[4096];
83         uint8_t rxd[4096];
84         uint8_t txd[4096];
85         uint8_t tx_buf[EFAB_DATA_BUF_SIZE];
86         uint8_t rx_buf[EFAB_RX_BUFS][EFAB_DATA_BUF_SIZE];
87         uint8_t padding[EFAB_BUF_ALIGN-1];
88 };
89 static struct efab_buffers efab_buffers;
90
91 /** An RX buffer */
92 struct efab_rx_buf {
93         uint8_t *addr;
94         unsigned int len;
95         int id;
96 };
97
98 /** A TX buffer */
99 struct efab_tx_buf {
100         uint8_t *addr;
101         unsigned int len;
102         int id;
103 };
104
105 /** Etherfabric event type */
106 enum efab_event_type {
107         EFAB_EV_NONE = 0,
108         EFAB_EV_TX,
109         EFAB_EV_RX,
110 };
111
112 /** Etherfabric event */
113 struct efab_event {
114         /** Event type */
115         enum efab_event_type type;
116         /** RX buffer ID */
117         int rx_id;
118         /** RX length */
119         unsigned int rx_len;
120         /** Packet should be dropped */
121         int drop;
122 };
123
124 /*
125  * Etherfabric abstraction layer
126  *
127  */
128 struct efab_nic;
129 struct efab_operations {
130         void ( * get_membase ) ( struct efab_nic *efab );
131         int ( * reset ) ( struct efab_nic *efab );
132         int ( * init_nic ) ( struct efab_nic *efab );
133         int ( * read_eeprom ) ( struct efab_nic *efab );
134         void ( * build_rx_desc ) ( struct efab_nic *efab,
135                                    struct efab_rx_buf *rx_buf );
136         void ( * notify_rx_desc ) ( struct efab_nic *efab );
137         void ( * build_tx_desc ) ( struct efab_nic *efab,
138                                    struct efab_tx_buf *tx_buf );
139         void ( * notify_tx_desc ) ( struct efab_nic *efab );
140         int ( * fetch_event ) ( struct efab_nic *efab,
141                                 struct efab_event *event );
142         void ( * mask_irq ) ( struct efab_nic *efab, int enabled );
143         void ( * generate_irq ) ( struct efab_nic *efab );
144         void ( * mdio_write ) ( struct efab_nic *efab, int location,
145                                 int value );
146         int ( * mdio_read ) ( struct efab_nic *efab, int location );
147 };
148
149 struct efab_mac_operations {
150         void ( * mac_writel ) ( struct efab_nic *efab, efab_dword_t *value,
151                                 unsigned int mac_reg );
152         void ( * mac_readl ) ( struct efab_nic *efab, efab_dword_t *value,
153                                unsigned int mac_reg );
154         int ( * init ) ( struct efab_nic *efab );
155         int ( * reset ) ( struct efab_nic *efab );
156 };
157
158 /*
159  * Driver private data structure
160  *
161  */
162 struct efab_nic {
163
164         /** PCI device */
165         struct pci_device *pci;
166
167         /** Operations table */
168         struct efab_operations *op;
169
170         /** MAC operations table */
171         struct efab_mac_operations *mac_op;
172
173         /** Memory base */
174         void *membase;
175
176         /** I/O base */
177         unsigned int iobase;
178
179         /** Buffers */
180         uint8_t *eventq;                /* Falcon only */
181         uint8_t *txd;                   /* Falcon only */
182         uint8_t *rxd;                   /* Falcon only */
183         struct efab_tx_buf tx_buf;
184         struct efab_rx_buf rx_bufs[EFAB_RX_BUFS];
185
186         /** Buffer pointers */
187         unsigned int eventq_read_ptr;   /* Falcon only */
188         unsigned int tx_write_ptr;
189         unsigned int rx_write_ptr;
190
191         /** Port 0/1 on the NIC */
192         int port;
193         
194         /** MAC address */
195         uint8_t mac_addr[ETH_ALEN];
196         /** GMII link options */
197         unsigned int link_options;
198         /** Link status */
199         int link_up;
200        
201         /* Nic type fields */
202         int has_flash : 1;
203         int has_eeprom : 1;
204         int is_10g : 1;
205         int is_dual : 1;
206         int is_asic : 1;
207
208         /** INT_REG_KER for Falcon */
209         efab_oword_t int_ker __attribute__ (( aligned ( 16 ) ));
210
211         /** EEPROM access */
212         struct i2c_bit_basher ef1002_i2c;
213         unsigned long ef1002_i2c_outputs;
214         struct i2c_device ef1002_eeprom;
215
216         /** NVS access */
217         struct nvs_device nvs;
218 };
219
220 /**************************************************************************
221  *
222  * GMII routines
223  *
224  **************************************************************************
225  */
226
227 /* GMII registers */
228 #define MII_BMSR                0x01    /* Basic mode status register  */
229 #define MII_ADVERTISE           0x04    /* Advertisement control register */
230 #define MII_LPA                 0x05    /* Link partner ability register*/
231 #define GMII_GTCR               0x09    /* 1000BASE-T control register */
232 #define GMII_GTSR               0x0a    /* 1000BASE-T status register */
233 #define GMII_PSSR               0x11    /* PHY-specific status register */
234
235 /* Basic mode status register. */
236 #define BMSR_LSTATUS            0x0004  /* Link status                 */
237
238 /* Link partner ability register. */
239 #define LPA_10HALF              0x0020  /* Can do 10mbps half-duplex   */
240 #define LPA_10FULL              0x0040  /* Can do 10mbps full-duplex   */
241 #define LPA_100HALF             0x0080  /* Can do 100mbps half-duplex  */
242 #define LPA_100FULL             0x0100  /* Can do 100mbps full-duplex  */
243 #define LPA_100BASE4            0x0200  /* Can do 100mbps 4k packets   */
244 #define LPA_PAUSE               0x0400  /* Bit 10 - MAC pause */
245
246 /* Pseudo extensions to the link partner ability register */
247 #define LPA_1000FULL            0x00020000
248 #define LPA_1000HALF            0x00010000
249 #define LPA_10000FULL           0x00040000
250 #define LPA_10000HALF           0x00080000
251
252 #define LPA_100                 (LPA_100FULL | LPA_100HALF | LPA_100BASE4)
253 #define LPA_1000                ( LPA_1000FULL | LPA_1000HALF )
254 #define LPA_10000               ( LPA_10000FULL | LPA_10000HALF )
255 #define LPA_DUPLEX              ( LPA_10FULL | LPA_100FULL | LPA_1000FULL )
256
257 /* Mask of bits not associated with speed or duplexity. */
258 #define LPA_OTHER               ~( LPA_10FULL | LPA_10HALF | LPA_100FULL | \
259                                    LPA_100HALF | LPA_1000FULL | LPA_1000HALF )
260
261 /* PHY-specific status register */
262 #define PSSR_LSTATUS            0x0400  /* Bit 10 - link status */
263
264 /**
265  * Retrieve GMII autonegotiation advertised abilities
266  *
267  */
268 static unsigned int gmii_autoneg_advertised ( struct efab_nic *efab ) {
269         unsigned int mii_advertise;
270         unsigned int gmii_advertise;
271         
272         /* Extended bits are in bits 8 and 9 of GMII_GTCR */
273         mii_advertise = efab->op->mdio_read ( efab, MII_ADVERTISE );
274         gmii_advertise = ( ( efab->op->mdio_read ( efab, GMII_GTCR ) >> 8 )
275                            & 0x03 );
276         return ( ( gmii_advertise << 16 ) | mii_advertise );
277 }
278
279 /**
280  * Retrieve GMII autonegotiation link partner abilities
281  *
282  */
283 static unsigned int gmii_autoneg_lpa ( struct efab_nic *efab ) {
284         unsigned int mii_lpa;
285         unsigned int gmii_lpa;
286         
287         /* Extended bits are in bits 10 and 11 of GMII_GTSR */
288         mii_lpa = efab->op->mdio_read ( efab, MII_LPA );
289         gmii_lpa = ( efab->op->mdio_read ( efab, GMII_GTSR ) >> 10 ) & 0x03;
290         return ( ( gmii_lpa << 16 ) | mii_lpa );
291 }
292
293 /**
294  * Calculate GMII autonegotiated link technology
295  *
296  */
297 static unsigned int gmii_nway_result ( unsigned int negotiated ) {
298         unsigned int other_bits;
299
300         /* Mask out the speed and duplexity bits */
301         other_bits = negotiated & LPA_OTHER;
302
303         if ( negotiated & LPA_1000FULL )
304                 return ( other_bits | LPA_1000FULL );
305         else if ( negotiated & LPA_1000HALF )
306                 return ( other_bits | LPA_1000HALF );
307         else if ( negotiated & LPA_100FULL )
308                 return ( other_bits | LPA_100FULL );
309         else if ( negotiated & LPA_100BASE4 )
310                 return ( other_bits | LPA_100BASE4 );
311         else if ( negotiated & LPA_100HALF )
312                 return ( other_bits | LPA_100HALF );
313         else if ( negotiated & LPA_10FULL )
314                 return ( other_bits | LPA_10FULL );
315         else return ( other_bits | LPA_10HALF );
316 }
317
318 /**
319  * Check GMII PHY link status
320  *
321  */
322 static int gmii_link_ok ( struct efab_nic *efab ) {
323         int status;
324         int phy_status;
325         
326         /* BMSR is latching - it returns "link down" if the link has
327          * been down at any point since the last read.  To get a
328          * real-time status, we therefore read the register twice and
329          * use the result of the second read.
330          */
331         efab->op->mdio_read ( efab, MII_BMSR );
332         status = efab->op->mdio_read ( efab, MII_BMSR );
333
334         /* Read the PHY-specific Status Register.  This is
335          * non-latching, so we need do only a single read.
336          */
337         phy_status = efab->op->mdio_read ( efab, GMII_PSSR );
338
339         return ( ( status & BMSR_LSTATUS ) && ( phy_status & PSSR_LSTATUS ) );
340 }
341
342 /**************************************************************************
343  *
344  * Alaska PHY
345  *
346  **************************************************************************
347  */
348
349 /**
350  * Initialise Alaska PHY
351  *
352  */
353 static void alaska_init ( struct efab_nic *efab ) {
354         unsigned int advertised, lpa;
355
356         /* Read link up status */
357         efab->link_up = gmii_link_ok ( efab );
358
359         if ( ! efab->link_up )
360                 return;
361
362         /* Determine link options from PHY. */
363         advertised = gmii_autoneg_advertised ( efab );
364         lpa = gmii_autoneg_lpa ( efab );
365         efab->link_options = gmii_nway_result ( advertised & lpa );
366
367         /* print out the link speed */
368         EFAB_LOG ( "%dMbps %s-duplex (%04x,%04x)\n",
369                  ( efab->link_options & LPA_10000 ? 1000 :
370                    ( efab->link_options & LPA_1000 ? 1000 :
371                      ( efab->link_options & LPA_100 ? 100 : 10 ) ) ),
372                  ( efab->link_options & LPA_DUPLEX ? "full" : "half" ),
373                  advertised, lpa );
374 }
375
376
377 /**************************************************************************
378  *
379  * Mentor MAC
380  *
381  **************************************************************************
382  */
383
384 /* GMAC configuration register 1 */
385 #define GM_CFG1_REG_MAC 0x00
386 #define GM_SW_RST_LBN 31
387 #define GM_SW_RST_WIDTH 1
388 #define GM_RX_FC_EN_LBN 5
389 #define GM_RX_FC_EN_WIDTH 1
390 #define GM_TX_FC_EN_LBN 4
391 #define GM_TX_FC_EN_WIDTH 1
392 #define GM_RX_EN_LBN 2
393 #define GM_RX_EN_WIDTH 1
394 #define GM_TX_EN_LBN 0
395 #define GM_TX_EN_WIDTH 1
396
397 /* GMAC configuration register 2 */
398 #define GM_CFG2_REG_MAC 0x01
399 #define GM_PAMBL_LEN_LBN 12
400 #define GM_PAMBL_LEN_WIDTH 4
401 #define GM_IF_MODE_LBN 8
402 #define GM_IF_MODE_WIDTH 2
403 #define GM_PAD_CRC_EN_LBN 2
404 #define GM_PAD_CRC_EN_WIDTH 1
405 #define GM_FD_LBN 0
406 #define GM_FD_WIDTH 1
407
408 /* GMAC maximum frame length register */
409 #define GM_MAX_FLEN_REG_MAC 0x04
410 #define GM_MAX_FLEN_LBN 0
411 #define GM_MAX_FLEN_WIDTH 16
412
413 /* GMAC MII management configuration register */
414 #define GM_MII_MGMT_CFG_REG_MAC 0x08
415 #define GM_MGMT_CLK_SEL_LBN 0
416 #define GM_MGMT_CLK_SEL_WIDTH 3
417
418 /* GMAC MII management command register */
419 #define GM_MII_MGMT_CMD_REG_MAC 0x09
420 #define GM_MGMT_SCAN_CYC_LBN 1
421 #define GM_MGMT_SCAN_CYC_WIDTH 1
422 #define GM_MGMT_RD_CYC_LBN 0
423 #define GM_MGMT_RD_CYC_WIDTH 1
424
425 /* GMAC MII management address register */
426 #define GM_MII_MGMT_ADR_REG_MAC 0x0a
427 #define GM_MGMT_PHY_ADDR_LBN 8
428 #define GM_MGMT_PHY_ADDR_WIDTH 5
429 #define GM_MGMT_REG_ADDR_LBN 0
430 #define GM_MGMT_REG_ADDR_WIDTH 5
431
432 /* GMAC MII management control register */
433 #define GM_MII_MGMT_CTL_REG_MAC 0x0b
434 #define GM_MGMT_CTL_LBN 0
435 #define GM_MGMT_CTL_WIDTH 16
436
437 /* GMAC MII management status register */
438 #define GM_MII_MGMT_STAT_REG_MAC 0x0c
439 #define GM_MGMT_STAT_LBN 0
440 #define GM_MGMT_STAT_WIDTH 16
441
442 /* GMAC MII management indicators register */
443 #define GM_MII_MGMT_IND_REG_MAC 0x0d
444 #define GM_MGMT_BUSY_LBN 0
445 #define GM_MGMT_BUSY_WIDTH 1
446
447 /* GMAC station address register 1 */
448 #define GM_ADR1_REG_MAC 0x10
449 #define GM_HWADDR_5_LBN 24
450 #define GM_HWADDR_5_WIDTH 8
451 #define GM_HWADDR_4_LBN 16
452 #define GM_HWADDR_4_WIDTH 8
453 #define GM_HWADDR_3_LBN 8
454 #define GM_HWADDR_3_WIDTH 8
455 #define GM_HWADDR_2_LBN 0
456 #define GM_HWADDR_2_WIDTH 8
457
458 /* GMAC station address register 2 */
459 #define GM_ADR2_REG_MAC 0x11
460 #define GM_HWADDR_1_LBN 24
461 #define GM_HWADDR_1_WIDTH 8
462 #define GM_HWADDR_0_LBN 16
463 #define GM_HWADDR_0_WIDTH 8
464
465 /* GMAC FIFO configuration register 0 */
466 #define GMF_CFG0_REG_MAC 0x12
467 #define GMF_FTFENREQ_LBN 12
468 #define GMF_FTFENREQ_WIDTH 1
469 #define GMF_STFENREQ_LBN 11
470 #define GMF_STFENREQ_WIDTH 1
471 #define GMF_FRFENREQ_LBN 10
472 #define GMF_FRFENREQ_WIDTH 1
473 #define GMF_SRFENREQ_LBN 9
474 #define GMF_SRFENREQ_WIDTH 1
475 #define GMF_WTMENREQ_LBN 8
476 #define GMF_WTMENREQ_WIDTH 1
477
478 /* GMAC FIFO configuration register 1 */
479 #define GMF_CFG1_REG_MAC 0x13
480 #define GMF_CFGFRTH_LBN 16
481 #define GMF_CFGFRTH_WIDTH 5
482 #define GMF_CFGXOFFRTX_LBN 0
483 #define GMF_CFGXOFFRTX_WIDTH 16
484
485 /* GMAC FIFO configuration register 2 */
486 #define GMF_CFG2_REG_MAC 0x14
487 #define GMF_CFGHWM_LBN 16
488 #define GMF_CFGHWM_WIDTH 6
489 #define GMF_CFGLWM_LBN 0
490 #define GMF_CFGLWM_WIDTH 6
491
492 /* GMAC FIFO configuration register 3 */
493 #define GMF_CFG3_REG_MAC 0x15
494 #define GMF_CFGHWMFT_LBN 16
495 #define GMF_CFGHWMFT_WIDTH 6
496 #define GMF_CFGFTTH_LBN 0
497 #define GMF_CFGFTTH_WIDTH 6
498
499 /* GMAC FIFO configuration register 4 */
500 #define GMF_CFG4_REG_MAC 0x16
501 #define GMF_HSTFLTRFRM_PAUSE_LBN 12
502 #define GMF_HSTFLTRFRM_PAUSE_WIDTH 12
503
504 /* GMAC FIFO configuration register 5 */
505 #define GMF_CFG5_REG_MAC 0x17
506 #define GMF_CFGHDPLX_LBN 22
507 #define GMF_CFGHDPLX_WIDTH 1
508 #define GMF_CFGBYTMODE_LBN 19
509 #define GMF_CFGBYTMODE_WIDTH 1
510 #define GMF_HSTDRPLT64_LBN 18
511 #define GMF_HSTDRPLT64_WIDTH 1
512 #define GMF_HSTFLTRFRMDC_PAUSE_LBN 12
513 #define GMF_HSTFLTRFRMDC_PAUSE_WIDTH 1
514
515 struct efab_mentormac_parameters {
516         int gmf_cfgfrth;
517         int gmf_cfgftth;
518         int gmf_cfghwmft;
519         int gmf_cfghwm;
520         int gmf_cfglwm;
521 };
522
523 /**
524  * Reset Mentor MAC
525  *
526  */
527 static void mentormac_reset ( struct efab_nic *efab ) {
528         efab_dword_t reg;
529         int save_port;
530
531         /* Take into reset */
532         EFAB_POPULATE_DWORD_1 ( reg, GM_SW_RST, 1 );
533         efab->mac_op->mac_writel ( efab, &reg, GM_CFG1_REG_MAC );
534         udelay ( 1000 );
535
536         /* Take out of reset */
537         EFAB_POPULATE_DWORD_1 ( reg, GM_SW_RST, 0 );
538         efab->mac_op->mac_writel ( efab, &reg, GM_CFG1_REG_MAC );
539         udelay ( 1000 );
540
541         /* Mentor MAC connects both PHYs to MAC 0 */
542         save_port = efab->port;
543         efab->port = 0;
544         /* Configure GMII interface so PHY is accessible.  Note that
545          * GMII interface is connected only to port 0, and that on
546          * Falcon this is a no-op.
547          */
548         EFAB_POPULATE_DWORD_1 ( reg, GM_MGMT_CLK_SEL, 0x4 );
549         efab->mac_op->mac_writel ( efab, &reg, GM_MII_MGMT_CFG_REG_MAC );
550         udelay ( 10 );
551         efab->port = save_port;
552 }
553
554 /**
555  * Initialise Mentor MAC
556  *
557  */
558 static void mentormac_init ( struct efab_nic *efab,
559                              struct efab_mentormac_parameters *params ) {
560         int pause, if_mode, full_duplex, bytemode, half_duplex;
561         efab_dword_t reg;
562
563         /* Configuration register 1 */
564         pause = ( efab->link_options & LPA_PAUSE ) ? 1 : 0;
565         if ( ! ( efab->link_options & LPA_DUPLEX ) ) {
566                 /* Half-duplex operation requires TX flow control */
567                 pause = 1;
568         }
569         EFAB_POPULATE_DWORD_4 ( reg,
570                                 GM_TX_EN, 1,
571                                 GM_TX_FC_EN, pause,
572                                 GM_RX_EN, 1,
573                                 GM_RX_FC_EN, 1 );
574         efab->mac_op->mac_writel ( efab, &reg, GM_CFG1_REG_MAC );
575         udelay ( 10 );
576
577         /* Configuration register 2 */
578         if_mode = ( efab->link_options & LPA_1000 ) ? 2 : 1;
579         full_duplex = ( efab->link_options & LPA_DUPLEX ) ? 1 : 0;
580         EFAB_POPULATE_DWORD_4 ( reg,
581                                 GM_IF_MODE, if_mode,
582                                 GM_PAD_CRC_EN, 1,
583                                 GM_FD, full_duplex,
584                                 GM_PAMBL_LEN, 0x7 /* ? */ );
585         efab->mac_op->mac_writel ( efab, &reg, GM_CFG2_REG_MAC );
586         udelay ( 10 );
587
588         /* Max frame len register */
589         EFAB_POPULATE_DWORD_1 ( reg, GM_MAX_FLEN, ETH_FRAME_LEN + 4 /* FCS */);
590         efab->mac_op->mac_writel ( efab, &reg, GM_MAX_FLEN_REG_MAC );
591         udelay ( 10 );
592
593         /* FIFO configuration register 0 */
594         EFAB_POPULATE_DWORD_5 ( reg,
595                                 GMF_FTFENREQ, 1,
596                                 GMF_STFENREQ, 1,
597                                 GMF_FRFENREQ, 1,
598                                 GMF_SRFENREQ, 1,
599                                 GMF_WTMENREQ, 1 );
600         efab->mac_op->mac_writel ( efab, &reg, GMF_CFG0_REG_MAC );
601         udelay ( 10 );
602
603         /* FIFO configuration register 1 */
604         EFAB_POPULATE_DWORD_2 ( reg,
605                                 GMF_CFGFRTH, params->gmf_cfgfrth,
606                                 GMF_CFGXOFFRTX, 0xffff );
607         efab->mac_op->mac_writel ( efab, &reg, GMF_CFG1_REG_MAC );
608         udelay ( 10 );
609
610         /* FIFO configuration register 2 */
611         EFAB_POPULATE_DWORD_2 ( reg,
612                                 GMF_CFGHWM, params->gmf_cfghwm,
613                                 GMF_CFGLWM, params->gmf_cfglwm );
614         efab->mac_op->mac_writel ( efab, &reg, GMF_CFG2_REG_MAC );
615         udelay ( 10 );
616
617         /* FIFO configuration register 3 */
618         EFAB_POPULATE_DWORD_2 ( reg,
619                                 GMF_CFGHWMFT, params->gmf_cfghwmft,
620                                 GMF_CFGFTTH, params->gmf_cfgftth );
621         efab->mac_op->mac_writel ( efab, &reg, GMF_CFG3_REG_MAC );
622         udelay ( 10 );
623
624         /* FIFO configuration register 4 */
625         EFAB_POPULATE_DWORD_1 ( reg, GMF_HSTFLTRFRM_PAUSE, 1 );
626         efab->mac_op->mac_writel ( efab, &reg, GMF_CFG4_REG_MAC );
627         udelay ( 10 );
628         
629         /* FIFO configuration register 5 */
630         bytemode = ( efab->link_options & LPA_1000 ) ? 1 : 0;
631         half_duplex = ( efab->link_options & LPA_DUPLEX ) ? 0 : 1;
632         efab->mac_op->mac_readl ( efab, &reg, GMF_CFG5_REG_MAC );
633         EFAB_SET_DWORD_FIELD ( reg, GMF_CFGBYTMODE, bytemode );
634         EFAB_SET_DWORD_FIELD ( reg, GMF_CFGHDPLX, half_duplex );
635         EFAB_SET_DWORD_FIELD ( reg, GMF_HSTDRPLT64, half_duplex );
636         EFAB_SET_DWORD_FIELD ( reg, GMF_HSTFLTRFRMDC_PAUSE, 0 );
637         efab->mac_op->mac_writel ( efab, &reg, GMF_CFG5_REG_MAC );
638         udelay ( 10 );
639         
640         /* MAC address */
641         EFAB_POPULATE_DWORD_4 ( reg,
642                                 GM_HWADDR_5, efab->mac_addr[5],
643                                 GM_HWADDR_4, efab->mac_addr[4],
644                                 GM_HWADDR_3, efab->mac_addr[3],
645                                 GM_HWADDR_2, efab->mac_addr[2] );
646         efab->mac_op->mac_writel ( efab, &reg, GM_ADR1_REG_MAC );
647         udelay ( 10 );
648         EFAB_POPULATE_DWORD_2 ( reg,
649                                 GM_HWADDR_1, efab->mac_addr[1],
650                                 GM_HWADDR_0, efab->mac_addr[0] );
651         efab->mac_op->mac_writel ( efab, &reg, GM_ADR2_REG_MAC );
652         udelay ( 10 );
653 }
654
655 /**
656  * Wait for GMII access to complete
657  *
658  */
659 static int mentormac_gmii_wait ( struct efab_nic *efab ) {
660         int count;
661         efab_dword_t indicator;
662
663         for ( count = 0 ; count < 1000 ; count++ ) {
664                 udelay ( 10 );
665                 efab->mac_op->mac_readl ( efab, &indicator,
666                                           GM_MII_MGMT_IND_REG_MAC );
667                 if ( EFAB_DWORD_FIELD ( indicator, GM_MGMT_BUSY ) == 0 )
668                         return 1;
669         }
670         EFAB_ERR ( "Timed out waiting for GMII\n" );
671         return 0;
672 }
673
674 /**
675  * Write a GMII register
676  *
677  */
678 static void mentormac_mdio_write ( struct efab_nic *efab, int phy_id,
679                                    int location, int value ) {
680         efab_dword_t reg;
681         int save_port;
682
683         EFAB_TRACE ( "Writing GMII %d register %02x with %04x\n", phy_id,
684                      location, value );
685
686         /* Mentor MAC connects both PHYs to MAC 0 */
687         save_port = efab->port;
688         efab->port = 0;
689
690         /* Check MII not currently being accessed */
691         if ( ! mentormac_gmii_wait ( efab ) )
692                 goto out;
693
694         /* Write the address register */
695         EFAB_POPULATE_DWORD_2 ( reg,
696                                 GM_MGMT_PHY_ADDR, phy_id,
697                                 GM_MGMT_REG_ADDR, location );
698         efab->mac_op->mac_writel ( efab, &reg, GM_MII_MGMT_ADR_REG_MAC );
699         udelay ( 10 );
700
701         /* Write data */
702         EFAB_POPULATE_DWORD_1 ( reg, GM_MGMT_CTL, value );
703         efab->mac_op->mac_writel ( efab, &reg, GM_MII_MGMT_CTL_REG_MAC );
704
705         /* Wait for data to be written */
706         mentormac_gmii_wait ( efab );
707
708  out:
709         /* Restore efab->port */
710         efab->port = save_port;
711 }
712
713 /**
714  * Read a GMII register
715  *
716  */
717 static int mentormac_mdio_read ( struct efab_nic *efab, int phy_id,
718                                  int location ) {
719         efab_dword_t reg;
720         int value = 0xffff;
721         int save_port;
722
723         /* Mentor MAC connects both PHYs to MAC 0 */
724         save_port = efab->port;
725         efab->port = 0;
726
727         /* Check MII not currently being accessed */
728         if ( ! mentormac_gmii_wait ( efab ) )
729                 goto out;
730
731         /* Write the address register */
732         EFAB_POPULATE_DWORD_2 ( reg,
733                                 GM_MGMT_PHY_ADDR, phy_id,
734                                 GM_MGMT_REG_ADDR, location );
735         efab->mac_op->mac_writel ( efab, &reg, GM_MII_MGMT_ADR_REG_MAC );
736         udelay ( 10 );
737
738         /* Request data to be read */
739         EFAB_POPULATE_DWORD_1 ( reg, GM_MGMT_RD_CYC, 1 );
740         efab->mac_op->mac_writel ( efab, &reg, GM_MII_MGMT_CMD_REG_MAC );
741
742         /* Wait for data to be become available */
743         if ( mentormac_gmii_wait ( efab ) ) {
744                 /* Read data */
745                 efab->mac_op->mac_readl ( efab, &reg, GM_MII_MGMT_STAT_REG_MAC );
746                 value = EFAB_DWORD_FIELD ( reg, GM_MGMT_STAT );
747                 EFAB_TRACE ( "Read from GMII %d register %02x, got %04x\n",
748                              phy_id, location, value );
749         }
750
751         /* Signal completion */
752         EFAB_ZERO_DWORD ( reg );
753         efab->mac_op->mac_writel ( efab, &reg, GM_MII_MGMT_CMD_REG_MAC );
754         udelay ( 10 );
755
756  out:
757         /* Restore efab->port */
758         efab->port = save_port;
759
760         return value;
761 }
762
763 /**************************************************************************
764  *
765  * EF1002 routines
766  *
767  **************************************************************************
768  */
769
770 /** Control and General Status */
771 #define EF1_CTR_GEN_STATUS0_REG 0x0
772 #define EF1_MASTER_EVENTS_LBN 12
773 #define EF1_MASTER_EVENTS_WIDTH 1
774 #define EF1_TX_ENGINE_EN_LBN 19
775 #define EF1_TX_ENGINE_EN_WIDTH 1
776 #define EF1_RX_ENGINE_EN_LBN 18
777 #define EF1_RX_ENGINE_EN_WIDTH 1
778 #define EF1_TURBO2_LBN 17
779 #define EF1_TURBO2_WIDTH 1
780 #define EF1_TURBO1_LBN 16
781 #define EF1_TURBO1_WIDTH 1
782 #define EF1_TURBO3_LBN 14
783 #define EF1_TURBO3_WIDTH 1
784 #define EF1_LB_RESET_LBN 3
785 #define EF1_LB_RESET_WIDTH 1
786 #define EF1_MAC_RESET_LBN 2
787 #define EF1_MAC_RESET_WIDTH 1
788 #define EF1_CAM_ENABLE_LBN 1
789 #define EF1_CAM_ENABLE_WIDTH 1
790
791 /** IRQ sources */
792 #define EF1_IRQ_SRC_REG 0x0008
793
794 /** IRQ mask */
795 #define EF1_IRQ_MASK_REG 0x000c
796 #define EF1_IRQ_PHY1_LBN 11
797 #define EF1_IRQ_PHY1_WIDTH 1
798 #define EF1_IRQ_PHY0_LBN 10
799 #define EF1_IRQ_PHY0_WIDTH 1
800 #define EF1_IRQ_SERR_LBN 7
801 #define EF1_IRQ_SERR_WIDTH 1
802 #define EF1_IRQ_EVQ_LBN 3
803 #define EF1_IRQ_EVQ_WIDTH 1
804
805 /** Event generation */
806 #define EF1_EVT3_REG 0x38
807
808 /** EEPROMaccess */
809 #define EF1_EEPROM_REG 0x40
810 #define EF1_EEPROM_SDA_LBN 31
811 #define EF1_EEPROM_SDA_WIDTH 1
812 #define EF1_EEPROM_SCL_LBN 30
813 #define EF1_EEPROM_SCL_WIDTH 1
814 #define EF1_JTAG_DISCONNECT_LBN 17
815 #define EF1_JTAG_DISCONNECT_WIDTH 1
816 #define EF1_EEPROM_LBN 0
817 #define EF1_EEPROM_WIDTH 32
818
819 /** Control register 2 */
820 #define EF1_CTL2_REG 0x4c
821 #define EF1_PLL_TRAP_LBN 31
822 #define EF1_PLL_TRAP_WIDTH 1
823 #define EF1_MEM_MAP_4MB_LBN 11
824 #define EF1_MEM_MAP_4MB_WIDTH 1
825 #define EF1_EV_INTR_CLR_WRITE_LBN 6
826 #define EF1_EV_INTR_CLR_WRITE_WIDTH 1
827 #define EF1_BURST_MERGE_LBN 5
828 #define EF1_BURST_MERGE_WIDTH 1
829 #define EF1_CLEAR_NULL_PAD_LBN 4
830 #define EF1_CLEAR_NULL_PAD_WIDTH 1
831 #define EF1_SW_RESET_LBN 2
832 #define EF1_SW_RESET_WIDTH 1
833 #define EF1_INTR_AFTER_EVENT_LBN 1
834 #define EF1_INTR_AFTER_EVENT_WIDTH 1
835
836 /** Event FIFO */
837 #define EF1_EVENT_FIFO_REG 0x50
838
839 /** Event FIFO count */
840 #define EF1_EVENT_FIFO_COUNT_REG 0x5c
841 #define EF1_EV_COUNT_LBN 0
842 #define EF1_EV_COUNT_WIDTH 16
843
844 /** TX DMA control and status */
845 #define EF1_DMA_TX_CSR_REG 0x80
846 #define EF1_DMA_TX_CSR_CHAIN_EN_LBN 8
847 #define EF1_DMA_TX_CSR_CHAIN_EN_WIDTH 1
848 #define EF1_DMA_TX_CSR_ENABLE_LBN 4
849 #define EF1_DMA_TX_CSR_ENABLE_WIDTH 1
850 #define EF1_DMA_TX_CSR_INT_EN_LBN 0
851 #define EF1_DMA_TX_CSR_INT_EN_WIDTH 1
852
853 /** RX DMA control and status */
854 #define EF1_DMA_RX_CSR_REG 0xa0
855 #define EF1_DMA_RX_ABOVE_1GB_EN_LBN 6
856 #define EF1_DMA_RX_ABOVE_1GB_EN_WIDTH 1
857 #define EF1_DMA_RX_BELOW_1MB_EN_LBN 5
858 #define EF1_DMA_RX_BELOW_1MB_EN_WIDTH 1 
859 #define EF1_DMA_RX_CSR_ENABLE_LBN 0
860 #define EF1_DMA_RX_CSR_ENABLE_WIDTH 1
861
862 /** Level 5 watermark register (in MAC space) */
863 #define EF1_GMF_L5WM_REG_MAC 0x20
864 #define EF1_L5WM_LBN 0
865 #define EF1_L5WM_WIDTH 32
866
867 /** MAC clock */
868 #define EF1_GM_MAC_CLK_REG 0x112000
869 #define EF1_GM_PORT0_MAC_CLK_LBN 0
870 #define EF1_GM_PORT0_MAC_CLK_WIDTH 1
871 #define EF1_GM_PORT1_MAC_CLK_LBN 1
872 #define EF1_GM_PORT1_MAC_CLK_WIDTH 1
873
874 /** TX descriptor FIFO */
875 #define EF1_TX_DESC_FIFO 0x141000
876 #define EF1_TX_KER_EVQ_LBN 80
877 #define EF1_TX_KER_EVQ_WIDTH 12
878 #define EF1_TX_KER_IDX_LBN 64
879 #define EF1_TX_KER_IDX_WIDTH 16
880 #define EF1_TX_KER_MODE_LBN 63
881 #define EF1_TX_KER_MODE_WIDTH 1
882 #define EF1_TX_KER_PORT_LBN 60
883 #define EF1_TX_KER_PORT_WIDTH 1
884 #define EF1_TX_KER_CONT_LBN 56
885 #define EF1_TX_KER_CONT_WIDTH 1
886 #define EF1_TX_KER_BYTE_CNT_LBN 32
887 #define EF1_TX_KER_BYTE_CNT_WIDTH 24
888 #define EF1_TX_KER_BUF_ADR_LBN 0
889 #define EF1_TX_KER_BUF_ADR_WIDTH 32
890
891 /** TX descriptor FIFO flush */
892 #define EF1_TX_DESC_FIFO_FLUSH 0x141ffc
893
894 /** RX descriptor FIFO */
895 #define EF1_RX_DESC_FIFO 0x145000
896 #define EF1_RX_KER_EVQ_LBN 48
897 #define EF1_RX_KER_EVQ_WIDTH 12
898 #define EF1_RX_KER_IDX_LBN 32
899 #define EF1_RX_KER_IDX_WIDTH 16
900 #define EF1_RX_KER_BUF_ADR_LBN 0
901 #define EF1_RX_KER_BUF_ADR_WIDTH 32
902
903 /** RX descriptor FIFO flush */
904 #define EF1_RX_DESC_FIFO_FLUSH 0x145ffc 
905
906 /** CAM */
907 #define EF1_CAM_BASE 0x1c0000
908 #define EF1_CAM_WTF_DOES_THIS_DO_LBN 0
909 #define EF1_CAM_WTF_DOES_THIS_DO_WIDTH 32
910
911 /** Event queue pointers */
912 #define EF1_EVQ_PTR_BASE 0x260000
913 #define EF1_EVQ_SIZE_LBN 29
914 #define EF1_EVQ_SIZE_WIDTH 2
915 #define EF1_EVQ_SIZE_4K 3
916 #define EF1_EVQ_SIZE_2K 2
917 #define EF1_EVQ_SIZE_1K 1
918 #define EF1_EVQ_SIZE_512 0
919 #define EF1_EVQ_BUF_BASE_ID_LBN 0
920 #define EF1_EVQ_BUF_BASE_ID_WIDTH 29
921
922 /* MAC registers */
923 #define EF1002_MAC_REGBANK 0x110000
924 #define EF1002_MAC_REGBANK_SIZE 0x1000
925 #define EF1002_MAC_REG_SIZE 0x08
926
927 /** Offset of a MAC register within EF1002 */
928 #define EF1002_MAC_REG( efab, mac_reg )                         \
929         ( EF1002_MAC_REGBANK +                                  \
930           ( (efab)->port * EF1002_MAC_REGBANK_SIZE ) +          \
931           ( (mac_reg) * EF1002_MAC_REG_SIZE ) )
932
933 /* Event queue entries */
934 #define EF1_EV_CODE_LBN 20
935 #define EF1_EV_CODE_WIDTH 8
936 #define EF1_RX_EV_DECODE 0x01
937 #define EF1_TX_EV_DECODE 0x02
938 #define EF1_TIMER_EV_DECODE 0x0b
939 #define EF1_DRV_GEN_EV_DECODE 0x0f
940
941 /* Receive events */
942 #define EF1_RX_EV_LEN_LBN 48
943 #define EF1_RX_EV_LEN_WIDTH 16
944 #define EF1_RX_EV_PORT_LBN 17
945 #define EF1_RX_EV_PORT_WIDTH 3
946 #define EF1_RX_EV_OK_LBN 16
947 #define EF1_RX_EV_OK_WIDTH 1
948 #define EF1_RX_EV_IDX_LBN 0
949 #define EF1_RX_EV_IDX_WIDTH 16
950
951 /* Transmit events */
952 #define EF1_TX_EV_PORT_LBN 17
953 #define EF1_TX_EV_PORT_WIDTH 3
954 #define EF1_TX_EV_OK_LBN 16
955 #define EF1_TX_EV_OK_WIDTH 1
956 #define EF1_TX_EV_IDX_LBN 0
957 #define EF1_TX_EV_IDX_WIDTH 16
958
959 /* forward decleration */
960 static struct efab_mac_operations ef1002_mac_operations;
961
962 /* I2C ID of the EEPROM */
963 #define EF1_EEPROM_I2C_ID 0x50
964
965 /* Offset of MAC address within EEPROM */
966 #define EF1_EEPROM_HWADDR_OFFSET 0x0
967
968 /**
969  * Write dword to EF1002 register
970  *
971  */
972 static inline void ef1002_writel ( struct efab_nic *efab, efab_dword_t *value,
973                                    unsigned int reg ) {
974         EFAB_REGDUMP ( "Writing register %x with " EFAB_DWORD_FMT "\n",
975                        reg, EFAB_DWORD_VAL ( *value ) );
976         writel ( value->u32[0], efab->membase + reg );
977 }
978
979 /**
980  * Read dword from an EF1002 register
981  *
982  */
983 static inline void ef1002_readl ( struct efab_nic *efab, efab_dword_t *value,
984                                   unsigned int reg ) {
985         value->u32[0] = readl ( efab->membase + reg );
986         EFAB_REGDUMP ( "Read from register %x, got " EFAB_DWORD_FMT "\n",
987                        reg, EFAB_DWORD_VAL ( *value ) );
988 }
989
990 /**
991  * Read dword from an EF1002 register, silently
992  *
993  */
994 static inline void ef1002_readl_silent ( struct efab_nic *efab,
995                                          efab_dword_t *value,
996                                          unsigned int reg ) {
997         value->u32[0] = readl ( efab->membase + reg );
998 }
999
1000 /**
1001  * Get memory base
1002  *
1003  */
1004 static void ef1002_get_membase ( struct efab_nic *efab ) {
1005         unsigned long membase_phys;
1006
1007         membase_phys = pci_bar_start ( efab->pci, PCI_BASE_ADDRESS_0 );
1008         efab->membase = ioremap ( membase_phys, 0x800000 );
1009 }
1010
1011 /** PCI registers to backup/restore over a device reset */
1012 static const unsigned int efab_pci_reg_addr[] = {
1013         PCI_COMMAND, 0x0c /* PCI_CACHE_LINE_SIZE */,
1014         PCI_BASE_ADDRESS_0, PCI_BASE_ADDRESS_1, PCI_BASE_ADDRESS_2,
1015         PCI_BASE_ADDRESS_3, PCI_ROM_ADDRESS, PCI_INTERRUPT_LINE,
1016 };
1017 /** Number of registers in efab_pci_reg_addr */
1018 #define EFAB_NUM_PCI_REG \
1019         ( sizeof ( efab_pci_reg_addr ) / sizeof ( efab_pci_reg_addr[0] ) )
1020 /** PCI configuration space backup */
1021 struct efab_pci_reg {
1022         uint32_t reg[EFAB_NUM_PCI_REG];
1023 };
1024
1025 /*
1026  * I2C interface and EEPROM
1027  *
1028  */
1029
1030 static unsigned long ef1002_i2c_bits[] = {
1031         [I2C_BIT_SCL] = ( 1 << 30 ),
1032         [I2C_BIT_SDA] = ( 1 << 31 ),
1033 };
1034
1035 static void ef1002_i2c_write_bit ( struct bit_basher *basher,
1036                                    unsigned int bit_id, unsigned long data ) {
1037         struct efab_nic *efab = container_of ( basher, struct efab_nic,
1038                                                ef1002_i2c.basher );
1039         unsigned long mask;
1040         efab_dword_t reg;
1041
1042         mask = ef1002_i2c_bits[bit_id];
1043         efab->ef1002_i2c_outputs &= ~mask;
1044         efab->ef1002_i2c_outputs |= ( data & mask );
1045         EFAB_POPULATE_DWORD_1 ( reg, EF1_EEPROM, efab->ef1002_i2c_outputs );
1046         ef1002_writel ( efab, &reg, EF1_EEPROM_REG );
1047 }
1048
1049 static int ef1002_i2c_read_bit ( struct bit_basher *basher,
1050                                  unsigned int bit_id ) {
1051         struct efab_nic *efab = container_of ( basher, struct efab_nic,
1052                                                ef1002_i2c.basher );
1053         unsigned long mask;
1054         efab_dword_t reg;
1055
1056         mask = ef1002_i2c_bits[bit_id];
1057         ef1002_readl ( efab, &reg, EF1_EEPROM_REG );
1058         return ( EFAB_DWORD_FIELD ( reg, EF1_EEPROM ) & mask );
1059 }
1060
1061 static void ef1002_init_eeprom ( struct efab_nic *efab ) {
1062         efab->ef1002_i2c.basher.write = ef1002_i2c_write_bit;
1063         efab->ef1002_i2c.basher.read = ef1002_i2c_read_bit;
1064         init_i2c_bit_basher ( &efab->ef1002_i2c );
1065         efab->ef1002_eeprom.address = EF1_EEPROM_I2C_ID;
1066 }
1067
1068 /**
1069  * Reset device
1070  *
1071  */
1072 static int ef1002_reset ( struct efab_nic *efab ) {
1073         struct efab_pci_reg pci_reg;
1074         struct pci_device *pci_dev = efab->pci;
1075         efab_dword_t reg;
1076         unsigned int i;
1077         uint32_t tmp;
1078
1079         /* Back up PCI configuration registers */
1080         for ( i = 0 ; i < EFAB_NUM_PCI_REG ; i++ ) {
1081                 pci_read_config_dword ( pci_dev, efab_pci_reg_addr[i],
1082                                         &pci_reg.reg[i] );
1083         }
1084
1085         /* Reset the whole device. */
1086         EFAB_POPULATE_DWORD_1 ( reg, EF1_SW_RESET, 1 );
1087         ef1002_writel ( efab, &reg, EF1_CTL2_REG );
1088         mdelay ( 200 );
1089         
1090         /* Restore PCI configuration space */
1091         for ( i = 0 ; i < EFAB_NUM_PCI_REG ; i++ ) {
1092                 pci_write_config_dword ( pci_dev, efab_pci_reg_addr[i],
1093                                          pci_reg.reg[i] );
1094         }
1095
1096         /* Verify PCI configuration space */
1097         for ( i = 0 ; i < EFAB_NUM_PCI_REG ; i++ ) {
1098                 pci_read_config_dword ( pci_dev, efab_pci_reg_addr[i], &tmp );
1099                 if ( tmp != pci_reg.reg[i] ) {
1100                         EFAB_LOG ( "PCI restore failed on register %02x "
1101                                    "(is %08lx, should be %08lx); reboot\n",
1102                                  i, tmp, pci_reg.reg[i] );
1103                         return 0;
1104                 }
1105         }
1106
1107         /* Verify device reset complete */
1108         ef1002_readl ( efab, &reg, EF1_CTR_GEN_STATUS0_REG );
1109         if ( EFAB_DWORD_IS_ALL_ONES ( reg ) ) {
1110                 EFAB_ERR ( "Reset failed\n" );
1111                 return 0;
1112         }
1113
1114         return 1;
1115 }
1116
1117 /**
1118  * Initialise NIC
1119  *
1120  */
1121 static int ef1002_init_nic ( struct efab_nic *efab ) {
1122         efab_dword_t reg;
1123         
1124         /* patch in the MAC operations */
1125         efab->mac_op = &ef1002_mac_operations;
1126
1127         /* No idea what CAM is, but the 'datasheet' says that we have
1128          * to write these values in at start of day
1129          */
1130         EFAB_POPULATE_DWORD_1 ( reg, EF1_CAM_WTF_DOES_THIS_DO, 0x6 );
1131         ef1002_writel ( efab, &reg, EF1_CAM_BASE + 0x20018 );
1132         udelay ( 1000 );
1133         EFAB_POPULATE_DWORD_1 ( reg, EF1_CAM_WTF_DOES_THIS_DO, 0x01000000 );
1134         ef1002_writel ( efab, &reg, EF1_CAM_BASE + 0x00018 );
1135         udelay ( 1000 );
1136
1137         /* General control register 0 */
1138         ef1002_readl ( efab, &reg, EF1_CTR_GEN_STATUS0_REG );
1139         EFAB_SET_DWORD_FIELD ( reg, EF1_MASTER_EVENTS, 0 );
1140         EFAB_SET_DWORD_FIELD ( reg, EF1_TX_ENGINE_EN, 0 );
1141         EFAB_SET_DWORD_FIELD ( reg, EF1_RX_ENGINE_EN, 0 );
1142         EFAB_SET_DWORD_FIELD ( reg, EF1_TURBO2, 1 );
1143         EFAB_SET_DWORD_FIELD ( reg, EF1_TURBO1, 1 );
1144         EFAB_SET_DWORD_FIELD ( reg, EF1_TURBO3, 1 );
1145         EFAB_SET_DWORD_FIELD ( reg, EF1_CAM_ENABLE, 1 );
1146         ef1002_writel ( efab, &reg, EF1_CTR_GEN_STATUS0_REG );
1147         udelay ( 1000 );
1148
1149         /* General control register 2 */
1150         ef1002_readl ( efab, &reg, EF1_CTL2_REG );
1151         EFAB_SET_DWORD_FIELD ( reg, EF1_PLL_TRAP, 1 );
1152         EFAB_SET_DWORD_FIELD ( reg, EF1_MEM_MAP_4MB, 0 );
1153         EFAB_SET_DWORD_FIELD ( reg, EF1_EV_INTR_CLR_WRITE, 0 );
1154         EFAB_SET_DWORD_FIELD ( reg, EF1_BURST_MERGE, 0 );
1155         EFAB_SET_DWORD_FIELD ( reg, EF1_CLEAR_NULL_PAD, 1 );
1156         EFAB_SET_DWORD_FIELD ( reg, EF1_INTR_AFTER_EVENT, 1 );
1157         ef1002_writel ( efab, &reg, EF1_CTL2_REG );
1158         udelay ( 1000 );
1159
1160         /* Enable RX DMA */
1161         ef1002_readl ( efab, &reg, EF1_DMA_RX_CSR_REG );
1162         EFAB_SET_DWORD_FIELD ( reg, EF1_DMA_RX_CSR_ENABLE, 1 );
1163         EFAB_SET_DWORD_FIELD ( reg, EF1_DMA_RX_BELOW_1MB_EN, 1 );
1164         EFAB_SET_DWORD_FIELD ( reg, EF1_DMA_RX_ABOVE_1GB_EN, 1 );
1165         ef1002_writel ( efab, &reg, EF1_DMA_RX_CSR_REG );
1166         udelay ( 1000 );
1167
1168         /* Enable TX DMA */
1169         ef1002_readl ( efab, &reg, EF1_DMA_TX_CSR_REG );
1170         EFAB_SET_DWORD_FIELD ( reg, EF1_DMA_TX_CSR_CHAIN_EN, 1 );
1171         EFAB_SET_DWORD_FIELD ( reg, EF1_DMA_TX_CSR_ENABLE, 0 /* ?? */ );
1172         EFAB_SET_DWORD_FIELD ( reg, EF1_DMA_TX_CSR_INT_EN, 0 /* ?? */ );
1173         ef1002_writel ( efab, &reg, EF1_DMA_TX_CSR_REG );
1174         udelay ( 1000 );
1175
1176         /* Disconnect the JTAG chain.  Read-modify-write is impossible
1177          * on the I2C control bits, since reading gives the state of
1178          * the line inputs rather than the last written state.
1179          */
1180         ef1002_readl ( efab, &reg, EF1_EEPROM_REG );
1181         EFAB_SET_DWORD_FIELD ( reg, EF1_EEPROM_SDA, 1 );
1182         EFAB_SET_DWORD_FIELD ( reg, EF1_EEPROM_SCL, 1 );
1183         EFAB_SET_DWORD_FIELD ( reg, EF1_JTAG_DISCONNECT, 1 );
1184         ef1002_writel ( efab, &reg, EF1_EEPROM_REG );
1185         udelay ( 10 );
1186
1187         /* Flush descriptor queues */
1188         EFAB_ZERO_DWORD ( reg );
1189         ef1002_writel ( efab, &reg, EF1_RX_DESC_FIFO_FLUSH );
1190         ef1002_writel ( efab, &reg, EF1_TX_DESC_FIFO_FLUSH );
1191         wmb();
1192         udelay ( 10000 );
1193
1194         /* Reset MAC */
1195         efab->mac_op->reset ( efab );
1196
1197         /* Attach I2C bus */
1198         ef1002_init_eeprom ( efab );
1199
1200         return 1;
1201 }
1202
1203 /**
1204  * Read MAC address from EEPROM
1205  *
1206  */
1207 static int ef1002_read_eeprom ( struct efab_nic *efab ) {
1208         struct i2c_interface *i2c = &efab->ef1002_i2c.i2c;
1209         struct i2c_device *i2cdev = &efab->ef1002_eeprom;
1210
1211         return ( i2c->read ( i2c, i2cdev, EF1_EEPROM_HWADDR_OFFSET,
1212                              efab->mac_addr, sizeof ( efab->mac_addr ) ) == 0);
1213 }
1214
1215 /** RX descriptor */
1216 typedef efab_qword_t ef1002_rx_desc_t;
1217
1218 /**
1219  * Build RX descriptor
1220  *
1221  */
1222 static void ef1002_build_rx_desc ( struct efab_nic *efab,
1223                                    struct efab_rx_buf *rx_buf ) {
1224         ef1002_rx_desc_t rxd;
1225
1226         EFAB_POPULATE_QWORD_3 ( rxd,
1227                                 EF1_RX_KER_EVQ, 0,
1228                                 EF1_RX_KER_IDX, rx_buf->id,
1229                                 EF1_RX_KER_BUF_ADR,
1230                                 virt_to_bus ( rx_buf->addr ) );
1231         ef1002_writel ( efab, &rxd.dword[0], EF1_RX_DESC_FIFO + 0 );
1232         wmb();
1233         ef1002_writel ( efab, &rxd.dword[1], EF1_RX_DESC_FIFO + 4 );
1234         udelay ( 10 );
1235 }
1236
1237 /**
1238  * Update RX descriptor write pointer
1239  *
1240  */
1241 static void ef1002_notify_rx_desc ( struct efab_nic *efab __unused ) {
1242         /* Nothing to do */
1243 }
1244
1245 /** TX descriptor */
1246 typedef efab_oword_t ef1002_tx_desc_t;
1247
1248 /**
1249  * Build TX descriptor
1250  *
1251  */
1252 static void ef1002_build_tx_desc ( struct efab_nic *efab,
1253                                    struct efab_tx_buf *tx_buf ) {
1254         ef1002_tx_desc_t txd;
1255
1256         EFAB_POPULATE_OWORD_7 ( txd,
1257                                 EF1_TX_KER_EVQ, 0,
1258                                 EF1_TX_KER_IDX, tx_buf->id,
1259                                 EF1_TX_KER_MODE, 0 /* IP mode */,
1260                                 EF1_TX_KER_PORT, efab->port,
1261                                 EF1_TX_KER_CONT, 0,
1262                                 EF1_TX_KER_BYTE_CNT, tx_buf->len,
1263                                 EF1_TX_KER_BUF_ADR,
1264                                 virt_to_bus ( tx_buf->addr ) );
1265
1266         ef1002_writel ( efab, &txd.dword[0], EF1_TX_DESC_FIFO + 0 );
1267         ef1002_writel ( efab, &txd.dword[1], EF1_TX_DESC_FIFO + 4 );
1268         wmb();
1269         ef1002_writel ( efab, &txd.dword[2], EF1_TX_DESC_FIFO + 8 );
1270         udelay ( 10 );
1271 }
1272
1273 /**
1274  * Update TX descriptor write pointer
1275  *
1276  */
1277 static void ef1002_notify_tx_desc ( struct efab_nic *efab __unused ) {
1278         /* Nothing to do */
1279 }
1280
1281 /** An event */
1282 typedef efab_qword_t ef1002_event_t;
1283
1284 /**
1285  * Retrieve event from event queue
1286  *
1287  */
1288 static int ef1002_fetch_event ( struct efab_nic *efab,
1289                                 struct efab_event *event ) {
1290         efab_dword_t reg;
1291         int ev_code;
1292         int words;
1293
1294         /* Check event FIFO depth */
1295         ef1002_readl_silent ( efab, &reg, EF1_EVENT_FIFO_COUNT_REG );
1296         words = EFAB_DWORD_FIELD ( reg, EF1_EV_COUNT );
1297         if ( ! words )
1298                 return 0;
1299
1300         /* Read event data */
1301         ef1002_readl ( efab, &reg, EF1_EVENT_FIFO_REG );
1302         DBG ( "Event is " EFAB_DWORD_FMT "\n", EFAB_DWORD_VAL ( reg ) );
1303
1304         /* Decode event */
1305         ev_code = EFAB_DWORD_FIELD ( reg, EF1_EV_CODE );
1306         event->drop = 0;
1307         switch ( ev_code ) {
1308         case EF1_TX_EV_DECODE:
1309                 event->type = EFAB_EV_TX;
1310                 break;
1311         case EF1_RX_EV_DECODE:
1312                 event->type = EFAB_EV_RX;
1313                 event->rx_id = EFAB_DWORD_FIELD ( reg, EF1_RX_EV_IDX );
1314                 /* RX len not available via event FIFO */
1315                 event->rx_len = ETH_FRAME_LEN;
1316                 break;
1317         case EF1_TIMER_EV_DECODE:
1318                 /* These are safe to ignore.  We seem to get some at
1319                  * start of day, presumably due to the timers starting
1320                  * up with random contents.
1321                  */
1322                 event->type = EFAB_EV_NONE;
1323                 break;
1324         default:
1325                 EFAB_ERR ( "Unknown event type %d\n", ev_code );
1326                 event->type = EFAB_EV_NONE;
1327         }
1328
1329         /* Clear any pending interrupts */
1330         ef1002_readl ( efab, &reg, EF1_IRQ_SRC_REG );
1331
1332         return 1;
1333 }
1334
1335 /**
1336  * Enable/disable interrupts
1337  *
1338  */
1339 static void ef1002_mask_irq ( struct efab_nic *efab, int enabled ) {
1340         efab_dword_t irq_mask;
1341
1342         EFAB_POPULATE_DWORD_2 ( irq_mask,
1343                                 EF1_IRQ_SERR, enabled,
1344                                 EF1_IRQ_EVQ, enabled );
1345         ef1002_writel ( efab, &irq_mask, EF1_IRQ_MASK_REG );
1346 }
1347
1348 /**
1349  * Generate interrupt
1350  *
1351  */
1352 static void ef1002_generate_irq ( struct efab_nic *efab ) {
1353         ef1002_event_t test_event;
1354
1355         EFAB_POPULATE_QWORD_1 ( test_event,
1356                                 EF1_EV_CODE, EF1_DRV_GEN_EV_DECODE );
1357         ef1002_writel ( efab, &test_event.dword[0], EF1_EVT3_REG );
1358 }
1359
1360 /**
1361  * Write dword to an EF1002 MAC register
1362  *
1363  */
1364 static void ef1002_mac_writel ( struct efab_nic *efab,
1365                                 efab_dword_t *value, unsigned int mac_reg ) {
1366         ef1002_writel ( efab, value, EF1002_MAC_REG ( efab, mac_reg ) );
1367 }
1368
1369 /**
1370  * Read dword from an EF1002 MAC register
1371  *
1372  */
1373 static void ef1002_mac_readl ( struct efab_nic *efab,
1374                                efab_dword_t *value, unsigned int mac_reg ) {
1375         ef1002_readl ( efab, value, EF1002_MAC_REG ( efab, mac_reg ) );
1376 }
1377
1378 /**
1379  * Initialise MAC
1380  *
1381  */
1382 static int ef1002_init_mac ( struct efab_nic *efab ) {
1383         static struct efab_mentormac_parameters ef1002_mentormac_params = {
1384                 .gmf_cfgfrth = 0x13,
1385                 .gmf_cfgftth = 0x10,
1386                 .gmf_cfghwmft = 0x555,
1387                 .gmf_cfghwm = 0x2a,
1388                 .gmf_cfglwm = 0x15,
1389         };
1390         efab_dword_t reg;
1391         unsigned int mac_clk;
1392
1393         /* Initialise PHY */
1394         alaska_init ( efab );
1395
1396         /* Initialise MAC */
1397         mentormac_init ( efab, &ef1002_mentormac_params );
1398
1399         /* Write Level 5 watermark register */
1400         EFAB_POPULATE_DWORD_1 ( reg, EF1_L5WM, 0x10040000 );
1401         efab->mac_op->mac_writel ( efab, &reg, EF1_GMF_L5WM_REG_MAC );
1402         udelay ( 10 );
1403
1404         /* Set MAC clock speed */
1405         ef1002_readl ( efab, &reg, EF1_GM_MAC_CLK_REG );
1406         mac_clk = ( efab->link_options & LPA_1000 ) ? 0 : 1;
1407         if ( efab->port == 0 ) {
1408                 EFAB_SET_DWORD_FIELD ( reg, EF1_GM_PORT0_MAC_CLK, mac_clk );
1409         } else {
1410                 EFAB_SET_DWORD_FIELD ( reg, EF1_GM_PORT1_MAC_CLK, mac_clk );
1411         }
1412         ef1002_writel ( efab, &reg, EF1_GM_MAC_CLK_REG );
1413         udelay ( 10 );
1414
1415         return 1;
1416 }
1417
1418 /**
1419  * Reset MAC
1420  *
1421  */
1422 static int ef1002_reset_mac ( struct efab_nic *efab ) {
1423         mentormac_reset ( efab );
1424         return 1;
1425 }
1426
1427 /** MDIO write */
1428 static void ef1002_mdio_write ( struct efab_nic *efab, int location,
1429                                 int value ) {
1430         mentormac_mdio_write ( efab, efab->port + 2, location, value );
1431 }
1432
1433 /** MDIO read */
1434 static int ef1002_mdio_read ( struct efab_nic *efab, int location ) {
1435         return mentormac_mdio_read ( efab, efab->port + 2, location );
1436 }
1437
1438 static struct efab_operations ef1002_operations = {
1439         .get_membase            = ef1002_get_membase,
1440         .reset                  = ef1002_reset,
1441         .init_nic               = ef1002_init_nic,
1442         .read_eeprom            = ef1002_read_eeprom,
1443         .build_rx_desc          = ef1002_build_rx_desc,
1444         .notify_rx_desc         = ef1002_notify_rx_desc,
1445         .build_tx_desc          = ef1002_build_tx_desc,
1446         .notify_tx_desc         = ef1002_notify_tx_desc,
1447         .fetch_event            = ef1002_fetch_event,
1448         .mask_irq               = ef1002_mask_irq,
1449         .generate_irq           = ef1002_generate_irq,
1450         .mdio_write             = ef1002_mdio_write,
1451         .mdio_read              = ef1002_mdio_read,
1452 };
1453
1454 static struct efab_mac_operations ef1002_mac_operations = {
1455         .mac_writel             = ef1002_mac_writel,
1456         .mac_readl              = ef1002_mac_readl,
1457         .init                   = ef1002_init_mac,
1458         .reset                  = ef1002_reset_mac,
1459 };
1460         
1461 /**************************************************************************
1462  *
1463  * Falcon routines
1464  *
1465  **************************************************************************
1466  */
1467
1468 /* I/O BAR address register */
1469 #define FCN_IOM_IND_ADR_REG 0x0
1470
1471 /* I/O BAR data register */
1472 #define FCN_IOM_IND_DAT_REG 0x4
1473
1474 /* Interrupt enable register */
1475 #define FCN_INT_EN_REG_KER 0x0010
1476 #define FCN_MEM_PERR_INT_EN_KER_LBN 5
1477 #define FCN_MEM_PERR_INT_EN_KER_WIDTH 1
1478 #define FCN_KER_INT_CHAR_LBN 4
1479 #define FCN_KER_INT_CHAR_WIDTH 1
1480 #define FCN_KER_INT_KER_LBN 3
1481 #define FCN_KER_INT_KER_WIDTH 1
1482 #define FCN_ILL_ADR_ERR_INT_EN_KER_LBN 2
1483 #define FCN_ILL_ADR_ERR_INT_EN_KER_WIDTH 1
1484 #define FCN_SRM_PERR_INT_EN_KER_LBN 1
1485 #define FCN_SRM_PERR_INT_EN_KER_WIDTH 1
1486 #define FCN_DRV_INT_EN_KER_LBN 0
1487 #define FCN_DRV_INT_EN_KER_WIDTH 1
1488
1489 /* Interrupt status register */
1490 #define FCN_INT_ADR_REG_KER     0x0030
1491 #define FCN_INT_ADR_KER_LBN 0
1492 #define FCN_INT_ADR_KER_WIDTH EFAB_DMA_TYPE_WIDTH ( 64 )
1493
1494 /* Interrupt acknowledge register */
1495 #define FCN_INT_ACK_KER_REG 0x0050
1496
1497 /* SPI host command register */
1498 #define FCN_EE_SPI_HCMD_REG_KER 0x0100
1499 #define FCN_EE_SPI_HCMD_CMD_EN_LBN 31
1500 #define FCN_EE_SPI_HCMD_CMD_EN_WIDTH 1
1501 #define FCN_EE_WR_TIMER_ACTIVE_LBN 28
1502 #define FCN_EE_WR_TIMER_ACTIVE_WIDTH 1
1503 #define FCN_EE_SPI_HCMD_SF_SEL_LBN 24
1504 #define FCN_EE_SPI_HCMD_SF_SEL_WIDTH 1
1505 #define FCN_EE_SPI_EEPROM 0
1506 #define FCN_EE_SPI_FLASH 1
1507 #define FCN_EE_SPI_HCMD_DABCNT_LBN 16
1508 #define FCN_EE_SPI_HCMD_DABCNT_WIDTH 5
1509 #define FCN_EE_SPI_HCMD_READ_LBN 15
1510 #define FCN_EE_SPI_HCMD_READ_WIDTH 1
1511 #define FCN_EE_SPI_READ 1
1512 #define FCN_EE_SPI_WRITE 0
1513 #define FCN_EE_SPI_HCMD_DUBCNT_LBN 12
1514 #define FCN_EE_SPI_HCMD_DUBCNT_WIDTH 2
1515 #define FCN_EE_SPI_HCMD_ADBCNT_LBN 8
1516 #define FCN_EE_SPI_HCMD_ADBCNT_WIDTH 2
1517 #define FCN_EE_SPI_HCMD_ENC_LBN 0
1518 #define FCN_EE_SPI_HCMD_ENC_WIDTH 8
1519
1520 /* SPI host address register */
1521 #define FCN_EE_SPI_HADR_REG_KER 0x0110
1522 #define FCN_EE_SPI_HADR_DUBYTE_LBN 24
1523 #define FCN_EE_SPI_HADR_DUBYTE_WIDTH 8
1524 #define FCN_EE_SPI_HADR_ADR_LBN 0
1525 #define FCN_EE_SPI_HADR_ADR_WIDTH 24
1526
1527 /* SPI host data register */
1528 #define FCN_EE_SPI_HDATA_REG_KER 0x0120
1529 #define FCN_EE_SPI_HDATA3_LBN 96
1530 #define FCN_EE_SPI_HDATA3_WIDTH 32
1531 #define FCN_EE_SPI_HDATA2_LBN 64
1532 #define FCN_EE_SPI_HDATA2_WIDTH 32
1533 #define FCN_EE_SPI_HDATA1_LBN 32
1534 #define FCN_EE_SPI_HDATA1_WIDTH 32
1535 #define FCN_EE_SPI_HDATA0_LBN 0
1536 #define FCN_EE_SPI_HDATA0_WIDTH 32
1537
1538 /* NIC status register */
1539 #define FCN_NIC_STAT_REG 0x0200
1540 #define ONCHIP_SRAM_LBN 16
1541 #define ONCHIP_SRAM_WIDTH 1
1542 #define SF_PRST_LBN 9
1543 #define SF_PRST_WIDTH 1
1544 #define EE_PRST_LBN 8
1545 #define EE_PRST_WIDTH 1
1546 #define EE_STRAP_LBN 7
1547 #define EE_STRAP_WIDTH 1
1548 #define PCI_PCIX_MODE_LBN 4
1549 #define PCI_PCIX_MODE_WIDTH 3
1550 #define PCI_PCIX_MODE_PCI33_DECODE 0
1551 #define PCI_PCIX_MODE_PCI66_DECODE 1
1552 #define PCI_PCIX_MODE_PCIX66_DECODE 5
1553 #define PCI_PCIX_MODE_PCIX100_DECODE 6
1554 #define PCI_PCIX_MODE_PCIX133_DECODE 7
1555 #define STRAP_ISCSI_EN_LBN 3
1556 #define STRAP_ISCSI_EN_WIDTH 1
1557 #define STRAP_PINS_LBN 0
1558 #define STRAP_PINS_WIDTH 3
1559 /* These bit definitions are extrapolated from the list of numerical
1560  * values for STRAP_PINS.  If you want a laugh, read the datasheet's
1561  * definition for when bits 2:0 are set to 7.
1562  */
1563 #define STRAP_10G_LBN 2
1564 #define STRAP_10G_WIDTH 1
1565 #define STRAP_DUAL_PORT_LBN 1
1566 #define STRAP_DUAL_PORT_WIDTH 1
1567 #define STRAP_PCIE_LBN 0
1568 #define STRAP_PCIE_WIDTH 1
1569
1570 /* GPIO control register */
1571 #define FCN_GPIO_CTL_REG_KER 0x0210
1572 #define FCN_FLASH_PRESENT_LBN 7
1573 #define FCN_FLASH_PRESENT_WIDTH 1
1574 #define FCN_EEPROM_PRESENT_LBN 6
1575 #define FCN_EEPROM_PRESENT_WIDTH 1
1576
1577 /* Global control register */
1578 #define FCN_GLB_CTL_REG_KER     0x0220
1579 #define EXT_PHY_RST_CTL_LBN 63
1580 #define EXT_PHY_RST_CTL_WIDTH 1
1581 #define PCIE_SD_RST_CTL_LBN 61
1582 #define PCIE_SD_RST_CTL_WIDTH 1
1583 #define PCIX_RST_CTL_LBN 60
1584 #define PCIX_RST_CTL_WIDTH 1
1585 #define PCIE_STCK_RST_CTL_LBN 59
1586 #define PCIE_STCK_RST_CTL_WIDTH 1
1587 #define PCIE_NSTCK_RST_CTL_LBN 58
1588 #define PCIE_NSTCK_RST_CTL_WIDTH 1
1589 #define PCIE_CORE_RST_CTL_LBN 57
1590 #define PCIE_CORE_RST_CTL_WIDTH 1
1591 #define EE_RST_CTL_LBN 49
1592 #define EE_RST_CTL_WIDTH 1
1593 #define CS_RST_CTL_LBN 48
1594 #define CS_RST_CTL_WIDTH 1
1595 #define RST_EXT_PHY_LBN 31
1596 #define RST_EXT_PHY_WIDTH 1
1597 #define INT_RST_DUR_LBN 4
1598 #define INT_RST_DUR_WIDTH 3
1599 #define EXT_PHY_RST_DUR_LBN 1
1600 #define EXT_PHY_RST_DUR_WIDTH 3
1601 #define SWRST_LBN 0
1602 #define SWRST_WIDTH 1
1603 #define INCLUDE_IN_RESET 0
1604 #define EXCLUDE_FROM_RESET 1
1605
1606 /* FPGA build version */
1607 #define ALTERA_BUILD_REG_KER 0x0300
1608 #define VER_MAJOR_LBN 24
1609 #define VER_MAJOR_WIDTH 8
1610 #define VER_MINOR_LBN 16
1611 #define VER_MINOR_WIDTH 8
1612 #define VER_BUILD_LBN 0
1613 #define VER_BUILD_WIDTH 16
1614 #define VER_ALL_LBN 0
1615 #define VER_ALL_WIDTH 32
1616
1617 /* Timer table for kernel access */
1618 #define FCN_TIMER_CMD_REG_KER 0x420
1619 #define FCN_TIMER_MODE_LBN 12
1620 #define FCN_TIMER_MODE_WIDTH 2
1621 #define FCN_TIMER_MODE_DIS 0
1622 #define FCN_TIMER_MODE_INT_HLDOFF 1
1623 #define FCN_TIMER_VAL_LBN 0
1624 #define FCN_TIMER_VAL_WIDTH 12
1625
1626 /* Receive configuration register */
1627 #define FCN_RX_CFG_REG_KER 0x800
1628 #define FCN_RX_XOFF_EN_LBN 0
1629 #define FCN_RX_XOFF_EN_WIDTH 1
1630
1631 /* SRAM receive descriptor cache configuration register */
1632 #define FCN_SRM_RX_DC_CFG_REG_KER 0x610
1633 #define FCN_SRM_RX_DC_BASE_ADR_LBN 0
1634 #define FCN_SRM_RX_DC_BASE_ADR_WIDTH 21
1635
1636 /* SRAM transmit descriptor cache configuration register */
1637 #define FCN_SRM_TX_DC_CFG_REG_KER 0x620
1638 #define FCN_SRM_TX_DC_BASE_ADR_LBN 0
1639 #define FCN_SRM_TX_DC_BASE_ADR_WIDTH 21
1640
1641 /* Receive filter control register */
1642 #define FCN_RX_FILTER_CTL_REG_KER 0x810
1643 #define FCN_NUM_KER_LBN 24
1644 #define FCN_NUM_KER_WIDTH 2
1645
1646 /* Receive descriptor update register */
1647 #define FCN_RX_DESC_UPD_REG_KER 0x0830
1648 #define FCN_RX_DESC_WPTR_LBN 96
1649 #define FCN_RX_DESC_WPTR_WIDTH 12
1650 #define FCN_RX_DESC_UPD_REG_KER_DWORD ( FCN_RX_DESC_UPD_REG_KER + 12 )
1651 #define FCN_RX_DESC_WPTR_DWORD_LBN 0
1652 #define FCN_RX_DESC_WPTR_DWORD_WIDTH 12
1653
1654 /* Receive descriptor cache configuration register */
1655 #define FCN_RX_DC_CFG_REG_KER 0x840
1656 #define FCN_RX_DC_SIZE_LBN 0
1657 #define FCN_RX_DC_SIZE_WIDTH 2
1658
1659 /* Transmit descriptor update register */
1660 #define FCN_TX_DESC_UPD_REG_KER 0x0a10
1661 #define FCN_TX_DESC_WPTR_LBN 96
1662 #define FCN_TX_DESC_WPTR_WIDTH 12
1663 #define FCN_TX_DESC_UPD_REG_KER_DWORD ( FCN_TX_DESC_UPD_REG_KER + 12 )
1664 #define FCN_TX_DESC_WPTR_DWORD_LBN 0
1665 #define FCN_TX_DESC_WPTR_DWORD_WIDTH 12
1666
1667 /* Transmit descriptor cache configuration register */
1668 #define FCN_TX_DC_CFG_REG_KER 0xa20
1669 #define FCN_TX_DC_SIZE_LBN 0
1670 #define FCN_TX_DC_SIZE_WIDTH 2
1671
1672 /* PHY management transmit data register */
1673 #define FCN_MD_TXD_REG_KER 0xc00
1674 #define FCN_MD_TXD_LBN 0
1675 #define FCN_MD_TXD_WIDTH 16
1676
1677 /* PHY management receive data register */
1678 #define FCN_MD_RXD_REG_KER 0xc10
1679 #define FCN_MD_RXD_LBN 0
1680 #define FCN_MD_RXD_WIDTH 16
1681
1682 /* PHY management configuration & status register */
1683 #define FCN_MD_CS_REG_KER 0xc20
1684 #define FCN_MD_GC_LBN 4
1685 #define FCN_MD_GC_WIDTH 1
1686 #define FCN_MD_RIC_LBN 2
1687 #define FCN_MD_RIC_WIDTH 1
1688 #define FCN_MD_WRC_LBN 0
1689 #define FCN_MD_WRC_WIDTH 1
1690
1691 /* PHY management PHY address register */
1692 #define FCN_MD_PHY_ADR_REG_KER 0xc30
1693 #define FCN_MD_PHY_ADR_LBN 0
1694 #define FCN_MD_PHY_ADR_WIDTH 16
1695
1696 /* PHY management ID register */
1697 #define FCN_MD_ID_REG_KER 0xc40
1698 #define FCN_MD_PRT_ADR_LBN 11
1699 #define FCN_MD_PRT_ADR_WIDTH 5
1700 #define FCN_MD_DEV_ADR_LBN 6
1701 #define FCN_MD_DEV_ADR_WIDTH 5
1702
1703 /* PHY management status & mask register */
1704 #define FCN_MD_STAT_REG_KER 0xc50
1705 #define FCN_MD_BSY_LBN 0
1706 #define FCN_MD_BSY_WIDTH 1
1707
1708 /* Port 0 and 1 MAC control registers */
1709 #define FCN_MAC0_CTRL_REG_KER 0xc80
1710 #define FCN_MAC1_CTRL_REG_KER 0xc90
1711 #define FCN_MAC_XOFF_VAL_LBN 16
1712 #define FCN_MAC_XOFF_VAL_WIDTH 16
1713 #define FCN_MAC_BCAD_ACPT_LBN 4
1714 #define FCN_MAC_BCAD_ACPT_WIDTH 1
1715 #define FCN_MAC_UC_PROM_LBN 3
1716 #define FCN_MAC_UC_PROM_WIDTH 1
1717 #define FCN_MAC_LINK_STATUS_LBN 2
1718 #define FCN_MAC_LINK_STATUS_WIDTH 1
1719 #define FCN_MAC_SPEED_LBN 0
1720 #define FCN_MAC_SPEED_WIDTH 2
1721
1722 /* GMAC registers */
1723 #define FALCON_GMAC_REGBANK 0xe00
1724 #define FALCON_GMAC_REGBANK_SIZE 0x200
1725 #define FALCON_GMAC_REG_SIZE 0x10
1726
1727 /* XGMAC registers */
1728 #define FALCON_XMAC_REGBANK 0x1200
1729 #define FALCON_XMAC_REGBANK_SIZE 0x200
1730 #define FALCON_XMAC_REG_SIZE 0x10
1731
1732 /* XGMAC address register low */
1733 #define FCN_XM_ADR_LO_REG_MAC 0x00
1734 #define FCN_XM_ADR_3_LBN 24
1735 #define FCN_XM_ADR_3_WIDTH 8
1736 #define FCN_XM_ADR_2_LBN 16
1737 #define FCN_XM_ADR_2_WIDTH 8
1738 #define FCN_XM_ADR_1_LBN 8
1739 #define FCN_XM_ADR_1_WIDTH 8
1740 #define FCN_XM_ADR_0_LBN 0
1741 #define FCN_XM_ADR_0_WIDTH 8
1742
1743 /* XGMAC address register high */
1744 #define FCN_XM_ADR_HI_REG_MAC 0x01
1745 #define FCN_XM_ADR_5_LBN 8
1746 #define FCN_XM_ADR_5_WIDTH 8
1747 #define FCN_XM_ADR_4_LBN 0
1748 #define FCN_XM_ADR_4_WIDTH 8
1749
1750 /* XGMAC global configuration - port 0*/
1751 #define FCN_XM_GLB_CFG_REG_MAC 0x02
1752 #define FCN_XM_RX_STAT_EN_LBN 11
1753 #define FCN_XM_RX_STAT_EN_WIDTH 1
1754 #define FCN_XM_TX_STAT_EN_LBN 10
1755 #define FCN_XM_TX_STAT_EN_WIDTH 1
1756 #define FCN_XM_RX_JUMBO_MODE_LBN 6
1757 #define FCN_XM_RX_JUMBO_MODE_WIDTH 1
1758 #define FCN_XM_CORE_RST_LBN 0
1759 #define FCN_XM_CORE_RST_WIDTH 1
1760
1761 /* XGMAC transmit configuration - port 0 */
1762 #define FCN_XM_TX_CFG_REG_MAC 0x03
1763 #define FCN_XM_IPG_LBN 16
1764 #define FCN_XM_IPG_WIDTH 4
1765 #define FCN_XM_FCNTL_LBN 10
1766 #define FCN_XM_FCNTL_WIDTH 1
1767 #define FCN_XM_TXCRC_LBN 8
1768 #define FCN_XM_TXCRC_WIDTH 1
1769 #define FCN_XM_AUTO_PAD_LBN 5
1770 #define FCN_XM_AUTO_PAD_WIDTH 1
1771 #define FCN_XM_TX_PRMBL_LBN 2
1772 #define FCN_XM_TX_PRMBL_WIDTH 1
1773 #define FCN_XM_TXEN_LBN 1
1774 #define FCN_XM_TXEN_WIDTH 1
1775
1776 /* XGMAC receive configuration - port 0 */
1777 #define FCN_XM_RX_CFG_REG_MAC 0x04
1778 #define FCN_XM_PASS_CRC_ERR_LBN 25
1779 #define FCN_XM_PASS_CRC_ERR_WIDTH 1
1780 #define FCN_XM_AUTO_DEPAD_LBN 8
1781 #define FCN_XM_AUTO_DEPAD_WIDTH 1
1782 #define FCN_XM_RXEN_LBN 1
1783 #define FCN_XM_RXEN_WIDTH 1
1784
1785 /* XGMAC transmit parameter register */
1786 #define FCN_XM_TX_PARAM_REG_MAC 0x0d
1787 #define FCN_XM_TX_JUMBO_MODE_LBN 31
1788 #define FCN_XM_TX_JUMBO_MODE_WIDTH 1
1789 #define FCN_XM_MAX_TX_FRM_SIZE_LBN 16
1790 #define FCN_XM_MAX_TX_FRM_SIZE_WIDTH 14
1791
1792 /* XGMAC receive parameter register */
1793 #define FCN_XM_RX_PARAM_REG_MAC 0x0e
1794 #define FCN_XM_MAX_RX_FRM_SIZE_LBN 0
1795 #define FCN_XM_MAX_RX_FRM_SIZE_WIDTH 14
1796
1797 /* XAUI XGXS core status register */
1798 #define FCN_XX_ALIGN_DONE_LBN 20
1799 #define FCN_XX_ALIGN_DONE_WIDTH 1
1800 #define FCN_XX_CORE_STAT_REG_MAC 0x16
1801 #define FCN_XX_SYNC_STAT_LBN 16
1802 #define FCN_XX_SYNC_STAT_WIDTH 4
1803 #define FCN_XX_SYNC_STAT_DECODE_SYNCED 0xf
1804 #define FCN_XX_COMMA_DET_LBN 12
1805 #define FCN_XX_COMMA_DET_WIDTH 4
1806 #define FCN_XX_COMMA_DET_RESET 0xf
1807
1808
1809 /* XGXS/XAUI powerdown/reset register */
1810 #define FCN_XX_PWR_RST_REG_MAC 0x10
1811 #define FCN_XX_RSTXGXSRX_EN_LBN 2
1812 #define FCN_XX_RSTXGXSRX_EN_WIDTH 1
1813 #define FCN_XX_RSTXGXSTX_EN_LBN 1
1814 #define FCN_XX_RSTXGXSTX_EN_WIDTH 1
1815 #define FCN_XX_RST_XX_EN_LBN 0
1816 #define FCN_XX_RST_XX_EN_WIDTH 1
1817
1818 /* Receive descriptor pointer table */
1819 #define FCN_RX_DESC_PTR_TBL_KER 0x11800
1820 #define FCN_RX_DESCQ_BUF_BASE_ID_LBN 36
1821 #define FCN_RX_DESCQ_BUF_BASE_ID_WIDTH 20
1822 #define FCN_RX_DESCQ_EVQ_ID_LBN 24
1823 #define FCN_RX_DESCQ_EVQ_ID_WIDTH 12
1824 #define FCN_RX_DESCQ_OWNER_ID_LBN 10
1825 #define FCN_RX_DESCQ_OWNER_ID_WIDTH 14
1826 #define FCN_RX_DESCQ_SIZE_LBN 3
1827 #define FCN_RX_DESCQ_SIZE_WIDTH 2
1828 #define FCN_RX_DESCQ_SIZE_4K 3
1829 #define FCN_RX_DESCQ_SIZE_2K 2
1830 #define FCN_RX_DESCQ_SIZE_1K 1
1831 #define FCN_RX_DESCQ_SIZE_512 0
1832 #define FCN_RX_DESCQ_TYPE_LBN 2
1833 #define FCN_RX_DESCQ_TYPE_WIDTH 1
1834 #define FCN_RX_DESCQ_JUMBO_LBN 1
1835 #define FCN_RX_DESCQ_JUMBO_WIDTH 1
1836 #define FCN_RX_DESCQ_EN_LBN 0
1837 #define FCN_RX_DESCQ_EN_WIDTH 1
1838
1839 /* Transmit descriptor pointer table */
1840 #define FCN_TX_DESC_PTR_TBL_KER 0x11900
1841 #define FCN_TX_DESCQ_EN_LBN 88
1842 #define FCN_TX_DESCQ_EN_WIDTH 1
1843 #define FCN_TX_DESCQ_BUF_BASE_ID_LBN 36
1844 #define FCN_TX_DESCQ_BUF_BASE_ID_WIDTH 20
1845 #define FCN_TX_DESCQ_EVQ_ID_LBN 24
1846 #define FCN_TX_DESCQ_EVQ_ID_WIDTH 12
1847 #define FCN_TX_DESCQ_OWNER_ID_LBN 10
1848 #define FCN_TX_DESCQ_OWNER_ID_WIDTH 14
1849 #define FCN_TX_DESCQ_SIZE_LBN 3
1850 #define FCN_TX_DESCQ_SIZE_WIDTH 2
1851 #define FCN_TX_DESCQ_SIZE_4K 3
1852 #define FCN_TX_DESCQ_SIZE_2K 2
1853 #define FCN_TX_DESCQ_SIZE_1K 1
1854 #define FCN_TX_DESCQ_SIZE_512 0
1855 #define FCN_TX_DESCQ_TYPE_LBN 1
1856 #define FCN_TX_DESCQ_TYPE_WIDTH 2
1857 #define FCN_TX_DESCQ_FLUSH_LBN 0
1858 #define FCN_TX_DESCQ_FLUSH_WIDTH 1
1859
1860 /* Event queue pointer */
1861 #define FCN_EVQ_PTR_TBL_KER 0x11a00
1862 #define FCN_EVQ_EN_LBN 23
1863 #define FCN_EVQ_EN_WIDTH 1
1864 #define FCN_EVQ_SIZE_LBN 20
1865 #define FCN_EVQ_SIZE_WIDTH 3
1866 #define FCN_EVQ_SIZE_32K 6
1867 #define FCN_EVQ_SIZE_16K 5
1868 #define FCN_EVQ_SIZE_8K 4
1869 #define FCN_EVQ_SIZE_4K 3
1870 #define FCN_EVQ_SIZE_2K 2
1871 #define FCN_EVQ_SIZE_1K 1
1872 #define FCN_EVQ_SIZE_512 0
1873 #define FCN_EVQ_BUF_BASE_ID_LBN 0
1874 #define FCN_EVQ_BUF_BASE_ID_WIDTH 20
1875
1876 /* Event queue read pointer */
1877 #define FCN_EVQ_RPTR_REG_KER 0x11b00
1878 #define FCN_EVQ_RPTR_LBN 0
1879 #define FCN_EVQ_RPTR_WIDTH 14
1880 #define FCN_EVQ_RPTR_REG_KER_DWORD ( FCN_EVQ_RPTR_REG_KER + 0 )
1881 #define FCN_EVQ_RPTR_DWORD_LBN 0
1882 #define FCN_EVQ_RPTR_DWORD_WIDTH 14
1883
1884 /* Special buffer descriptors */
1885 #define FCN_BUF_FULL_TBL_KER 0x18000
1886 #define FCN_IP_DAT_BUF_SIZE_LBN 50
1887 #define FCN_IP_DAT_BUF_SIZE_WIDTH 1
1888 #define FCN_IP_DAT_BUF_SIZE_8K 1
1889 #define FCN_IP_DAT_BUF_SIZE_4K 0
1890 #define FCN_BUF_ADR_FBUF_LBN 14
1891 #define FCN_BUF_ADR_FBUF_WIDTH 34
1892 #define FCN_BUF_OWNER_ID_FBUF_LBN 0
1893 #define FCN_BUF_OWNER_ID_FBUF_WIDTH 14
1894
1895 /** Offset of a GMAC register within Falcon */
1896 #define FALCON_GMAC_REG( efab, mac_reg )                                \
1897         ( FALCON_GMAC_REGBANK +                                 \
1898           ( (efab)->port * FALCON_GMAC_REGBANK_SIZE ) +         \
1899           ( (mac_reg) * FALCON_GMAC_REG_SIZE ) )
1900
1901 /** Offset of an XMAC register within Falcon */
1902 #define FALCON_XMAC_REG( efab_port, mac_reg )                   \
1903         ( FALCON_XMAC_REGBANK +                                 \
1904           ( (efab_port)->port * FALCON_XMAC_REGBANK_SIZE ) +    \
1905           ( (mac_reg) * FALCON_XMAC_REG_SIZE ) )
1906
1907 #define FCN_MAC_DATA_LBN 0
1908 #define FCN_MAC_DATA_WIDTH 32
1909
1910 /* Transmit descriptor */
1911 #define FCN_TX_KER_PORT_LBN 63
1912 #define FCN_TX_KER_PORT_WIDTH 1
1913 #define FCN_TX_KER_BYTE_CNT_LBN 48
1914 #define FCN_TX_KER_BYTE_CNT_WIDTH 14
1915 #define FCN_TX_KER_BUF_ADR_LBN 0
1916 #define FCN_TX_KER_BUF_ADR_WIDTH EFAB_DMA_TYPE_WIDTH ( 46 )
1917
1918
1919 /* Receive descriptor */
1920 #define FCN_RX_KER_BUF_SIZE_LBN 48
1921 #define FCN_RX_KER_BUF_SIZE_WIDTH 14
1922 #define FCN_RX_KER_BUF_ADR_LBN 0
1923 #define FCN_RX_KER_BUF_ADR_WIDTH EFAB_DMA_TYPE_WIDTH ( 46 )
1924
1925 /* Event queue entries */
1926 #define FCN_EV_CODE_LBN 60
1927 #define FCN_EV_CODE_WIDTH 4
1928 #define FCN_RX_IP_EV_DECODE 0
1929 #define FCN_TX_IP_EV_DECODE 2
1930 #define FCN_DRIVER_EV_DECODE 5
1931
1932 /* Receive events */
1933 #define FCN_RX_EV_PKT_OK_LBN 56
1934 #define FCN_RX_EV_PKT_OK_WIDTH 1
1935 #define FCN_RX_PORT_LBN 30
1936 #define FCN_RX_PORT_WIDTH 1
1937 #define FCN_RX_EV_BYTE_CNT_LBN 16
1938 #define FCN_RX_EV_BYTE_CNT_WIDTH 14
1939 #define FCN_RX_EV_DESC_PTR_LBN 0
1940 #define FCN_RX_EV_DESC_PTR_WIDTH 12
1941
1942 /* Transmit events */
1943 #define FCN_TX_EV_DESC_PTR_LBN 0
1944 #define FCN_TX_EV_DESC_PTR_WIDTH 12
1945
1946 /* Fixed special buffer numbers to use */
1947 #define FALCON_EVQ_ID 0
1948 #define FALCON_TXD_ID 1
1949 #define FALCON_RXD_ID 2
1950
1951 #if FALCON_USE_IO_BAR
1952
1953 /* Write dword via the I/O BAR */
1954 static inline void _falcon_writel ( struct efab_nic *efab, uint32_t value,
1955                                     unsigned int reg ) {
1956         outl ( reg, efab->iobase + FCN_IOM_IND_ADR_REG );
1957         outl ( value, efab->iobase + FCN_IOM_IND_DAT_REG );
1958 }
1959
1960 /* Read dword via the I/O BAR */
1961 static inline uint32_t _falcon_readl ( struct efab_nic *efab,
1962                                        unsigned int reg ) {
1963         outl ( reg, efab->iobase + FCN_IOM_IND_ADR_REG );
1964         return inl ( efab->iobase + FCN_IOM_IND_DAT_REG );
1965 }
1966
1967 #else /* FALCON_USE_IO_BAR */
1968
1969 #define _falcon_writel( efab, value, reg ) \
1970         writel ( (value), (efab)->membase + (reg) )
1971 #define _falcon_readl( efab, reg ) readl ( (efab)->membase + (reg) )
1972
1973 #endif /* FALCON_USE_IO_BAR */
1974
1975 /**
1976  * Write to a Falcon register
1977  *
1978  */
1979 static inline void falcon_write ( struct efab_nic *efab, efab_oword_t *value,
1980                                   unsigned int reg ) {
1981
1982         EFAB_REGDUMP ( "Writing register %x with " EFAB_OWORD_FMT "\n",
1983                        reg, EFAB_OWORD_VAL ( *value ) );
1984
1985         _falcon_writel ( efab, value->u32[0], reg + 0  );
1986         _falcon_writel ( efab, value->u32[1], reg + 4  );
1987         _falcon_writel ( efab, value->u32[2], reg + 8  );
1988         _falcon_writel ( efab, value->u32[3], reg + 12 );
1989         wmb();
1990 }
1991
1992 /**
1993  * Write to Falcon SRAM
1994  *
1995  */
1996 static inline void falcon_write_sram ( struct efab_nic *efab,
1997                                        efab_qword_t *value,
1998                                        unsigned int index ) {
1999         unsigned int reg = ( FCN_BUF_FULL_TBL_KER +
2000                              ( index * sizeof ( *value ) ) );
2001
2002         EFAB_REGDUMP ( "Writing SRAM register %x with " EFAB_QWORD_FMT "\n",
2003                        reg, EFAB_QWORD_VAL ( *value ) );
2004
2005         _falcon_writel ( efab, value->u32[0], reg + 0  );
2006         _falcon_writel ( efab, value->u32[1], reg + 4  );
2007         wmb();
2008 }
2009
2010 /**
2011  * Write dword to Falcon register that allows partial writes
2012  *
2013  */
2014 static inline void falcon_writel ( struct efab_nic *efab, efab_dword_t *value,
2015                                    unsigned int reg ) {
2016         EFAB_REGDUMP ( "Writing partial register %x with " EFAB_DWORD_FMT "\n",
2017                        reg, EFAB_DWORD_VAL ( *value ) );
2018         _falcon_writel ( efab, value->u32[0], reg );
2019 }
2020
2021 /**
2022  * Read from a Falcon register
2023  *
2024  */
2025 static inline void falcon_read ( struct efab_nic *efab, efab_oword_t *value,
2026                                  unsigned int reg ) {
2027         value->u32[0] = _falcon_readl ( efab, reg + 0  );
2028         value->u32[1] = _falcon_readl ( efab, reg + 4  );
2029         value->u32[2] = _falcon_readl ( efab, reg + 8  );
2030         value->u32[3] = _falcon_readl ( efab, reg + 12 );
2031
2032         EFAB_REGDUMP ( "Read from register %x, got " EFAB_OWORD_FMT "\n",
2033                        reg, EFAB_OWORD_VAL ( *value ) );
2034 }
2035
2036 /** 
2037  * Read from Falcon SRAM
2038  *
2039  */
2040 static inline void falcon_read_sram ( struct efab_nic *efab,
2041                                       efab_qword_t *value,
2042                                       unsigned int index ) {
2043         unsigned int reg = ( FCN_BUF_FULL_TBL_KER +
2044                              ( index * sizeof ( *value ) ) );
2045
2046         value->u32[0] = _falcon_readl ( efab, reg + 0 );
2047         value->u32[1] = _falcon_readl ( efab, reg + 4 );
2048         EFAB_REGDUMP ( "Read from SRAM register %x, got " EFAB_QWORD_FMT "\n",
2049                        reg, EFAB_QWORD_VAL ( *value ) );
2050 }
2051
2052 /**
2053  * Read dword from a portion of a Falcon register
2054  *
2055  */
2056 static inline void falcon_readl ( struct efab_nic *efab, efab_dword_t *value,
2057                                   unsigned int reg ) {
2058         value->u32[0] = _falcon_readl ( efab, reg );
2059         EFAB_REGDUMP ( "Read from register %x, got " EFAB_DWORD_FMT "\n",
2060                        reg, EFAB_DWORD_VAL ( *value ) );
2061 }
2062
2063 /**
2064  * Verified write to Falcon SRAM
2065  *
2066  */
2067 static inline void falcon_write_sram_verify ( struct efab_nic *efab,
2068                                              efab_qword_t *value,
2069                                              unsigned int index ) {
2070         efab_qword_t verify;
2071         
2072         falcon_write_sram ( efab, value, index );
2073         udelay ( 1000 );
2074         falcon_read_sram ( efab, &verify, index );
2075         if ( memcmp ( &verify, value, sizeof ( verify ) ) != 0 ) {
2076                 EFAB_ERR ( "SRAM index %x failure: wrote " EFAB_QWORD_FMT
2077                            " got " EFAB_QWORD_FMT "\n", index,
2078                            EFAB_QWORD_VAL ( *value ),
2079                            EFAB_QWORD_VAL ( verify ) );
2080         }
2081 }
2082
2083 /**
2084  * Get memory base
2085  *
2086  */
2087 static void falcon_get_membase ( struct efab_nic *efab ) {
2088         unsigned long membase_phys;
2089
2090         membase_phys = pci_bar_start ( efab->pci, PCI_BASE_ADDRESS_2 );
2091         efab->membase = ioremap ( membase_phys, 0x20000 );
2092 }
2093
2094 #define FCN_DUMP_REG( efab, _reg ) do {                         \
2095                 efab_oword_t reg;                               \
2096                 falcon_read ( efab, &reg, _reg );               \
2097                 EFAB_LOG ( #_reg " = " EFAB_OWORD_FMT "\n",     \
2098                            EFAB_OWORD_VAL ( reg ) );            \
2099         } while ( 0 );
2100
2101 #define FCN_DUMP_MAC_REG( efab, _mac_reg ) do {                         \
2102                 efab_dword_t reg;                                       \
2103                 efab->mac_op->mac_readl ( efab, &reg, _mac_reg );       \
2104                 EFAB_LOG ( #_mac_reg " = " EFAB_DWORD_FMT "\n",         \
2105                            EFAB_DWORD_VAL ( reg ) );                    \
2106         } while ( 0 );
2107
2108 /**
2109  * Dump register contents (for debugging)
2110  *
2111  * Marked as static inline so that it will not be compiled in if not
2112  * used.
2113  */
2114 static inline void falcon_dump_regs ( struct efab_nic *efab ) {
2115         FCN_DUMP_REG ( efab, FCN_INT_EN_REG_KER );
2116         FCN_DUMP_REG ( efab, FCN_INT_ADR_REG_KER );
2117         FCN_DUMP_REG ( efab, FCN_GLB_CTL_REG_KER );
2118         FCN_DUMP_REG ( efab, FCN_TIMER_CMD_REG_KER );
2119         FCN_DUMP_REG ( efab, FCN_SRM_RX_DC_CFG_REG_KER );
2120         FCN_DUMP_REG ( efab, FCN_SRM_TX_DC_CFG_REG_KER );
2121         FCN_DUMP_REG ( efab, FCN_RX_FILTER_CTL_REG_KER );
2122         FCN_DUMP_REG ( efab, FCN_RX_DC_CFG_REG_KER );
2123         FCN_DUMP_REG ( efab, FCN_TX_DC_CFG_REG_KER );
2124         FCN_DUMP_REG ( efab, FCN_MAC0_CTRL_REG_KER );
2125         FCN_DUMP_REG ( efab, FCN_MAC1_CTRL_REG_KER );
2126         FCN_DUMP_REG ( efab, FCN_RX_DESC_PTR_TBL_KER );
2127         FCN_DUMP_REG ( efab, FCN_TX_DESC_PTR_TBL_KER );
2128         FCN_DUMP_REG ( efab, FCN_EVQ_PTR_TBL_KER );
2129         FCN_DUMP_MAC_REG ( efab, GM_CFG1_REG_MAC );
2130         FCN_DUMP_MAC_REG ( efab, GM_CFG2_REG_MAC );
2131         FCN_DUMP_MAC_REG ( efab, GM_MAX_FLEN_REG_MAC );
2132         FCN_DUMP_MAC_REG ( efab, GM_MII_MGMT_CFG_REG_MAC );
2133         FCN_DUMP_MAC_REG ( efab, GM_ADR1_REG_MAC );
2134         FCN_DUMP_MAC_REG ( efab, GM_ADR2_REG_MAC );
2135         FCN_DUMP_MAC_REG ( efab, GMF_CFG0_REG_MAC );
2136         FCN_DUMP_MAC_REG ( efab, GMF_CFG1_REG_MAC );
2137         FCN_DUMP_MAC_REG ( efab, GMF_CFG2_REG_MAC );
2138         FCN_DUMP_MAC_REG ( efab, GMF_CFG3_REG_MAC );
2139         FCN_DUMP_MAC_REG ( efab, GMF_CFG4_REG_MAC );
2140         FCN_DUMP_MAC_REG ( efab, GMF_CFG5_REG_MAC );
2141 }
2142
2143 /**
2144  * Create special buffer
2145  *
2146  */
2147 static void falcon_create_special_buffer ( struct efab_nic *efab,
2148                                            void *addr, unsigned int index ) {
2149         efab_qword_t buf_desc;
2150         unsigned long dma_addr;
2151
2152         memset ( addr, 0, 4096 );
2153         dma_addr = virt_to_bus ( addr );
2154         EFAB_ASSERT ( ( dma_addr & ( EFAB_BUF_ALIGN - 1 ) ) == 0 );
2155         EFAB_POPULATE_QWORD_3 ( buf_desc,
2156                                 FCN_IP_DAT_BUF_SIZE, FCN_IP_DAT_BUF_SIZE_4K,
2157                                 FCN_BUF_ADR_FBUF, ( dma_addr >> 12 ),
2158                                 FCN_BUF_OWNER_ID_FBUF, 0 );
2159         falcon_write_sram_verify ( efab, &buf_desc, index );
2160 }
2161
2162 /**
2163  * Update event queue read pointer
2164  *
2165  */
2166 static void falcon_eventq_read_ack ( struct efab_nic *efab ) {
2167         efab_dword_t reg;
2168
2169         EFAB_ASSERT ( efab->eventq_read_ptr < EFAB_EVQ_SIZE );
2170
2171         EFAB_POPULATE_DWORD_1 ( reg, FCN_EVQ_RPTR_DWORD,
2172                                 efab->eventq_read_ptr );
2173         falcon_writel ( efab, &reg, FCN_EVQ_RPTR_REG_KER_DWORD );
2174 }
2175
2176 /**
2177  * Reset device
2178  *
2179  */
2180 static int falcon_reset ( struct efab_nic *efab ) {
2181         efab_oword_t glb_ctl_reg_ker;
2182
2183         /* Initiate software reset */
2184         EFAB_POPULATE_OWORD_7 ( glb_ctl_reg_ker,
2185                                 PCIE_CORE_RST_CTL, EXCLUDE_FROM_RESET,
2186                                 PCIE_NSTCK_RST_CTL, EXCLUDE_FROM_RESET,
2187                                 PCIE_SD_RST_CTL, EXCLUDE_FROM_RESET,
2188                                 EE_RST_CTL, EXCLUDE_FROM_RESET,
2189                                 PCIX_RST_CTL, EXCLUDE_FROM_RESET,
2190                                 EXT_PHY_RST_DUR, 0x7 /* datasheet recommended */,
2191                                 SWRST, 1 );
2192
2193         falcon_write ( efab, &glb_ctl_reg_ker, FCN_GLB_CTL_REG_KER );
2194
2195         /* Allow 20ms for reset */
2196         mdelay ( 20 );
2197
2198         /* Check for device reset complete */
2199         falcon_read ( efab, &glb_ctl_reg_ker, FCN_GLB_CTL_REG_KER );
2200         if ( EFAB_OWORD_FIELD ( glb_ctl_reg_ker, SWRST ) != 0 ) {
2201                 EFAB_ERR ( "Reset failed\n" );
2202                 return 0;
2203         }
2204
2205         return 1;
2206 }
2207
2208 /** SPI device */
2209 struct efab_spi_device {
2210         /** Device ID */
2211         unsigned int device_id;
2212         /** Address length (in bytes) */
2213         unsigned int addr_len;
2214         /** Device size */
2215         unsigned int len;
2216 };
2217
2218 #define SPI_WRITE_CMD 0x02
2219 #define SPI_READ_CMD 0x03
2220
2221 /**
2222  * Wait for SPI command completion
2223  *
2224  */
2225 static int falcon_spi_wait ( struct efab_nic *efab ) {
2226         efab_oword_t reg;
2227         int count;
2228
2229         count = 0;
2230         do {
2231                 udelay ( 100 );
2232                 falcon_read ( efab, &reg, FCN_EE_SPI_HCMD_REG_KER );
2233                 if ( EFAB_OWORD_FIELD ( reg, FCN_EE_SPI_HCMD_CMD_EN ) == 0 )
2234                         return 1;
2235         } while ( ++count < 1000 );
2236         printf ( "Timed out waiting for SPI\n" );
2237         return 0;
2238 }
2239
2240 /**
2241  * Perform SPI read
2242  *
2243  */
2244 static int falcon_spi_read ( struct efab_nic *efab,
2245                              struct efab_spi_device *spi, int address,
2246                              void *data, unsigned int len ) {
2247         efab_oword_t reg;
2248
2249         /* Program address register */
2250         EFAB_POPULATE_OWORD_1 ( reg, FCN_EE_SPI_HADR_ADR, address );
2251         falcon_write ( efab, &reg, FCN_EE_SPI_HADR_REG_KER );
2252         
2253         /* Issue read command */
2254         EFAB_POPULATE_OWORD_7 ( reg,
2255                                 FCN_EE_SPI_HCMD_CMD_EN, 1, 
2256                                 FCN_EE_SPI_HCMD_SF_SEL, spi->device_id,
2257                                 FCN_EE_SPI_HCMD_DABCNT, len,
2258                                 FCN_EE_SPI_HCMD_READ, FCN_EE_SPI_READ,
2259                                 FCN_EE_SPI_HCMD_DUBCNT, 0,
2260                                 FCN_EE_SPI_HCMD_ADBCNT, spi->addr_len,
2261                                 FCN_EE_SPI_HCMD_ENC, SPI_READ_CMD );
2262         falcon_write ( efab, &reg, FCN_EE_SPI_HCMD_REG_KER );
2263         
2264         /* Wait for read to complete */
2265         if ( ! falcon_spi_wait ( efab ) )
2266                 return 0;
2267         
2268         /* Read data */
2269         falcon_read ( efab, &reg, FCN_EE_SPI_HDATA_REG_KER );
2270         memcpy ( data, &reg, len );
2271
2272         return 1;
2273 }
2274
2275 /**
2276  * Perform SPI write
2277  *
2278  */
2279 static int falcon_spi_write ( struct efab_nic *efab,
2280                               struct efab_spi_device *spi, int address,
2281                               const void *data, unsigned int len ) {
2282         efab_oword_t reg;
2283
2284         /* Program address register */
2285         EFAB_POPULATE_OWORD_1 ( reg, FCN_EE_SPI_HADR_ADR, address );
2286         falcon_write ( efab, &reg, FCN_EE_SPI_HADR_REG_KER );
2287         
2288         /* Program data register */
2289         memcpy ( &reg, data, len );
2290         falcon_write ( efab, &reg, FCN_EE_SPI_HDATA_REG_KER );
2291
2292         /* Issue write command */
2293         EFAB_POPULATE_OWORD_7 ( reg,
2294                                 FCN_EE_SPI_HCMD_CMD_EN, 1, 
2295                                 FCN_EE_SPI_HCMD_SF_SEL, spi->device_id,
2296                                 FCN_EE_SPI_HCMD_DABCNT, len,
2297                                 FCN_EE_SPI_HCMD_READ, FCN_EE_SPI_WRITE,
2298                                 FCN_EE_SPI_HCMD_DUBCNT, 0,
2299                                 FCN_EE_SPI_HCMD_ADBCNT, spi->addr_len,
2300                                 FCN_EE_SPI_HCMD_ENC, SPI_WRITE_CMD );
2301         falcon_write ( efab, &reg, FCN_EE_SPI_HCMD_REG_KER );
2302         
2303         /* Wait for read to complete */
2304         if ( ! falcon_spi_wait ( efab ) )
2305                 return 0;
2306         
2307         return 1;
2308 }
2309
2310 #define AT25F1024_ADDR_LEN 3
2311 #define AT25040_ADDR_LEN 1
2312 #define MC25XX640_ADDR_LEN 2
2313
2314 /** Falcon Flash SPI device */
2315 static struct efab_spi_device falcon_spi_flash = {
2316         .device_id      = FCN_EE_SPI_FLASH,
2317         .addr_len       = AT25F1024_ADDR_LEN,
2318 };
2319
2320 /** Falcon EEPROM SPI device */
2321 static struct efab_spi_device falcon_spi_large_eeprom = {
2322         .device_id      = FCN_EE_SPI_EEPROM,
2323         .addr_len       = MC25XX640_ADDR_LEN,
2324 };
2325
2326 /** Falcon EEPROM SPI device */
2327 static struct efab_spi_device falcon_spi_small_eeprom = {
2328         .device_id      = FCN_EE_SPI_EEPROM,
2329         .addr_len       = AT25040_ADDR_LEN,
2330 };
2331
2332 /** Offset of MAC address within EEPROM or Flash */
2333 #define FALCON_MAC_ADDRESS_OFFSET(port) ( 0x310 + 0x08 * (port) )
2334
2335 /**
2336  * Read MAC address from EEPROM
2337  *
2338  */
2339 static int falcon_read_eeprom ( struct efab_nic *efab ) {
2340         struct efab_spi_device *spi;
2341
2342         /* Determine the SPI device containing the MAC address */
2343         spi = efab->has_flash ? &falcon_spi_flash : &falcon_spi_large_eeprom;
2344         return falcon_spi_read ( efab, spi,
2345                                  FALCON_MAC_ADDRESS_OFFSET ( efab->port ),
2346                                  efab->mac_addr, sizeof ( efab->mac_addr ) );
2347 }
2348
2349 #define FALCON_NVS_OFFSET 0x000
2350
2351 static int falcon_read_nvs ( struct nvs_device *nvs, unsigned int offset,
2352                              void *data, size_t len ) {
2353         struct efab_nic *efab = container_of ( nvs, struct efab_nic, nvs );
2354         struct efab_spi_device *spi = &falcon_spi_small_eeprom;
2355
2356         while ( len ) {
2357                 if ( ! falcon_spi_read ( efab, spi,
2358                                          ( offset + FALCON_NVS_OFFSET ),
2359                                          data, 16 ) ) {
2360                         return -EIO;
2361                 }
2362                 data += 16;
2363                 offset += 16;
2364                 len -=16;
2365         }
2366         return 0;
2367 }
2368
2369 static int falcon_write_nvs ( struct nvs_device *nvs, unsigned int offset,
2370                               const void *data, size_t len ) {
2371         struct efab_nic *efab = container_of ( nvs, struct efab_nic, nvs );
2372         struct efab_spi_device *spi = &falcon_spi_large_eeprom;
2373
2374         while ( len ) {
2375                 if ( ! falcon_spi_write ( efab, spi,
2376                                          ( offset + FALCON_NVS_OFFSET ),
2377                                          data, 16 ) ) {
2378                         return -EIO;
2379                 }
2380                 data += 16;
2381                 offset += 16;
2382                 len -=16;
2383         }
2384         return 0;
2385 }
2386
2387 static struct nvs_operations falcon_nvs_operations = {
2388         .read = falcon_read_nvs,
2389         .write = falcon_write_nvs,
2390 };
2391
2392 /** RX descriptor */
2393 typedef efab_qword_t falcon_rx_desc_t;
2394
2395 /**
2396  * Build RX descriptor
2397  *
2398  */
2399 static void falcon_build_rx_desc ( struct efab_nic *efab,
2400                                    struct efab_rx_buf *rx_buf ) {
2401         falcon_rx_desc_t *rxd;
2402
2403         rxd = ( ( falcon_rx_desc_t * ) efab->rxd ) + rx_buf->id;
2404         EFAB_POPULATE_QWORD_2 ( *rxd,
2405                                 FCN_RX_KER_BUF_SIZE, EFAB_DATA_BUF_SIZE,
2406                                 FCN_RX_KER_BUF_ADR,
2407                                 virt_to_bus ( rx_buf->addr ) );
2408 }
2409
2410 /**
2411  * Update RX descriptor write pointer
2412  *
2413  */
2414 static void falcon_notify_rx_desc ( struct efab_nic *efab ) {
2415         efab_dword_t reg;
2416
2417         EFAB_POPULATE_DWORD_1 ( reg, FCN_RX_DESC_WPTR_DWORD,
2418                                 efab->rx_write_ptr );
2419         falcon_writel ( efab, &reg, FCN_RX_DESC_UPD_REG_KER_DWORD );
2420 }
2421
2422 /** TX descriptor */
2423 typedef efab_qword_t falcon_tx_desc_t;
2424
2425 /**
2426  * Build TX descriptor
2427  *
2428  */
2429 static void falcon_build_tx_desc ( struct efab_nic *efab,
2430                                    struct efab_tx_buf *tx_buf ) {
2431         falcon_rx_desc_t *txd;
2432
2433         txd = ( ( falcon_rx_desc_t * ) efab->txd ) + tx_buf->id;
2434         EFAB_POPULATE_QWORD_3 ( *txd,
2435                                 FCN_TX_KER_PORT, efab->port,
2436                                 FCN_TX_KER_BYTE_CNT, tx_buf->len,
2437                                 FCN_TX_KER_BUF_ADR,
2438                                 virt_to_bus ( tx_buf->addr ) );
2439 }
2440
2441 /**
2442  * Update TX descriptor write pointer
2443  *
2444  */
2445 static void falcon_notify_tx_desc ( struct efab_nic *efab ) {
2446         efab_dword_t reg;
2447
2448         EFAB_POPULATE_DWORD_1 ( reg, FCN_TX_DESC_WPTR_DWORD,
2449                                 efab->tx_write_ptr );
2450         falcon_writel ( efab, &reg, FCN_TX_DESC_UPD_REG_KER_DWORD );
2451 }
2452
2453 /** An event */
2454 typedef efab_qword_t falcon_event_t;
2455
2456 /**
2457  * See if an event is present
2458  *
2459  * @v event             Falcon event structure
2460  * @ret True            An event is pending
2461  * @ret False           No event is pending
2462  *
2463  * We check both the high and low dword of the event for all ones.  We
2464  * wrote all ones when we cleared the event, and no valid event can
2465  * have all ones in either its high or low dwords.  This approach is
2466  * robust against reordering.
2467  *
2468  * Note that using a single 64-bit comparison is incorrect; even
2469  * though the CPU read will be atomic, the DMA write may not be.
2470  */
2471 static inline int falcon_event_present ( falcon_event_t* event ) {
2472         return ( ! ( EFAB_DWORD_IS_ALL_ONES ( event->dword[0] ) |
2473                      EFAB_DWORD_IS_ALL_ONES ( event->dword[1] ) ) );
2474 }
2475         
2476 /**
2477  * Retrieve event from event queue
2478  *
2479  */
2480 static int falcon_fetch_event ( struct efab_nic *efab,
2481                                 struct efab_event *event ) {
2482         falcon_event_t *evt;
2483         int ev_code;
2484         int rx_port;
2485
2486         /* Check for event */
2487         evt = ( ( falcon_event_t * ) efab->eventq ) + efab->eventq_read_ptr;
2488         if ( !falcon_event_present ( evt ) ) {
2489                 /* No event */
2490                 return 0;
2491         }
2492         
2493         DBG ( "Event is " EFAB_QWORD_FMT "\n", EFAB_QWORD_VAL ( *evt ) );
2494
2495         /* Decode event */
2496         ev_code = EFAB_QWORD_FIELD ( *evt, FCN_EV_CODE );
2497         event->drop = 0;
2498         switch ( ev_code ) {
2499         case FCN_TX_IP_EV_DECODE:
2500                 event->type = EFAB_EV_TX;
2501                 break;
2502         case FCN_RX_IP_EV_DECODE:
2503                 event->type = EFAB_EV_RX;
2504                 event->rx_id = EFAB_QWORD_FIELD ( *evt, FCN_RX_EV_DESC_PTR );
2505                 event->rx_len = EFAB_QWORD_FIELD ( *evt, FCN_RX_EV_BYTE_CNT );
2506                 event->drop = !EFAB_QWORD_FIELD ( *evt, FCN_RX_EV_PKT_OK );
2507                 rx_port = EFAB_QWORD_FIELD ( *evt, FCN_RX_PORT );
2508                 if ( rx_port != efab->port ) {
2509                         /* Ignore packets on the wrong port.  We can't
2510                          * just set event->type = EFAB_EV_NONE,
2511                          * because then the descriptor ring won't get
2512                          * refilled.
2513                          */
2514                         event->rx_len = 0;
2515                 }
2516                 break;
2517         case FCN_DRIVER_EV_DECODE:
2518                 /* Ignore start-of-day events */
2519                 event->type = EFAB_EV_NONE;
2520                 break;
2521         default:
2522                 EFAB_ERR ( "Unknown event type %d data %08lx\n", ev_code,
2523                            EFAB_DWORD_FIELD ( *evt, EFAB_DWORD_0 ) );
2524                 event->type = EFAB_EV_NONE;
2525         }
2526
2527         /* Clear event and any pending interrupts */
2528         EFAB_SET_QWORD ( *evt );
2529         falcon_writel ( efab, 0, FCN_INT_ACK_KER_REG );
2530         udelay ( 10 );
2531
2532         /* Increment and update event queue read pointer */
2533         efab->eventq_read_ptr = ( ( efab->eventq_read_ptr + 1 )
2534                                   % EFAB_EVQ_SIZE );
2535         falcon_eventq_read_ack ( efab );
2536
2537         return 1;
2538 }
2539
2540 /**
2541  * Enable/disable/generate interrupt
2542  *
2543  */
2544 static inline void falcon_interrupts ( struct efab_nic *efab, int enabled,
2545                                        int force ) {
2546         efab_oword_t int_en_reg_ker;
2547
2548         EFAB_POPULATE_OWORD_2 ( int_en_reg_ker,
2549                                 FCN_KER_INT_KER, force,
2550                                 FCN_DRV_INT_EN_KER, enabled );
2551         falcon_write ( efab, &int_en_reg_ker, FCN_INT_EN_REG_KER );     
2552 }
2553
2554 /**
2555  * Enable/disable interrupts
2556  *
2557  */
2558 static void falcon_mask_irq ( struct efab_nic *efab, int enabled ) {
2559         falcon_interrupts ( efab, enabled, 0 );
2560         if ( enabled ) {
2561                 /* Events won't trigger interrupts until we do this */
2562                 falcon_eventq_read_ack ( efab );
2563         }
2564 }
2565
2566 /**
2567  * Generate interrupt
2568  *
2569  */
2570 static void falcon_generate_irq ( struct efab_nic *efab ) {
2571         falcon_interrupts ( efab, 1, 1 );
2572 }
2573
2574
2575 /**
2576  * Reconfigure MAC wrapper
2577  *
2578  */
2579 static void falcon_reconfigure_mac_wrapper ( struct efab_nic *efab ) {
2580         efab_oword_t reg;
2581         int link_speed;
2582
2583         if ( efab->link_options & LPA_10000 ) {
2584                 link_speed = 0x3;
2585         } else if ( efab->link_options & LPA_1000 ) {
2586                 link_speed = 0x2;
2587         } else if ( efab->link_options & LPA_100 ) {
2588                 link_speed = 0x1;
2589         } else {
2590                 link_speed = 0x0;
2591         }
2592         EFAB_POPULATE_OWORD_5 ( reg,
2593                                 FCN_MAC_XOFF_VAL, 0xffff /* datasheet */,
2594                                 FCN_MAC_BCAD_ACPT, 1,
2595                                 FCN_MAC_UC_PROM, 0,
2596                                 FCN_MAC_LINK_STATUS, 1,
2597                                 FCN_MAC_SPEED, link_speed );
2598         falcon_write ( efab, &reg,
2599                        ( efab->port == 0 ?
2600                          FCN_MAC0_CTRL_REG_KER : FCN_MAC1_CTRL_REG_KER ) );
2601
2602         /* Disable flow-control (i.e. never generate pause frames) */
2603         falcon_read ( efab, &reg, FCN_RX_CFG_REG_KER );
2604         EFAB_SET_OWORD_FIELD ( reg, FCN_RX_XOFF_EN, 0 );
2605         falcon_write ( efab, &reg, FCN_RX_CFG_REG_KER );
2606 }
2607
2608 /**
2609  * Write dword to a Falcon MAC register
2610  *
2611  */
2612 static void falcon_gmac_writel ( struct efab_nic *efab,
2613                                  efab_dword_t *value, unsigned int mac_reg ) {
2614         efab_oword_t temp;
2615
2616         EFAB_POPULATE_OWORD_1 ( temp, FCN_MAC_DATA,
2617                                 EFAB_DWORD_FIELD ( *value, FCN_MAC_DATA ) );
2618         falcon_write ( efab, &temp, FALCON_GMAC_REG ( efab, mac_reg ) );
2619 }
2620
2621 /**
2622  * Read dword from a Falcon GMAC register
2623  *
2624  */
2625 static void falcon_gmac_readl ( struct efab_nic *efab, efab_dword_t *value,
2626                                 unsigned int mac_reg ) {
2627         efab_oword_t temp;
2628
2629         falcon_read ( efab, &temp, FALCON_GMAC_REG ( efab, mac_reg ) );
2630         EFAB_POPULATE_DWORD_1 ( *value, FCN_MAC_DATA,
2631                                 EFAB_OWORD_FIELD ( temp, FCN_MAC_DATA ) );
2632 }
2633
2634 /**
2635  * Write dword to a Falcon XMAC register
2636  *
2637  */
2638 static void falcon_xmac_writel ( struct efab_nic *efab,
2639                                  efab_dword_t *value, unsigned int mac_reg ) {
2640         efab_oword_t temp;
2641
2642         EFAB_POPULATE_OWORD_1 ( temp, FCN_MAC_DATA,
2643                                 EFAB_DWORD_FIELD ( *value, FCN_MAC_DATA ) );
2644         falcon_write ( efab, &temp,
2645                        FALCON_XMAC_REG ( efab, mac_reg ) );
2646 }
2647
2648 /**
2649  * Read dword from a Falcon XMAC register
2650  *
2651  */
2652 static void falcon_xmac_readl ( struct efab_nic *efab,
2653                                 efab_dword_t *value,
2654                                 unsigned int mac_reg ) {
2655         efab_oword_t temp;
2656
2657         falcon_read ( efab, &temp,
2658                       FALCON_XMAC_REG ( efab, mac_reg ) );
2659         EFAB_POPULATE_DWORD_1 ( *value, FCN_MAC_DATA,
2660                                 EFAB_OWORD_FIELD ( temp, FCN_MAC_DATA ) );
2661 }
2662
2663 /**
2664  * Initialise GMAC
2665  *
2666  */
2667 static int falcon_init_gmac ( struct efab_nic *efab ) {
2668         static struct efab_mentormac_parameters falcon_mentormac_params = {
2669                 .gmf_cfgfrth = 0x12,
2670                 .gmf_cfgftth = 0x08,
2671                 .gmf_cfghwmft = 0x1c,
2672                 .gmf_cfghwm = 0x3f,
2673                 .gmf_cfglwm = 0xa,
2674         };
2675
2676         /* Initialise PHY */
2677         alaska_init ( efab );
2678
2679         /* check the link is up */
2680         if ( !efab->link_up )
2681                 return 0;
2682
2683         /* Initialise MAC */
2684         mentormac_init ( efab, &falcon_mentormac_params );
2685
2686         /* reconfigure the MAC wrapper */
2687         falcon_reconfigure_mac_wrapper ( efab );
2688
2689         return 1;
2690 }
2691
2692 /**
2693  * Reset GMAC
2694  *
2695  */
2696 static int falcon_reset_gmac ( struct efab_nic *efab ) {
2697         mentormac_reset ( efab );
2698         return 1;
2699 }
2700
2701 /**
2702  * Reset XAUI/XGXS block
2703  *
2704  */
2705 static int falcon_reset_xaui ( struct efab_nic *efab )
2706 {
2707         efab_dword_t reg;
2708         int count;
2709         
2710         EFAB_POPULATE_DWORD_1 ( reg, FCN_XX_RST_XX_EN, 1 );
2711         efab->mac_op->mac_writel ( efab, &reg, FCN_XX_PWR_RST_REG_MAC );
2712
2713         for ( count = 0 ; count < 1000 ; count++ ) {
2714                 udelay ( 10 );
2715                 efab->mac_op->mac_readl ( efab, &reg,
2716                                           FCN_XX_PWR_RST_REG_MAC );
2717                 if ( EFAB_DWORD_FIELD ( reg, FCN_XX_RST_XX_EN ) == 0 )
2718                         return 1;
2719         }
2720         
2721         /* an error of some kind */
2722         return 0;
2723 }
2724
2725 /**
2726  * Reset 10G MAC connected to port
2727  *
2728  */
2729 static int falcon_reset_xmac ( struct efab_nic *efab ) {
2730         efab_dword_t reg;
2731         int count;
2732
2733         EFAB_POPULATE_DWORD_1 ( reg, FCN_XM_CORE_RST, 1 );
2734         efab->mac_op->mac_writel ( efab, &reg, FCN_XM_GLB_CFG_REG_MAC );
2735
2736         for ( count = 0 ; count < 1000 ; count++ ) {
2737                 udelay ( 10 );
2738                 efab->mac_op->mac_readl ( efab, &reg,
2739                                           FCN_XM_GLB_CFG_REG_MAC );
2740                 if ( EFAB_DWORD_FIELD ( reg, FCN_XM_CORE_RST ) == 0 )
2741                         return 1;
2742         }
2743         return 0;
2744 }
2745
2746 /**
2747  * Get status of 10G link
2748  *
2749  */
2750 static int falcon_xaui_link_ok ( struct efab_nic *efab ) {
2751         efab_dword_t reg;
2752         int align_done;
2753         int sync_status;
2754         int link_ok = 0;
2755
2756         /* Read link status */
2757         efab->mac_op->mac_readl ( efab, &reg, FCN_XX_CORE_STAT_REG_MAC );
2758         align_done = EFAB_DWORD_FIELD ( reg, FCN_XX_ALIGN_DONE );
2759         sync_status = EFAB_DWORD_FIELD ( reg, FCN_XX_SYNC_STAT );
2760         if ( align_done && ( sync_status == FCN_XX_SYNC_STAT_DECODE_SYNCED ) ) {
2761                 link_ok = 1;
2762         }
2763
2764         /* Clear link status ready for next read */
2765         EFAB_SET_DWORD_FIELD ( reg, FCN_XX_COMMA_DET, FCN_XX_COMMA_DET_RESET );
2766         efab->mac_op->mac_writel ( efab, &reg, FCN_XX_CORE_STAT_REG_MAC );
2767
2768         return link_ok;
2769 }
2770
2771 /**
2772  * Initialise XMAC
2773  *
2774  */
2775 static int falcon_init_xmac ( struct efab_nic *efab ) {
2776         efab_dword_t reg;
2777         int count;
2778
2779         if ( !falcon_reset_xmac ( efab ) ) {
2780                 EFAB_ERR ( "failed resetting XMAC\n" );
2781                 return 0;
2782         }
2783         if ( !falcon_reset_xaui ( efab ) ) {
2784                 EFAB_ERR ( "failed resetting XAUI\n");
2785                 return 0;
2786         }
2787
2788         /* CX4 is always 10000FD only */
2789         efab->link_options = LPA_10000FULL;
2790         
2791         /* Configure MAC */
2792         EFAB_POPULATE_DWORD_3 ( reg,
2793                                 FCN_XM_RX_JUMBO_MODE, 1,
2794                                 FCN_XM_TX_STAT_EN, 1,
2795                                 FCN_XM_RX_STAT_EN, 1);
2796         efab->mac_op->mac_writel ( efab, &reg, FCN_XM_GLB_CFG_REG_MAC );
2797
2798         /* Configure TX */
2799         EFAB_POPULATE_DWORD_6 ( reg, 
2800                                 FCN_XM_TXEN, 1,
2801                                 FCN_XM_TX_PRMBL, 1,
2802                                 FCN_XM_AUTO_PAD, 1,
2803                                 FCN_XM_TXCRC, 1,
2804                                 FCN_XM_FCNTL, 1,
2805                                 FCN_XM_IPG, 0x3 );
2806         efab->mac_op->mac_writel ( efab, &reg, FCN_XM_TX_CFG_REG_MAC );
2807
2808         /* Configure RX */
2809         EFAB_POPULATE_DWORD_3 ( reg,
2810                                 FCN_XM_RXEN, 1,
2811                                 FCN_XM_AUTO_DEPAD, 1,
2812                                 FCN_XM_PASS_CRC_ERR, 1 );
2813         efab->mac_op->mac_writel ( efab, &reg, FCN_XM_RX_CFG_REG_MAC );
2814
2815         /* Set frame length */
2816         EFAB_POPULATE_DWORD_1 ( reg,
2817                                 FCN_XM_MAX_RX_FRM_SIZE, ETH_FRAME_LEN );
2818         efab->mac_op->mac_writel ( efab, &reg, FCN_XM_RX_PARAM_REG_MAC );
2819         EFAB_POPULATE_DWORD_2 ( reg,
2820                                 FCN_XM_MAX_TX_FRM_SIZE, ETH_FRAME_LEN,
2821                                 FCN_XM_TX_JUMBO_MODE, 1 );
2822         efab->mac_op->mac_writel ( efab, &reg, FCN_XM_TX_PARAM_REG_MAC );
2823
2824         /* Set MAC address */
2825         EFAB_POPULATE_DWORD_4 ( reg,
2826                                 FCN_XM_ADR_0, efab->mac_addr[0],
2827                                 FCN_XM_ADR_1, efab->mac_addr[1],
2828                                 FCN_XM_ADR_2, efab->mac_addr[2],
2829                                 FCN_XM_ADR_3, efab->mac_addr[3] );
2830         efab->mac_op->mac_writel ( efab, &reg, FCN_XM_ADR_LO_REG_MAC );
2831         EFAB_POPULATE_DWORD_2 ( reg,
2832                                 FCN_XM_ADR_4, efab->mac_addr[4],
2833                                 FCN_XM_ADR_5, efab->mac_addr[5] );
2834         efab->mac_op->mac_writel ( efab, &reg, FCN_XM_ADR_HI_REG_MAC );
2835
2836         /* Reconfigure MAC wrapper */
2837         falcon_reconfigure_mac_wrapper ( efab );
2838
2839         /**
2840          * Try resetting XAUI on its own waiting for the link
2841          * to come up
2842          */
2843         for(count=0; count<5; count++) {
2844                 /* Check link status */
2845                 efab->link_up = falcon_xaui_link_ok ( efab );
2846                 if ( efab->link_up ) {
2847                         /**
2848                          * Print out a speed message since we don't have a PHY
2849                          */
2850                         EFAB_LOG ( "%dMbps %s-duplex\n",
2851                                  ( efab->link_options & LPA_10000 ? 1000 :
2852                                    ( efab->link_options & LPA_1000 ? 1000 :
2853                                      ( efab->link_options & LPA_100 ? 100 : 10 ) ) ),
2854                                  ( efab->link_options & LPA_DUPLEX ? "full" : "half" ) );
2855                         break;
2856                 }
2857
2858                 if ( !falcon_reset_xaui ( efab ) ) {
2859                         EFAB_ERR ( "failed resetting xaui\n" );
2860                         return 0;
2861                 }
2862                 udelay(100);
2863         }
2864
2865         return 1;
2866 }
2867
2868 /**
2869  * Wait for GMII access to complete
2870  *
2871  */
2872 static int falcon_gmii_wait ( struct efab_nic *efab ) {
2873         efab_oword_t md_stat;
2874         int count;
2875
2876         for ( count = 0 ; count < 1000 ; count++ ) {
2877                 udelay ( 10 );
2878                 falcon_read ( efab, &md_stat, FCN_MD_STAT_REG_KER );
2879                 if ( EFAB_OWORD_FIELD ( md_stat, FCN_MD_BSY ) == 0 )
2880                         return 1;
2881         }
2882         EFAB_ERR ( "Timed out waiting for GMII\n" );
2883         return 0;
2884 }
2885
2886
2887 static struct efab_mac_operations falcon_xmac_operations = {
2888         .mac_readl              = falcon_xmac_readl,
2889         .mac_writel             = falcon_xmac_writel,
2890         .init                   = falcon_init_xmac,
2891         .reset                  = falcon_reset_xmac,
2892 };
2893
2894 static struct efab_mac_operations falcon_gmac_operations = {
2895         .mac_readl              = falcon_gmac_readl,
2896         .mac_writel             = falcon_gmac_writel,
2897         .init                   = falcon_init_gmac,
2898         .reset                  = falcon_reset_gmac,
2899 };
2900
2901
2902 /**
2903  * Initialise NIC
2904  *
2905  */
2906 static int falcon_init_nic ( struct efab_nic *efab ) {
2907         efab_oword_t reg;
2908         efab_dword_t timer_cmd;
2909         int version, minor;
2910
2911         /* use card in internal SRAM mode */
2912         falcon_read ( efab, &reg, FCN_NIC_STAT_REG );
2913         EFAB_SET_OWORD_FIELD ( reg, ONCHIP_SRAM, 1 );
2914         falcon_write ( efab, &reg, FCN_NIC_STAT_REG );
2915         wmb();
2916
2917         /* identify FPGA/ASIC, and strapping mode */
2918         falcon_read ( efab, &reg, ALTERA_BUILD_REG_KER );
2919         version = EFAB_OWORD_FIELD ( reg, VER_ALL );
2920         efab->is_asic = version ? 0 : 1;
2921         
2922         if ( efab->is_asic ) {
2923                 falcon_read ( efab, &reg, FCN_NIC_STAT_REG );
2924                 if ( EFAB_OWORD_FIELD ( reg, STRAP_10G ) ) {
2925                         efab->is_10g = 1;
2926                 }
2927                 if ( EFAB_OWORD_FIELD ( reg, STRAP_DUAL_PORT ) ) {
2928                         efab->is_dual = 1;
2929                 }
2930         }
2931         else {
2932                 falcon_read ( efab, &reg, ALTERA_BUILD_REG_KER );
2933                 minor = EFAB_OWORD_FIELD ( reg, VER_MINOR );
2934                 
2935                 if ( minor == 0x14 ) {
2936                         efab->is_10g = 1;
2937                 } else if ( minor == 0x13 ) {
2938                         efab->is_dual = 1;
2939                 }
2940         }
2941
2942         EFAB_LOG ( "NIC type: %s %dx%s\n",
2943                    efab->is_asic ? "ASIC" : "FPGA",
2944                    efab->is_dual ? 2 : 1,
2945                    efab->is_10g ? "10G" : "1G" );
2946
2947         /* patch in MAC operations */
2948         if ( efab->is_10g )
2949                 efab->mac_op = &falcon_xmac_operations;
2950         else
2951                 efab->mac_op = &falcon_gmac_operations;
2952         
2953         if ( !efab->is_dual && ( efab->port == 1 ) ) {
2954                 /* device doesn't exist */
2955                 return 0;
2956         }
2957
2958         /* determine EEPROM / FLASH */
2959         if ( efab->is_asic ) {
2960                 falcon_read ( efab, &reg, FCN_NIC_STAT_REG );
2961                 efab->has_flash = EFAB_OWORD_FIELD ( reg, SF_PRST );
2962                 efab->has_eeprom = EFAB_OWORD_FIELD ( reg, EE_PRST );
2963         } else {
2964                 falcon_read ( efab, &reg, FCN_GPIO_CTL_REG_KER );
2965                 efab->has_flash = EFAB_OWORD_FIELD ( reg, FCN_FLASH_PRESENT );
2966                 efab->has_eeprom = EFAB_OWORD_FIELD ( reg, FCN_EEPROM_PRESENT );
2967         }
2968
2969         EFAB_LOG ( "flash is %s, EEPROM is %s\n",
2970                    ( efab->has_flash ? "present" : "absent" ),
2971                    ( efab->has_eeprom ? "present" : "absent" ) );
2972
2973         /* Set up TX and RX descriptor caches in SRAM */
2974         EFAB_POPULATE_OWORD_1 ( reg, FCN_SRM_TX_DC_BASE_ADR,
2975                                 0x130000 /* recommended in datasheet */ );
2976         falcon_write ( efab, &reg, FCN_SRM_TX_DC_CFG_REG_KER );
2977         EFAB_POPULATE_OWORD_1 ( reg, FCN_TX_DC_SIZE, 2 /* 32 descriptors */ );
2978         falcon_write ( efab, &reg, FCN_TX_DC_CFG_REG_KER );
2979         EFAB_POPULATE_OWORD_1 ( reg, FCN_SRM_RX_DC_BASE_ADR,
2980                                 0x100000 /* recommended in datasheet */ );
2981         falcon_write ( efab, &reg, FCN_SRM_RX_DC_CFG_REG_KER );
2982         EFAB_POPULATE_OWORD_1 ( reg, FCN_RX_DC_SIZE, 2 /* 32 descriptors */ );
2983         falcon_write ( efab, &reg, FCN_RX_DC_CFG_REG_KER );
2984         
2985         /* Set number of RSS CPUs */
2986         EFAB_POPULATE_OWORD_1 ( reg, FCN_NUM_KER, 0 );
2987         falcon_write ( efab, &reg, FCN_RX_FILTER_CTL_REG_KER );
2988         udelay ( 1000 );
2989         
2990         /* Reset the MAC */
2991         mentormac_reset ( efab );
2992
2993         /* Set up event queue */
2994         falcon_create_special_buffer ( efab, efab->eventq, FALCON_EVQ_ID );
2995         /* Fill eventq with all ones ( empty events ) */
2996         memset(efab->eventq, 0xff, 4096);
2997         /* push eventq to card */
2998         EFAB_POPULATE_OWORD_3 ( reg,
2999                                 FCN_EVQ_EN, 1,
3000                                 FCN_EVQ_SIZE, FCN_EVQ_SIZE_512,
3001                                 FCN_EVQ_BUF_BASE_ID, FALCON_EVQ_ID );
3002         falcon_write ( efab, &reg, FCN_EVQ_PTR_TBL_KER );
3003         udelay ( 1000 );
3004
3005         /* Set timer register */
3006         EFAB_POPULATE_DWORD_2 ( timer_cmd,
3007                                 FCN_TIMER_MODE, FCN_TIMER_MODE_DIS,
3008                                 FCN_TIMER_VAL, 0 );
3009         falcon_writel ( efab, &timer_cmd, FCN_TIMER_CMD_REG_KER );
3010         udelay ( 1000 );
3011
3012         /* Initialise event queue read pointer */
3013         falcon_eventq_read_ack ( efab );
3014         
3015         /* Set up TX descriptor ring */
3016         falcon_create_special_buffer ( efab, efab->txd, FALCON_TXD_ID );
3017         EFAB_POPULATE_OWORD_5 ( reg,
3018                                 FCN_TX_DESCQ_EN, 1,
3019                                 FCN_TX_DESCQ_BUF_BASE_ID, FALCON_TXD_ID,
3020                                 FCN_TX_DESCQ_EVQ_ID, 0,
3021                                 FCN_TX_DESCQ_SIZE, FCN_TX_DESCQ_SIZE_512,
3022                                 FCN_TX_DESCQ_TYPE, 0 /* kernel queue */ );
3023         falcon_write ( efab, &reg, FCN_TX_DESC_PTR_TBL_KER );
3024
3025         /* Set up RX descriptor ring */
3026         falcon_create_special_buffer ( efab, efab->rxd, FALCON_RXD_ID );
3027         EFAB_POPULATE_OWORD_6 ( reg,
3028                                 FCN_RX_DESCQ_BUF_BASE_ID, FALCON_RXD_ID,
3029                                 FCN_RX_DESCQ_EVQ_ID, 0,
3030                                 FCN_RX_DESCQ_SIZE, FCN_RX_DESCQ_SIZE_512,
3031                                 FCN_RX_DESCQ_TYPE, 0 /* kernel queue */,
3032                                 FCN_RX_DESCQ_JUMBO, 1,
3033                                 FCN_RX_DESCQ_EN, 1 );
3034         falcon_write ( efab, &reg, FCN_RX_DESC_PTR_TBL_KER );
3035
3036         /* Program INT_ADR_REG_KER */
3037         EFAB_POPULATE_OWORD_1 ( reg,
3038                                 FCN_INT_ADR_KER,
3039                                 virt_to_bus ( &efab->int_ker ) );
3040         falcon_write ( efab, &reg, FCN_INT_ADR_REG_KER );
3041         udelay ( 1000 );
3042
3043         /* Register non-volatile storage */
3044         if ( efab->has_eeprom ) {
3045                 efab->nvs.op = &falcon_nvs_operations;
3046                 efab->nvs.len = 0x100;
3047                 if ( nvs_register ( &efab->nvs ) != 0 )
3048                         return 0;
3049         }
3050
3051         return 1;
3052 }
3053
3054 /** MDIO write */
3055 static void falcon_mdio_write ( struct efab_nic *efab, int location,
3056                                 int value ) {
3057         int phy_id = efab->port + 2;
3058         efab_oword_t reg;
3059
3060         EFAB_TRACE ( "Writing GMII %d register %02x with %04x\n",
3061                      phy_id, location, value );
3062
3063         /* Check MII not currently being accessed */
3064         if ( ! falcon_gmii_wait ( efab ) )
3065                 return;
3066
3067         /* Write the address registers */
3068         EFAB_POPULATE_OWORD_1 ( reg, FCN_MD_PHY_ADR, 0 /* phy_id ? */ );
3069         falcon_write ( efab, &reg, FCN_MD_PHY_ADR_REG_KER );
3070         udelay ( 10 );
3071         EFAB_POPULATE_OWORD_2 ( reg,
3072                                 FCN_MD_PRT_ADR, phy_id,
3073                                 FCN_MD_DEV_ADR, location );
3074         falcon_write ( efab, &reg, FCN_MD_ID_REG_KER );
3075         udelay ( 10 );
3076
3077         /* Write data */
3078         EFAB_POPULATE_OWORD_1 ( reg, FCN_MD_TXD, value );
3079         falcon_write ( efab, &reg, FCN_MD_TXD_REG_KER );
3080         udelay ( 10 );
3081         EFAB_POPULATE_OWORD_2 ( reg,
3082                                 FCN_MD_WRC, 1,
3083                                 FCN_MD_GC, 1 );
3084         falcon_write ( efab, &reg, FCN_MD_CS_REG_KER );
3085         udelay ( 10 );
3086         
3087         /* Wait for data to be written */
3088         falcon_gmii_wait ( efab );
3089 }
3090
3091 /** MDIO read */
3092 static int falcon_mdio_read ( struct efab_nic *efab, int location ) {
3093         int phy_id = efab->port + 2;
3094         efab_oword_t reg;
3095         int value;
3096
3097         /* Check MII not currently being accessed */
3098         if ( ! falcon_gmii_wait ( efab ) )
3099                 return 0xffff;
3100
3101         /* Write the address registers */
3102         EFAB_POPULATE_OWORD_1 ( reg, FCN_MD_PHY_ADR, 0 /* phy_id ? */ );
3103         falcon_write ( efab, &reg, FCN_MD_PHY_ADR_REG_KER );
3104         udelay ( 10 );
3105         EFAB_POPULATE_OWORD_2 ( reg,
3106                                 FCN_MD_PRT_ADR, phy_id,
3107                                 FCN_MD_DEV_ADR, location );
3108         falcon_write ( efab, &reg, FCN_MD_ID_REG_KER );
3109         udelay ( 10 );
3110
3111         /* Request data to be read */
3112         EFAB_POPULATE_OWORD_2 ( reg,
3113                                 FCN_MD_RIC, 1,
3114                                 FCN_MD_GC, 1 );
3115         falcon_write ( efab, &reg, FCN_MD_CS_REG_KER );
3116         udelay ( 10 );
3117         
3118         /* Wait for data to become available */
3119         falcon_gmii_wait ( efab );
3120
3121         /* Read the data */
3122         falcon_read ( efab, &reg, FCN_MD_RXD_REG_KER );
3123         value = EFAB_OWORD_FIELD ( reg, FCN_MD_RXD );
3124
3125         EFAB_TRACE ( "Read from GMII %d register %02x, got %04x\n",
3126                      phy_id, location, value );
3127
3128         return value;
3129 }
3130
3131 static struct efab_operations falcon_operations = {
3132         .get_membase            = falcon_get_membase,
3133         .reset                  = falcon_reset,
3134         .init_nic               = falcon_init_nic,
3135         .read_eeprom            = falcon_read_eeprom,
3136         .build_rx_desc          = falcon_build_rx_desc,
3137         .notify_rx_desc         = falcon_notify_rx_desc,
3138         .build_tx_desc          = falcon_build_tx_desc,
3139         .notify_tx_desc         = falcon_notify_tx_desc,
3140         .fetch_event            = falcon_fetch_event,
3141         .mask_irq               = falcon_mask_irq,
3142         .generate_irq           = falcon_generate_irq,
3143         .mdio_write             = falcon_mdio_write,
3144         .mdio_read              = falcon_mdio_read,
3145 };
3146
3147 /**************************************************************************
3148  *
3149  * Etherfabric abstraction layer
3150  *
3151  **************************************************************************
3152  */
3153
3154 /**
3155  * Push RX buffer to RXD ring
3156  *
3157  */
3158 static inline void efab_push_rx_buffer ( struct efab_nic *efab,
3159                                          struct efab_rx_buf *rx_buf ) {
3160         /* Create RX descriptor */
3161         rx_buf->id = efab->rx_write_ptr;
3162         efab->op->build_rx_desc ( efab, rx_buf );
3163
3164         /* Update RX write pointer */
3165         efab->rx_write_ptr = ( efab->rx_write_ptr + 1 ) % EFAB_RXD_SIZE;
3166         efab->op->notify_rx_desc ( efab );
3167
3168         DBG ( "Added RX id %x\n", rx_buf->id );
3169 }
3170
3171 /**
3172  * Push TX buffer to TXD ring
3173  *
3174  */
3175 static inline void efab_push_tx_buffer ( struct efab_nic *efab,
3176                                          struct efab_tx_buf *tx_buf ) {
3177         /* Create TX descriptor */
3178         tx_buf->id = efab->tx_write_ptr;
3179         efab->op->build_tx_desc ( efab, tx_buf );
3180
3181         /* Update TX write pointer */
3182         efab->tx_write_ptr = ( efab->tx_write_ptr + 1 ) % EFAB_TXD_SIZE;
3183         efab->op->notify_tx_desc ( efab );
3184
3185         DBG ( "Added TX id %x\n", tx_buf->id );
3186 }
3187
3188 /**
3189  * Initialise MAC and wait for link up
3190  *
3191  */
3192 static int efab_init_mac ( struct efab_nic *efab ) {
3193         int count;
3194
3195         /* This can take several seconds */
3196         EFAB_LOG ( "Waiting for link.." );
3197         for ( count=0; count<5; count++ ) {
3198                 putchar ( '.' );
3199
3200                 if ( ! efab->mac_op->init ( efab ) ) {
3201                         EFAB_ERR ( "Failed reinitialising MAC\n" );
3202                         return 0;
3203                 }
3204                 if ( efab->link_up ) {
3205                         /* PHY init printed the message for us */
3206                         return 1;
3207                 }
3208                 EFAB_ERR( "link is down" );
3209                 sleep ( 1 );
3210         }
3211         EFAB_ERR ( " timed initialising MAC\n " );
3212
3213         return 0;
3214 }
3215
3216 /**
3217  * Initialise NIC
3218  *
3219  */
3220 static int efab_init_nic ( struct efab_nic *efab ) {
3221         int i;
3222
3223         /* Initialise NIC */
3224         if ( ! efab->op->init_nic ( efab ) )
3225                 return 0;
3226
3227         /* Push RX descriptors */
3228         for ( i = 0 ; i < EFAB_RX_BUFS ; i++ ) {
3229                 efab_push_rx_buffer ( efab, &efab->rx_bufs[i] );
3230         }
3231
3232         /* Read MAC address from EEPROM */
3233         if ( ! efab->op->read_eeprom ( efab ) )
3234                 return 0;
3235         efab->mac_addr[ETH_ALEN-1] += efab->port;
3236
3237         /* Initialise MAC and wait for link up */
3238         if ( ! efab_init_mac ( efab ) )
3239                 return 0;
3240
3241         return 1;
3242 }
3243
3244 /**************************************************************************
3245  *
3246  * Etherboot interface
3247  *
3248  **************************************************************************
3249  */
3250
3251 /**************************************************************************
3252 POLL - Wait for a frame
3253 ***************************************************************************/
3254 static int etherfabric_poll ( struct nic *nic, int retrieve ) {
3255         struct efab_nic *efab = nic->priv_data;
3256         struct efab_event event;
3257         static struct efab_rx_buf *rx_buf = NULL;
3258         int i, drop = 0;
3259
3260         /* Process the event queue until we hit either a packet
3261          * received event or an empty event slot.
3262          */
3263         while ( ( rx_buf == NULL ) &&
3264                 efab->op->fetch_event ( efab, &event ) ) {
3265                 drop = event.drop;
3266                 if ( event.type == EFAB_EV_TX ) {
3267                         /* TX completed - mark as done */
3268                         DBG ( "TX id %x complete\n",
3269                               efab->tx_buf.id );
3270                 } else if ( event.type == EFAB_EV_RX ) {
3271                         /* RX - find corresponding buffer */
3272                         for ( i = 0 ; i < EFAB_RX_BUFS ; i++ ) {
3273                                 if ( efab->rx_bufs[i].id == event.rx_id ) {
3274                                         rx_buf = &efab->rx_bufs[i];
3275                                         rx_buf->len = event.rx_len;
3276                                         DBG ( "RX id %x (len %x) received\n",
3277                                               rx_buf->id, rx_buf->len );
3278                                         break;
3279                                 }
3280                         }
3281                         if ( ! rx_buf ) {
3282                                 EFAB_ERR ( "Invalid RX ID %x\n", event.rx_id );
3283                         }
3284                 } else if ( event.type == EFAB_EV_NONE ) {
3285                         DBG ( "Ignorable event\n" );
3286                 } else {
3287                         DBG ( "Unknown event\n" );
3288                 }
3289         }
3290
3291         /* If there is no packet, return 0 */
3292         if ( ! rx_buf )
3293                 return 0;
3294
3295         /* drop this event if necessary */
3296         if ( drop ) {
3297                 DBG( "discarding  RX event\n" );
3298                 return 0;
3299         }
3300
3301         /* If we don't want to retrieve it just yet, return 1 */
3302         if ( ! retrieve )
3303                 return 1;
3304
3305         /* There seems to be a hardware race.  The event can show up
3306          * on the event FIFO before the DMA has completed, so we
3307          * insert a tiny delay.  If this proves unreliable, we should
3308          * switch to using event DMA rather than the event FIFO, since
3309          * event DMA ordering is guaranteed.
3310          */
3311         udelay ( 2 );
3312
3313         /* Copy packet contents */
3314         nic->packetlen = rx_buf->len;
3315         memcpy ( nic->packet, rx_buf->addr, nic->packetlen );
3316
3317         /* Give this buffer back to the NIC */
3318         efab_push_rx_buffer ( efab, rx_buf );
3319
3320         /* Prepare to receive next packet */
3321         rx_buf = NULL;
3322
3323         return 1;
3324 }
3325
3326 /**************************************************************************
3327 TRANSMIT - Transmit a frame
3328 ***************************************************************************/
3329 static void etherfabric_transmit ( struct nic *nic, const char *dest,
3330                                    unsigned int type, unsigned int size,
3331                                    const char *data ) {
3332         struct efab_nic *efab = nic->priv_data;
3333         unsigned int nstype = htons ( type );
3334
3335         /* Fill TX buffer, pad to ETH_ZLEN */
3336         memcpy ( efab->tx_buf.addr, dest, ETH_ALEN );
3337         memcpy ( efab->tx_buf.addr + ETH_ALEN, nic->node_addr, ETH_ALEN );
3338         memcpy ( efab->tx_buf.addr + 2 * ETH_ALEN, &nstype, 2 );
3339         memcpy ( efab->tx_buf.addr + ETH_HLEN, data, size );
3340         size += ETH_HLEN;
3341         while ( size < ETH_ZLEN ) {
3342                 efab->tx_buf.addr[size++] = '\0';
3343         }
3344         efab->tx_buf.len = size;
3345
3346         /* Push TX descriptor */
3347         efab_push_tx_buffer ( efab, &efab->tx_buf );
3348
3349         /* Allow enough time for the packet to be transmitted.  This
3350          * is a temporary hack until we update to the new driver API.
3351          */
3352         udelay ( 20 );
3353
3354         return;
3355 }
3356
3357 /**************************************************************************
3358 DISABLE - Turn off ethernet interface
3359 ***************************************************************************/
3360 static void etherfabric_disable ( struct nic *nic ) {
3361         struct efab_nic *efab = nic->priv_data;
3362
3363         efab->op->reset ( efab );
3364         if ( efab->membase )
3365                 iounmap ( efab->membase );
3366 }
3367
3368 /**************************************************************************
3369 IRQ - handle interrupts
3370 ***************************************************************************/
3371 static void etherfabric_irq ( struct nic *nic, irq_action_t action ) {
3372         struct efab_nic *efab = nic->priv_data;
3373        
3374         switch ( action ) {
3375         case DISABLE :
3376                 efab->op->mask_irq ( efab, 1 );
3377                 break;
3378         case ENABLE :
3379                 efab->op->mask_irq ( efab, 0 );
3380                 break;
3381         case FORCE :
3382                 /* Force NIC to generate a receive interrupt */
3383                 efab->op->generate_irq ( efab );
3384                 break;
3385         }
3386         
3387         return;
3388 }
3389
3390 static struct nic_operations etherfabric_operations = {
3391         .connect        = dummy_connect,
3392         .poll           = etherfabric_poll,
3393         .transmit       = etherfabric_transmit,
3394         .irq            = etherfabric_irq,
3395 };
3396
3397 /**************************************************************************
3398 PROBE - Look for an adapter, this routine's visible to the outside
3399 ***************************************************************************/
3400 static int etherfabric_probe ( struct nic *nic, struct pci_device *pci ) {
3401         static struct efab_nic efab;
3402         static int nic_port = 0;
3403         struct efab_buffers *buffers;
3404         int i;
3405
3406         /* Set up our private data structure */
3407         nic->priv_data = &efab;
3408         memset ( &efab, 0, sizeof ( efab ) );
3409         memset ( &efab_buffers, 0, sizeof ( efab_buffers ) );
3410
3411         /* Hook in appropriate operations table.  Do this early. */
3412         if ( pci->device == EF1002_DEVID ) {
3413                 efab.op = &ef1002_operations;
3414         } else {
3415                 efab.op = &falcon_operations;
3416         }
3417
3418         /* Initialise efab data structure */
3419         efab.pci = pci;
3420         buffers = ( ( struct efab_buffers * )
3421                     ( ( ( void * ) &efab_buffers ) +
3422                       ( - virt_to_bus ( &efab_buffers ) ) % EFAB_BUF_ALIGN ) );
3423         efab.eventq = buffers->eventq;
3424         efab.txd = buffers->txd;
3425         efab.rxd = buffers->rxd;
3426         efab.tx_buf.addr = buffers->tx_buf;
3427         for ( i = 0 ; i < EFAB_RX_BUFS ; i++ ) {
3428                 efab.rx_bufs[i].addr = buffers->rx_buf[i];
3429         }
3430
3431         /* Enable the PCI device */
3432         adjust_pci_device ( pci );
3433         nic->ioaddr = pci->ioaddr & ~3;
3434         nic->irqno = pci->irq;
3435
3436         /* Get iobase/membase */
3437         efab.iobase = nic->ioaddr;
3438         efab.op->get_membase ( &efab );
3439
3440         /* Switch NIC ports (i.e. try different ports on each probe) */
3441         nic_port = 1 - nic_port;
3442         efab.port = nic_port;
3443
3444         /* Initialise hardware */
3445         if ( ! efab_init_nic ( &efab ) )
3446                 return 0;
3447         memcpy ( nic->node_addr, efab.mac_addr, ETH_ALEN );
3448
3449         /* point to NIC specific routines */
3450         nic->nic_op = &etherfabric_operations;
3451
3452         return 1;
3453 }
3454
3455 static struct pci_device_id etherfabric_nics[] = {
3456 PCI_ROM(0x1924, 0xC101, "ef1002", "EtherFabric EF1002"),
3457 PCI_ROM(0x1924, 0x0703, "falcon", "EtherFabric Falcon"),
3458 };
3459
3460 PCI_DRIVER ( etherfabric_driver, etherfabric_nics, PCI_NO_CLASS );
3461
3462 DRIVER ( "EFAB", nic_driver, pci_driver, etherfabric_driver,
3463          etherfabric_probe, etherfabric_disable );
3464
3465 /*
3466  * Local variables:
3467  *  c-basic-offset: 8
3468  *  c-indent-level: 8
3469  *  tab-width: 8
3470  * End:
3471  */