[int13] Improve debugging messages
[people/lynusvaz/gpxe.git] / src / arch / i386 / interface / pcbios / int13.c
1 /*
2  * Copyright (C) 2006 Michael Brown <mbrown@fensystems.co.uk>.
3  *
4  * This program is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU General Public License as
6  * published by the Free Software Foundation; either version 2 of the
7  * License, or any later version.
8  *
9  * This program is distributed in the hope that it will be useful, but
10  * WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * General Public License for more details.
13  *
14  * You should have received a copy of the GNU General Public License
15  * along with this program; if not, write to the Free Software
16  * Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
17  */
18
19 #include <stdint.h>
20 #include <limits.h>
21 #include <byteswap.h>
22 #include <errno.h>
23 #include <assert.h>
24 #include <gpxe/list.h>
25 #include <gpxe/blockdev.h>
26 #include <gpxe/memmap.h>
27 #include <realmode.h>
28 #include <bios.h>
29 #include <biosint.h>
30 #include <bootsector.h>
31 #include <int13.h>
32
33 /** @file
34  *
35  * INT 13 emulation
36  *
37  * This module provides a mechanism for exporting block devices via
38  * the BIOS INT 13 disk interrupt interface.  
39  *
40  */
41
42 /** Vector for chaining to other INT 13 handlers */
43 static struct segoff __text16 ( int13_vector );
44 #define int13_vector __use_text16 ( int13_vector )
45
46 /** Assembly wrapper */
47 extern void int13_wrapper ( void );
48
49 /** List of registered emulated drives */
50 static LIST_HEAD ( drives );
51
52 /**
53  * INT 13, 00 - Reset disk system
54  *
55  * @v drive             Emulated drive
56  * @ret status          Status code
57  */
58 static int int13_reset ( struct int13_drive *drive __unused,
59                          struct i386_all_regs *ix86 __unused ) {
60         DBG ( "Reset drive\n" );
61         return 0;
62 }
63
64 /**
65  * INT 13, 01 - Get status of last operation
66  *
67  * @v drive             Emulated drive
68  * @ret status          Status code
69  */
70 static int int13_get_last_status ( struct int13_drive *drive,
71                                    struct i386_all_regs *ix86 __unused ) {
72         DBG ( "Get status of last operation\n" );
73         return drive->last_status;
74 }
75
76 /**
77  * Read / write sectors
78  *
79  * @v drive             Emulated drive
80  * @v al                Number of sectors to read or write (must be nonzero)
81  * @v ch                Low bits of cylinder number
82  * @v cl (bits 7:6)     High bits of cylinder number
83  * @v cl (bits 5:0)     Sector number
84  * @v dh                Head number
85  * @v es:bx             Data buffer
86  * @v io                Read / write method
87  * @ret status          Status code
88  * @ret al              Number of sectors read or written
89  */
90 static int int13_rw_sectors ( struct int13_drive *drive,
91                               struct i386_all_regs *ix86,
92                               int ( * io ) ( struct block_device *blockdev,
93                                              uint64_t block,
94                                              unsigned long count,
95                                              userptr_t buffer ) ) {
96         struct block_device *blockdev = drive->blockdev;
97         unsigned int cylinder, head, sector;
98         unsigned long lba;
99         unsigned int count;
100         userptr_t buffer;
101         int rc;
102
103         /* Validate blocksize */
104         if ( blockdev->blksize != INT13_BLKSIZE ) {
105                 DBG ( "Invalid blocksize (%zd) for non-extended read/write\n",
106                       blockdev->blksize );
107                 return -INT13_STATUS_INVALID;
108         }
109         
110         /* Calculate parameters */
111         cylinder = ( ( ( ix86->regs.cl & 0xc0 ) << 2 ) | ix86->regs.ch );
112         assert ( cylinder < drive->cylinders );
113         head = ix86->regs.dh;
114         assert ( head < drive->heads );
115         sector = ( ix86->regs.cl & 0x3f );
116         assert ( ( sector >= 1 ) && ( sector <= drive->sectors_per_track ) );
117         lba = ( ( ( ( cylinder * drive->heads ) + head )
118                   * drive->sectors_per_track ) + sector - 1 );
119         count = ix86->regs.al;
120         buffer = real_to_user ( ix86->segs.es, ix86->regs.bx );
121
122         DBG ( "C/H/S %d/%d/%d = LBA %#lx <-> %04x:%04x (count %d)\n", cylinder,
123               head, sector, lba, ix86->segs.es, ix86->regs.bx, count );
124
125         /* Read from / write to block device */
126         if ( ( rc = io ( blockdev, lba, count, buffer ) ) != 0 ) {
127                 DBG ( "INT 13 failed: %s\n", strerror ( rc ) );
128                 return -INT13_STATUS_READ_ERROR;
129         }
130
131         return 0;
132 }
133
134 /**
135  * INT 13, 02 - Read sectors
136  *
137  * @v drive             Emulated drive
138  * @v al                Number of sectors to read (must be nonzero)
139  * @v ch                Low bits of cylinder number
140  * @v cl (bits 7:6)     High bits of cylinder number
141  * @v cl (bits 5:0)     Sector number
142  * @v dh                Head number
143  * @v es:bx             Data buffer
144  * @ret status          Status code
145  * @ret al              Number of sectors read
146  */
147 static int int13_read_sectors ( struct int13_drive *drive,
148                                 struct i386_all_regs *ix86 ) {
149         DBG ( "Read: " );
150         return int13_rw_sectors ( drive, ix86, drive->blockdev->op->read );
151 }
152
153 /**
154  * INT 13, 03 - Write sectors
155  *
156  * @v drive             Emulated drive
157  * @v al                Number of sectors to write (must be nonzero)
158  * @v ch                Low bits of cylinder number
159  * @v cl (bits 7:6)     High bits of cylinder number
160  * @v cl (bits 5:0)     Sector number
161  * @v dh                Head number
162  * @v es:bx             Data buffer
163  * @ret status          Status code
164  * @ret al              Number of sectors written
165  */
166 static int int13_write_sectors ( struct int13_drive *drive,
167                                  struct i386_all_regs *ix86 ) {
168         DBG ( "Write: " );
169         return int13_rw_sectors ( drive, ix86, drive->blockdev->op->write );
170 }
171
172 /**
173  * INT 13, 08 - Get drive parameters
174  *
175  * @v drive             Emulated drive
176  * @ret status          Status code
177  * @ret ch              Low bits of maximum cylinder number
178  * @ret cl (bits 7:6)   High bits of maximum cylinder number
179  * @ret cl (bits 5:0)   Maximum sector number
180  * @ret dh              Maximum head number
181  * @ret dl              Number of drives
182  */
183 static int int13_get_parameters ( struct int13_drive *drive,
184                                   struct i386_all_regs *ix86 ) {
185         unsigned int max_cylinder = drive->cylinders - 1;
186         unsigned int max_head = drive->heads - 1;
187         unsigned int max_sector = drive->sectors_per_track; /* sic */
188
189         DBG ( "Get drive parameters\n" );
190
191         ix86->regs.ch = ( max_cylinder & 0xff );
192         ix86->regs.cl = ( ( ( max_cylinder >> 8 ) << 6 ) | max_sector );
193         ix86->regs.dh = max_head;
194         get_real ( ix86->regs.dl, BDA_SEG, BDA_NUM_DRIVES );
195         return 0;
196 }
197
198 /**
199  * INT 13, 15 - Get disk type
200  *
201  * @v drive             Emulated drive
202  * @ret ah              Type code
203  * @ret cx:dx           Sector count
204  * @ret status          Status code / disk type
205  */
206 static int int13_get_disk_type ( struct int13_drive *drive,
207                                  struct i386_all_regs *ix86 ) {
208         DBG ( "Get disk type\n" );
209         ix86->regs.cx = ( drive->cylinders >> 16 );
210         ix86->regs.dx = ( drive->cylinders & 0xffff );
211         return INT13_DISK_TYPE_HDD;
212 }
213
214 /**
215  * INT 13, 41 - Extensions installation check
216  *
217  * @v drive             Emulated drive
218  * @v bx                0x55aa
219  * @ret bx              0xaa55
220  * @ret cx              Extensions API support bitmap
221  * @ret status          Status code / API version
222  */
223 static int int13_extension_check ( struct int13_drive *drive __unused,
224                                    struct i386_all_regs *ix86 ) {
225         if ( ix86->regs.bx == 0x55aa ) {
226                 DBG ( "INT 13 extensions installation check\n" );
227                 ix86->regs.bx = 0xaa55;
228                 ix86->regs.cx = INT13_EXTENSION_LINEAR;
229                 return INT13_EXTENSION_VER_1_X;
230         } else {
231                 return -INT13_STATUS_INVALID;
232         }
233 }
234
235 /**
236  * Extended read / write
237  *
238  * @v drive             Emulated drive
239  * @v ds:si             Disk address packet
240  * @v io                Read / write method
241  * @ret status          Status code
242  */
243 static int int13_extended_rw ( struct int13_drive *drive,
244                                struct i386_all_regs *ix86,
245                                int ( * io ) ( struct block_device *blockdev,
246                                               uint64_t block,
247                                               unsigned long count,
248                                               userptr_t buffer ) ) {
249         struct block_device *blockdev = drive->blockdev;
250         struct int13_disk_address addr;
251         uint64_t lba;
252         unsigned long count;
253         userptr_t buffer;
254         int rc;
255
256         /* Read parameters from disk address structure */
257         copy_from_real ( &addr, ix86->segs.ds, ix86->regs.si, sizeof ( addr ));
258         lba = addr.lba;
259         count = addr.count;
260         buffer = real_to_user ( addr.buffer.segment, addr.buffer.offset );
261
262         DBG ( "LBA %#llx <-> %04x:%04x (count %ld)\n", (unsigned long long)lba,
263               addr.buffer.segment, addr.buffer.offset, count );
264         
265         /* Read from / write to block device */
266         if ( ( rc = io ( blockdev, lba, count, buffer ) ) != 0 ) {
267                 DBG ( "INT 13 failed: %s\n", strerror ( rc ) );
268                 return -INT13_STATUS_READ_ERROR;
269         }
270
271         return 0;
272 }
273
274 /**
275  * INT 13, 42 - Extended read
276  *
277  * @v drive             Emulated drive
278  * @v ds:si             Disk address packet
279  * @ret status          Status code
280  */
281 static int int13_extended_read ( struct int13_drive *drive,
282                                  struct i386_all_regs *ix86 ) {
283         DBG ( "Extended read: " );
284         return int13_extended_rw ( drive, ix86, drive->blockdev->op->read );
285 }
286
287 /**
288  * INT 13, 43 - Extended write
289  *
290  * @v drive             Emulated drive
291  * @v ds:si             Disk address packet
292  * @ret status          Status code
293  */
294 static int int13_extended_write ( struct int13_drive *drive,
295                                   struct i386_all_regs *ix86 ) {
296         DBG ( "Extended write: " );
297         return int13_extended_rw ( drive, ix86, drive->blockdev->op->write );
298 }
299
300 /**
301  * INT 13, 48 - Get extended parameters
302  *
303  * @v drive             Emulated drive
304  * @v ds:si             Drive parameter table
305  * @ret status          Status code
306  */
307 static int int13_get_extended_parameters ( struct int13_drive *drive,
308                                            struct i386_all_regs *ix86 ) {
309         struct int13_disk_parameters params = {
310                 .bufsize = sizeof ( params ),
311                 .flags = INT13_FL_DMA_TRANSPARENT,
312                 .cylinders = drive->cylinders,
313                 .heads = drive->heads,
314                 .sectors_per_track = drive->sectors_per_track,
315                 .sectors = drive->blockdev->blocks,
316                 .sector_size = drive->blockdev->blksize,
317         };
318         
319         DBG ( "Get extended drive parameters to %04x:%04x\n",
320               ix86->segs.ds, ix86->regs.si );
321
322         copy_to_real ( ix86->segs.ds, ix86->regs.si, &params,
323                        sizeof ( params ) );
324         return 0;
325 }
326
327 /**
328  * INT 13 handler
329  *
330  */
331 static __asmcall void int13 ( struct i386_all_regs *ix86 ) {
332         int command = ix86->regs.ah;
333         unsigned int bios_drive = ix86->regs.dl;
334         struct int13_drive *drive;
335         int status;
336
337         list_for_each_entry ( drive, &drives, list ) {
338
339                 if ( bios_drive != drive->drive ) {
340                         /* Remap any accesses to this drive's natural number */
341                         if ( bios_drive == drive->natural_drive ) {
342                                 DBG ( "INT 13,%04x (%02x) remapped to "
343                                       "(%02x)\n", ix86->regs.ax,
344                                       bios_drive, drive->drive );
345                                 ix86->regs.dl = drive->drive;
346                                 return;
347                         }
348                         continue;
349                 }
350                 
351                 DBG ( "INT 13,%04x (%02x): ", ix86->regs.ax, drive->drive );
352
353                 switch ( command ) {
354                 case INT13_RESET:
355                         status = int13_reset ( drive, ix86 );
356                         break;
357                 case INT13_GET_LAST_STATUS:
358                         status = int13_get_last_status ( drive, ix86 );
359                         break;
360                 case INT13_READ_SECTORS:
361                         status = int13_read_sectors ( drive, ix86 );
362                         break;
363                 case INT13_WRITE_SECTORS:
364                         status = int13_write_sectors ( drive, ix86 );
365                         break;
366                 case INT13_GET_PARAMETERS:
367                         status = int13_get_parameters ( drive, ix86 );
368                         break;
369                 case INT13_GET_DISK_TYPE:
370                         status = int13_get_disk_type ( drive, ix86 );
371                         break;
372                 case INT13_EXTENSION_CHECK:
373                         status = int13_extension_check ( drive, ix86 );
374                         break;
375                 case INT13_EXTENDED_READ:
376                         status = int13_extended_read ( drive, ix86 );
377                         break;
378                 case INT13_EXTENDED_WRITE:
379                         status = int13_extended_write ( drive, ix86 );
380                         break;
381                 case INT13_GET_EXTENDED_PARAMETERS:
382                         status = int13_get_extended_parameters ( drive, ix86 );
383                         break;
384                 default:
385                         DBG ( "*** Unrecognised INT 13 ***\n" );
386                         status = -INT13_STATUS_INVALID;
387                         break;
388                 }
389
390                 /* Store status for INT 13,01 */
391                 drive->last_status = status;
392
393                 /* Negative status indicates an error */
394                 if ( status < 0 ) {
395                         status = -status;
396                         DBG ( "INT 13 returning failure status %x\n", status );
397                 } else {
398                         ix86->flags &= ~CF;
399                 }
400                 ix86->regs.ah = status;
401
402                 /* Set OF to indicate to wrapper not to chain this call */
403                 ix86->flags |= OF;
404
405                 return;
406         }
407 }
408
409 /**
410  * Hook INT 13 handler
411  *
412  */
413 static void hook_int13 ( void ) {
414         /* Assembly wrapper to call int13().  int13() sets OF if we
415          * should not chain to the previous handler.  (The wrapper
416          * clears CF and OF before calling int13()).
417          */
418         __asm__  __volatile__ (
419                TEXT16_CODE ( "\nint13_wrapper:\n\t"
420                              /* Preserve %ax and %dx for future reference */
421                              "pushw %%bp\n\t"
422                              "movw %%sp, %%bp\n\t"                           
423                              "pushw %%ax\n\t"
424                              "pushw %%dx\n\t"
425                              /* Clear OF, set CF, call int13() */
426                              "orb $0, %%al\n\t" 
427                              "stc\n\t"
428                              "pushl %0\n\t"
429                              "pushw %%cs\n\t"
430                              "call prot_call\n\t"
431                              /* Chain if OF not set */
432                              "jo 1f\n\t"
433                              "pushfw\n\t"
434                              "lcall *%%cs:int13_vector\n\t"
435                              "\n1:\n\t"
436                              /* Overwrite flags for iret */
437                              "pushfw\n\t"
438                              "popw 6(%%bp)\n\t"
439                              /* Fix up %dl:
440                               *
441                               * INT 13,15 : do nothing
442                               * INT 13,08 : load with number of drives
443                               * all others: restore original value
444                               */
445                              "cmpb $0x15, -1(%%bp)\n\t"
446                              "je 2f\n\t"
447                              "movb -4(%%bp), %%dl\n\t"
448                              "cmpb $0x08, -1(%%bp)\n\t"
449                              "jne 2f\n\t"
450                              "pushw %%ds\n\t"
451                              "pushw %1\n\t"
452                              "popw %%ds\n\t"
453                              "movb %c2, %%dl\n\t"
454                              "popw %%ds\n\t"
455                              /* Return */
456                              "\n2:\n\t"
457                              "movw %%bp, %%sp\n\t"
458                              "popw %%bp\n\t"
459                              "iret\n\t" )
460                : : "i" ( int13 ), "i" ( BDA_SEG ), "i" ( BDA_NUM_DRIVES ) );
461
462         hook_bios_interrupt ( 0x13, ( unsigned int ) int13_wrapper,
463                               &int13_vector );
464 }
465
466 /**
467  * Unhook INT 13 handler
468  */
469 static void unhook_int13 ( void ) {
470         unhook_bios_interrupt ( 0x13, ( unsigned int ) int13_wrapper,
471                                 &int13_vector );
472 }
473
474 /**
475  * Guess INT 13 drive geometry
476  *
477  * @v drive             Emulated drive
478  *
479  * Guesses the drive geometry by inspecting the partition table.
480  */
481 static void guess_int13_geometry ( struct int13_drive *drive ) {
482         struct master_boot_record mbr;
483         struct partition_table_entry *partition;
484         unsigned int guessed_heads = 255;
485         unsigned int guessed_sectors_per_track = 63;
486         unsigned long blocks;
487         unsigned long blocks_per_cyl;
488         unsigned int i;
489
490         /* Don't even try when the blksize is invalid for C/H/S access */
491         if ( drive->blockdev->blksize != INT13_BLKSIZE )
492                 return;
493
494         /* Scan through partition table and modify guesses for heads
495          * and sectors_per_track if we find any used partitions.
496          */
497         if ( drive->blockdev->op->read ( drive->blockdev, 0, 1,
498                                          virt_to_user ( &mbr ) ) == 0 ) {
499                 for ( i = 0 ; i < 4 ; i++ ) {
500                         partition = &mbr.partitions[i];
501                         if ( ! partition->type )
502                                 continue;
503                         guessed_heads =
504                                 ( PART_HEAD ( partition->chs_end ) + 1 );
505                         guessed_sectors_per_track = 
506                                 PART_SECTOR ( partition->chs_end );
507                         DBG ( "Guessing C/H/S xx/%d/%d based on partition "
508                               "%d\n", guessed_heads,
509                               guessed_sectors_per_track, ( i + 1 ) );
510                 }
511         } else {
512                 DBG ( "Could not read partition table to guess geometry\n" );
513         }
514
515         /* Apply guesses if no geometry already specified */
516         if ( ! drive->heads )
517                 drive->heads = guessed_heads;
518         if ( ! drive->sectors_per_track )
519                 drive->sectors_per_track = guessed_sectors_per_track;
520         if ( ! drive->cylinders ) {
521                 /* Avoid attempting a 64-bit divide on a 32-bit system */
522                 blocks = ( ( drive->blockdev->blocks <= ULONG_MAX ) ?
523                            drive->blockdev->blocks : ULONG_MAX );
524                 blocks_per_cyl = ( drive->heads * drive->sectors_per_track );
525                 assert ( blocks_per_cyl != 0 );
526                 drive->cylinders = ( blocks / blocks_per_cyl );
527                 if ( drive->cylinders > 1024 )
528                         drive->cylinders = 1024;
529         }
530 }
531
532 /**
533  * Register INT 13 emulated drive
534  *
535  * @v drive             Emulated drive
536  *
537  * Registers the drive with the INT 13 emulation subsystem, and hooks
538  * the INT 13 interrupt vector (if not already hooked).
539  *
540  * The underlying block device must be valid.  A drive number and
541  * geometry will be assigned if left blank.
542  */
543 void register_int13_drive ( struct int13_drive *drive ) {
544         uint8_t num_drives;
545
546         /* Give drive a default geometry if none specified */
547         guess_int13_geometry ( drive );
548
549         /* Assign natural drive number */
550         get_real ( num_drives, BDA_SEG, BDA_NUM_DRIVES );
551         drive->natural_drive = ( num_drives | 0x80 );
552         num_drives++;
553
554         /* Assign drive number */
555         if ( ( drive->drive & 0xff ) == 0xff ) {
556                 /* Drive number == -1 => use natural drive number */
557                 drive->drive = drive->natural_drive;
558         } else {
559                 /* Use specified drive number (+0x80 if necessary) */
560                 drive->drive |= 0x80;
561                 if ( num_drives <= ( drive->drive & 0x7f ) )
562                         num_drives = ( ( drive->drive & 0x7f ) + 1 );
563         }
564
565         /* Update BIOS drive count */
566         put_real ( num_drives, BDA_SEG, BDA_NUM_DRIVES );
567
568         DBG ( "Registered INT13 drive %02x (naturally %02x) with C/H/S "
569               "geometry %d/%d/%d\n", drive->drive, drive->natural_drive,
570               drive->cylinders, drive->heads, drive->sectors_per_track );
571
572         /* Hook INT 13 vector if not already hooked */
573         if ( list_empty ( &drives ) )
574                 hook_int13();
575
576         /* Add to list of emulated drives */
577         list_add ( &drive->list, &drives );
578 }
579
580 /**
581  * Unregister INT 13 emulated drive
582  *
583  * @v drive             Emulated drive
584  *
585  * Unregisters the drive from the INT 13 emulation subsystem.  If this
586  * is the last emulated drive, the INT 13 vector is unhooked (if
587  * possible).
588  */
589 void unregister_int13_drive ( struct int13_drive *drive ) {
590         /* Remove from list of emulated drives */
591         list_del ( &drive->list );
592
593         /* Should adjust BIOS drive count, but it's difficult to do so
594          * reliably.
595          */
596
597         DBG ( "Unregistered INT13 drive %02x\n", drive->drive );
598
599         /* Unhook INT 13 vector if no more drives */
600         if ( list_empty ( &drives ) )
601                 unhook_int13();
602 }
603
604 /**
605  * Attempt to boot from an INT 13 drive
606  *
607  * @v drive             Drive number
608  * @ret rc              Return status code
609  *
610  * This boots from the specified INT 13 drive by loading the Master
611  * Boot Record to 0000:7c00 and jumping to it.  INT 18 is hooked to
612  * capture an attempt by the MBR to boot the next device.  (This is
613  * the closest thing to a return path from an MBR).
614  *
615  * Note that this function can never return success, by definition.
616  */
617 int int13_boot ( unsigned int drive ) {
618         struct memory_map memmap;
619         int status, signature;
620         int discard_c, discard_d;
621         int rc;
622
623         DBG ( "Booting from INT 13 drive %02x\n", drive );
624
625         /* Use INT 13 to read the boot sector */
626         __asm__ __volatile__ ( REAL_CODE ( "pushw %%es\n\t"
627                                            "pushw $0\n\t"
628                                            "popw %%es\n\t"
629                                            "stc\n\t"
630                                            "sti\n\t"
631                                            "int $0x13\n\t"
632                                            "sti\n\t" /* BIOS bugs */
633                                            "jc 1f\n\t"
634                                            "xorl %%eax, %%eax\n\t"
635                                            "\n1:\n\t"
636                                            "movzwl %%es:0x7dfe, %%ebx\n\t"
637                                            "popw %%es\n\t" )
638                                : "=a" ( status ), "=b" ( signature ),
639                                  "=c" ( discard_c ), "=d" ( discard_d )
640                                : "a" ( 0x0201 ), "b" ( 0x7c00 ),
641                                  "c" ( 1 ), "d" ( drive ) );
642         if ( status )
643                 return -EIO;
644
645         /* Check signature is correct */
646         if ( signature != be16_to_cpu ( 0x55aa ) ) {
647                 DBG ( "Invalid disk signature %#04x (should be 0x55aa)\n",
648                       cpu_to_be16 ( signature ) );
649                 return -ENOEXEC;
650         }
651
652         /* Dump out memory map prior to boot, if memmap debugging is
653          * enabled.  Not required for program flow, but we have so
654          * many problems that turn out to be memory-map related that
655          * it's worth doing.
656          */
657         get_memmap ( &memmap );
658
659         /* Jump to boot sector */
660         if ( ( rc = call_bootsector ( 0x0, 0x7c00, drive ) ) != 0 ) {
661                 DBG ( "INT 13 drive %02x boot returned: %s\n",
662                       drive, strerror ( rc ) );
663                 return rc;
664         }
665
666         return -ECANCELED; /* -EIMPOSSIBLE */
667 }