Handle strings as complete units, instead of a byte at a time.
[people/mcb30/gpxe.git] / src / net / tcp / iscsi.c
1 /*
2  * Copyright (C) 2006 Michael Brown <mbrown@fensystems.co.uk>.
3  *
4  * This program is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU General Public License as
6  * published by the Free Software Foundation; either version 2 of the
7  * License, or any later version.
8  *
9  * This program is distributed in the hope that it will be useful, but
10  * WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * General Public License for more details.
13  *
14  * You should have received a copy of the GNU General Public License
15  * along with this program; if not, write to the Free Software
16  * Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
17  */
18
19 #include <stddef.h>
20 #include <string.h>
21 #include <stdlib.h>
22 #include <vsprintf.h>
23 #include <errno.h>
24 #include <assert.h>
25 #include <byteswap.h>
26 #include <gpxe/scsi.h>
27 #include <gpxe/process.h>
28 #include <gpxe/uaccess.h>
29 #include <gpxe/iscsi.h>
30
31 /** @file
32  *
33  * iSCSI protocol
34  *
35  */
36
37 static void iscsi_start_tx ( struct iscsi_session *iscsi );
38 static void iscsi_start_data_out ( struct iscsi_session *iscsi,
39                                    unsigned int datasn );
40
41 /**
42  * Receive PDU data into buffer
43  *
44  * @v iscsi             iSCSI session
45  * @v data              Data to receive
46  * @v len               Length of data
47  * @ret rc              Return status code
48  *
49  * This can be used when the RX PDU type handler wishes to buffer up
50  * all received data and process the PDU as a single unit.  The caller
51  * is repsonsible for calling iscsi_rx_buffered_data_done() after
52  * processing the data.
53  */
54 static int iscsi_rx_buffered_data ( struct iscsi_session *iscsi,
55                                     const void *data, size_t len ) {
56
57         /* Allocate buffer on first call */
58         if ( ! iscsi->rx_buffer ) {
59                 iscsi->rx_buffer = malloc ( iscsi->rx_len );
60                 if ( ! iscsi->rx_buffer )
61                         return -ENOMEM;
62         }
63
64         /* Copy data to buffer */
65         assert ( ( iscsi->rx_offset + len ) <= iscsi->rx_len );
66         memcpy ( ( iscsi->rx_buffer + iscsi->rx_offset ), data, len );
67
68         return 0;
69 }
70
71 /**
72  * Finish receiving PDU data into buffer
73  *
74  * @v iscsi             iSCSI session
75  */
76 static void iscsi_rx_buffered_data_done ( struct iscsi_session *iscsi ) {
77         free ( iscsi->rx_buffer );
78         iscsi->rx_buffer = NULL;
79 }
80
81 /**
82  * Mark iSCSI operation as complete
83  *
84  * @v iscsi             iSCSI session
85  * @v rc                Return status code
86  *
87  * Note that iscsi_done() will not close the connection, and must
88  * therefore be called only when the internal state machines are in an
89  * appropriate state, otherwise bad things may happen on the next call
90  * to iscsi_issue().  The general rule is to call iscsi_done() only at
91  * the end of receiving a PDU; at this point the TX and RX engines
92  * should both be idle.
93  */
94 static void iscsi_done ( struct iscsi_session *iscsi, int rc ) {
95
96         /* Clear current SCSI command */
97         iscsi->command = NULL;
98
99         /* Free any dynamically allocated memory */
100         chap_finish ( &iscsi->chap );
101         iscsi_rx_buffered_data_done ( iscsi );
102
103         /* Mark asynchronous operation as complete */
104         async_done ( &iscsi->aop, rc );
105 }
106
107 /**
108  * Mark iSCSI operation as complete, and close TCP connection
109  *
110  * @v iscsi             iSCSI session
111  * @v rc                Return status code
112  */
113 static void iscsi_close ( struct iscsi_session *iscsi, int rc ) {
114
115         /* Clear session status */
116         iscsi->status = 0;
117
118         /* Close TCP connection */
119         tcp_close ( &iscsi->tcp );
120
121         /* Mark iSCSI operation as complete */
122         iscsi_done ( iscsi, rc );
123 }
124
125 /****************************************************************************
126  *
127  * iSCSI SCSI command issuing
128  *
129  */
130
131 /**
132  * Build iSCSI SCSI command BHS
133  *
134  * @v iscsi             iSCSI session
135  *
136  * We don't currently support bidirectional commands (i.e. with both
137  * Data-In and Data-Out segments); these would require providing code
138  * to generate an AHS, and there doesn't seem to be any need for it at
139  * the moment.
140  */
141 static void iscsi_start_command ( struct iscsi_session *iscsi ) {
142         struct iscsi_bhs_scsi_command *command = &iscsi->tx_bhs.scsi_command;
143
144         assert ( ! ( iscsi->command->data_in && iscsi->command->data_out ) );
145
146         /* Construct BHS and initiate transmission */
147         iscsi_start_tx ( iscsi );
148         command->opcode = ISCSI_OPCODE_SCSI_COMMAND;
149         command->flags = ( ISCSI_FLAG_FINAL |
150                            ISCSI_COMMAND_ATTR_SIMPLE );
151         if ( iscsi->command->data_in )
152                 command->flags |= ISCSI_COMMAND_FLAG_READ;
153         if ( iscsi->command->data_out )
154                 command->flags |= ISCSI_COMMAND_FLAG_WRITE;
155         /* lengths left as zero */
156         command->lun = iscsi->lun;
157         command->itt = htonl ( ++iscsi->itt );
158         command->exp_len = htonl ( iscsi->command->data_in_len |
159                                    iscsi->command->data_out_len );
160         command->cmdsn = htonl ( iscsi->cmdsn );
161         command->expstatsn = htonl ( iscsi->statsn + 1 );
162         memcpy ( &command->cdb, &iscsi->command->cdb, sizeof ( command->cdb ));
163         DBG ( "iSCSI %p start " SCSI_CDB_FORMAT " %s %#x\n",
164               iscsi, SCSI_CDB_DATA ( command->cdb ),
165               ( iscsi->command->data_in ? "in" : "out" ),
166               ( iscsi->command->data_in ?
167                 iscsi->command->data_in_len : iscsi->command->data_out_len ) );
168 }
169
170 /**
171  * Receive data segment of an iSCSI SCSI response PDU
172  *
173  * @v iscsi             iSCSI session
174  * @v data              Received data
175  * @v len               Length of received data
176  * @v remaining         Data remaining after this data
177  * 
178  */
179 static void iscsi_rx_scsi_response ( struct iscsi_session *iscsi, void *data,
180                                      size_t len, size_t remaining ) {
181         struct iscsi_bhs_scsi_response *response
182                 = &iscsi->rx_bhs.scsi_response;
183         int sense_offset;
184
185         /* Capture the sense response code as it floats past, if present */
186         sense_offset = ISCSI_SENSE_RESPONSE_CODE_OFFSET - iscsi->rx_offset;
187         if ( ( sense_offset >= 0 ) && len ) {
188                 iscsi->command->sense_response =
189                         * ( ( char * ) data + sense_offset );
190         }
191
192         /* Wait for whole SCSI response to arrive */
193         if ( remaining )
194                 return;
195         
196         /* Record SCSI status code */
197         iscsi->command->status = response->status;
198
199         /* Mark as completed, with error if applicable */
200         if ( response->response == ISCSI_RESPONSE_COMMAND_COMPLETE ) {
201                 iscsi_done ( iscsi, 0 );
202         } else {
203                 iscsi_done ( iscsi, -EIO );
204         }
205 }
206
207 /**
208  * Receive data segment of an iSCSI data-in PDU
209  *
210  * @v iscsi             iSCSI session
211  * @v data              Received data
212  * @v len               Length of received data
213  * @v remaining         Data remaining after this data
214  * 
215  */
216 static void iscsi_rx_data_in ( struct iscsi_session *iscsi, void *data,
217                                size_t len, size_t remaining __unused ) {
218         struct iscsi_bhs_data_in *data_in = &iscsi->rx_bhs.data_in;
219         unsigned long offset;
220
221         /* Copy data to data-in buffer */
222         offset = ntohl ( data_in->offset ) + iscsi->rx_offset;
223         assert ( iscsi->command != NULL );
224         assert ( iscsi->command->data_in );
225         assert ( ( offset + len ) <= iscsi->command->data_in_len );
226         copy_to_user ( iscsi->command->data_in, offset, data, len );
227
228         /* Record SCSI status, if present */
229         if ( data_in->flags & ISCSI_DATA_FLAG_STATUS )
230                 iscsi->command->status = data_in->status;
231
232         /* If this is the end, flag as complete */
233         if ( ( offset + len ) == iscsi->command->data_in_len ) {
234                 assert ( data_in->flags & ISCSI_FLAG_FINAL );
235                 assert ( remaining == 0 );
236                 iscsi_done ( iscsi, 0 );
237         }
238 }
239
240 /**
241  * Receive data segment of an iSCSI R2T PDU
242  *
243  * @v iscsi             iSCSI session
244  * @v data              Received data
245  * @v len               Length of received data
246  * @v remaining         Data remaining after this data
247  * 
248  */
249 static void iscsi_rx_r2t ( struct iscsi_session *iscsi, void *data __unused,
250                            size_t len __unused, size_t remaining __unused ) {
251         struct iscsi_bhs_r2t *r2t = &iscsi->rx_bhs.r2t;
252
253         /* Record transfer parameters and trigger first data-out */
254         iscsi->ttt = ntohl ( r2t->ttt );
255         iscsi->transfer_offset = ntohl ( r2t->offset );
256         iscsi->transfer_len = ntohl ( r2t->len );
257         iscsi_start_data_out ( iscsi, 0 );
258 }
259
260 /**
261  * Build iSCSI data-out BHS
262  *
263  * @v iscsi             iSCSI session
264  * @v datasn            Data sequence number within the transfer
265  *
266  */
267 static void iscsi_start_data_out ( struct iscsi_session *iscsi,
268                                    unsigned int datasn ) {
269         struct iscsi_bhs_data_out *data_out = &iscsi->tx_bhs.data_out;
270         unsigned long offset;
271         unsigned long remaining;
272         unsigned long len;
273
274         /* We always send 512-byte Data-Out PDUs; this removes the
275          * need to worry about the target's MaxRecvDataSegmentLength.
276          */
277         offset = datasn * 512;
278         remaining = iscsi->transfer_len - offset;
279         len = remaining;
280         if ( len > 512 )
281                 len = 512;
282
283         /* Construct BHS and initiate transmission */
284         iscsi_start_tx ( iscsi );
285         data_out->opcode = ISCSI_OPCODE_DATA_OUT;
286         if ( len == remaining )
287                 data_out->flags = ( ISCSI_FLAG_FINAL );
288         ISCSI_SET_LENGTHS ( data_out->lengths, 0, len );
289         data_out->lun = iscsi->lun;
290         data_out->itt = htonl ( iscsi->itt );
291         data_out->ttt = htonl ( iscsi->ttt );
292         data_out->expstatsn = htonl ( iscsi->statsn + 1 );
293         data_out->datasn = htonl ( datasn );
294         data_out->offset = htonl ( iscsi->transfer_offset + offset );
295         DBG ( "iSCSI %p start data out DataSN %#x len %#lx\n",
296               iscsi, datasn, len );
297 }
298
299 /**
300  * Complete iSCSI data-out PDU transmission
301  *
302  * @v iscsi             iSCSI session
303  *
304  */
305 static void iscsi_data_out_done ( struct iscsi_session *iscsi ) {
306         struct iscsi_bhs_data_out *data_out = &iscsi->tx_bhs.data_out;
307
308         /* If we haven't reached the end of the sequence, start
309          * sending the next data-out PDU.
310          */
311         if ( ! ( data_out->flags & ISCSI_FLAG_FINAL ) )
312                 iscsi_start_data_out ( iscsi, ntohl ( data_out->datasn ) + 1 );
313 }
314
315 /**
316  * Send iSCSI data-out data segment
317  *
318  * @v iscsi             iSCSI session
319  * @v buf               Temporary data buffer
320  * @v len               Length of temporary data buffer
321  */
322 static void iscsi_tx_data_out ( struct iscsi_session *iscsi,
323                                 void *buf, size_t len ) {
324         struct iscsi_bhs_data_out *data_out = &iscsi->tx_bhs.data_out;
325         unsigned long offset;
326         unsigned long remaining;
327
328         offset = ( iscsi->transfer_offset + ntohl ( data_out->offset ) +
329                    iscsi->tx_offset );
330         remaining = ( iscsi->tx_len - iscsi->tx_offset );
331         assert ( iscsi->command != NULL );
332         assert ( iscsi->command->data_out );
333         assert ( ( offset + remaining ) <= iscsi->command->data_out_len );
334         
335         if ( remaining < len )
336                 len = remaining;
337         copy_from_user ( buf, iscsi->command->data_out, offset, len );
338
339         tcp_send ( &iscsi->tcp, buf, len );
340 }
341
342 /****************************************************************************
343  *
344  * iSCSI login
345  *
346  */
347
348 /**
349  * Version of snprintf() that accepts a signed buffer size
350  *
351  * @v buf               Buffer into which to write the string
352  * @v size              Size of buffer
353  * @v fmt               Format string
354  * @v args              Arguments corresponding to the format string
355  * @ret len             Length of formatted string
356  *
357  * This is a utility function for iscsi_build_login_request_strings().
358  */
359 static int ssnprintf ( char *buf, ssize_t ssize, const char *fmt, ... ) {
360         va_list args;
361         int len;
362
363         /* Treat negative buffer size as zero buffer size */
364         if ( ssize < 0 )
365                 ssize = 0;
366
367         /* Hand off to vsnprintf */
368         va_start ( args, fmt );
369         len = vsnprintf ( buf, ssize, fmt, args );
370         va_end ( args );
371         return len;
372 }
373
374 /**
375  * Build iSCSI login request strings
376  *
377  * @v iscsi             iSCSI session
378  *
379  * These are the initial set of strings sent in the first login
380  * request PDU.  We want the following settings:
381  *
382  *     HeaderDigest=None
383  *     DataDigest=None
384  *     MaxConnections is irrelevant; we make only one connection anyway
385  *     InitialR2T=Yes [1]
386  *     ImmediateData is irrelevant; we never send immediate data
387  *     MaxRecvDataSegmentLength=8192 (default; we don't care)
388  *     MaxBurstLength=262144 (default; we don't care)
389  *     FirstBurstLength=262144 (default; we don't care)
390  *     DefaultTime2Wait=0 [2]
391  *     DefaultTime2Retain=0 [2]
392  *     MaxOutstandingR2T=1
393  *     DataPDUInOrder=Yes
394  *     DataSequenceInOrder=Yes
395  *     ErrorRecoveryLevel=0
396  *
397  * [1] InitialR2T has an OR resolution function, so the target may
398  * force us to use it.  We therefore simplify our logic by always
399  * using it.
400  *
401  * [2] These ensure that we can safely start a new task once we have
402  * reconnected after a failure, without having to manually tidy up
403  * after the old one.
404  */
405 static int iscsi_build_login_request_strings ( struct iscsi_session *iscsi,
406                                                void *data, size_t len ) {
407         unsigned int used = 0;
408         unsigned int i;
409
410         if ( iscsi->status & ISCSI_STATUS_STRINGS_SECURITY ) {
411                 used += ssnprintf ( data + used, len - used,
412                                     "InitiatorName=%s%c"
413                                     "TargetName=%s%c"
414                                     "SessionType=Normal%c"
415                                     "AuthMethod=CHAP,None%c",
416                                     iscsi->initiator, 0, iscsi->target, 0,
417                                     0, 0 );
418         }
419
420         if ( iscsi->status & ISCSI_STATUS_STRINGS_CHAP_ALGORITHM ) {
421                 used += ssnprintf ( data + used, len - used, "CHAP_A=5%c", 0 );
422         }
423         
424         if ( iscsi->status & ISCSI_STATUS_STRINGS_CHAP_RESPONSE ) {
425                 used += ssnprintf ( data + used, len - used,
426                                     "CHAP_N=%s%cCHAP_R=0x",
427                                     iscsi->username, 0 );
428                 for ( i = 0 ; i < iscsi->chap.response_len ; i++ ) {
429                         used += ssnprintf ( data + used, len - used, "%02x",
430                                             iscsi->chap.response[i] );
431                 }
432                 used += ssnprintf ( data + used, len - used, "%c", 0 );
433         }
434
435         if ( iscsi->status & ISCSI_STATUS_STRINGS_OPERATIONAL ) {
436                 used += ssnprintf ( data + used, len - used,
437                                     "HeaderDigest=None%c"
438                                     "DataDigest=None%c"
439                                     "InitialR2T=Yes%c"
440                                     "DefaultTime2Wait=0%c"
441                                     "DefaultTime2Retain=0%c"
442                                     "MaxOutstandingR2T=1%c"
443                                     "DataPDUInOrder=Yes%c"
444                                     "DataSequenceInOrder=Yes%c"
445                                     "ErrorRecoveryLevel=0%c",
446                                     0, 0, 0, 0, 0, 0, 0, 0, 0 );
447         }
448
449         return used;
450 }
451
452 /**
453  * Build iSCSI login request BHS
454  *
455  * @v iscsi             iSCSI session
456  */
457 static void iscsi_start_login ( struct iscsi_session *iscsi ) {
458         struct iscsi_bhs_login_request *request = &iscsi->tx_bhs.login_request;
459         int len;
460
461         /* Construct BHS and initiate transmission */
462         iscsi_start_tx ( iscsi );
463         request->opcode = ( ISCSI_OPCODE_LOGIN_REQUEST |
464                             ISCSI_FLAG_IMMEDIATE );
465         request->flags = ( ( iscsi->status & ISCSI_STATUS_PHASE_MASK ) |
466                            ISCSI_LOGIN_FLAG_TRANSITION );
467         /* version_max and version_min left as zero */
468         len = iscsi_build_login_request_strings ( iscsi, NULL, 0 );
469         ISCSI_SET_LENGTHS ( request->lengths, 0, len );
470         request->isid_iana_en = htonl ( ISCSI_ISID_IANA |
471                                         IANA_EN_FEN_SYSTEMS );
472         /* isid_iana_qual left as zero */
473         request->tsih = htons ( iscsi->tsih );
474         request->itt = htonl ( iscsi->itt );
475         /* cid left as zero */
476         request->cmdsn = htonl ( iscsi->cmdsn );
477         request->expstatsn = htonl ( iscsi->statsn + 1 );
478 }
479
480 /**
481  * Complete iSCSI login request PDU transmission
482  *
483  * @v iscsi             iSCSI session
484  *
485  */
486 static void iscsi_login_request_done ( struct iscsi_session *iscsi ) {
487
488         /* Clear any "strings to send" flags */
489         iscsi->status &= ~ISCSI_STATUS_STRINGS_MASK;
490 }
491
492 /**
493  * Transmit data segment of an iSCSI login request PDU
494  *
495  * @v iscsi             iSCSI session
496  * @v buf               Temporary data buffer
497  * @v len               Length of temporary data buffer
498  *
499  * For login requests, the data segment consists of the login strings.
500  */
501 static void iscsi_tx_login_request ( struct iscsi_session *iscsi,
502                                      void *buf, size_t len ) {
503         len = iscsi_build_login_request_strings ( iscsi, buf, len );
504         tcp_send ( &iscsi->tcp, buf + iscsi->tx_offset,
505                    len - iscsi->tx_offset );
506 }
507
508 /**
509  * Handle iSCSI AuthMethod text value
510  *
511  * @v iscsi             iSCSI session
512  * @v value             AuthMethod value
513  */
514 static void iscsi_handle_authmethod_value ( struct iscsi_session *iscsi,
515                                             const char *value ) {
516
517         /* If server requests CHAP, send the CHAP_A string */
518         if ( strcmp ( value, "CHAP" ) == 0 ) {
519                 DBG ( "iSCSI %p initiating CHAP authentication\n", iscsi );
520                 iscsi->status |= ISCSI_STATUS_STRINGS_CHAP_ALGORITHM;
521         }
522 }
523
524 /**
525  * Handle iSCSI CHAP_A text value
526  *
527  * @v iscsi             iSCSI session
528  * @v value             CHAP_A value
529  */
530 static void iscsi_handle_chap_a_value ( struct iscsi_session *iscsi,
531                                         const char *value ) {
532         int rc;
533
534         /* We only ever offer "5" (i.e. MD5) as an algorithm, so if
535          * the server responds with anything else it is a protocol
536          * violation.
537          */
538         if ( strcmp ( value, "5" ) != 0 ) {
539                 DBG ( "iSCSI %p got invalid CHAP algorithm \"%s\"\n",
540                       iscsi, value );
541         }
542
543         /* Prepare for CHAP with MD5 */
544         if ( ( rc = chap_init ( &iscsi->chap, &md5_algorithm ) ) != 0 ) {
545                 DBG ( "iSCSI %p could not initialise CHAP\n", iscsi );
546                 iscsi_close ( iscsi, rc );
547         }
548 }
549
550 /**
551  * Handle iSCSI CHAP_I text value
552  *
553  * @v iscsi             iSCSI session
554  * @v value             CHAP_I value
555  */
556 static void iscsi_handle_chap_i_value ( struct iscsi_session *iscsi,
557                                         const char *value ) {
558         unsigned int identifier;
559         char *endp;
560
561         /* The CHAP identifier is an integer value */
562         identifier = strtoul ( value, &endp, 0 );
563         if ( *endp != '\0' ) {
564                 DBG ( "iSCSI %p saw invalid CHAP identifier \"%s\"\n",
565                       iscsi, value );
566         }
567
568         /* Identifier and secret are the first two components of the
569          * challenge.
570          */
571         chap_set_identifier ( &iscsi->chap, identifier );
572         chap_update ( &iscsi->chap, iscsi->password,
573                       strlen ( iscsi->password ) );
574 }
575
576 /**
577  * Handle iSCSI CHAP_C text value
578  *
579  * @v iscsi             iSCSI session
580  * @v value             CHAP_C value
581  */
582 static void iscsi_handle_chap_c_value ( struct iscsi_session *iscsi,
583                                         const char *value ) {
584         char buf[3];
585         char *endp;
586         uint8_t byte;
587
588         /* Check and strip leading "0x" */
589         if ( ( value[0] != '0' ) || ( value[1] != 'x' ) ) {
590                 DBG ( "iSCSI %p saw invalid CHAP challenge \"%s\"\n",
591                       iscsi, value );
592         }
593         value += 2;
594
595         /* Process challenge an octet at a time */
596         for ( ; ( value[0] && value[1] ) ; value += 2 ) {
597                 memcpy ( buf, value, 2 );
598                 buf[3] = 0;
599                 byte = strtoul ( buf, &endp, 16 );
600                 if ( *endp != '\0' ) {
601                         DBG ( "iSCSI %p saw invalid CHAP challenge byte "
602                               "\"%s\"\n", iscsi, buf );
603                 }
604                 chap_update ( &iscsi->chap, &byte, sizeof ( byte ) );
605         }
606
607         /* Build CHAP response */
608         DBG ( "iSCSI %p sending CHAP response\n", iscsi );
609         chap_respond ( &iscsi->chap );
610         iscsi->status |= ISCSI_STATUS_STRINGS_CHAP_RESPONSE;
611 }
612
613 /** An iSCSI text string that we want to handle */
614 struct iscsi_string_type {
615         /** String key
616          *
617          * This is the portion up to and including the "=" sign,
618          * e.g. "InitiatorName=", "CHAP_A=", etc.
619          */
620         const char *key;
621         /** Handle iSCSI string value
622          *
623          * @v iscsi             iSCSI session
624          * @v value             iSCSI string value
625          */
626         void ( * handle_value ) ( struct iscsi_session *iscsi,
627                                   const char *value );
628 };
629
630 /** iSCSI text strings that we want to handle */
631 struct iscsi_string_type iscsi_string_types[] = {
632         { "AuthMethod=", iscsi_handle_authmethod_value },
633         { "CHAP_A=", iscsi_handle_chap_a_value },
634         { "CHAP_I=", iscsi_handle_chap_i_value },
635         { "CHAP_C=", iscsi_handle_chap_c_value },
636         { NULL, NULL }
637 };
638
639 /**
640  * Handle iSCSI string
641  *
642  * @v iscsi             iSCSI session
643  * @v string            iSCSI string (in "key=value" format)
644  */
645 static void iscsi_handle_string ( struct iscsi_session *iscsi,
646                                   const char *string ) {
647         struct iscsi_string_type *type;
648         size_t key_len;
649
650         for ( type = iscsi_string_types ; type->key ; type++ ) {
651                 key_len = strlen ( type->key );
652                 if ( strncmp ( string, type->key, key_len ) == 0 ) {
653                         DBG ( "iSCSI %p handling %s\n", iscsi, string );
654                         type->handle_value ( iscsi, ( string + key_len ) );
655                         return;
656                 }
657         }
658         DBG ( "iSCSI %p ignoring %s\n", iscsi, string );
659 }
660
661 /**
662  * Handle iSCSI strings
663  *
664  * @v iscsi             iSCSI session
665  * @v string            iSCSI string buffer
666  * @v len               Length of string buffer
667  */
668 static void iscsi_handle_strings ( struct iscsi_session *iscsi,
669                                    const char *strings, size_t len ) {
670         size_t string_len;
671
672         /* Handle each string in turn, taking care not to overrun the
673          * data buffer in case of badly-terminated data.
674          */
675         while ( 1 ) {
676                 string_len = ( strnlen ( strings, len ) + 1 );
677                 if ( string_len > len )
678                         break;
679                 iscsi_handle_string ( iscsi, strings );
680                 strings += string_len;
681                 len -= string_len;
682         }
683 }
684
685 /**
686  * Receive data segment of an iSCSI login response PDU
687  *
688  * @v iscsi             iSCSI session
689  * @v data              Received data
690  * @v len               Length of received data
691  * @v remaining         Data remaining after this data
692  * 
693  */
694 static void iscsi_rx_login_response ( struct iscsi_session *iscsi, void *data,
695                                       size_t len, size_t remaining ) {
696         struct iscsi_bhs_login_response *response
697                 = &iscsi->rx_bhs.login_response;
698         int rc;
699
700         /* Buffer up the PDU data */
701         if ( ( rc = iscsi_rx_buffered_data ( iscsi, data, len ) ) != 0 ) {
702                 DBG ( "iSCSI %p could not buffer login response\n", iscsi );
703                 iscsi_close ( iscsi, rc );
704                 return;
705         }
706         if ( remaining )
707                 return;
708
709         /* Process string data and discard string buffer */
710         iscsi_handle_strings ( iscsi, iscsi->rx_buffer, iscsi->rx_len );
711         iscsi_rx_buffered_data_done ( iscsi );
712
713         /* Check for fatal errors */
714         if ( response->status_class != 0 ) {
715                 printf ( "iSCSI login failure: class %02x detail %02x\n",
716                          response->status_class, response->status_detail );
717                 iscsi_close ( iscsi, -EPERM );
718                 return;
719         }
720
721         /* Handle login transitions */
722         if ( response->flags & ISCSI_LOGIN_FLAG_TRANSITION ) {
723                 switch ( response->flags & ISCSI_LOGIN_NSG_MASK ) {
724                 case ISCSI_LOGIN_NSG_OPERATIONAL_NEGOTIATION:
725                         iscsi->status =
726                                 ( ISCSI_STATUS_OPERATIONAL_NEGOTIATION_PHASE |
727                                   ISCSI_STATUS_STRINGS_OPERATIONAL );
728                         break;
729                 case ISCSI_LOGIN_NSG_FULL_FEATURE_PHASE:
730                         iscsi->status = ISCSI_STATUS_FULL_FEATURE_PHASE;
731                         break;
732                 default:
733                         DBG ( "iSCSI %p got invalid response flags %02x\n",
734                               iscsi, response->flags );
735                         iscsi_close ( iscsi, -EIO );
736                         return;
737                 }
738         }
739
740         /* Send next login request PDU if we haven't reached the full
741          * feature phase yet.
742          */
743         if ( ( iscsi->status & ISCSI_STATUS_PHASE_MASK ) !=
744              ISCSI_STATUS_FULL_FEATURE_PHASE ) {
745                 iscsi_start_login ( iscsi );
746                 return;
747         }
748
749         /* Record TSIH for future reference */
750         iscsi->tsih = ntohl ( response->tsih );
751         
752         /* Send the actual SCSI command */
753         iscsi_start_command ( iscsi );
754 }
755
756 /****************************************************************************
757  *
758  * iSCSI to TCP interface
759  *
760  */
761
762 static inline struct iscsi_session *
763 tcp_to_iscsi ( struct tcp_connection *conn ) {
764         return container_of ( conn, struct iscsi_session, tcp );
765 }
766
767 /**
768  * Start up a new TX PDU
769  *
770  * @v iscsi             iSCSI session
771  *
772  * This initiates the process of sending a new PDU.  Only one PDU may
773  * be in transit at any one time.
774  */
775 static void iscsi_start_tx ( struct iscsi_session *iscsi ) {
776         assert ( iscsi->tx_state == ISCSI_TX_IDLE );
777         
778         /* Initialise TX BHS */
779         memset ( &iscsi->tx_bhs, 0, sizeof ( iscsi->tx_bhs ) );
780
781         /* Flag TX engine to start transmitting */
782         iscsi->tx_state = ISCSI_TX_BHS;
783         iscsi->tx_offset = 0;
784 }
785
786 /**
787  * Transmit data segment of an iSCSI PDU
788  *
789  * @v iscsi             iSCSI session
790  * @v buf               Temporary data buffer
791  * @v len               Length of temporary data buffer
792  * 
793  * Handle transmission of part of a PDU data segment.  iscsi::tx_bhs
794  * will be valid when this is called.
795  */
796 static void iscsi_tx_data ( struct iscsi_session *iscsi,
797                             void *buf, size_t len ) {
798         struct iscsi_bhs_common *common = &iscsi->tx_bhs.common;
799
800         switch ( common->opcode & ISCSI_OPCODE_MASK ) {
801         case ISCSI_OPCODE_DATA_OUT:
802                 iscsi_tx_data_out ( iscsi, buf, len );
803                 break;
804         case ISCSI_OPCODE_LOGIN_REQUEST:
805                 iscsi_tx_login_request ( iscsi, buf, len );
806                 break;
807         default:
808                 assert ( 0 );
809                 break;
810         }
811 }
812
813 /**
814  * Complete iSCSI PDU transmission
815  *
816  * @v iscsi             iSCSI session
817  *
818  * Called when a PDU has been completely transmitted and the TX state
819  * machine is about to enter the idle state.  iscsi::tx_bhs will be
820  * valid for the just-completed PDU when this is called.
821  */
822 static void iscsi_tx_done ( struct iscsi_session *iscsi ) {
823         struct iscsi_bhs_common *common = &iscsi->tx_bhs.common;
824
825         switch ( common->opcode & ISCSI_OPCODE_MASK ) {
826         case ISCSI_OPCODE_DATA_OUT:
827                 iscsi_data_out_done ( iscsi );
828         case ISCSI_OPCODE_LOGIN_REQUEST:
829                 iscsi_login_request_done ( iscsi );
830         default:
831                 /* No action */
832                 break;
833         }
834 }
835
836 /**
837  * Handle TCP ACKs
838  *
839  * @v iscsi             iSCSI session
840  * 
841  * Updates iscsi->tx_offset and, if applicable, transitions to the
842  * next TX state.
843  */
844 static void iscsi_acked ( struct tcp_connection *conn, size_t len ) {
845         struct iscsi_session *iscsi = tcp_to_iscsi ( conn );
846         struct iscsi_bhs_common *common = &iscsi->tx_bhs.common;
847         enum iscsi_tx_state next_state;
848         
849         iscsi->tx_offset += len;
850         while ( 1 ) {
851                 switch ( iscsi->tx_state ) {
852                 case ISCSI_TX_BHS:
853                         iscsi->tx_len = sizeof ( iscsi->tx_bhs );
854                         next_state = ISCSI_TX_AHS;
855                         break;
856                 case ISCSI_TX_AHS:
857                         iscsi->tx_len = 4 * ISCSI_AHS_LEN ( common->lengths );
858                         next_state = ISCSI_TX_DATA;
859                         break;
860                 case ISCSI_TX_DATA:
861                         iscsi->tx_len = ISCSI_DATA_LEN ( common->lengths );
862                         next_state = ISCSI_TX_DATA_PADDING;
863                         break;
864                 case ISCSI_TX_DATA_PADDING:
865                         iscsi->tx_len = ISCSI_DATA_PAD_LEN ( common->lengths );
866                         next_state = ISCSI_TX_IDLE;
867                         break;
868                 case ISCSI_TX_IDLE:
869                         return;
870                 default:
871                         assert ( 0 );
872                         return;
873                 }
874                 assert ( iscsi->tx_offset <= iscsi->tx_len );
875
876                 /* If the whole of the current portion has not yet
877                  * been acked, stay in this state for now.
878                  */
879                 if ( iscsi->tx_offset != iscsi->tx_len )
880                         return;
881
882                 /* Move to next state.  Call iscsi_tx_done() when PDU
883                  * transmission is complete.
884                  */
885                 iscsi->tx_state = next_state;
886                 iscsi->tx_offset = 0;
887                 if ( next_state == ISCSI_TX_IDLE )
888                         iscsi_tx_done ( iscsi );
889         }
890 }
891
892 /**
893  * Transmit iSCSI PDU
894  *
895  * @v iscsi             iSCSI session
896  * @v buf               Temporary data buffer
897  * @v len               Length of temporary data buffer
898  * 
899  * Constructs data to be sent for the current TX state
900  */
901 static void iscsi_senddata ( struct tcp_connection *conn,
902                              void *buf, size_t len ) {
903         struct iscsi_session *iscsi = tcp_to_iscsi ( conn );
904         struct iscsi_bhs_common *common = &iscsi->tx_bhs.common;
905         static const char pad[] = { '\0', '\0', '\0' };
906
907         switch ( iscsi->tx_state ) {
908         case ISCSI_TX_IDLE:
909                 /* Nothing to send */
910                 break;
911         case ISCSI_TX_BHS:
912                 tcp_send ( conn, &iscsi->tx_bhs.bytes[iscsi->tx_offset],
913                            ( sizeof ( iscsi->tx_bhs ) - iscsi->tx_offset ) );
914                 break;
915         case ISCSI_TX_AHS:
916                 /* We don't yet have an AHS transmission mechanism */
917                 assert ( 0 );
918                 break;
919         case ISCSI_TX_DATA:
920                 iscsi_tx_data ( iscsi, buf, len );
921                 break;
922         case ISCSI_TX_DATA_PADDING:
923                 tcp_send ( conn, pad, ( ISCSI_DATA_PAD_LEN ( common->lengths )
924                                         - iscsi->tx_offset ) );
925                 break;
926         default:
927                 assert ( 0 );
928                 break;
929         }
930 }
931
932 /**
933  * Receive data segment of an iSCSI PDU
934  *
935  * @v iscsi             iSCSI session
936  * @v data              Received data
937  * @v len               Length of received data
938  * @v remaining         Data remaining after this data
939  *
940  * Handle processing of part of a PDU data segment.  iscsi::rx_bhs
941  * will be valid when this is called.
942  */
943 static void iscsi_rx_data ( struct iscsi_session *iscsi, void *data,
944                             size_t len, size_t remaining ) {
945         struct iscsi_bhs_common_response *response
946                 = &iscsi->rx_bhs.common_response;
947
948         /* Update cmdsn and statsn */
949         iscsi->cmdsn = ntohl ( response->expcmdsn );
950         iscsi->statsn = ntohl ( response->statsn );
951
952         switch ( response->opcode & ISCSI_OPCODE_MASK ) {
953         case ISCSI_OPCODE_LOGIN_RESPONSE:
954                 iscsi_rx_login_response ( iscsi, data, len, remaining );
955                 break;
956         case ISCSI_OPCODE_SCSI_RESPONSE:
957                 iscsi_rx_scsi_response ( iscsi, data, len, remaining );
958                 break;
959         case ISCSI_OPCODE_DATA_IN:
960                 iscsi_rx_data_in ( iscsi, data, len, remaining );
961                 break;
962         case ISCSI_OPCODE_R2T:
963                 iscsi_rx_r2t ( iscsi, data, len, remaining );
964                 break;
965         default:
966                 if ( remaining )
967                         return;
968                 printf ( "Unknown iSCSI opcode %02x\n", response->opcode );
969                 iscsi_done ( iscsi, -EOPNOTSUPP );
970                 break;
971         }
972 }
973
974 /**
975  * Discard portion of an iSCSI PDU.
976  *
977  * @v iscsi             iSCSI session
978  * @v data              Received data
979  * @v len               Length of received data
980  * @v remaining         Data remaining after this data
981  *
982  * This discards data from a portion of a received PDU.
983  */
984 static void iscsi_rx_discard ( struct iscsi_session *iscsi __unused,
985                                void *data __unused, size_t len __unused,
986                                size_t remaining __unused ) {
987         /* Do nothing */
988 }
989
990 /**
991  * Receive basic header segment of an iSCSI PDU
992  *
993  * @v iscsi             iSCSI session
994  * @v data              Received data
995  * @v len               Length of received data
996  * @v remaining         Data remaining after this data
997  *
998  * This fills in iscsi::rx_bhs with the data from the BHS portion of
999  * the received PDU.
1000  */
1001 static void iscsi_rx_bhs ( struct iscsi_session *iscsi, void *data,
1002                            size_t len, size_t remaining __unused ) {
1003         memcpy ( &iscsi->rx_bhs.bytes[iscsi->rx_offset], data, len );
1004         if ( ( iscsi->rx_offset + len ) >= sizeof ( iscsi->rx_bhs ) ) {
1005                 DBG ( "iSCSI %p received PDU opcode %#x len %#lx\n",
1006                       iscsi, iscsi->rx_bhs.common.opcode,
1007                       ISCSI_DATA_LEN ( iscsi->rx_bhs.common.lengths ) );
1008         }
1009 }
1010
1011 /**
1012  * Receive new data
1013  *
1014  * @v tcp               TCP connection
1015  * @v data              Received data
1016  * @v len               Length of received data
1017  *
1018  * This handles received PDUs.  The receive strategy is to fill in
1019  * iscsi::rx_bhs with the contents of the BHS portion of the PDU,
1020  * throw away any AHS portion, and then process each part of the data
1021  * portion as it arrives.  The data processing routine therefore
1022  * always has a full copy of the BHS available, even for portions of
1023  * the data in different packets to the BHS.
1024  */
1025 static void iscsi_newdata ( struct tcp_connection *conn, void *data,
1026                             size_t len ) {
1027         struct iscsi_session *iscsi = tcp_to_iscsi ( conn );
1028         struct iscsi_bhs_common *common = &iscsi->rx_bhs.common;
1029         void ( *process ) ( struct iscsi_session *iscsi, void *data,
1030                             size_t len, size_t remaining );
1031         enum iscsi_rx_state next_state;
1032         size_t frag_len;
1033         size_t remaining;
1034
1035         while ( 1 ) {
1036                 switch ( iscsi->rx_state ) {
1037                 case ISCSI_RX_BHS:
1038                         process = iscsi_rx_bhs;
1039                         iscsi->rx_len = sizeof ( iscsi->rx_bhs );
1040                         next_state = ISCSI_RX_AHS;                      
1041                         break;
1042                 case ISCSI_RX_AHS:
1043                         process = iscsi_rx_discard;
1044                         iscsi->rx_len = 4 * ISCSI_AHS_LEN ( common->lengths );
1045                         next_state = ISCSI_RX_DATA;
1046                         break;
1047                 case ISCSI_RX_DATA:
1048                         process = iscsi_rx_data;
1049                         iscsi->rx_len = ISCSI_DATA_LEN ( common->lengths );
1050                         next_state = ISCSI_RX_DATA_PADDING;
1051                         break;
1052                 case ISCSI_RX_DATA_PADDING:
1053                         process = iscsi_rx_discard;
1054                         iscsi->rx_len = ISCSI_DATA_PAD_LEN ( common->lengths );
1055                         next_state = ISCSI_RX_BHS;
1056                         break;
1057                 default:
1058                         assert ( 0 );
1059                         return;
1060                 }
1061
1062                 frag_len = iscsi->rx_len - iscsi->rx_offset;
1063                 if ( frag_len > len )
1064                         frag_len = len;
1065                 remaining = iscsi->rx_len - iscsi->rx_offset - frag_len;
1066                 process ( iscsi, data, frag_len, remaining );
1067
1068                 iscsi->rx_offset += frag_len;
1069                 data += frag_len;
1070                 len -= frag_len;
1071
1072                 /* If all the data for this state has not yet been
1073                  * received, stay in this state for now.
1074                  */
1075                 if ( iscsi->rx_offset != iscsi->rx_len )
1076                         return;
1077
1078                 iscsi->rx_state = next_state;
1079                 iscsi->rx_offset = 0;
1080         }
1081 }
1082
1083 /**
1084  * Handle TCP connection closure
1085  *
1086  * @v conn              TCP connection
1087  * @v status            Error code, if any
1088  *
1089  */
1090 static void iscsi_closed ( struct tcp_connection *conn, int status ) {
1091         struct iscsi_session *iscsi = tcp_to_iscsi ( conn );
1092
1093         /* Clear session status */
1094         iscsi->status = 0;
1095
1096         /* Retry connection if within the retry limit, otherwise fail */
1097         if ( ++iscsi->retry_count <= ISCSI_MAX_RETRIES ) {
1098                 tcp_connect ( conn );
1099         } else {
1100                 printf ( "iSCSI retry count exceeded\n" );
1101                 iscsi_done ( iscsi, status );
1102         }
1103 }
1104
1105 /**
1106  * Handle TCP connection opening
1107  *
1108  * @v conn              TCP connection
1109  *
1110  */
1111 static void iscsi_connected ( struct tcp_connection *conn ) {
1112         struct iscsi_session *iscsi = tcp_to_iscsi ( conn );
1113
1114         /* Set connected flag and reset retry count */
1115         iscsi->status = ( ISCSI_STATUS_SECURITY_NEGOTIATION_PHASE |
1116                           ISCSI_STATUS_STRINGS_SECURITY );
1117         iscsi->retry_count = 0;
1118
1119         /* Prepare to receive PDUs. */
1120         iscsi->rx_state = ISCSI_RX_BHS;
1121         iscsi->rx_offset = 0;
1122
1123         /* Assign fresh initiator task tag */
1124         iscsi->itt++;
1125
1126         /* Start logging in */
1127         iscsi_start_login ( iscsi );
1128 }
1129
1130 /** iSCSI TCP operations */
1131 static struct tcp_operations iscsi_tcp_operations = {
1132         .closed         = iscsi_closed,
1133         .connected      = iscsi_connected,
1134         .acked          = iscsi_acked,
1135         .newdata        = iscsi_newdata,
1136         .senddata       = iscsi_senddata,
1137 };
1138
1139 /**
1140  * Issue SCSI command via iSCSI session
1141  *
1142  * @v iscsi             iSCSI session
1143  * @v command           SCSI command
1144  * @ret aop             Asynchronous operation for this SCSI command
1145  */
1146 struct async_operation * iscsi_issue ( struct iscsi_session *iscsi,
1147                                        struct scsi_command *command ) {
1148         assert ( iscsi->command == NULL );
1149         iscsi->command = command;
1150
1151         if ( iscsi->status ) {
1152                 iscsi_start_command ( iscsi );
1153                 tcp_senddata ( &iscsi->tcp );
1154         } else {
1155                 iscsi->tcp.tcp_op = &iscsi_tcp_operations;
1156                 tcp_connect ( &iscsi->tcp );
1157         }
1158
1159         return &iscsi->aop;
1160 }