f95286d09babc5a9e14c90cc91643d669e82fcef
[people/xl0/gpxe-arm.git] / src / net / tcp / iscsi.c
1 /*
2  * Copyright (C) 2006 Michael Brown <mbrown@fensystems.co.uk>.
3  *
4  * This program is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU General Public License as
6  * published by the Free Software Foundation; either version 2 of the
7  * License, or any later version.
8  *
9  * This program is distributed in the hope that it will be useful, but
10  * WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * General Public License for more details.
13  *
14  * You should have received a copy of the GNU General Public License
15  * along with this program; if not, write to the Free Software
16  * Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
17  */
18
19 #include <stddef.h>
20 #include <string.h>
21 #include <stdlib.h>
22 #include <stdio.h>
23 #include <errno.h>
24 #include <assert.h>
25 #include <byteswap.h>
26 #include <gpxe/vsprintf.h>
27 #include <gpxe/scsi.h>
28 #include <gpxe/process.h>
29 #include <gpxe/uaccess.h>
30 #include <gpxe/tcp.h>
31 #include <gpxe/iscsi.h>
32
33 /** @file
34  *
35  * iSCSI protocol
36  *
37  */
38
39 static void iscsi_start_tx ( struct iscsi_session *iscsi );
40 static void iscsi_start_data_out ( struct iscsi_session *iscsi,
41                                    unsigned int datasn );
42
43 /**
44  * Receive PDU data into buffer
45  *
46  * @v iscsi             iSCSI session
47  * @v data              Data to receive
48  * @v len               Length of data
49  * @ret rc              Return status code
50  *
51  * This can be used when the RX PDU type handler wishes to buffer up
52  * all received data and process the PDU as a single unit.  The caller
53  * is repsonsible for calling iscsi_rx_buffered_data_done() after
54  * processing the data.
55  */
56 static int iscsi_rx_buffered_data ( struct iscsi_session *iscsi,
57                                     const void *data, size_t len ) {
58
59         /* Allocate buffer on first call */
60         if ( ! iscsi->rx_buffer ) {
61                 iscsi->rx_buffer = malloc ( iscsi->rx_len );
62                 if ( ! iscsi->rx_buffer )
63                         return -ENOMEM;
64         }
65
66         /* Copy data to buffer */
67         assert ( ( iscsi->rx_offset + len ) <= iscsi->rx_len );
68         memcpy ( ( iscsi->rx_buffer + iscsi->rx_offset ), data, len );
69
70         return 0;
71 }
72
73 /**
74  * Finish receiving PDU data into buffer
75  *
76  * @v iscsi             iSCSI session
77  */
78 static void iscsi_rx_buffered_data_done ( struct iscsi_session *iscsi ) {
79         free ( iscsi->rx_buffer );
80         iscsi->rx_buffer = NULL;
81 }
82
83 /**
84  * Close iSCSI connection
85  *
86  * @v iscsi             iSCSI session
87  */
88 static void iscsi_close ( struct iscsi_session *iscsi ) {
89
90         /* Close stream connection */
91         stream_close ( &iscsi->stream );
92
93         /* Clear connection status */
94         iscsi->status = 0;
95
96         /* Reset TX and RX state machines */
97         iscsi->tx_state = ISCSI_TX_IDLE;
98         iscsi->rx_state = ISCSI_RX_BHS;
99
100         /* Free any dynamically allocated memory */
101         chap_finish ( &iscsi->chap );
102         iscsi_rx_buffered_data_done ( iscsi );
103 }
104
105 /**
106  * Mark iSCSI operation as complete
107  *
108  * @v iscsi             iSCSI session
109  * @v rc                Return status code
110  *
111  * Note that iscsi_done() will not close the connection, and must
112  * therefore be called only when the internal state machines are in an
113  * appropriate state, otherwise bad things may happen on the next call
114  * to iscsi_issue().  The general rule is to call iscsi_done() only at
115  * the end of receiving a PDU; at this point the TX and RX engines
116  * should both be idle.
117  */
118 static void iscsi_done ( struct iscsi_session *iscsi, int rc ) {
119
120         assert ( iscsi->tx_state == ISCSI_TX_IDLE );
121
122         /* Clear current SCSI command */
123         iscsi->command = NULL;
124
125         /* Mark asynchronous operation as complete */
126         async_done ( &iscsi->async, rc );
127 }
128
129 /****************************************************************************
130  *
131  * iSCSI SCSI command issuing
132  *
133  */
134
135 /**
136  * Build iSCSI SCSI command BHS
137  *
138  * @v iscsi             iSCSI session
139  *
140  * We don't currently support bidirectional commands (i.e. with both
141  * Data-In and Data-Out segments); these would require providing code
142  * to generate an AHS, and there doesn't seem to be any need for it at
143  * the moment.
144  */
145 static void iscsi_start_command ( struct iscsi_session *iscsi ) {
146         struct iscsi_bhs_scsi_command *command = &iscsi->tx_bhs.scsi_command;
147
148         assert ( ! ( iscsi->command->data_in && iscsi->command->data_out ) );
149
150         /* Construct BHS and initiate transmission */
151         iscsi_start_tx ( iscsi );
152         command->opcode = ISCSI_OPCODE_SCSI_COMMAND;
153         command->flags = ( ISCSI_FLAG_FINAL |
154                            ISCSI_COMMAND_ATTR_SIMPLE );
155         if ( iscsi->command->data_in )
156                 command->flags |= ISCSI_COMMAND_FLAG_READ;
157         if ( iscsi->command->data_out )
158                 command->flags |= ISCSI_COMMAND_FLAG_WRITE;
159         /* lengths left as zero */
160         command->lun = iscsi->lun;
161         command->itt = htonl ( ++iscsi->itt );
162         command->exp_len = htonl ( iscsi->command->data_in_len |
163                                    iscsi->command->data_out_len );
164         command->cmdsn = htonl ( iscsi->cmdsn );
165         command->expstatsn = htonl ( iscsi->statsn + 1 );
166         memcpy ( &command->cdb, &iscsi->command->cdb, sizeof ( command->cdb ));
167         DBGC ( iscsi, "iSCSI %p start " SCSI_CDB_FORMAT " %s %#x\n",
168                iscsi, SCSI_CDB_DATA ( command->cdb ),
169                ( iscsi->command->data_in ? "in" : "out" ),
170                ( iscsi->command->data_in ?
171                  iscsi->command->data_in_len : iscsi->command->data_out_len ));
172 }
173
174 /**
175  * Receive data segment of an iSCSI SCSI response PDU
176  *
177  * @v iscsi             iSCSI session
178  * @v data              Received data
179  * @v len               Length of received data
180  * @v remaining         Data remaining after this data
181  * 
182  */
183 static void iscsi_rx_scsi_response ( struct iscsi_session *iscsi, void *data,
184                                      size_t len, size_t remaining ) {
185         struct iscsi_bhs_scsi_response *response
186                 = &iscsi->rx_bhs.scsi_response;
187         int sense_offset;
188
189         /* Capture the sense response code as it floats past, if present */
190         sense_offset = ISCSI_SENSE_RESPONSE_CODE_OFFSET - iscsi->rx_offset;
191         if ( ( sense_offset >= 0 ) && len ) {
192                 iscsi->command->sense_response =
193                         * ( ( char * ) data + sense_offset );
194         }
195
196         /* Wait for whole SCSI response to arrive */
197         if ( remaining )
198                 return;
199         
200         /* Record SCSI status code */
201         iscsi->command->status = response->status;
202
203         /* Mark as completed, with error if applicable */
204         if ( response->response == ISCSI_RESPONSE_COMMAND_COMPLETE ) {
205                 iscsi_done ( iscsi, 0 );
206         } else {
207                 iscsi_done ( iscsi, -EIO );
208         }
209 }
210
211 /**
212  * Receive data segment of an iSCSI data-in PDU
213  *
214  * @v iscsi             iSCSI session
215  * @v data              Received data
216  * @v len               Length of received data
217  * @v remaining         Data remaining after this data
218  * 
219  */
220 static void iscsi_rx_data_in ( struct iscsi_session *iscsi, void *data,
221                                size_t len, size_t remaining __unused ) {
222         struct iscsi_bhs_data_in *data_in = &iscsi->rx_bhs.data_in;
223         unsigned long offset;
224
225         /* Copy data to data-in buffer */
226         offset = ntohl ( data_in->offset ) + iscsi->rx_offset;
227         assert ( iscsi->command != NULL );
228         assert ( iscsi->command->data_in );
229         assert ( ( offset + len ) <= iscsi->command->data_in_len );
230         copy_to_user ( iscsi->command->data_in, offset, data, len );
231
232         /* Record SCSI status, if present */
233         if ( data_in->flags & ISCSI_DATA_FLAG_STATUS )
234                 iscsi->command->status = data_in->status;
235
236         /* If this is the end, flag as complete */
237         if ( ( offset + len ) == iscsi->command->data_in_len ) {
238                 assert ( data_in->flags & ISCSI_FLAG_FINAL );
239                 assert ( remaining == 0 );
240                 iscsi_done ( iscsi, 0 );
241         }
242 }
243
244 /**
245  * Receive data segment of an iSCSI R2T PDU
246  *
247  * @v iscsi             iSCSI session
248  * @v data              Received data
249  * @v len               Length of received data
250  * @v remaining         Data remaining after this data
251  * 
252  */
253 static void iscsi_rx_r2t ( struct iscsi_session *iscsi, void *data __unused,
254                            size_t len __unused, size_t remaining __unused ) {
255         struct iscsi_bhs_r2t *r2t = &iscsi->rx_bhs.r2t;
256
257         /* Record transfer parameters and trigger first data-out */
258         iscsi->ttt = ntohl ( r2t->ttt );
259         iscsi->transfer_offset = ntohl ( r2t->offset );
260         iscsi->transfer_len = ntohl ( r2t->len );
261         iscsi_start_data_out ( iscsi, 0 );
262 }
263
264 /**
265  * Build iSCSI data-out BHS
266  *
267  * @v iscsi             iSCSI session
268  * @v datasn            Data sequence number within the transfer
269  *
270  */
271 static void iscsi_start_data_out ( struct iscsi_session *iscsi,
272                                    unsigned int datasn ) {
273         struct iscsi_bhs_data_out *data_out = &iscsi->tx_bhs.data_out;
274         unsigned long offset;
275         unsigned long remaining;
276         unsigned long len;
277
278         /* We always send 512-byte Data-Out PDUs; this removes the
279          * need to worry about the target's MaxRecvDataSegmentLength.
280          */
281         offset = datasn * 512;
282         remaining = iscsi->transfer_len - offset;
283         len = remaining;
284         if ( len > 512 )
285                 len = 512;
286
287         /* Construct BHS and initiate transmission */
288         iscsi_start_tx ( iscsi );
289         data_out->opcode = ISCSI_OPCODE_DATA_OUT;
290         if ( len == remaining )
291                 data_out->flags = ( ISCSI_FLAG_FINAL );
292         ISCSI_SET_LENGTHS ( data_out->lengths, 0, len );
293         data_out->lun = iscsi->lun;
294         data_out->itt = htonl ( iscsi->itt );
295         data_out->ttt = htonl ( iscsi->ttt );
296         data_out->expstatsn = htonl ( iscsi->statsn + 1 );
297         data_out->datasn = htonl ( datasn );
298         data_out->offset = htonl ( iscsi->transfer_offset + offset );
299         DBGC ( iscsi, "iSCSI %p start data out DataSN %#x len %#lx\n",
300                iscsi, datasn, len );
301 }
302
303 /**
304  * Complete iSCSI data-out PDU transmission
305  *
306  * @v iscsi             iSCSI session
307  *
308  */
309 static void iscsi_data_out_done ( struct iscsi_session *iscsi ) {
310         struct iscsi_bhs_data_out *data_out = &iscsi->tx_bhs.data_out;
311
312         /* If we haven't reached the end of the sequence, start
313          * sending the next data-out PDU.
314          */
315         if ( ! ( data_out->flags & ISCSI_FLAG_FINAL ) )
316                 iscsi_start_data_out ( iscsi, ntohl ( data_out->datasn ) + 1 );
317 }
318
319 /**
320  * Send iSCSI data-out data segment
321  *
322  * @v iscsi             iSCSI session
323  * @v buf               Temporary data buffer
324  * @v len               Length of temporary data buffer
325  */
326 static void iscsi_tx_data_out ( struct iscsi_session *iscsi,
327                                 void *buf, size_t len ) {
328         struct iscsi_bhs_data_out *data_out = &iscsi->tx_bhs.data_out;
329         unsigned long offset;
330         unsigned long remaining;
331
332         offset = ( iscsi->transfer_offset + ntohl ( data_out->offset ) +
333                    iscsi->tx_offset );
334         remaining = ( iscsi->tx_len - iscsi->tx_offset );
335         assert ( iscsi->command != NULL );
336         assert ( iscsi->command->data_out );
337         assert ( ( offset + remaining ) <= iscsi->command->data_out_len );
338         
339         if ( remaining < len )
340                 len = remaining;
341         copy_from_user ( buf, iscsi->command->data_out, offset, len );
342
343         stream_send ( &iscsi->stream, buf, len );
344 }
345
346 /****************************************************************************
347  *
348  * iSCSI login
349  *
350  */
351
352 /**
353  * Build iSCSI login request strings
354  *
355  * @v iscsi             iSCSI session
356  *
357  * These are the initial set of strings sent in the first login
358  * request PDU.  We want the following settings:
359  *
360  *     HeaderDigest=None
361  *     DataDigest=None
362  *     MaxConnections is irrelevant; we make only one connection anyway
363  *     InitialR2T=Yes [1]
364  *     ImmediateData is irrelevant; we never send immediate data
365  *     MaxRecvDataSegmentLength=8192 (default; we don't care)
366  *     MaxBurstLength=262144 (default; we don't care)
367  *     FirstBurstLength=262144 (default; we don't care)
368  *     DefaultTime2Wait=0 [2]
369  *     DefaultTime2Retain=0 [2]
370  *     MaxOutstandingR2T=1
371  *     DataPDUInOrder=Yes
372  *     DataSequenceInOrder=Yes
373  *     ErrorRecoveryLevel=0
374  *
375  * [1] InitialR2T has an OR resolution function, so the target may
376  * force us to use it.  We therefore simplify our logic by always
377  * using it.
378  *
379  * [2] These ensure that we can safely start a new task once we have
380  * reconnected after a failure, without having to manually tidy up
381  * after the old one.
382  */
383 static int iscsi_build_login_request_strings ( struct iscsi_session *iscsi,
384                                                void *data, size_t len ) {
385         unsigned int used = 0;
386         unsigned int i;
387
388         if ( iscsi->status & ISCSI_STATUS_STRINGS_SECURITY ) {
389                 used += ssnprintf ( data + used, len - used,
390                                     "InitiatorName=%s%c"
391                                     "TargetName=%s%c"
392                                     "SessionType=Normal%c"
393                                     "AuthMethod=CHAP,None%c",
394                                     iscsi->initiator_iqn, 0,
395                                     iscsi->target_iqn, 0, 0, 0 );
396         }
397
398         if ( iscsi->status & ISCSI_STATUS_STRINGS_CHAP_ALGORITHM ) {
399                 used += ssnprintf ( data + used, len - used, "CHAP_A=5%c", 0 );
400         }
401         
402         if ( ( iscsi->status & ISCSI_STATUS_STRINGS_CHAP_RESPONSE ) &&
403              iscsi->username ) {
404                 used += ssnprintf ( data + used, len - used,
405                                     "CHAP_N=%s%cCHAP_R=0x",
406                                     iscsi->username, 0 );
407                 for ( i = 0 ; i < iscsi->chap.response_len ; i++ ) {
408                         used += ssnprintf ( data + used, len - used, "%02x",
409                                             iscsi->chap.response[i] );
410                 }
411                 used += ssnprintf ( data + used, len - used, "%c", 0 );
412         }
413
414         if ( iscsi->status & ISCSI_STATUS_STRINGS_OPERATIONAL ) {
415                 used += ssnprintf ( data + used, len - used,
416                                     "HeaderDigest=None%c"
417                                     "DataDigest=None%c"
418                                     "InitialR2T=Yes%c"
419                                     "DefaultTime2Wait=0%c"
420                                     "DefaultTime2Retain=0%c"
421                                     "MaxOutstandingR2T=1%c"
422                                     "DataPDUInOrder=Yes%c"
423                                     "DataSequenceInOrder=Yes%c"
424                                     "ErrorRecoveryLevel=0%c",
425                                     0, 0, 0, 0, 0, 0, 0, 0, 0 );
426         }
427
428         return used;
429 }
430
431 /**
432  * Build iSCSI login request BHS
433  *
434  * @v iscsi             iSCSI session
435  */
436 static void iscsi_start_login ( struct iscsi_session *iscsi ) {
437         struct iscsi_bhs_login_request *request = &iscsi->tx_bhs.login_request;
438         int len;
439
440         /* Construct BHS and initiate transmission */
441         iscsi_start_tx ( iscsi );
442         request->opcode = ( ISCSI_OPCODE_LOGIN_REQUEST |
443                             ISCSI_FLAG_IMMEDIATE );
444         request->flags = ( ( iscsi->status & ISCSI_STATUS_PHASE_MASK ) |
445                            ISCSI_LOGIN_FLAG_TRANSITION );
446         /* version_max and version_min left as zero */
447         len = iscsi_build_login_request_strings ( iscsi, NULL, 0 );
448         ISCSI_SET_LENGTHS ( request->lengths, 0, len );
449         request->isid_iana_en = htonl ( ISCSI_ISID_IANA |
450                                         IANA_EN_FEN_SYSTEMS );
451         /* isid_iana_qual left as zero */
452         request->tsih = htons ( iscsi->tsih );
453         request->itt = htonl ( iscsi->itt );
454         /* cid left as zero */
455         request->cmdsn = htonl ( iscsi->cmdsn );
456         request->expstatsn = htonl ( iscsi->statsn + 1 );
457 }
458
459 /**
460  * Complete iSCSI login request PDU transmission
461  *
462  * @v iscsi             iSCSI session
463  *
464  */
465 static void iscsi_login_request_done ( struct iscsi_session *iscsi ) {
466
467         /* Clear any "strings to send" flags */
468         iscsi->status &= ~ISCSI_STATUS_STRINGS_MASK;
469
470         /* Free any dynamically allocated storage used for login */
471         chap_finish ( &iscsi->chap );
472 }
473
474 /**
475  * Transmit data segment of an iSCSI login request PDU
476  *
477  * @v iscsi             iSCSI session
478  * @v buf               Temporary data buffer
479  * @v len               Length of temporary data buffer
480  *
481  * For login requests, the data segment consists of the login strings.
482  */
483 static void iscsi_tx_login_request ( struct iscsi_session *iscsi,
484                                      void *buf, size_t len ) {
485         len = iscsi_build_login_request_strings ( iscsi, buf, len );
486         stream_send ( &iscsi->stream, buf + iscsi->tx_offset,
487                    len - iscsi->tx_offset );
488 }
489
490 /**
491  * Handle iSCSI TargetAddress text value
492  *
493  * @v iscsi             iSCSI session
494  * @v value             TargetAddress value
495  */
496 static void iscsi_handle_targetaddress_value ( struct iscsi_session *iscsi,
497                                                const char *value ) {
498         struct in_addr address;
499         struct sockaddr_in *sin = ( struct sockaddr_in * ) &iscsi->target;
500
501         if ( inet_aton ( value, &address ) == 0 ) {
502                 DBGC ( iscsi, "iSCSI %p received invalid TargetAddress "
503                        "\"%s\"\n", iscsi, value );
504                 return;
505         }
506
507         DBGC ( iscsi, "iSCSI %p will redirect to %s\n", iscsi, value );
508         sin->sin_addr = address;
509 }
510
511 /**
512  * Handle iSCSI AuthMethod text value
513  *
514  * @v iscsi             iSCSI session
515  * @v value             AuthMethod value
516  */
517 static void iscsi_handle_authmethod_value ( struct iscsi_session *iscsi,
518                                             const char *value ) {
519
520         /* If server requests CHAP, send the CHAP_A string */
521         if ( strcmp ( value, "CHAP" ) == 0 ) {
522                 DBGC ( iscsi, "iSCSI %p initiating CHAP authentication\n",
523                        iscsi );
524                 iscsi->status |= ISCSI_STATUS_STRINGS_CHAP_ALGORITHM;
525         }
526 }
527
528 /**
529  * Handle iSCSI CHAP_A text value
530  *
531  * @v iscsi             iSCSI session
532  * @v value             CHAP_A value
533  */
534 static void iscsi_handle_chap_a_value ( struct iscsi_session *iscsi,
535                                         const char *value ) {
536         int rc;
537
538         /* We only ever offer "5" (i.e. MD5) as an algorithm, so if
539          * the server responds with anything else it is a protocol
540          * violation.
541          */
542         if ( strcmp ( value, "5" ) != 0 ) {
543                 DBGC ( iscsi, "iSCSI %p got invalid CHAP algorithm \"%s\"\n",
544                        iscsi, value );
545         }
546
547         /* Prepare for CHAP with MD5 */
548         if ( ( rc = chap_init ( &iscsi->chap, &md5_algorithm ) ) != 0 ) {
549                 DBGC ( iscsi, "iSCSI %p could not initialise CHAP: %s\n",
550                        iscsi, strerror ( rc ) );
551                 iscsi_close ( iscsi );
552                 iscsi_done ( iscsi, rc );
553         }
554 }
555
556 /**
557  * Handle iSCSI CHAP_I text value
558  *
559  * @v iscsi             iSCSI session
560  * @v value             CHAP_I value
561  */
562 static void iscsi_handle_chap_i_value ( struct iscsi_session *iscsi,
563                                         const char *value ) {
564         unsigned int identifier;
565         char *endp;
566
567         /* The CHAP identifier is an integer value */
568         identifier = strtoul ( value, &endp, 0 );
569         if ( *endp != '\0' ) {
570                 DBGC ( iscsi, "iSCSI %p saw invalid CHAP identifier \"%s\"\n",
571                        iscsi, value );
572         }
573
574         /* Identifier and secret are the first two components of the
575          * challenge.
576          */
577         chap_set_identifier ( &iscsi->chap, identifier );
578         if ( iscsi->password ) {
579                 chap_update ( &iscsi->chap, iscsi->password,
580                               strlen ( iscsi->password ) );
581         }
582 }
583
584 /**
585  * Handle iSCSI CHAP_C text value
586  *
587  * @v iscsi             iSCSI session
588  * @v value             CHAP_C value
589  */
590 static void iscsi_handle_chap_c_value ( struct iscsi_session *iscsi,
591                                         const char *value ) {
592         char buf[3];
593         char *endp;
594         uint8_t byte;
595
596         /* Check and strip leading "0x" */
597         if ( ( value[0] != '0' ) || ( value[1] != 'x' ) ) {
598                 DBGC ( iscsi, "iSCSI %p saw invalid CHAP challenge \"%s\"\n",
599                        iscsi, value );
600         }
601         value += 2;
602
603         /* Process challenge an octet at a time */
604         for ( ; ( value[0] && value[1] ) ; value += 2 ) {
605                 memcpy ( buf, value, 2 );
606                 buf[3] = 0;
607                 byte = strtoul ( buf, &endp, 16 );
608                 if ( *endp != '\0' ) {
609                         DBGC ( iscsi, "iSCSI %p saw invalid CHAP challenge "
610                                "byte \"%s\"\n", iscsi, buf );
611                 }
612                 chap_update ( &iscsi->chap, &byte, sizeof ( byte ) );
613         }
614
615         /* Build CHAP response */
616         DBGC ( iscsi, "iSCSI %p sending CHAP response\n", iscsi );
617         chap_respond ( &iscsi->chap );
618         iscsi->status |= ISCSI_STATUS_STRINGS_CHAP_RESPONSE;
619 }
620
621 /** An iSCSI text string that we want to handle */
622 struct iscsi_string_type {
623         /** String key
624          *
625          * This is the portion up to and including the "=" sign,
626          * e.g. "InitiatorName=", "CHAP_A=", etc.
627          */
628         const char *key;
629         /** Handle iSCSI string value
630          *
631          * @v iscsi             iSCSI session
632          * @v value             iSCSI string value
633          */
634         void ( * handle_value ) ( struct iscsi_session *iscsi,
635                                   const char *value );
636 };
637
638 /** iSCSI text strings that we want to handle */
639 struct iscsi_string_type iscsi_string_types[] = {
640         { "TargetAddress=", iscsi_handle_targetaddress_value },
641         { "AuthMethod=", iscsi_handle_authmethod_value },
642         { "CHAP_A=", iscsi_handle_chap_a_value },
643         { "CHAP_I=", iscsi_handle_chap_i_value },
644         { "CHAP_C=", iscsi_handle_chap_c_value },
645         { NULL, NULL }
646 };
647
648 /**
649  * Handle iSCSI string
650  *
651  * @v iscsi             iSCSI session
652  * @v string            iSCSI string (in "key=value" format)
653  */
654 static void iscsi_handle_string ( struct iscsi_session *iscsi,
655                                   const char *string ) {
656         struct iscsi_string_type *type;
657         size_t key_len;
658
659         for ( type = iscsi_string_types ; type->key ; type++ ) {
660                 key_len = strlen ( type->key );
661                 if ( strncmp ( string, type->key, key_len ) == 0 ) {
662                         DBGC ( iscsi, "iSCSI %p handling %s\n",
663                                iscsi, string );
664                         type->handle_value ( iscsi, ( string + key_len ) );
665                         return;
666                 }
667         }
668         DBGC ( iscsi, "iSCSI %p ignoring %s\n", iscsi, string );
669 }
670
671 /**
672  * Handle iSCSI strings
673  *
674  * @v iscsi             iSCSI session
675  * @v string            iSCSI string buffer
676  * @v len               Length of string buffer
677  */
678 static void iscsi_handle_strings ( struct iscsi_session *iscsi,
679                                    const char *strings, size_t len ) {
680         size_t string_len;
681
682         /* Handle each string in turn, taking care not to overrun the
683          * data buffer in case of badly-terminated data.
684          */
685         while ( 1 ) {
686                 string_len = ( strnlen ( strings, len ) + 1 );
687                 if ( string_len > len )
688                         break;
689                 iscsi_handle_string ( iscsi, strings );
690                 strings += string_len;
691                 len -= string_len;
692         }
693 }
694
695 /**
696  * Receive data segment of an iSCSI login response PDU
697  *
698  * @v iscsi             iSCSI session
699  * @v data              Received data
700  * @v len               Length of received data
701  * @v remaining         Data remaining after this data
702  * 
703  */
704 static void iscsi_rx_login_response ( struct iscsi_session *iscsi, void *data,
705                                       size_t len, size_t remaining ) {
706         struct iscsi_bhs_login_response *response
707                 = &iscsi->rx_bhs.login_response;
708         int rc;
709
710         /* Buffer up the PDU data */
711         if ( ( rc = iscsi_rx_buffered_data ( iscsi, data, len ) ) != 0 ) {
712                 DBGC ( iscsi, "iSCSI %p could not buffer login response: %s\n",
713                        iscsi, strerror ( rc ) );
714                 iscsi_close ( iscsi );
715                 iscsi_done ( iscsi, rc );
716                 return;
717         }
718         if ( remaining )
719                 return;
720
721         /* Process string data and discard string buffer */
722         iscsi_handle_strings ( iscsi, iscsi->rx_buffer, iscsi->rx_len );
723         iscsi_rx_buffered_data_done ( iscsi );
724
725         /* Check for login redirection */
726         if ( response->status_class == ISCSI_STATUS_REDIRECT ) {
727                 DBGC ( iscsi, "iSCSI %p redirecting to new server\n", iscsi );
728                 iscsi_close ( iscsi );
729                 if ( ( rc = tcp_open ( &iscsi->stream ) ) != 0 ) {
730                         DBGC ( iscsi, "iSCSI %p could not open stream: %s\n ",
731                                iscsi, strerror ( rc ) );
732                         iscsi_done ( iscsi, rc );
733                         return;
734                 }
735                 if ( ( rc = stream_connect ( &iscsi->stream,
736                                              &iscsi->target ) != 0 ) != 0 ) {
737                         DBGC ( iscsi, "iSCSI %p could not connect: %s\n ",
738                                iscsi, strerror ( rc ) );
739                         iscsi_done ( iscsi, rc );
740                         return;
741                 }
742                 return;
743         }
744
745         /* Check for fatal errors */
746         if ( response->status_class != 0 ) {
747                 DBGC ( iscsi, "iSCSI login failure: class %02x detail %02x\n",
748                        response->status_class, response->status_detail );
749                 iscsi->instant_rc = -EPERM;
750                 iscsi_close ( iscsi );
751                 iscsi_done ( iscsi, -EPERM );
752                 return;
753         }
754
755         /* Handle login transitions */
756         if ( response->flags & ISCSI_LOGIN_FLAG_TRANSITION ) {
757                 switch ( response->flags & ISCSI_LOGIN_NSG_MASK ) {
758                 case ISCSI_LOGIN_NSG_OPERATIONAL_NEGOTIATION:
759                         iscsi->status =
760                                 ( ISCSI_STATUS_OPERATIONAL_NEGOTIATION_PHASE |
761                                   ISCSI_STATUS_STRINGS_OPERATIONAL );
762                         break;
763                 case ISCSI_LOGIN_NSG_FULL_FEATURE_PHASE:
764                         iscsi->status = ISCSI_STATUS_FULL_FEATURE_PHASE;
765                         break;
766                 default:
767                         DBGC ( iscsi, "iSCSI %p got invalid response flags "
768                                "%02x\n", iscsi, response->flags );
769                         iscsi_close ( iscsi );
770                         iscsi_done ( iscsi, -EIO );
771                         return;
772                 }
773         }
774
775         /* Send next login request PDU if we haven't reached the full
776          * feature phase yet.
777          */
778         if ( ( iscsi->status & ISCSI_STATUS_PHASE_MASK ) !=
779              ISCSI_STATUS_FULL_FEATURE_PHASE ) {
780                 iscsi_start_login ( iscsi );
781                 return;
782         }
783
784         /* Reset retry count */
785         iscsi->retry_count = 0;
786
787         /* Record TSIH for future reference */
788         iscsi->tsih = ntohl ( response->tsih );
789         
790         /* Send the actual SCSI command */
791         iscsi_start_command ( iscsi );
792 }
793
794 /****************************************************************************
795  *
796  * iSCSI to stream interface
797  *
798  */
799
800 static inline struct iscsi_session *
801 stream_to_iscsi ( struct stream_application *app ) {
802         return container_of ( app, struct iscsi_session, stream );
803 }
804
805 /**
806  * Start up a new TX PDU
807  *
808  * @v iscsi             iSCSI session
809  *
810  * This initiates the process of sending a new PDU.  Only one PDU may
811  * be in transit at any one time.
812  */
813 static void iscsi_start_tx ( struct iscsi_session *iscsi ) {
814         assert ( iscsi->tx_state == ISCSI_TX_IDLE );
815         
816         /* Initialise TX BHS */
817         memset ( &iscsi->tx_bhs, 0, sizeof ( iscsi->tx_bhs ) );
818
819         /* Flag TX engine to start transmitting */
820         iscsi->tx_state = ISCSI_TX_BHS;
821         iscsi->tx_offset = 0;
822 }
823
824 /**
825  * Transmit data segment of an iSCSI PDU
826  *
827  * @v iscsi             iSCSI session
828  * @v buf               Temporary data buffer
829  * @v len               Length of temporary data buffer
830  * 
831  * Handle transmission of part of a PDU data segment.  iscsi::tx_bhs
832  * will be valid when this is called.
833  */
834 static void iscsi_tx_data ( struct iscsi_session *iscsi,
835                             void *buf, size_t len ) {
836         struct iscsi_bhs_common *common = &iscsi->tx_bhs.common;
837
838         switch ( common->opcode & ISCSI_OPCODE_MASK ) {
839         case ISCSI_OPCODE_DATA_OUT:
840                 iscsi_tx_data_out ( iscsi, buf, len );
841                 break;
842         case ISCSI_OPCODE_LOGIN_REQUEST:
843                 iscsi_tx_login_request ( iscsi, buf, len );
844                 break;
845         default:
846                 assert ( 0 );
847                 break;
848         }
849 }
850
851 /**
852  * Complete iSCSI PDU transmission
853  *
854  * @v iscsi             iSCSI session
855  *
856  * Called when a PDU has been completely transmitted and the TX state
857  * machine is about to enter the idle state.  iscsi::tx_bhs will be
858  * valid for the just-completed PDU when this is called.
859  */
860 static void iscsi_tx_done ( struct iscsi_session *iscsi ) {
861         struct iscsi_bhs_common *common = &iscsi->tx_bhs.common;
862
863         switch ( common->opcode & ISCSI_OPCODE_MASK ) {
864         case ISCSI_OPCODE_DATA_OUT:
865                 iscsi_data_out_done ( iscsi );
866         case ISCSI_OPCODE_LOGIN_REQUEST:
867                 iscsi_login_request_done ( iscsi );
868         default:
869                 /* No action */
870                 break;
871         }
872 }
873
874 /**
875  * Handle stream ACKs
876  *
877  * @v iscsi             iSCSI session
878  * 
879  * Updates iscsi->tx_offset and, if applicable, transitions to the
880  * next TX state.
881  */
882 static void iscsi_acked ( struct stream_application *app, size_t len ) {
883         struct iscsi_session *iscsi = stream_to_iscsi ( app );
884         struct iscsi_bhs_common *common = &iscsi->tx_bhs.common;
885         enum iscsi_tx_state next_state;
886         
887         iscsi->tx_offset += len;
888         while ( 1 ) {
889                 switch ( iscsi->tx_state ) {
890                 case ISCSI_TX_BHS:
891                         iscsi->tx_len = sizeof ( iscsi->tx_bhs );
892                         next_state = ISCSI_TX_AHS;
893                         break;
894                 case ISCSI_TX_AHS:
895                         iscsi->tx_len = 4 * ISCSI_AHS_LEN ( common->lengths );
896                         next_state = ISCSI_TX_DATA;
897                         break;
898                 case ISCSI_TX_DATA:
899                         iscsi->tx_len = ISCSI_DATA_LEN ( common->lengths );
900                         next_state = ISCSI_TX_DATA_PADDING;
901                         break;
902                 case ISCSI_TX_DATA_PADDING:
903                         iscsi->tx_len = ISCSI_DATA_PAD_LEN ( common->lengths );
904                         next_state = ISCSI_TX_IDLE;
905                         break;
906                 case ISCSI_TX_IDLE:
907                         return;
908                 default:
909                         assert ( 0 );
910                         return;
911                 }
912                 assert ( iscsi->tx_offset <= iscsi->tx_len );
913
914                 /* If the whole of the current portion has not yet
915                  * been acked, stay in this state for now.
916                  */
917                 if ( iscsi->tx_offset != iscsi->tx_len )
918                         return;
919
920                 /* Move to next state.  Call iscsi_tx_done() when PDU
921                  * transmission is complete.
922                  */
923                 iscsi->tx_state = next_state;
924                 iscsi->tx_offset = 0;
925                 if ( next_state == ISCSI_TX_IDLE )
926                         iscsi_tx_done ( iscsi );
927         }
928 }
929
930 /**
931  * Transmit iSCSI PDU
932  *
933  * @v iscsi             iSCSI session
934  * @v buf               Temporary data buffer
935  * @v len               Length of temporary data buffer
936  * 
937  * Constructs data to be sent for the current TX state
938  */
939 static void iscsi_senddata ( struct stream_application *app,
940                              void *buf, size_t len ) {
941         struct iscsi_session *iscsi = stream_to_iscsi ( app );
942         struct iscsi_bhs_common *common = &iscsi->tx_bhs.common;
943         static const char pad[] = { '\0', '\0', '\0' };
944
945         switch ( iscsi->tx_state ) {
946         case ISCSI_TX_IDLE:
947                 /* Nothing to send */
948                 break;
949         case ISCSI_TX_BHS:
950                 stream_send ( app, &iscsi->tx_bhs.bytes[iscsi->tx_offset],
951                            ( sizeof ( iscsi->tx_bhs ) - iscsi->tx_offset ) );
952                 break;
953         case ISCSI_TX_AHS:
954                 /* We don't yet have an AHS transmission mechanism */
955                 assert ( 0 );
956                 break;
957         case ISCSI_TX_DATA:
958                 iscsi_tx_data ( iscsi, buf, len );
959                 break;
960         case ISCSI_TX_DATA_PADDING:
961                 stream_send ( app, pad, ( ISCSI_DATA_PAD_LEN( common->lengths )
962                                           - iscsi->tx_offset ) );
963                 break;
964         default:
965                 assert ( 0 );
966                 break;
967         }
968 }
969
970 /**
971  * Receive data segment of an iSCSI PDU
972  *
973  * @v iscsi             iSCSI session
974  * @v data              Received data
975  * @v len               Length of received data
976  * @v remaining         Data remaining after this data
977  *
978  * Handle processing of part of a PDU data segment.  iscsi::rx_bhs
979  * will be valid when this is called.
980  */
981 static void iscsi_rx_data ( struct iscsi_session *iscsi, void *data,
982                             size_t len, size_t remaining ) {
983         struct iscsi_bhs_common_response *response
984                 = &iscsi->rx_bhs.common_response;
985
986         /* Update cmdsn and statsn */
987         iscsi->cmdsn = ntohl ( response->expcmdsn );
988         iscsi->statsn = ntohl ( response->statsn );
989
990         switch ( response->opcode & ISCSI_OPCODE_MASK ) {
991         case ISCSI_OPCODE_LOGIN_RESPONSE:
992                 iscsi_rx_login_response ( iscsi, data, len, remaining );
993                 break;
994         case ISCSI_OPCODE_SCSI_RESPONSE:
995                 iscsi_rx_scsi_response ( iscsi, data, len, remaining );
996                 break;
997         case ISCSI_OPCODE_DATA_IN:
998                 iscsi_rx_data_in ( iscsi, data, len, remaining );
999                 break;
1000         case ISCSI_OPCODE_R2T:
1001                 iscsi_rx_r2t ( iscsi, data, len, remaining );
1002                 break;
1003         default:
1004                 if ( remaining )
1005                         return;
1006                 DBGC ( iscsi, "iSCSI %p unknown opcode %02x\n", iscsi,
1007                        response->opcode );
1008                 iscsi_close ( iscsi );
1009                 iscsi_done ( iscsi, -EOPNOTSUPP );
1010                 break;
1011         }
1012 }
1013
1014 /**
1015  * Discard portion of an iSCSI PDU.
1016  *
1017  * @v iscsi             iSCSI session
1018  * @v data              Received data
1019  * @v len               Length of received data
1020  * @v remaining         Data remaining after this data
1021  *
1022  * This discards data from a portion of a received PDU.
1023  */
1024 static void iscsi_rx_discard ( struct iscsi_session *iscsi __unused,
1025                                void *data __unused, size_t len __unused,
1026                                size_t remaining __unused ) {
1027         /* Do nothing */
1028 }
1029
1030 /**
1031  * Receive basic header segment of an iSCSI PDU
1032  *
1033  * @v iscsi             iSCSI session
1034  * @v data              Received data
1035  * @v len               Length of received data
1036  * @v remaining         Data remaining after this data
1037  *
1038  * This fills in iscsi::rx_bhs with the data from the BHS portion of
1039  * the received PDU.
1040  */
1041 static void iscsi_rx_bhs ( struct iscsi_session *iscsi, void *data,
1042                            size_t len, size_t remaining __unused ) {
1043         memcpy ( &iscsi->rx_bhs.bytes[iscsi->rx_offset], data, len );
1044         if ( ( iscsi->rx_offset + len ) >= sizeof ( iscsi->rx_bhs ) ) {
1045                 DBGC ( iscsi, "iSCSI %p received PDU opcode %#x len %#lx\n",
1046                        iscsi, iscsi->rx_bhs.common.opcode,
1047                        ISCSI_DATA_LEN ( iscsi->rx_bhs.common.lengths ) );
1048         }
1049 }
1050
1051 /**
1052  * Receive new data
1053  *
1054  * @v stream            Stream application
1055  * @v data              Received data
1056  * @v len               Length of received data
1057  *
1058  * This handles received PDUs.  The receive strategy is to fill in
1059  * iscsi::rx_bhs with the contents of the BHS portion of the PDU,
1060  * throw away any AHS portion, and then process each part of the data
1061  * portion as it arrives.  The data processing routine therefore
1062  * always has a full copy of the BHS available, even for portions of
1063  * the data in different packets to the BHS.
1064  */
1065 static void iscsi_newdata ( struct stream_application *app, void *data,
1066                             size_t len ) {
1067         struct iscsi_session *iscsi = stream_to_iscsi ( app );
1068         struct iscsi_bhs_common *common = &iscsi->rx_bhs.common;
1069         void ( *process ) ( struct iscsi_session *iscsi, void *data,
1070                             size_t len, size_t remaining );
1071         enum iscsi_rx_state next_state;
1072         size_t frag_len;
1073         size_t remaining;
1074
1075         while ( 1 ) {
1076                 switch ( iscsi->rx_state ) {
1077                 case ISCSI_RX_BHS:
1078                         process = iscsi_rx_bhs;
1079                         iscsi->rx_len = sizeof ( iscsi->rx_bhs );
1080                         next_state = ISCSI_RX_AHS;                      
1081                         break;
1082                 case ISCSI_RX_AHS:
1083                         process = iscsi_rx_discard;
1084                         iscsi->rx_len = 4 * ISCSI_AHS_LEN ( common->lengths );
1085                         next_state = ISCSI_RX_DATA;
1086                         break;
1087                 case ISCSI_RX_DATA:
1088                         process = iscsi_rx_data;
1089                         iscsi->rx_len = ISCSI_DATA_LEN ( common->lengths );
1090                         next_state = ISCSI_RX_DATA_PADDING;
1091                         break;
1092                 case ISCSI_RX_DATA_PADDING:
1093                         process = iscsi_rx_discard;
1094                         iscsi->rx_len = ISCSI_DATA_PAD_LEN ( common->lengths );
1095                         next_state = ISCSI_RX_BHS;
1096                         break;
1097                 default:
1098                         assert ( 0 );
1099                         return;
1100                 }
1101
1102                 frag_len = iscsi->rx_len - iscsi->rx_offset;
1103                 if ( frag_len > len )
1104                         frag_len = len;
1105                 remaining = iscsi->rx_len - iscsi->rx_offset - frag_len;
1106                 process ( iscsi, data, frag_len, remaining );
1107
1108                 iscsi->rx_offset += frag_len;
1109                 data += frag_len;
1110                 len -= frag_len;
1111
1112                 /* If all the data for this state has not yet been
1113                  * received, stay in this state for now.
1114                  */
1115                 if ( iscsi->rx_offset != iscsi->rx_len )
1116                         return;
1117
1118                 iscsi->rx_state = next_state;
1119                 iscsi->rx_offset = 0;
1120         }
1121 }
1122
1123 /**
1124  * Handle stream connection closure
1125  *
1126  * @v app               Stream application
1127  * @v status            Error code, if any
1128  *
1129  */
1130 static void iscsi_closed ( struct stream_application *app, int status ) {
1131         struct iscsi_session *iscsi = stream_to_iscsi ( app );
1132         int rc;
1133
1134         /* Even a graceful close counts as an error for iSCSI */
1135         if ( ! status )
1136                 status = -ECONNRESET;
1137
1138         /* Close session cleanly */
1139         iscsi_close ( iscsi );
1140
1141         /* Retry connection if within the retry limit, otherwise fail */
1142         if ( ++iscsi->retry_count <= ISCSI_MAX_RETRIES ) {
1143                 DBGC ( iscsi, "iSCSI %p retrying connection (retry #%d)\n",
1144                        iscsi, iscsi->retry_count );
1145                 if ( ( rc = tcp_open ( app ) ) != 0 ) {
1146                         DBGC ( iscsi, "iSCSI %p could not open stream: %s\n ",
1147                                iscsi, strerror ( rc ) );
1148                         iscsi_done ( iscsi, rc );
1149                         return;
1150                 }
1151                 if ( ( rc = stream_connect ( app, &iscsi->target ) ) != 0 ){
1152                         DBGC ( iscsi, "iSCSI %p could not connect: %s\n",
1153                                iscsi, strerror ( rc ) );
1154                         iscsi_done ( iscsi, rc );
1155                         return;
1156                 }
1157         } else {
1158                 DBGC ( iscsi, "iSCSI %p retry count exceeded\n", iscsi );
1159                 iscsi->instant_rc = status;
1160                 iscsi_done ( iscsi, status );
1161                 return;
1162         }
1163 }
1164
1165 /**
1166  * Handle stream connection opening
1167  *
1168  * @v app               Stream application
1169  *
1170  */
1171 static void iscsi_connected ( struct stream_application *app ) {
1172         struct iscsi_session *iscsi = stream_to_iscsi ( app );
1173
1174         assert ( iscsi->rx_state == ISCSI_RX_BHS );
1175         assert ( iscsi->rx_offset == 0 );
1176
1177         /* Enter security negotiation phase */
1178         iscsi->status = ( ISCSI_STATUS_SECURITY_NEGOTIATION_PHASE |
1179                           ISCSI_STATUS_STRINGS_SECURITY );
1180
1181         /* Assign fresh initiator task tag */
1182         iscsi->itt++;
1183
1184         /* Start logging in */
1185         iscsi_start_login ( iscsi );
1186 }
1187
1188 /** iSCSI stream operations */
1189 static struct stream_application_operations iscsi_stream_operations = {
1190         .closed         = iscsi_closed,
1191         .connected      = iscsi_connected,
1192         .acked          = iscsi_acked,
1193         .newdata        = iscsi_newdata,
1194         .senddata       = iscsi_senddata,
1195 };
1196
1197 /**
1198  * Issue SCSI command via iSCSI session
1199  *
1200  * @v iscsi             iSCSI session
1201  * @v command           SCSI command
1202  * @v parent            Parent asynchronous operation
1203  * @ret rc              Return status code
1204  */
1205 int iscsi_issue ( struct iscsi_session *iscsi, struct scsi_command *command,
1206                   struct async *parent ) {
1207         int rc;
1208
1209         assert ( iscsi->command == NULL );
1210         iscsi->command = command;
1211
1212         if ( iscsi->instant_rc ) {
1213                 /* Abort immediately rather than retrying */
1214                 return iscsi->instant_rc;
1215         } else if ( iscsi->status ) {
1216                 /* Session already open: issue command */
1217                 iscsi_start_command ( iscsi );
1218                 stream_kick ( &iscsi->stream );
1219         } else {
1220                 /* Session not open: initiate login */
1221                 iscsi->stream.op = &iscsi_stream_operations;
1222                 if ( ( rc = tcp_open ( &iscsi->stream ) ) != 0 ) {
1223                         DBGC ( iscsi, "iSCSI %p could not open stream: %s\n ",
1224                                iscsi, strerror ( rc ) );
1225                         return rc;
1226                 }
1227                 if ( ( rc = stream_connect ( &iscsi->stream,
1228                                              &iscsi->target ) ) != 0 ) {
1229                         DBGC ( iscsi, "iSCSI %p could not connect: %s\n",
1230                                iscsi, strerror ( rc ) );
1231                         return rc;
1232                 }
1233         }
1234
1235         async_init ( &iscsi->async, &default_async_operations, parent );
1236         return 0;
1237 }
1238
1239 /**
1240  * Close down iSCSI session
1241  *
1242  * @v iscsi             iSCSI session
1243  * @ret aop             Asynchronous operation
1244  */
1245 void iscsi_shutdown ( struct iscsi_session *iscsi ) {
1246         iscsi_close ( iscsi );
1247 }