Cannot immediately overwrite the peer address when we parse
[gpxe.git] / src / net / tcp / iscsi.c
1 /*
2  * Copyright (C) 2006 Michael Brown <mbrown@fensystems.co.uk>.
3  *
4  * This program is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU General Public License as
6  * published by the Free Software Foundation; either version 2 of the
7  * License, or any later version.
8  *
9  * This program is distributed in the hope that it will be useful, but
10  * WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * General Public License for more details.
13  *
14  * You should have received a copy of the GNU General Public License
15  * along with this program; if not, write to the Free Software
16  * Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
17  */
18
19 #include <stddef.h>
20 #include <string.h>
21 #include <stdlib.h>
22 #include <vsprintf.h>
23 #include <errno.h>
24 #include <assert.h>
25 #include <byteswap.h>
26 #include <gpxe/scsi.h>
27 #include <gpxe/process.h>
28 #include <gpxe/uaccess.h>
29 #include <gpxe/iscsi.h>
30
31 /** @file
32  *
33  * iSCSI protocol
34  *
35  */
36
37 static void iscsi_start_tx ( struct iscsi_session *iscsi );
38 static void iscsi_start_data_out ( struct iscsi_session *iscsi,
39                                    unsigned int datasn );
40
41 /**
42  * Receive PDU data into buffer
43  *
44  * @v iscsi             iSCSI session
45  * @v data              Data to receive
46  * @v len               Length of data
47  * @ret rc              Return status code
48  *
49  * This can be used when the RX PDU type handler wishes to buffer up
50  * all received data and process the PDU as a single unit.  The caller
51  * is repsonsible for calling iscsi_rx_buffered_data_done() after
52  * processing the data.
53  */
54 static int iscsi_rx_buffered_data ( struct iscsi_session *iscsi,
55                                     const void *data, size_t len ) {
56
57         /* Allocate buffer on first call */
58         if ( ! iscsi->rx_buffer ) {
59                 iscsi->rx_buffer = malloc ( iscsi->rx_len );
60                 if ( ! iscsi->rx_buffer )
61                         return -ENOMEM;
62         }
63
64         /* Copy data to buffer */
65         assert ( ( iscsi->rx_offset + len ) <= iscsi->rx_len );
66         memcpy ( ( iscsi->rx_buffer + iscsi->rx_offset ), data, len );
67
68         return 0;
69 }
70
71 /**
72  * Finish receiving PDU data into buffer
73  *
74  * @v iscsi             iSCSI session
75  */
76 static void iscsi_rx_buffered_data_done ( struct iscsi_session *iscsi ) {
77         free ( iscsi->rx_buffer );
78         iscsi->rx_buffer = NULL;
79 }
80
81 /**
82  * Mark iSCSI operation as complete
83  *
84  * @v iscsi             iSCSI session
85  * @v rc                Return status code
86  *
87  * Note that iscsi_done() will not close the connection, and must
88  * therefore be called only when the internal state machines are in an
89  * appropriate state, otherwise bad things may happen on the next call
90  * to iscsi_issue().  The general rule is to call iscsi_done() only at
91  * the end of receiving a PDU; at this point the TX and RX engines
92  * should both be idle.
93  */
94 static void iscsi_done ( struct iscsi_session *iscsi, int rc ) {
95
96         /* Clear current SCSI command */
97         iscsi->command = NULL;
98
99         /* Free any dynamically allocated memory */
100         chap_finish ( &iscsi->chap );
101         iscsi_rx_buffered_data_done ( iscsi );
102
103         /* Mark asynchronous operation as complete */
104         async_done ( &iscsi->aop, rc );
105 }
106
107 /****************************************************************************
108  *
109  * iSCSI SCSI command issuing
110  *
111  */
112
113 /**
114  * Build iSCSI SCSI command BHS
115  *
116  * @v iscsi             iSCSI session
117  *
118  * We don't currently support bidirectional commands (i.e. with both
119  * Data-In and Data-Out segments); these would require providing code
120  * to generate an AHS, and there doesn't seem to be any need for it at
121  * the moment.
122  */
123 static void iscsi_start_command ( struct iscsi_session *iscsi ) {
124         struct iscsi_bhs_scsi_command *command = &iscsi->tx_bhs.scsi_command;
125
126         assert ( ! ( iscsi->command->data_in && iscsi->command->data_out ) );
127
128         /* Construct BHS and initiate transmission */
129         iscsi_start_tx ( iscsi );
130         command->opcode = ISCSI_OPCODE_SCSI_COMMAND;
131         command->flags = ( ISCSI_FLAG_FINAL |
132                            ISCSI_COMMAND_ATTR_SIMPLE );
133         if ( iscsi->command->data_in )
134                 command->flags |= ISCSI_COMMAND_FLAG_READ;
135         if ( iscsi->command->data_out )
136                 command->flags |= ISCSI_COMMAND_FLAG_WRITE;
137         /* lengths left as zero */
138         command->lun = iscsi->lun;
139         command->itt = htonl ( ++iscsi->itt );
140         command->exp_len = htonl ( iscsi->command->data_in_len |
141                                    iscsi->command->data_out_len );
142         command->cmdsn = htonl ( iscsi->cmdsn );
143         command->expstatsn = htonl ( iscsi->statsn + 1 );
144         memcpy ( &command->cdb, &iscsi->command->cdb, sizeof ( command->cdb ));
145         DBG ( "iSCSI %p start " SCSI_CDB_FORMAT " %s %#x\n",
146               iscsi, SCSI_CDB_DATA ( command->cdb ),
147               ( iscsi->command->data_in ? "in" : "out" ),
148               ( iscsi->command->data_in ?
149                 iscsi->command->data_in_len : iscsi->command->data_out_len ) );
150 }
151
152 /**
153  * Receive data segment of an iSCSI SCSI response PDU
154  *
155  * @v iscsi             iSCSI session
156  * @v data              Received data
157  * @v len               Length of received data
158  * @v remaining         Data remaining after this data
159  * 
160  */
161 static void iscsi_rx_scsi_response ( struct iscsi_session *iscsi, void *data,
162                                      size_t len, size_t remaining ) {
163         struct iscsi_bhs_scsi_response *response
164                 = &iscsi->rx_bhs.scsi_response;
165         int sense_offset;
166
167         /* Capture the sense response code as it floats past, if present */
168         sense_offset = ISCSI_SENSE_RESPONSE_CODE_OFFSET - iscsi->rx_offset;
169         if ( ( sense_offset >= 0 ) && len ) {
170                 iscsi->command->sense_response =
171                         * ( ( char * ) data + sense_offset );
172         }
173
174         /* Wait for whole SCSI response to arrive */
175         if ( remaining )
176                 return;
177         
178         /* Record SCSI status code */
179         iscsi->command->status = response->status;
180
181         /* Mark as completed, with error if applicable */
182         if ( response->response == ISCSI_RESPONSE_COMMAND_COMPLETE ) {
183                 iscsi_done ( iscsi, 0 );
184         } else {
185                 iscsi_done ( iscsi, -EIO );
186         }
187 }
188
189 /**
190  * Receive data segment of an iSCSI data-in PDU
191  *
192  * @v iscsi             iSCSI session
193  * @v data              Received data
194  * @v len               Length of received data
195  * @v remaining         Data remaining after this data
196  * 
197  */
198 static void iscsi_rx_data_in ( struct iscsi_session *iscsi, void *data,
199                                size_t len, size_t remaining __unused ) {
200         struct iscsi_bhs_data_in *data_in = &iscsi->rx_bhs.data_in;
201         unsigned long offset;
202
203         /* Copy data to data-in buffer */
204         offset = ntohl ( data_in->offset ) + iscsi->rx_offset;
205         assert ( iscsi->command != NULL );
206         assert ( iscsi->command->data_in );
207         assert ( ( offset + len ) <= iscsi->command->data_in_len );
208         copy_to_user ( iscsi->command->data_in, offset, data, len );
209
210         /* Record SCSI status, if present */
211         if ( data_in->flags & ISCSI_DATA_FLAG_STATUS )
212                 iscsi->command->status = data_in->status;
213
214         /* If this is the end, flag as complete */
215         if ( ( offset + len ) == iscsi->command->data_in_len ) {
216                 assert ( data_in->flags & ISCSI_FLAG_FINAL );
217                 assert ( remaining == 0 );
218                 iscsi_done ( iscsi, 0 );
219         }
220 }
221
222 /**
223  * Receive data segment of an iSCSI R2T PDU
224  *
225  * @v iscsi             iSCSI session
226  * @v data              Received data
227  * @v len               Length of received data
228  * @v remaining         Data remaining after this data
229  * 
230  */
231 static void iscsi_rx_r2t ( struct iscsi_session *iscsi, void *data __unused,
232                            size_t len __unused, size_t remaining __unused ) {
233         struct iscsi_bhs_r2t *r2t = &iscsi->rx_bhs.r2t;
234
235         /* Record transfer parameters and trigger first data-out */
236         iscsi->ttt = ntohl ( r2t->ttt );
237         iscsi->transfer_offset = ntohl ( r2t->offset );
238         iscsi->transfer_len = ntohl ( r2t->len );
239         iscsi_start_data_out ( iscsi, 0 );
240 }
241
242 /**
243  * Build iSCSI data-out BHS
244  *
245  * @v iscsi             iSCSI session
246  * @v datasn            Data sequence number within the transfer
247  *
248  */
249 static void iscsi_start_data_out ( struct iscsi_session *iscsi,
250                                    unsigned int datasn ) {
251         struct iscsi_bhs_data_out *data_out = &iscsi->tx_bhs.data_out;
252         unsigned long offset;
253         unsigned long remaining;
254         unsigned long len;
255
256         /* We always send 512-byte Data-Out PDUs; this removes the
257          * need to worry about the target's MaxRecvDataSegmentLength.
258          */
259         offset = datasn * 512;
260         remaining = iscsi->transfer_len - offset;
261         len = remaining;
262         if ( len > 512 )
263                 len = 512;
264
265         /* Construct BHS and initiate transmission */
266         iscsi_start_tx ( iscsi );
267         data_out->opcode = ISCSI_OPCODE_DATA_OUT;
268         if ( len == remaining )
269                 data_out->flags = ( ISCSI_FLAG_FINAL );
270         ISCSI_SET_LENGTHS ( data_out->lengths, 0, len );
271         data_out->lun = iscsi->lun;
272         data_out->itt = htonl ( iscsi->itt );
273         data_out->ttt = htonl ( iscsi->ttt );
274         data_out->expstatsn = htonl ( iscsi->statsn + 1 );
275         data_out->datasn = htonl ( datasn );
276         data_out->offset = htonl ( iscsi->transfer_offset + offset );
277         DBG ( "iSCSI %p start data out DataSN %#x len %#lx\n",
278               iscsi, datasn, len );
279 }
280
281 /**
282  * Complete iSCSI data-out PDU transmission
283  *
284  * @v iscsi             iSCSI session
285  *
286  */
287 static void iscsi_data_out_done ( struct iscsi_session *iscsi ) {
288         struct iscsi_bhs_data_out *data_out = &iscsi->tx_bhs.data_out;
289
290         /* If we haven't reached the end of the sequence, start
291          * sending the next data-out PDU.
292          */
293         if ( ! ( data_out->flags & ISCSI_FLAG_FINAL ) )
294                 iscsi_start_data_out ( iscsi, ntohl ( data_out->datasn ) + 1 );
295 }
296
297 /**
298  * Send iSCSI data-out data segment
299  *
300  * @v iscsi             iSCSI session
301  * @v buf               Temporary data buffer
302  * @v len               Length of temporary data buffer
303  */
304 static void iscsi_tx_data_out ( struct iscsi_session *iscsi,
305                                 void *buf, size_t len ) {
306         struct iscsi_bhs_data_out *data_out = &iscsi->tx_bhs.data_out;
307         unsigned long offset;
308         unsigned long remaining;
309
310         offset = ( iscsi->transfer_offset + ntohl ( data_out->offset ) +
311                    iscsi->tx_offset );
312         remaining = ( iscsi->tx_len - iscsi->tx_offset );
313         assert ( iscsi->command != NULL );
314         assert ( iscsi->command->data_out );
315         assert ( ( offset + remaining ) <= iscsi->command->data_out_len );
316         
317         if ( remaining < len )
318                 len = remaining;
319         copy_from_user ( buf, iscsi->command->data_out, offset, len );
320
321         tcp_send ( &iscsi->tcp, buf, len );
322 }
323
324 /****************************************************************************
325  *
326  * iSCSI login
327  *
328  */
329
330 /**
331  * Version of snprintf() that accepts a signed buffer size
332  *
333  * @v buf               Buffer into which to write the string
334  * @v size              Size of buffer
335  * @v fmt               Format string
336  * @v args              Arguments corresponding to the format string
337  * @ret len             Length of formatted string
338  *
339  * This is a utility function for iscsi_build_login_request_strings().
340  */
341 static int ssnprintf ( char *buf, ssize_t ssize, const char *fmt, ... ) {
342         va_list args;
343         int len;
344
345         /* Treat negative buffer size as zero buffer size */
346         if ( ssize < 0 )
347                 ssize = 0;
348
349         /* Hand off to vsnprintf */
350         va_start ( args, fmt );
351         len = vsnprintf ( buf, ssize, fmt, args );
352         va_end ( args );
353         return len;
354 }
355
356 /**
357  * Build iSCSI login request strings
358  *
359  * @v iscsi             iSCSI session
360  *
361  * These are the initial set of strings sent in the first login
362  * request PDU.  We want the following settings:
363  *
364  *     HeaderDigest=None
365  *     DataDigest=None
366  *     MaxConnections is irrelevant; we make only one connection anyway
367  *     InitialR2T=Yes [1]
368  *     ImmediateData is irrelevant; we never send immediate data
369  *     MaxRecvDataSegmentLength=8192 (default; we don't care)
370  *     MaxBurstLength=262144 (default; we don't care)
371  *     FirstBurstLength=262144 (default; we don't care)
372  *     DefaultTime2Wait=0 [2]
373  *     DefaultTime2Retain=0 [2]
374  *     MaxOutstandingR2T=1
375  *     DataPDUInOrder=Yes
376  *     DataSequenceInOrder=Yes
377  *     ErrorRecoveryLevel=0
378  *
379  * [1] InitialR2T has an OR resolution function, so the target may
380  * force us to use it.  We therefore simplify our logic by always
381  * using it.
382  *
383  * [2] These ensure that we can safely start a new task once we have
384  * reconnected after a failure, without having to manually tidy up
385  * after the old one.
386  */
387 static int iscsi_build_login_request_strings ( struct iscsi_session *iscsi,
388                                                void *data, size_t len ) {
389         unsigned int used = 0;
390         unsigned int i;
391
392         if ( iscsi->status & ISCSI_STATUS_STRINGS_SECURITY ) {
393                 used += ssnprintf ( data + used, len - used,
394                                     "InitiatorName=%s%c"
395                                     "TargetName=%s%c"
396                                     "SessionType=Normal%c"
397                                     "AuthMethod=CHAP,None%c",
398                                     iscsi->initiator_iqn, 0,
399                                     iscsi->target_iqn, 0, 0, 0 );
400         }
401
402         if ( iscsi->status & ISCSI_STATUS_STRINGS_CHAP_ALGORITHM ) {
403                 used += ssnprintf ( data + used, len - used, "CHAP_A=5%c", 0 );
404         }
405         
406         if ( ( iscsi->status & ISCSI_STATUS_STRINGS_CHAP_RESPONSE ) &&
407              iscsi->username ) {
408                 used += ssnprintf ( data + used, len - used,
409                                     "CHAP_N=%s%cCHAP_R=0x",
410                                     iscsi->username, 0 );
411                 for ( i = 0 ; i < iscsi->chap.response_len ; i++ ) {
412                         used += ssnprintf ( data + used, len - used, "%02x",
413                                             iscsi->chap.response[i] );
414                 }
415                 used += ssnprintf ( data + used, len - used, "%c", 0 );
416         }
417
418         if ( iscsi->status & ISCSI_STATUS_STRINGS_OPERATIONAL ) {
419                 used += ssnprintf ( data + used, len - used,
420                                     "HeaderDigest=None%c"
421                                     "DataDigest=None%c"
422                                     "InitialR2T=Yes%c"
423                                     "DefaultTime2Wait=0%c"
424                                     "DefaultTime2Retain=0%c"
425                                     "MaxOutstandingR2T=1%c"
426                                     "DataPDUInOrder=Yes%c"
427                                     "DataSequenceInOrder=Yes%c"
428                                     "ErrorRecoveryLevel=0%c",
429                                     0, 0, 0, 0, 0, 0, 0, 0, 0 );
430         }
431
432         return used;
433 }
434
435 /**
436  * Build iSCSI login request BHS
437  *
438  * @v iscsi             iSCSI session
439  */
440 static void iscsi_start_login ( struct iscsi_session *iscsi ) {
441         struct iscsi_bhs_login_request *request = &iscsi->tx_bhs.login_request;
442         int len;
443
444         /* Construct BHS and initiate transmission */
445         iscsi_start_tx ( iscsi );
446         request->opcode = ( ISCSI_OPCODE_LOGIN_REQUEST |
447                             ISCSI_FLAG_IMMEDIATE );
448         request->flags = ( ( iscsi->status & ISCSI_STATUS_PHASE_MASK ) |
449                            ISCSI_LOGIN_FLAG_TRANSITION );
450         /* version_max and version_min left as zero */
451         len = iscsi_build_login_request_strings ( iscsi, NULL, 0 );
452         ISCSI_SET_LENGTHS ( request->lengths, 0, len );
453         request->isid_iana_en = htonl ( ISCSI_ISID_IANA |
454                                         IANA_EN_FEN_SYSTEMS );
455         /* isid_iana_qual left as zero */
456         request->tsih = htons ( iscsi->tsih );
457         request->itt = htonl ( iscsi->itt );
458         /* cid left as zero */
459         request->cmdsn = htonl ( iscsi->cmdsn );
460         request->expstatsn = htonl ( iscsi->statsn + 1 );
461 }
462
463 /**
464  * Complete iSCSI login request PDU transmission
465  *
466  * @v iscsi             iSCSI session
467  *
468  */
469 static void iscsi_login_request_done ( struct iscsi_session *iscsi ) {
470
471         /* Clear any "strings to send" flags */
472         iscsi->status &= ~ISCSI_STATUS_STRINGS_MASK;
473 }
474
475 /**
476  * Transmit data segment of an iSCSI login request PDU
477  *
478  * @v iscsi             iSCSI session
479  * @v buf               Temporary data buffer
480  * @v len               Length of temporary data buffer
481  *
482  * For login requests, the data segment consists of the login strings.
483  */
484 static void iscsi_tx_login_request ( struct iscsi_session *iscsi,
485                                      void *buf, size_t len ) {
486         len = iscsi_build_login_request_strings ( iscsi, buf, len );
487         tcp_send ( &iscsi->tcp, buf + iscsi->tx_offset,
488                    len - iscsi->tx_offset );
489 }
490
491 /**
492  * Handle iSCSI TargetAddress text value
493  *
494  * @v iscsi             iSCSI session
495  * @v value             TargetAddress value
496  */
497 static void iscsi_handle_targetaddress_value ( struct iscsi_session *iscsi,
498                                                const char *value ) {
499         struct in_addr address;
500         struct sockaddr_in *sin = ( struct sockaddr_in * ) &iscsi->target;
501
502         if ( inet_aton ( value, &address ) == 0 ) {
503                 DBG ( "iSCSI %p received invalid TargetAddress \"%s\"\n",
504                       iscsi, value );
505                 return;
506         }
507
508         DBG ( "iSCSI %p will redirect to %s\n", iscsi, value );
509         sin->sin_addr = address;
510 }
511
512 /**
513  * Handle iSCSI AuthMethod text value
514  *
515  * @v iscsi             iSCSI session
516  * @v value             AuthMethod value
517  */
518 static void iscsi_handle_authmethod_value ( struct iscsi_session *iscsi,
519                                             const char *value ) {
520
521         /* If server requests CHAP, send the CHAP_A string */
522         if ( strcmp ( value, "CHAP" ) == 0 ) {
523                 DBG ( "iSCSI %p initiating CHAP authentication\n", iscsi );
524                 iscsi->status |= ISCSI_STATUS_STRINGS_CHAP_ALGORITHM;
525         }
526 }
527
528 /**
529  * Handle iSCSI CHAP_A text value
530  *
531  * @v iscsi             iSCSI session
532  * @v value             CHAP_A value
533  */
534 static void iscsi_handle_chap_a_value ( struct iscsi_session *iscsi,
535                                         const char *value ) {
536         int rc;
537
538         /* We only ever offer "5" (i.e. MD5) as an algorithm, so if
539          * the server responds with anything else it is a protocol
540          * violation.
541          */
542         if ( strcmp ( value, "5" ) != 0 ) {
543                 DBG ( "iSCSI %p got invalid CHAP algorithm \"%s\"\n",
544                       iscsi, value );
545         }
546
547         /* Prepare for CHAP with MD5 */
548         if ( ( rc = chap_init ( &iscsi->chap, &md5_algorithm ) ) != 0 ) {
549                 DBG ( "iSCSI %p could not initialise CHAP\n", iscsi );
550                 iscsi_done ( iscsi, rc );
551         }
552 }
553
554 /**
555  * Handle iSCSI CHAP_I text value
556  *
557  * @v iscsi             iSCSI session
558  * @v value             CHAP_I value
559  */
560 static void iscsi_handle_chap_i_value ( struct iscsi_session *iscsi,
561                                         const char *value ) {
562         unsigned int identifier;
563         char *endp;
564
565         /* The CHAP identifier is an integer value */
566         identifier = strtoul ( value, &endp, 0 );
567         if ( *endp != '\0' ) {
568                 DBG ( "iSCSI %p saw invalid CHAP identifier \"%s\"\n",
569                       iscsi, value );
570         }
571
572         /* Identifier and secret are the first two components of the
573          * challenge.
574          */
575         chap_set_identifier ( &iscsi->chap, identifier );
576         if ( iscsi->password ) {
577                 chap_update ( &iscsi->chap, iscsi->password,
578                               strlen ( iscsi->password ) );
579         }
580 }
581
582 /**
583  * Handle iSCSI CHAP_C text value
584  *
585  * @v iscsi             iSCSI session
586  * @v value             CHAP_C value
587  */
588 static void iscsi_handle_chap_c_value ( struct iscsi_session *iscsi,
589                                         const char *value ) {
590         char buf[3];
591         char *endp;
592         uint8_t byte;
593
594         /* Check and strip leading "0x" */
595         if ( ( value[0] != '0' ) || ( value[1] != 'x' ) ) {
596                 DBG ( "iSCSI %p saw invalid CHAP challenge \"%s\"\n",
597                       iscsi, value );
598         }
599         value += 2;
600
601         /* Process challenge an octet at a time */
602         for ( ; ( value[0] && value[1] ) ; value += 2 ) {
603                 memcpy ( buf, value, 2 );
604                 buf[3] = 0;
605                 byte = strtoul ( buf, &endp, 16 );
606                 if ( *endp != '\0' ) {
607                         DBG ( "iSCSI %p saw invalid CHAP challenge byte "
608                               "\"%s\"\n", iscsi, buf );
609                 }
610                 chap_update ( &iscsi->chap, &byte, sizeof ( byte ) );
611         }
612
613         /* Build CHAP response */
614         DBG ( "iSCSI %p sending CHAP response\n", iscsi );
615         chap_respond ( &iscsi->chap );
616         iscsi->status |= ISCSI_STATUS_STRINGS_CHAP_RESPONSE;
617 }
618
619 /** An iSCSI text string that we want to handle */
620 struct iscsi_string_type {
621         /** String key
622          *
623          * This is the portion up to and including the "=" sign,
624          * e.g. "InitiatorName=", "CHAP_A=", etc.
625          */
626         const char *key;
627         /** Handle iSCSI string value
628          *
629          * @v iscsi             iSCSI session
630          * @v value             iSCSI string value
631          */
632         void ( * handle_value ) ( struct iscsi_session *iscsi,
633                                   const char *value );
634 };
635
636 /** iSCSI text strings that we want to handle */
637 struct iscsi_string_type iscsi_string_types[] = {
638         { "TargetAddress=", iscsi_handle_targetaddress_value },
639         { "AuthMethod=", iscsi_handle_authmethod_value },
640         { "CHAP_A=", iscsi_handle_chap_a_value },
641         { "CHAP_I=", iscsi_handle_chap_i_value },
642         { "CHAP_C=", iscsi_handle_chap_c_value },
643         { NULL, NULL }
644 };
645
646 /**
647  * Handle iSCSI string
648  *
649  * @v iscsi             iSCSI session
650  * @v string            iSCSI string (in "key=value" format)
651  */
652 static void iscsi_handle_string ( struct iscsi_session *iscsi,
653                                   const char *string ) {
654         struct iscsi_string_type *type;
655         size_t key_len;
656
657         for ( type = iscsi_string_types ; type->key ; type++ ) {
658                 key_len = strlen ( type->key );
659                 if ( strncmp ( string, type->key, key_len ) == 0 ) {
660                         DBG ( "iSCSI %p handling %s\n", iscsi, string );
661                         type->handle_value ( iscsi, ( string + key_len ) );
662                         return;
663                 }
664         }
665         DBG ( "iSCSI %p ignoring %s\n", iscsi, string );
666 }
667
668 /**
669  * Handle iSCSI strings
670  *
671  * @v iscsi             iSCSI session
672  * @v string            iSCSI string buffer
673  * @v len               Length of string buffer
674  */
675 static void iscsi_handle_strings ( struct iscsi_session *iscsi,
676                                    const char *strings, size_t len ) {
677         size_t string_len;
678
679         /* Handle each string in turn, taking care not to overrun the
680          * data buffer in case of badly-terminated data.
681          */
682         while ( 1 ) {
683                 string_len = ( strnlen ( strings, len ) + 1 );
684                 if ( string_len > len )
685                         break;
686                 iscsi_handle_string ( iscsi, strings );
687                 strings += string_len;
688                 len -= string_len;
689         }
690 }
691
692 /**
693  * Receive data segment of an iSCSI login response PDU
694  *
695  * @v iscsi             iSCSI session
696  * @v data              Received data
697  * @v len               Length of received data
698  * @v remaining         Data remaining after this data
699  * 
700  */
701 static void iscsi_rx_login_response ( struct iscsi_session *iscsi, void *data,
702                                       size_t len, size_t remaining ) {
703         struct iscsi_bhs_login_response *response
704                 = &iscsi->rx_bhs.login_response;
705         int rc;
706
707         /* Buffer up the PDU data */
708         if ( ( rc = iscsi_rx_buffered_data ( iscsi, data, len ) ) != 0 ) {
709                 DBG ( "iSCSI %p could not buffer login response\n", iscsi );
710                 iscsi_done ( iscsi, rc );
711                 return;
712         }
713         if ( remaining )
714                 return;
715
716         /* Process string data and discard string buffer */
717         iscsi_handle_strings ( iscsi, iscsi->rx_buffer, iscsi->rx_len );
718         iscsi_rx_buffered_data_done ( iscsi );
719
720         /* Check for login redirection */
721         if ( response->status_class == ISCSI_STATUS_REDIRECT ) {
722                 DBG ( "iSCSI %p redirecting to new server\n", iscsi );
723                 /* Close the TCP connection; our TCP closed() method
724                  * will take care of the reconnection once this
725                  * connection has been cleanly terminated.
726                  */
727                 tcp_close ( &iscsi->tcp );
728                 return;
729         }
730
731         /* Check for fatal errors */
732         if ( response->status_class != 0 ) {
733                 DBG ( "iSCSI login failure: class %02x detail %02x\n",
734                       response->status_class, response->status_detail );
735                 iscsi_done ( iscsi, -EPERM );
736                 return;
737         }
738
739         /* Handle login transitions */
740         if ( response->flags & ISCSI_LOGIN_FLAG_TRANSITION ) {
741                 switch ( response->flags & ISCSI_LOGIN_NSG_MASK ) {
742                 case ISCSI_LOGIN_NSG_OPERATIONAL_NEGOTIATION:
743                         iscsi->status =
744                                 ( ISCSI_STATUS_OPERATIONAL_NEGOTIATION_PHASE |
745                                   ISCSI_STATUS_STRINGS_OPERATIONAL );
746                         break;
747                 case ISCSI_LOGIN_NSG_FULL_FEATURE_PHASE:
748                         iscsi->status = ISCSI_STATUS_FULL_FEATURE_PHASE;
749                         break;
750                 default:
751                         DBG ( "iSCSI %p got invalid response flags %02x\n",
752                               iscsi, response->flags );
753                         iscsi_done ( iscsi, -EIO );
754                         return;
755                 }
756         }
757
758         /* Send next login request PDU if we haven't reached the full
759          * feature phase yet.
760          */
761         if ( ( iscsi->status & ISCSI_STATUS_PHASE_MASK ) !=
762              ISCSI_STATUS_FULL_FEATURE_PHASE ) {
763                 iscsi_start_login ( iscsi );
764                 return;
765         }
766
767         /* Record TSIH for future reference */
768         iscsi->tsih = ntohl ( response->tsih );
769         
770         /* Send the actual SCSI command */
771         iscsi_start_command ( iscsi );
772 }
773
774 /****************************************************************************
775  *
776  * iSCSI to TCP interface
777  *
778  */
779
780 static inline struct iscsi_session *
781 tcp_to_iscsi ( struct tcp_connection *conn ) {
782         return container_of ( conn, struct iscsi_session, tcp );
783 }
784
785 /**
786  * Start up a new TX PDU
787  *
788  * @v iscsi             iSCSI session
789  *
790  * This initiates the process of sending a new PDU.  Only one PDU may
791  * be in transit at any one time.
792  */
793 static void iscsi_start_tx ( struct iscsi_session *iscsi ) {
794         assert ( iscsi->tx_state == ISCSI_TX_IDLE );
795         
796         /* Initialise TX BHS */
797         memset ( &iscsi->tx_bhs, 0, sizeof ( iscsi->tx_bhs ) );
798
799         /* Flag TX engine to start transmitting */
800         iscsi->tx_state = ISCSI_TX_BHS;
801         iscsi->tx_offset = 0;
802 }
803
804 /**
805  * Transmit data segment of an iSCSI PDU
806  *
807  * @v iscsi             iSCSI session
808  * @v buf               Temporary data buffer
809  * @v len               Length of temporary data buffer
810  * 
811  * Handle transmission of part of a PDU data segment.  iscsi::tx_bhs
812  * will be valid when this is called.
813  */
814 static void iscsi_tx_data ( struct iscsi_session *iscsi,
815                             void *buf, size_t len ) {
816         struct iscsi_bhs_common *common = &iscsi->tx_bhs.common;
817
818         switch ( common->opcode & ISCSI_OPCODE_MASK ) {
819         case ISCSI_OPCODE_DATA_OUT:
820                 iscsi_tx_data_out ( iscsi, buf, len );
821                 break;
822         case ISCSI_OPCODE_LOGIN_REQUEST:
823                 iscsi_tx_login_request ( iscsi, buf, len );
824                 break;
825         default:
826                 assert ( 0 );
827                 break;
828         }
829 }
830
831 /**
832  * Complete iSCSI PDU transmission
833  *
834  * @v iscsi             iSCSI session
835  *
836  * Called when a PDU has been completely transmitted and the TX state
837  * machine is about to enter the idle state.  iscsi::tx_bhs will be
838  * valid for the just-completed PDU when this is called.
839  */
840 static void iscsi_tx_done ( struct iscsi_session *iscsi ) {
841         struct iscsi_bhs_common *common = &iscsi->tx_bhs.common;
842
843         switch ( common->opcode & ISCSI_OPCODE_MASK ) {
844         case ISCSI_OPCODE_DATA_OUT:
845                 iscsi_data_out_done ( iscsi );
846         case ISCSI_OPCODE_LOGIN_REQUEST:
847                 iscsi_login_request_done ( iscsi );
848         default:
849                 /* No action */
850                 break;
851         }
852 }
853
854 /**
855  * Handle TCP ACKs
856  *
857  * @v iscsi             iSCSI session
858  * 
859  * Updates iscsi->tx_offset and, if applicable, transitions to the
860  * next TX state.
861  */
862 static void iscsi_acked ( struct tcp_connection *conn, size_t len ) {
863         struct iscsi_session *iscsi = tcp_to_iscsi ( conn );
864         struct iscsi_bhs_common *common = &iscsi->tx_bhs.common;
865         enum iscsi_tx_state next_state;
866         
867         iscsi->tx_offset += len;
868         while ( 1 ) {
869                 switch ( iscsi->tx_state ) {
870                 case ISCSI_TX_BHS:
871                         iscsi->tx_len = sizeof ( iscsi->tx_bhs );
872                         next_state = ISCSI_TX_AHS;
873                         break;
874                 case ISCSI_TX_AHS:
875                         iscsi->tx_len = 4 * ISCSI_AHS_LEN ( common->lengths );
876                         next_state = ISCSI_TX_DATA;
877                         break;
878                 case ISCSI_TX_DATA:
879                         iscsi->tx_len = ISCSI_DATA_LEN ( common->lengths );
880                         next_state = ISCSI_TX_DATA_PADDING;
881                         break;
882                 case ISCSI_TX_DATA_PADDING:
883                         iscsi->tx_len = ISCSI_DATA_PAD_LEN ( common->lengths );
884                         next_state = ISCSI_TX_IDLE;
885                         break;
886                 case ISCSI_TX_IDLE:
887                         return;
888                 default:
889                         assert ( 0 );
890                         return;
891                 }
892                 assert ( iscsi->tx_offset <= iscsi->tx_len );
893
894                 /* If the whole of the current portion has not yet
895                  * been acked, stay in this state for now.
896                  */
897                 if ( iscsi->tx_offset != iscsi->tx_len )
898                         return;
899
900                 /* Move to next state.  Call iscsi_tx_done() when PDU
901                  * transmission is complete.
902                  */
903                 iscsi->tx_state = next_state;
904                 iscsi->tx_offset = 0;
905                 if ( next_state == ISCSI_TX_IDLE )
906                         iscsi_tx_done ( iscsi );
907         }
908 }
909
910 /**
911  * Transmit iSCSI PDU
912  *
913  * @v iscsi             iSCSI session
914  * @v buf               Temporary data buffer
915  * @v len               Length of temporary data buffer
916  * 
917  * Constructs data to be sent for the current TX state
918  */
919 static void iscsi_senddata ( struct tcp_connection *conn,
920                              void *buf, size_t len ) {
921         struct iscsi_session *iscsi = tcp_to_iscsi ( conn );
922         struct iscsi_bhs_common *common = &iscsi->tx_bhs.common;
923         static const char pad[] = { '\0', '\0', '\0' };
924
925         switch ( iscsi->tx_state ) {
926         case ISCSI_TX_IDLE:
927                 /* Nothing to send */
928                 break;
929         case ISCSI_TX_BHS:
930                 tcp_send ( conn, &iscsi->tx_bhs.bytes[iscsi->tx_offset],
931                            ( sizeof ( iscsi->tx_bhs ) - iscsi->tx_offset ) );
932                 break;
933         case ISCSI_TX_AHS:
934                 /* We don't yet have an AHS transmission mechanism */
935                 assert ( 0 );
936                 break;
937         case ISCSI_TX_DATA:
938                 iscsi_tx_data ( iscsi, buf, len );
939                 break;
940         case ISCSI_TX_DATA_PADDING:
941                 tcp_send ( conn, pad, ( ISCSI_DATA_PAD_LEN ( common->lengths )
942                                         - iscsi->tx_offset ) );
943                 break;
944         default:
945                 assert ( 0 );
946                 break;
947         }
948 }
949
950 /**
951  * Receive data segment of an iSCSI PDU
952  *
953  * @v iscsi             iSCSI session
954  * @v data              Received data
955  * @v len               Length of received data
956  * @v remaining         Data remaining after this data
957  *
958  * Handle processing of part of a PDU data segment.  iscsi::rx_bhs
959  * will be valid when this is called.
960  */
961 static void iscsi_rx_data ( struct iscsi_session *iscsi, void *data,
962                             size_t len, size_t remaining ) {
963         struct iscsi_bhs_common_response *response
964                 = &iscsi->rx_bhs.common_response;
965
966         /* Update cmdsn and statsn */
967         iscsi->cmdsn = ntohl ( response->expcmdsn );
968         iscsi->statsn = ntohl ( response->statsn );
969
970         switch ( response->opcode & ISCSI_OPCODE_MASK ) {
971         case ISCSI_OPCODE_LOGIN_RESPONSE:
972                 iscsi_rx_login_response ( iscsi, data, len, remaining );
973                 break;
974         case ISCSI_OPCODE_SCSI_RESPONSE:
975                 iscsi_rx_scsi_response ( iscsi, data, len, remaining );
976                 break;
977         case ISCSI_OPCODE_DATA_IN:
978                 iscsi_rx_data_in ( iscsi, data, len, remaining );
979                 break;
980         case ISCSI_OPCODE_R2T:
981                 iscsi_rx_r2t ( iscsi, data, len, remaining );
982                 break;
983         default:
984                 if ( remaining )
985                         return;
986                 printf ( "Unknown iSCSI opcode %02x\n", response->opcode );
987                 iscsi_done ( iscsi, -EOPNOTSUPP );
988                 break;
989         }
990 }
991
992 /**
993  * Discard portion of an iSCSI PDU.
994  *
995  * @v iscsi             iSCSI session
996  * @v data              Received data
997  * @v len               Length of received data
998  * @v remaining         Data remaining after this data
999  *
1000  * This discards data from a portion of a received PDU.
1001  */
1002 static void iscsi_rx_discard ( struct iscsi_session *iscsi __unused,
1003                                void *data __unused, size_t len __unused,
1004                                size_t remaining __unused ) {
1005         /* Do nothing */
1006 }
1007
1008 /**
1009  * Receive basic header segment of an iSCSI PDU
1010  *
1011  * @v iscsi             iSCSI session
1012  * @v data              Received data
1013  * @v len               Length of received data
1014  * @v remaining         Data remaining after this data
1015  *
1016  * This fills in iscsi::rx_bhs with the data from the BHS portion of
1017  * the received PDU.
1018  */
1019 static void iscsi_rx_bhs ( struct iscsi_session *iscsi, void *data,
1020                            size_t len, size_t remaining __unused ) {
1021         memcpy ( &iscsi->rx_bhs.bytes[iscsi->rx_offset], data, len );
1022         if ( ( iscsi->rx_offset + len ) >= sizeof ( iscsi->rx_bhs ) ) {
1023                 DBG ( "iSCSI %p received PDU opcode %#x len %#lx\n",
1024                       iscsi, iscsi->rx_bhs.common.opcode,
1025                       ISCSI_DATA_LEN ( iscsi->rx_bhs.common.lengths ) );
1026         }
1027 }
1028
1029 /**
1030  * Receive new data
1031  *
1032  * @v tcp               TCP connection
1033  * @v data              Received data
1034  * @v len               Length of received data
1035  *
1036  * This handles received PDUs.  The receive strategy is to fill in
1037  * iscsi::rx_bhs with the contents of the BHS portion of the PDU,
1038  * throw away any AHS portion, and then process each part of the data
1039  * portion as it arrives.  The data processing routine therefore
1040  * always has a full copy of the BHS available, even for portions of
1041  * the data in different packets to the BHS.
1042  */
1043 static void iscsi_newdata ( struct tcp_connection *conn, void *data,
1044                             size_t len ) {
1045         struct iscsi_session *iscsi = tcp_to_iscsi ( conn );
1046         struct iscsi_bhs_common *common = &iscsi->rx_bhs.common;
1047         void ( *process ) ( struct iscsi_session *iscsi, void *data,
1048                             size_t len, size_t remaining );
1049         enum iscsi_rx_state next_state;
1050         size_t frag_len;
1051         size_t remaining;
1052
1053         while ( 1 ) {
1054                 switch ( iscsi->rx_state ) {
1055                 case ISCSI_RX_BHS:
1056                         process = iscsi_rx_bhs;
1057                         iscsi->rx_len = sizeof ( iscsi->rx_bhs );
1058                         next_state = ISCSI_RX_AHS;                      
1059                         break;
1060                 case ISCSI_RX_AHS:
1061                         process = iscsi_rx_discard;
1062                         iscsi->rx_len = 4 * ISCSI_AHS_LEN ( common->lengths );
1063                         next_state = ISCSI_RX_DATA;
1064                         break;
1065                 case ISCSI_RX_DATA:
1066                         process = iscsi_rx_data;
1067                         iscsi->rx_len = ISCSI_DATA_LEN ( common->lengths );
1068                         next_state = ISCSI_RX_DATA_PADDING;
1069                         break;
1070                 case ISCSI_RX_DATA_PADDING:
1071                         process = iscsi_rx_discard;
1072                         iscsi->rx_len = ISCSI_DATA_PAD_LEN ( common->lengths );
1073                         next_state = ISCSI_RX_BHS;
1074                         break;
1075                 default:
1076                         assert ( 0 );
1077                         return;
1078                 }
1079
1080                 frag_len = iscsi->rx_len - iscsi->rx_offset;
1081                 if ( frag_len > len )
1082                         frag_len = len;
1083                 remaining = iscsi->rx_len - iscsi->rx_offset - frag_len;
1084                 process ( iscsi, data, frag_len, remaining );
1085
1086                 iscsi->rx_offset += frag_len;
1087                 data += frag_len;
1088                 len -= frag_len;
1089
1090                 /* If all the data for this state has not yet been
1091                  * received, stay in this state for now.
1092                  */
1093                 if ( iscsi->rx_offset != iscsi->rx_len )
1094                         return;
1095
1096                 iscsi->rx_state = next_state;
1097                 iscsi->rx_offset = 0;
1098         }
1099 }
1100
1101 /**
1102  * Handle TCP connection closure
1103  *
1104  * @v conn              TCP connection
1105  * @v status            Error code, if any
1106  *
1107  */
1108 static void iscsi_closed ( struct tcp_connection *conn, int status ) {
1109         struct iscsi_session *iscsi = tcp_to_iscsi ( conn );
1110         int session_status = iscsi->status;
1111
1112         /* Clear session status */
1113         iscsi->status = 0;
1114
1115         /* If we are deliberately closing down, exit cleanly */
1116         if ( session_status & ISCSI_STATUS_CLOSING ) {
1117                 iscsi_done ( iscsi, status );
1118                 return;
1119         }
1120
1121         /* Retry connection if within the retry limit, otherwise fail */
1122         if ( ++iscsi->retry_count <= ISCSI_MAX_RETRIES ) {
1123                 DBG ( "iSCSI %p retrying connection\n", iscsi );
1124                 /* Re-copy address to handle redirection */
1125                 memcpy ( &iscsi->tcp.peer, &iscsi->target,
1126                          sizeof ( iscsi->tcp.peer ) );
1127                 tcp_connect ( conn );
1128         } else {
1129                 printf ( "iSCSI %p retry count exceeded\n", iscsi );
1130                 iscsi_done ( iscsi, status );
1131         }
1132 }
1133
1134 /**
1135  * Handle TCP connection opening
1136  *
1137  * @v conn              TCP connection
1138  *
1139  */
1140 static void iscsi_connected ( struct tcp_connection *conn ) {
1141         struct iscsi_session *iscsi = tcp_to_iscsi ( conn );
1142
1143         /* Set connected flag and reset retry count */
1144         iscsi->status = ( ISCSI_STATUS_SECURITY_NEGOTIATION_PHASE |
1145                           ISCSI_STATUS_STRINGS_SECURITY );
1146         iscsi->retry_count = 0;
1147
1148         /* Prepare to receive PDUs. */
1149         iscsi->rx_state = ISCSI_RX_BHS;
1150         iscsi->rx_offset = 0;
1151
1152         /* Assign fresh initiator task tag */
1153         iscsi->itt++;
1154
1155         /* Start logging in */
1156         iscsi_start_login ( iscsi );
1157 }
1158
1159 /** iSCSI TCP operations */
1160 static struct tcp_operations iscsi_tcp_operations = {
1161         .closed         = iscsi_closed,
1162         .connected      = iscsi_connected,
1163         .acked          = iscsi_acked,
1164         .newdata        = iscsi_newdata,
1165         .senddata       = iscsi_senddata,
1166 };
1167
1168 /**
1169  * Issue SCSI command via iSCSI session
1170  *
1171  * @v iscsi             iSCSI session
1172  * @v command           SCSI command
1173  * @ret aop             Asynchronous operation for this SCSI command
1174  */
1175 struct async_operation * iscsi_issue ( struct iscsi_session *iscsi,
1176                                        struct scsi_command *command ) {
1177         assert ( iscsi->command == NULL );
1178         iscsi->command = command;
1179
1180         if ( iscsi->status ) {
1181                 if ( ( iscsi->status & ISCSI_STATUS_PHASE_MASK ) ==
1182                      ISCSI_STATUS_FULL_FEATURE_PHASE ) {
1183                         /* Session already open: issue command */
1184                         iscsi_start_command ( iscsi );
1185                         tcp_senddata ( &iscsi->tcp );
1186                 } else {
1187                         /* Session failed to reach full feature phase:
1188                          * abort immediately rather than retrying the
1189                          * login.
1190                          */
1191                         iscsi_done ( iscsi, -EPERM );
1192                 }
1193         } else {
1194                 /* Session not open: initiate login */
1195                 iscsi->tcp.tcp_op = &iscsi_tcp_operations;
1196                 memcpy ( &iscsi->tcp.peer, &iscsi->target,
1197                          sizeof ( iscsi->tcp.peer ) );
1198                 tcp_connect ( &iscsi->tcp );
1199         }
1200
1201         return &iscsi->aop;
1202 }
1203
1204 /**
1205  * Close down iSCSI session
1206  *
1207  * @v iscsi             iSCSI session
1208  * @ret aop             Asynchronous operation
1209  */
1210 struct async_operation * iscsi_shutdown ( struct iscsi_session *iscsi ) {
1211         if ( iscsi->status ) {
1212                 iscsi->status |= ISCSI_STATUS_CLOSING;
1213                 tcp_close ( &iscsi->tcp );
1214         }
1215         return &iscsi->aop;
1216 }