- Update to the latest IET r145
[mirror/scst/.git] / scst / src / scst_priv.h
1 /*
2  *  scst_priv.h
3  *  
4  *  Copyright (C) 2004-2007 Vladislav Bolkhovitin <vst@vlnb.net>
5  *                 and Leonid Stoljar
6  *  
7  *  This program is free software; you can redistribute it and/or
8  *  modify it under the terms of the GNU General Public License
9  *  as published by the Free Software Foundation, version 2
10  *  of the License.
11  * 
12  *  This program is distributed in the hope that it will be useful,
13  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
14  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
15  *  GNU General Public License for more details.
16  */
17
18 #ifndef __SCST_PRIV_H
19 #define __SCST_PRIV_H
20
21 #include <linux/types.h>
22
23 #include <scsi/scsi.h>
24 #include <scsi/scsi_cmnd.h>
25 #include <scsi/scsi_driver.h>
26 #include <scsi/scsi_device.h>
27 #include <scsi/scsi_host.h>
28
29 #if LINUX_VERSION_CODE < KERNEL_VERSION(2,6,18)
30 #include <scsi/scsi_request.h>
31 #endif
32
33 #define LOG_PREFIX "scst"
34
35 #include "scst_debug.h"
36
37 #define SCST_MAJOR              177
38
39 #define TRACE_RETRY             0x80000000
40 #define TRACE_SCSI_SERIALIZING  0x40000000
41 #define TRACE_SEND_TOP          0x20000000 /** top being the edge away from the interupt */
42 #define TRACE_RECV_TOP          0x01000000 
43 #define TRACE_SEND_BOT          0x08000000 /** bottom being the edge toward the interupt */
44 #define TRACE_RECV_BOT          0x04000000
45
46 #if defined(DEBUG) || defined(TRACING)
47 #define trace_flag scst_trace_flag
48 extern unsigned long scst_trace_flag;
49 #endif
50
51 #ifdef DEBUG
52 /*#define SCST_DEFAULT_LOG_FLAGS (TRACE_ALL & ~TRACE_MEMORY & ~TRACE_BUFF \
53          & ~TRACE_FUNCTION)
54 #define SCST_DEFAULT_LOG_FLAGS (TRACE_ALL & ~TRACE_MEMORY & ~TRACE_BUFF & \
55         ~TRACE_SCSI & ~TRACE_SCSI_SERIALIZING & ~TRACE_DEBUG)
56 */
57 #define SCST_DEFAULT_LOG_FLAGS (TRACE_OUT_OF_MEM | TRACE_MINOR | TRACE_PID | \
58         TRACE_LINE | TRACE_FUNCTION | TRACE_SPECIAL | TRACE_MGMT | \
59         TRACE_MGMT_MINOR | TRACE_MGMT_DEBUG | TRACE_RETRY)
60
61 #define TRACE_SN(args...)       TRACE(TRACE_SCSI_SERIALIZING, args)
62
63 #else /* DEBUG */
64
65 # ifdef TRACING
66 #define SCST_DEFAULT_LOG_FLAGS (TRACE_OUT_OF_MEM | TRACE_MINOR | TRACE_SPECIAL)
67 # else
68 #define SCST_DEFAULT_LOG_FLAGS 0
69 # endif
70
71 #define TRACE_SN(args...)
72
73 #endif
74
75 /**
76  ** Bits for scst_flags 
77  **/
78
79 /* 
80  * Set if new commands initialization is being suspended for a while.
81  * Used to let TM commands execute while preparing the suspend, since
82  * RESET or ABORT could be necessary to free SCSI commands.
83  */
84 #define SCST_FLAG_SUSPENDING                 0
85
86 /* Set if new commands initialization is suspended for a while */
87 #define SCST_FLAG_SUSPENDED                  1
88
89 /* Set if a TM command is being performed */
90 #define SCST_FLAG_TM_ACTIVE                  2
91
92 /** 
93  ** Return codes for cmd state process functions 
94  **/
95 #define SCST_CMD_STATE_RES_CONT_SAME         0
96 #define SCST_CMD_STATE_RES_CONT_NEXT         1
97 #define SCST_CMD_STATE_RES_NEED_THREAD       2
98
99 /** Name of the "default" security group **/
100 #define SCST_DEFAULT_ACG_NAME                "Default"
101
102 /**
103  ** Maximum count of uncompleted commands that an initiator could 
104  ** queue on any device. Then it will start getting TASK QUEUE FULL status.
105  **/
106 #define SCST_MAX_TGT_DEV_COMMANDS            32
107
108 /**
109  ** Maximum count of uncompleted commands that could be queued on any device.
110  ** Then initiators sending commands to this device will start getting
111  ** TASK QUEUE FULL status.
112  **/
113 #define SCST_MAX_DEV_COMMANDS                256
114
115 #define SCST_TGT_RETRY_TIMEOUT               (3/2*HZ)
116 #define SCST_CMD_MEM_TIMEOUT                 (120*HZ)
117
118 static inline int scst_get_context(void)
119 {
120         if (in_irq())
121                 return SCST_CONTEXT_TASKLET;
122         if (irqs_disabled())
123                 return SCST_CONTEXT_THREAD;
124         if (in_softirq() || in_atomic())
125                 return SCST_CONTEXT_DIRECT_ATOMIC;
126         return SCST_CONTEXT_DIRECT;
127 }
128
129 extern unsigned long scst_max_cmd_mem;
130
131 #define SCST_MGMT_CMD_CACHE_STRING "scst_mgmt_cmd"
132 extern struct kmem_cache *scst_mgmt_cachep;
133 extern mempool_t *scst_mgmt_mempool;
134
135 #define SCST_UA_CACHE_STRING "scst_ua"
136 extern struct kmem_cache *scst_ua_cachep;
137 extern mempool_t *scst_ua_mempool;
138
139 #define SCST_CMD_CACHE_STRING "scst_cmd"
140 extern struct kmem_cache *scst_cmd_cachep;
141
142 #define SCST_SESSION_CACHE_STRING "scst_session"
143 extern struct kmem_cache *scst_sess_cachep;
144
145 #define SCST_TGT_DEV_CACHE_STRING "scst_tgt_dev"
146 extern struct kmem_cache *scst_tgtd_cachep;
147
148 #define SCST_ACG_DEV_CACHE_STRING "scst_acg_dev"
149 extern struct kmem_cache *scst_acgd_cachep;
150
151 extern spinlock_t scst_main_lock;
152
153 extern struct scst_sgv_pools scst_sgv;
154
155 extern unsigned long scst_flags;
156 extern struct mutex scst_mutex;
157 extern atomic_t scst_cmd_count;
158 extern struct list_head scst_template_list; /* protected by scst_mutex */
159 extern struct list_head scst_dev_list; /* protected by scst_mutex */
160 extern struct list_head scst_dev_type_list; /* protected by scst_mutex */
161 extern wait_queue_head_t scst_dev_cmd_waitQ;
162
163 extern struct mutex scst_suspend_mutex;
164 extern struct list_head scst_cmd_lists_list; /* protected by scst_suspend_mutex */
165
166 extern struct list_head scst_acg_list;
167 extern struct scst_acg *scst_default_acg;
168
169 extern spinlock_t scst_init_lock;
170 extern struct list_head scst_init_cmd_list;
171 extern wait_queue_head_t scst_init_cmd_list_waitQ;
172 extern unsigned int scst_init_poll_cnt;
173
174 extern struct scst_cmd_lists scst_main_cmd_lists;
175
176 extern spinlock_t scst_mcmd_lock;
177 /* The following lists protected by scst_mcmd_lock */
178 extern struct list_head scst_active_mgmt_cmd_list;
179 extern struct list_head scst_delayed_mgmt_cmd_list;
180 extern wait_queue_head_t scst_mgmt_cmd_list_waitQ;
181
182 struct scst_tasklet
183 {
184         spinlock_t tasklet_lock;
185         struct list_head tasklet_cmd_list;
186         struct tasklet_struct tasklet;
187 };
188 extern struct scst_tasklet scst_tasklets[NR_CPUS];
189
190 extern wait_queue_head_t scst_mgmt_waitQ;
191 extern spinlock_t scst_mgmt_lock;
192 extern struct list_head scst_sess_init_list;
193 extern struct list_head scst_sess_shut_list;
194
195 struct scst_cmd_thread_t {
196         struct task_struct *cmd_thread;
197         struct list_head thread_list_entry;
198 };
199
200 struct scst_threads_info_t {
201         struct mutex cmd_threads_mutex;
202         u32 nr_cmd_threads;
203         struct list_head cmd_threads_list;
204         struct task_struct *init_cmd_thread;
205         struct task_struct *mgmt_thread;
206         struct task_struct *mgmt_cmd_thread;
207 };
208
209 extern struct scst_threads_info_t scst_threads_info;
210 extern int scst_cmd_threads_count(void);
211 extern int __scst_add_cmd_threads(int num);
212 extern void __scst_del_cmd_threads(int num);
213
214 extern spinlock_t scst_temp_UA_lock;
215 extern uint8_t scst_temp_UA[SCST_SENSE_BUFFERSIZE];
216
217 extern struct scst_dev_type scst_null_devtype;
218
219 extern struct scst_cmd *__scst_check_deferred_commands(
220         struct scst_tgt_dev *tgt_dev);
221
222 /* Used to save the function call on the fast path */
223 static inline struct scst_cmd *scst_check_deferred_commands(
224         struct scst_tgt_dev *tgt_dev)
225 {
226         if (tgt_dev->def_cmd_count == 0)
227                 return NULL;
228         else
229                 return __scst_check_deferred_commands(tgt_dev);
230 }
231
232 void scst_inc_expected_sn(struct scst_tgt_dev *tgt_dev, atomic_t *slot);
233 int scst_check_hq_cmd(struct scst_cmd *cmd);
234
235 void scst_unblock_deferred(struct scst_tgt_dev *tgt_dev,
236         struct scst_cmd *cmd_sn);
237
238 void scst_on_hq_cmd_response(struct scst_cmd *cmd);
239 void scst_xmit_process_aborted_cmd(struct scst_cmd *cmd);
240
241 int scst_cmd_thread(void *arg);
242 void scst_cmd_tasklet(long p);
243 int scst_init_cmd_thread(void *arg);
244 int scst_mgmt_cmd_thread(void *arg);
245 int scst_mgmt_thread(void *arg);
246
247 int scst_add_dev_threads(struct scst_device *dev, int num);
248 void scst_del_dev_threads(struct scst_device *dev, int num);
249
250 int scst_alloc_device(int gfp_mask, struct scst_device **out_dev);
251 void scst_free_device(struct scst_device *tgt_dev);
252
253 struct scst_acg *scst_alloc_add_acg(const char *acg_name);
254 int scst_destroy_acg(struct scst_acg *acg);
255 int scst_proc_group_add_tree(struct scst_acg *acg, const char *name);
256 void scst_proc_del_acg_tree(struct proc_dir_entry *acg_proc_root,
257         const char *name);
258
259 int scst_sess_alloc_tgt_devs(struct scst_session *sess);
260 void scst_sess_free_tgt_devs(struct scst_session *sess);
261 void scst_nexus_loss(struct scst_tgt_dev *tgt_dev);
262
263 int scst_acg_add_dev(struct scst_acg *acg, struct scst_device *dev, lun_t lun,
264         int read_only);
265 int scst_acg_remove_dev(struct scst_acg *acg, struct scst_device *dev);
266
267 int scst_acg_add_name(struct scst_acg *acg, const char *name);
268 int scst_acg_remove_name(struct scst_acg *acg, const char *name);
269
270 struct scst_cmd *scst_create_prepare_internal_cmd(
271         struct scst_cmd *orig_cmd, int bufsize);
272 void scst_free_internal_cmd(struct scst_cmd *cmd);
273 int scst_prepare_request_sense(struct scst_cmd *orig_cmd);
274 struct scst_cmd *scst_complete_request_sense(struct scst_cmd *cmd);
275
276 int scst_assign_dev_handler(struct scst_device *dev, 
277         struct scst_dev_type *handler);
278
279 struct scst_session *scst_alloc_session(struct scst_tgt *tgt, int gfp_mask,
280         const char *initiator_name);
281 void scst_free_session(struct scst_session *sess);
282 void scst_free_session_callback(struct scst_session *sess);
283
284 struct scst_cmd *scst_alloc_cmd(int gfp_mask);
285 void scst_free_cmd(struct scst_cmd *cmd);
286 static inline void scst_destroy_cmd(struct scst_cmd *cmd)
287 {
288         kmem_cache_free(scst_cmd_cachep, cmd);
289         return;
290 }
291
292 void scst_proccess_redirect_cmd(struct scst_cmd *cmd, int context,
293         int check_retries);
294 void scst_check_retries(struct scst_tgt *tgt);
295 void scst_tgt_retry_timer_fn(unsigned long arg);
296
297 #if LINUX_VERSION_CODE < KERNEL_VERSION(2,6,18)
298 int scst_alloc_request(struct scst_cmd *cmd);
299 void scst_release_request(struct scst_cmd *cmd);
300
301 static inline void scst_do_req(struct scsi_request *sreq, 
302         const void *cmnd, void *buffer, unsigned bufflen, 
303         void (*done)(struct scsi_cmnd *), int timeout, int retries)
304 {
305     #ifdef STRICT_SERIALIZING
306         scsi_do_req(sreq, cmnd, buffer, bufflen, done, timeout, retries);
307     #elif !defined(SCSI_EXEC_REQ_FIFO_DEFINED)
308         sBUG();
309     #else
310         scsi_do_req_fifo(sreq, cmnd, buffer, bufflen, done, timeout, retries);
311     #endif
312 }
313 #else
314 static inline int scst_exec_req(struct scsi_device *sdev,
315         const unsigned char *cmd, int cmd_len, int data_direction,
316         void *buffer, unsigned bufflen, int use_sg, int timeout, int retries,
317         void *privdata, void (*done)(void *, char *, int, int), gfp_t gfp)
318 {
319     #ifdef STRICT_SERIALIZING
320         return scsi_execute_async(sdev, cmd, cmd_len, data_direction, buffer,
321                 bufflen, use_sg, timeout, retries, privdata, done, gfp);
322     #elif !defined(SCSI_EXEC_REQ_FIFO_DEFINED)
323         sBUG();
324         return -1;
325     #else
326         return scsi_execute_async_fifo(sdev, cmd, cmd_len, data_direction,
327                 buffer, bufflen, use_sg, timeout, retries, privdata, done, gfp);
328     #endif
329 }
330 #endif
331
332 int scst_alloc_space(struct scst_cmd *cmd);
333 void scst_release_space(struct scst_cmd *cmd);
334 void scst_scsi_op_list_init(void);
335
336 lun_t scst_unpack_lun(const uint8_t *lun, int len);
337
338 struct scst_cmd *__scst_find_cmd_by_tag(struct scst_session *sess, 
339         uint64_t tag);
340
341 struct scst_mgmt_cmd *scst_alloc_mgmt_cmd(int gfp_mask);
342 void scst_free_mgmt_cmd(struct scst_mgmt_cmd *mcmd);
343 void scst_complete_cmd_mgmt(struct scst_cmd *cmd, struct scst_mgmt_cmd *mcmd);
344
345 /* /proc support */
346 int scst_proc_init_module(void);
347 void scst_proc_cleanup_module(void);
348 int scst_build_proc_target_dir_entries(struct scst_tgt_template *vtt);
349 void scst_cleanup_proc_target_dir_entries(struct scst_tgt_template *vtt);
350 int scst_build_proc_target_entries(struct scst_tgt *vtt);
351 void scst_cleanup_proc_target_entries(struct scst_tgt *vtt);
352 int scst_build_proc_dev_handler_dir_entries(struct scst_dev_type *dev_type);
353 void scst_cleanup_proc_dev_handler_dir_entries(struct scst_dev_type *dev_type);
354
355 int scst_get_cdb_len(const uint8_t *cdb);
356
357 void __scst_dev_check_set_UA(struct scst_device *dev, struct scst_cmd *exclude,
358         const uint8_t *sense, int sense_len);
359 static inline void scst_dev_check_set_UA(struct scst_device *dev,
360         struct scst_cmd *exclude, const uint8_t *sense, int sense_len)
361 {
362         spin_lock_bh(&dev->dev_lock);
363         __scst_dev_check_set_UA(dev, exclude, sense, sense_len);
364         spin_unlock_bh(&dev->dev_lock);
365         return;
366 }
367 void scst_dev_check_set_local_UA(struct scst_device *dev,
368         struct scst_cmd *exclude, const uint8_t *sense, int sense_len);
369
370 void scst_check_set_UA(struct scst_tgt_dev *tgt_dev,
371         const uint8_t *sense, int sense_len, int head);
372 void scst_alloc_set_UA(struct scst_tgt_dev *tgt_dev, const uint8_t *sense,
373         int sense_len, int head);
374 void scst_free_all_UA(struct scst_tgt_dev *tgt_dev);
375 int scst_set_pending_UA(struct scst_cmd *cmd);
376
377 void scst_abort_cmd(struct scst_cmd *cmd, struct scst_mgmt_cmd *mcmd,
378         int other_ini, int call_dev_task_mgmt_fn);
379 void scst_process_reset(struct scst_device *dev,
380         struct scst_session *originator, struct scst_cmd *exclude_cmd,
381         struct scst_mgmt_cmd *mcmd);
382
383 static inline int scst_is_ua_command(struct scst_cmd *cmd)
384 {
385         return ((cmd->cdb[0] != INQUIRY) && 
386                 (cmd->cdb[0] != REQUEST_SENSE) &&
387                 (cmd->cdb[0] != REPORT_LUNS));
388 }
389
390 static inline int scst_is_implicit_hq(struct scst_cmd *cmd)
391 {
392         return ((cmd->cdb[0] == INQUIRY) ||
393                 (cmd->cdb[0] == REPORT_LUNS) ||
394                 ((cmd->dev->type == TYPE_DISK) &&
395                    ((cmd->cdb[0] == READ_CAPACITY) ||
396                     ((cmd->cdb[0] == SERVICE_ACTION_IN) &&
397                        ((cmd->cdb[1] & 0x1f) == SAI_READ_CAPACITY_16)))));
398 }
399
400 /*
401  * Some notes on devices "blocking". Blocking means that no
402  * commands will go from SCST to underlying SCSI device until it 
403  * is unblocked. But we don't care about all commands that 
404  * already on the device.
405  */
406
407 extern int scst_inc_on_dev_cmd(struct scst_cmd *cmd);
408 extern void scst_unblock_cmds(struct scst_device *dev);
409
410 extern void __scst_block_dev(struct scst_device *dev);
411 extern void scst_block_dev(struct scst_device *dev, int outstanding);
412 extern void scst_block_dev_cmd(struct scst_cmd *cmd, int outstanding);
413 extern void scst_unblock_dev(struct scst_device *dev);
414 extern void scst_unblock_dev_cmd(struct scst_cmd *cmd);
415
416 static inline void __scst_dec_on_dev_cmd(struct scst_device *dev,
417         int unblock_dev)
418 {
419         if (unblock_dev)
420                 scst_unblock_dev(dev);
421         atomic_dec(&dev->on_dev_count);
422         smp_mb__after_atomic_dec();
423         TRACE_DBG("New on_dev_count %d", atomic_read(&dev->on_dev_count));
424         sBUG_ON(atomic_read(&dev->on_dev_count) < 0);
425         if (unlikely(dev->block_count != 0))
426                 wake_up_all(&dev->on_dev_waitQ);
427 }
428
429 static inline int scst_pre_dec_on_dev_cmd(struct scst_cmd *cmd)
430 {
431         int cmd_blocking = cmd->inc_blocking;
432         if (cmd_blocking) {
433                 TRACE_MGMT_DBG("cmd %p (tag %llu): unblocking dev %p", cmd,
434                         cmd->tag, cmd->dev);
435                 cmd->inc_blocking = 0;
436         }
437         cmd->dec_on_dev_needed = 0;
438         return cmd_blocking;
439 }
440
441 static inline void scst_dec_on_dev_cmd(struct scst_cmd *cmd)
442 {
443         int cmd_blocking = scst_pre_dec_on_dev_cmd(cmd);
444         __scst_dec_on_dev_cmd(cmd->dev, cmd_blocking);
445 }
446
447 static inline void __scst_get(int barrier)
448 {
449         atomic_inc(&scst_cmd_count);
450         TRACE_DBG("Incrementing scst_cmd_count(%d)",
451                 atomic_read(&scst_cmd_count));
452
453         if (barrier)
454                 smp_mb__after_atomic_inc();
455 }
456
457 static inline void __scst_put(void)
458 {
459         int f;
460         f = atomic_dec_and_test(&scst_cmd_count);
461         if (f && unlikely(test_bit(SCST_FLAG_SUSPENDED, &scst_flags))) {
462                 TRACE_MGMT_DBG("%s", "Waking up scst_dev_cmd_waitQ");
463                 wake_up_all(&scst_dev_cmd_waitQ);
464         }
465         TRACE_DBG("Decrementing scst_cmd_count(%d)",
466               atomic_read(&scst_cmd_count));
467 }
468
469 void scst_sched_session_free(struct scst_session *sess);
470
471 static inline void scst_sess_get(struct scst_session *sess)
472 {
473         atomic_inc(&sess->refcnt);
474 }
475
476 static inline void scst_sess_put(struct scst_session *sess)
477 {
478         if (atomic_dec_and_test(&sess->refcnt))
479                 scst_sched_session_free(sess);
480 }
481
482 static inline void scst_cmd_get(struct scst_cmd *cmd)
483 {
484         atomic_inc(&cmd->cmd_ref);
485 }
486
487 static inline void scst_cmd_put(struct scst_cmd *cmd)
488 {
489         if (atomic_dec_and_test(&cmd->cmd_ref))
490                 scst_free_cmd(cmd);
491 }
492
493 extern void scst_throttle_cmd(struct scst_cmd *cmd);
494 extern void scst_unthrottle_cmd(struct scst_cmd *cmd);
495
496 static inline void scst_check_restore_sg_buff(struct scst_cmd *cmd)
497 {
498         if (cmd->sg_buff_modified) {
499                 TRACE_MEM("cmd %p, sg %p, orig_sg_entry %d, "
500                         "orig_entry_len %d, orig_sg_cnt %d", cmd, cmd->sg,
501                         cmd->orig_sg_entry, cmd->orig_entry_len,
502                         cmd->orig_sg_cnt);
503                 cmd->sg[cmd->orig_sg_entry].length = cmd->orig_entry_len;
504                 cmd->sg_cnt = cmd->orig_sg_cnt;
505         }
506 }
507
508 #ifdef DEBUG_TM
509 extern void tm_dbg_init_tgt_dev(struct scst_tgt_dev *tgt_dev,
510         struct scst_acg_dev *acg_dev);
511 extern void tm_dbg_deinit_tgt_dev(struct scst_tgt_dev *tgt_dev);
512 extern void tm_dbg_check_released_cmds(void);
513 extern int tm_dbg_check_cmd(struct scst_cmd *cmd);
514 extern void tm_dbg_release_cmd(struct scst_cmd *cmd);
515 extern void tm_dbg_task_mgmt(struct scst_tgt_dev *tgt_dev, const char *fn,
516         int force);
517 extern int tm_dbg_is_release(void);
518 #else
519 static inline void tm_dbg_init_tgt_dev(struct scst_tgt_dev *tgt_dev,
520         struct scst_acg_dev *acg_dev) {}
521 static inline void tm_dbg_deinit_tgt_dev(struct scst_tgt_dev *tgt_dev) {}
522 static inline void tm_dbg_check_released_cmds(void) {}
523 static inline int tm_dbg_check_cmd(struct scst_cmd *cmd)
524 {
525         return 0;
526 }
527 static inline void tm_dbg_release_cmd(struct scst_cmd *cmd) {}
528 static inline void tm_dbg_task_mgmt(struct scst_tgt_dev *tgt_dev, const char *fn,
529         int force) {}
530 static inline int tm_dbg_is_release(void)
531 {
532         return 0;
533 }
534 #endif /* DEBUG_TM */
535
536 #ifdef DEBUG_SN
537 void scst_check_debug_sn(struct scst_cmd *cmd);
538 #else
539 static inline void scst_check_debug_sn(struct scst_cmd *cmd) {}
540 #endif
541
542 /*
543  * It deals with comparing 32 bit unsigned ints and worry about wraparound
544  * (automatic with unsigned arithmetic). Borrowed from net/tcp.h.
545  */
546 static inline int scst_sn_before(__u32 seq1, __u32 seq2)
547 {
548         return (__s32)(seq1-seq2) < 0;
549 }
550
551 #endif /* __SCST_PRIV_H */