0c3ff6a96b993e17e74fd673e1a78df307764bcc
[mirror/scst/.git] / scst / src / scst_priv.h
1 /*
2  *  scst_priv.h
3  *
4  *  Copyright (C) 2004 - 2009 Vladislav Bolkhovitin <vst@vlnb.net>
5  *  Copyright (C) 2004 - 2005 Leonid Stoljar
6  *  Copyright (C) 2007 - 2009 ID7 Ltd.
7  *
8  *  This program is free software; you can redistribute it and/or
9  *  modify it under the terms of the GNU General Public License
10  *  as published by the Free Software Foundation, version 2
11  *  of the License.
12  *
13  *  This program is distributed in the hope that it will be useful,
14  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
15  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16  *  GNU General Public License for more details.
17  */
18
19 #ifndef __SCST_PRIV_H
20 #define __SCST_PRIV_H
21
22 #include <linux/types.h>
23
24 #include <scsi/scsi.h>
25 #include <scsi/scsi_cmnd.h>
26 #include <scsi/scsi_driver.h>
27 #include <scsi/scsi_device.h>
28 #include <scsi/scsi_host.h>
29
30 #if LINUX_VERSION_CODE < KERNEL_VERSION(2, 6, 18)
31 #include <scsi/scsi_request.h>
32 #endif
33
34 #define LOG_PREFIX "scst"
35
36 #include "scst_debug.h"
37
38 #ifdef CONFIG_SCST_PROC
39 void sgv_pool_destroy(struct sgv_pool *pool);
40 #endif
41
42 #if LINUX_VERSION_CODE < KERNEL_VERSION(2, 6, 18)
43 #define SCST_MAJOR              177
44 #endif
45
46 #define TRACE_RTRY              0x80000000
47 #define TRACE_SCSI_SERIALIZING  0x40000000
48 /** top being the edge away from the interupt */
49 #define TRACE_SND_TOP           0x20000000
50 #define TRACE_RCV_TOP           0x01000000
51 /** bottom being the edge toward the interupt */
52 #define TRACE_SND_BOT           0x08000000
53 #define TRACE_RCV_BOT           0x04000000
54
55 #if defined(CONFIG_SCST_DEBUG) || defined(CONFIG_SCST_TRACING)
56 #define trace_flag scst_trace_flag
57 extern unsigned long scst_trace_flag;
58 #endif
59
60 #ifdef CONFIG_SCST_DEBUG
61
62 /* TRACE_MGMT_MINOR disabled to not confuse regular users */
63 #define SCST_DEFAULT_LOG_FLAGS (TRACE_OUT_OF_MEM | TRACE_MINOR | TRACE_PID | \
64         TRACE_LINE | TRACE_FUNCTION | TRACE_SPECIAL | TRACE_MGMT | \
65         /*TRACE_MGMT_MINOR |*/ TRACE_MGMT_DEBUG | TRACE_RTRY)
66
67 #define TRACE_RETRY(args...)    TRACE_DBG_FLAG(TRACE_RTRY, args)
68 #define TRACE_SN(args...)       TRACE_DBG_FLAG(TRACE_SCSI_SERIALIZING, args)
69 #define TRACE_SEND_TOP(args...) TRACE_DBG_FLAG(TRACE_SND_TOP, args)
70 #define TRACE_RECV_TOP(args...) TRACE_DBG_FLAG(TRACE_RCV_TOP, args)
71 #define TRACE_SEND_BOT(args...) TRACE_DBG_FLAG(TRACE_SND_BOT, args)
72 #define TRACE_RECV_BOT(args...) TRACE_DBG_FLAG(TRACE_RCV_BOT, args)
73
74 #else /* CONFIG_SCST_DEBUG */
75
76 # ifdef CONFIG_SCST_TRACING
77 #define SCST_DEFAULT_LOG_FLAGS (TRACE_OUT_OF_MEM | TRACE_MINOR | TRACE_MGMT | \
78         TRACE_SPECIAL)
79 # else
80 #define SCST_DEFAULT_LOG_FLAGS 0
81 # endif
82
83 #define TRACE_RETRY(args...)
84 #define TRACE_SN(args...)
85 #define TRACE_SEND_TOP(args...)
86 #define TRACE_RECV_TOP(args...)
87 #define TRACE_SEND_BOT(args...)
88 #define TRACE_RECV_BOT(args...)
89
90 #endif
91
92 /**
93  ** Bits for scst_flags
94  **/
95
96 /*
97  * Set if new commands initialization is being suspended for a while.
98  * Used to let TM commands execute while preparing the suspend, since
99  * RESET or ABORT could be necessary to free SCSI commands.
100  */
101 #define SCST_FLAG_SUSPENDING                 0
102
103 /* Set if new commands initialization is suspended for a while */
104 #define SCST_FLAG_SUSPENDED                  1
105
106 /**
107  ** Return codes for cmd state process functions. Codes are the same as
108  ** for SCST_EXEC_* to avoid translation to them and, hence, have better code.
109  **/
110 #define SCST_CMD_STATE_RES_CONT_NEXT         SCST_EXEC_COMPLETED
111 #define SCST_CMD_STATE_RES_CONT_SAME         SCST_EXEC_NOT_COMPLETED
112 #define SCST_CMD_STATE_RES_NEED_THREAD       SCST_EXEC_NEED_THREAD
113
114 /**
115  ** Maximum count of uncompleted commands that an initiator could
116  ** queue on any device. Then it will start getting TASK QUEUE FULL status.
117  **/
118 #define SCST_MAX_TGT_DEV_COMMANDS            48
119
120 /**
121  ** Maximum count of uncompleted commands that could be queued on any device.
122  ** Then initiators sending commands to this device will start getting
123  ** TASK QUEUE FULL status.
124  **/
125 #define SCST_MAX_DEV_COMMANDS                256
126
127 #define SCST_TGT_RETRY_TIMEOUT               (3/2*HZ)
128
129 extern unsigned int scst_max_dev_cmd_mem;
130
131 extern mempool_t *scst_mgmt_mempool;
132 extern mempool_t *scst_mgmt_stub_mempool;
133 extern mempool_t *scst_ua_mempool;
134 extern mempool_t *scst_sense_mempool;
135 extern mempool_t *scst_aen_mempool;
136
137 extern struct kmem_cache *scst_cmd_cachep;
138 extern struct kmem_cache *scst_sess_cachep;
139 extern struct kmem_cache *scst_tgtd_cachep;
140 extern struct kmem_cache *scst_acgd_cachep;
141
142 extern spinlock_t scst_main_lock;
143
144 extern struct scst_sgv_pools scst_sgv;
145
146 extern unsigned long scst_flags;
147 extern atomic_t scst_cmd_count;
148 extern struct list_head scst_template_list;
149 extern struct list_head scst_dev_list;
150 extern struct list_head scst_dev_type_list;
151 extern wait_queue_head_t scst_dev_cmd_waitQ;
152
153 extern struct list_head scst_acg_list;
154 #ifdef CONFIG_SCST_PROC
155 extern struct scst_acg *scst_default_acg;
156 #endif
157
158 extern spinlock_t scst_init_lock;
159 extern struct list_head scst_init_cmd_list;
160 extern wait_queue_head_t scst_init_cmd_list_waitQ;
161 extern unsigned int scst_init_poll_cnt;
162
163 extern struct scst_cmd_lists scst_main_cmd_lists;
164
165 extern spinlock_t scst_mcmd_lock;
166 /* The following lists protected by scst_mcmd_lock */
167 extern struct list_head scst_active_mgmt_cmd_list;
168 extern struct list_head scst_delayed_mgmt_cmd_list;
169 extern wait_queue_head_t scst_mgmt_cmd_list_waitQ;
170
171 struct scst_tasklet {
172         spinlock_t tasklet_lock;
173         struct list_head tasklet_cmd_list;
174         struct tasklet_struct tasklet;
175 };
176 extern struct scst_tasklet scst_tasklets[NR_CPUS];
177
178 extern wait_queue_head_t scst_mgmt_waitQ;
179 extern spinlock_t scst_mgmt_lock;
180 extern struct list_head scst_sess_init_list;
181 extern struct list_head scst_sess_shut_list;
182
183 struct scst_cmd_thread_t {
184         struct task_struct *cmd_thread;
185         struct list_head thread_list_entry;
186 };
187
188 #if defined(SCST_IO_CONTEXT)
189
190 static inline bool scst_set_io_context(struct scst_cmd *cmd,
191         struct io_context **old)
192 {
193         bool res;
194
195         if (cmd->cmd_lists == &scst_main_cmd_lists) {
196                 EXTRACHECKS_BUG_ON(in_interrupt());
197                 /*
198                  * No need to call ioc_task_link(), because io_context
199                  * supposed to be cleared in the end of the caller function.
200                  */
201                 current->io_context = cmd->tgt_dev->tgt_dev_io_ctx;
202                 res = true;
203                 TRACE_DBG("io_context %p", cmd->tgt_dev->tgt_dev_io_ctx);
204         } else
205                 res = false;
206
207         return res;
208 }
209
210 static inline void scst_reset_io_context(struct scst_tgt_dev *tgt_dev,
211         struct io_context *old)
212 {
213         current->io_context = old;
214         TRACE_DBG("io_context %p reset", current->io_context);
215         return;
216 }
217
218 #else
219
220 static inline bool scst_set_io_context(struct scst_cmd *cmd,
221         struct io_context **old)
222 {
223         return false;
224 }
225 static inline void scst_reset_io_context(struct scst_tgt_dev *tgt_dev,
226         struct io_context *old) {}
227 static inline void __exit_io_context(struct io_context *ioc) {}
228 #if LINUX_VERSION_CODE < KERNEL_VERSION(2, 6, 25)
229 static inline struct io_context *ioc_task_link(struct io_context *ioc)
230 {
231         return NULL;
232 }
233 #endif
234
235 #endif
236
237 extern struct mutex scst_global_threads_mutex;
238 extern u32 scst_nr_global_threads;
239
240 extern int scst_global_threads_count(void);
241 extern int __scst_add_global_threads(int num);
242 extern void __scst_del_global_threads(int num);
243
244 extern struct scst_dev_type scst_null_devtype;
245
246 extern struct scst_cmd *__scst_check_deferred_commands(
247         struct scst_tgt_dev *tgt_dev);
248
249 /* Used to save the function call on the fast path */
250 static inline struct scst_cmd *scst_check_deferred_commands(
251         struct scst_tgt_dev *tgt_dev)
252 {
253         if (tgt_dev->def_cmd_count == 0)
254                 return NULL;
255         else
256                 return __scst_check_deferred_commands(tgt_dev);
257 }
258
259 static inline void scst_make_deferred_commands_active(
260         struct scst_tgt_dev *tgt_dev)
261 {
262         struct scst_cmd *c;
263
264         c = __scst_check_deferred_commands(tgt_dev);
265         if (c != NULL) {
266                 TRACE_SN("Adding cmd %p to active cmd list", c);
267                 spin_lock_irq(&c->cmd_lists->cmd_list_lock);
268                 list_add_tail(&c->cmd_list_entry,
269                         &c->cmd_lists->active_cmd_list);
270                 wake_up(&c->cmd_lists->cmd_list_waitQ);
271                 spin_unlock_irq(&c->cmd_lists->cmd_list_lock);
272         }
273
274         return;
275 }
276
277 void scst_inc_expected_sn(struct scst_tgt_dev *tgt_dev, atomic_t *slot);
278 int scst_check_hq_cmd(struct scst_cmd *cmd);
279
280 void scst_unblock_deferred(struct scst_tgt_dev *tgt_dev,
281         struct scst_cmd *cmd_sn);
282
283 void scst_on_hq_cmd_response(struct scst_cmd *cmd);
284 void scst_xmit_process_aborted_cmd(struct scst_cmd *cmd);
285
286 int scst_cmd_thread(void *arg);
287 void scst_cmd_tasklet(long p);
288 int scst_init_thread(void *arg);
289 int scst_tm_thread(void *arg);
290 int scst_global_mgmt_thread(void *arg);
291
292 int scst_add_dev_threads(struct scst_device *dev, int num);
293 void scst_del_dev_threads(struct scst_device *dev, int num);
294
295 int scst_queue_retry_cmd(struct scst_cmd *cmd, int finished_cmds);
296
297 static inline void scst_tgtt_cleanup(struct scst_tgt_template *tgtt) { }
298 static inline void scst_devt_cleanup(struct scst_dev_type *devt) { }
299
300 struct scst_tgt *scst_alloc_tgt(struct scst_tgt_template *tgtt);
301 void scst_free_tgt(struct scst_tgt *tgt);
302
303 int scst_alloc_device(gfp_t gfp_mask, struct scst_device **out_dev);
304 void scst_free_device(struct scst_device *dev);
305
306 struct scst_acg *scst_alloc_add_acg(const char *acg_name);
307 int scst_destroy_acg(struct scst_acg *acg);
308
309 struct scst_acg *scst_find_acg(const struct scst_session *sess);
310
311 void scst_check_reassign_sessions(void);
312
313 int scst_sess_alloc_tgt_devs(struct scst_session *sess);
314 void scst_sess_free_tgt_devs(struct scst_session *sess);
315 void scst_nexus_loss(struct scst_tgt_dev *tgt_dev, bool queue_UA);
316
317 int scst_acg_add_dev(struct scst_acg *acg, struct scst_device *dev,
318         uint64_t lun, int read_only, bool gen_scst_report_luns_changed);
319 int scst_acg_remove_dev(struct scst_acg *acg, struct scst_device *dev,
320         bool gen_scst_report_luns_changed);
321
322 void scst_acg_dev_destroy(struct scst_acg_dev *acg_dev);
323
324 int scst_acg_add_name(struct scst_acg *acg, const char *name);
325 int scst_acg_remove_name(struct scst_acg *acg, const char *name, bool reassign);
326 void __scst_acg_remove_acn(struct scst_acn *n);
327
328 int scst_prepare_request_sense(struct scst_cmd *orig_cmd);
329 int scst_finish_internal_cmd(struct scst_cmd *cmd);
330
331 void scst_store_sense(struct scst_cmd *cmd);
332
333 int scst_assign_dev_handler(struct scst_device *dev,
334         struct scst_dev_type *handler);
335
336 struct scst_session *scst_alloc_session(struct scst_tgt *tgt, gfp_t gfp_mask,
337         const char *initiator_name);
338 void scst_free_session(struct scst_session *sess);
339 void scst_release_session(struct scst_session *sess);
340 void scst_free_session_callback(struct scst_session *sess);
341
342 struct scst_cmd *scst_alloc_cmd(gfp_t gfp_mask);
343 void scst_free_cmd(struct scst_cmd *cmd);
344 static inline void scst_destroy_cmd(struct scst_cmd *cmd)
345 {
346         kmem_cache_free(scst_cmd_cachep, cmd);
347         return;
348 }
349
350 void scst_check_retries(struct scst_tgt *tgt);
351
352 #if LINUX_VERSION_CODE < KERNEL_VERSION(2, 6, 18)
353 int scst_alloc_request(struct scst_cmd *cmd);
354 void scst_release_request(struct scst_cmd *cmd);
355
356 static inline void scst_do_req(struct scsi_request *sreq,
357         const void *cmnd, void *buffer, unsigned bufflen,
358         void (*done)(struct scsi_cmnd *), int timeout, int retries)
359 {
360 #ifdef CONFIG_SCST_STRICT_SERIALIZING
361         scsi_do_req(sreq, cmnd, buffer, bufflen, done, timeout, retries);
362 #elif !defined(SCSI_EXEC_REQ_FIFO_DEFINED)
363         sBUG();
364 #else
365         scsi_do_req_fifo(sreq, cmnd, buffer, bufflen, done, timeout, retries);
366 #endif
367 }
368 #elif LINUX_VERSION_CODE < KERNEL_VERSION(2, 6, 30)
369 static inline int scst_exec_req(struct scsi_device *sdev,
370         const unsigned char *cmd, int cmd_len, int data_direction,
371         struct scatterlist *sgl, unsigned bufflen, unsigned nents,
372         int timeout, int retries, void *privdata,
373         void (*done)(void *, char *, int, int), gfp_t gfp)
374 {
375 #if defined(CONFIG_SCST_STRICT_SERIALIZING)
376         return scsi_execute_async(sdev, cmd, cmd_len, data_direction, (void *)sgl,
377                     bufflen, nents, timeout, retries, privdata, done, gfp);
378 #elif !defined(SCSI_EXEC_REQ_FIFO_DEFINED)
379         WARN_ON(1);
380         return -1;
381 #else
382         return scsi_execute_async_fifo(sdev, cmd, cmd_len, data_direction,
383             (void *)sgl, bufflen, nents, timeout, retries, privdata, done, gfp);
384 #endif
385 }
386 #else /* i.e. LINUX_VERSION_CODE >= KERNEL_VERSION(2, 6, 30) */
387 #if defined(SCSI_EXEC_REQ_FIFO_DEFINED)
388 int scst_scsi_exec_async(struct scst_cmd *cmd,
389         void (*done)(void *, char *, int, int));
390 #else
391 static inline int scst_scsi_exec_async(struct scst_cmd *cmd,
392         void (*done)(void *, char *, int, int))
393 {
394         WARN_ON_ONCE(1);
395         return -1;
396 }
397 #endif
398 #endif
399
400 int scst_alloc_space(struct scst_cmd *cmd);
401
402 int scst_lib_init(void);
403 void scst_lib_exit(void);
404
405 uint64_t scst_pack_lun(const uint64_t lun);
406 uint64_t scst_unpack_lun(const uint8_t *lun, int len);
407
408 struct scst_mgmt_cmd *scst_alloc_mgmt_cmd(gfp_t gfp_mask);
409 void scst_free_mgmt_cmd(struct scst_mgmt_cmd *mcmd);
410 void scst_done_cmd_mgmt(struct scst_cmd *cmd);
411
412 #ifdef CONFIG_SCST_PROC
413 /* /proc support */
414 int scst_proc_init_module(void);
415 void scst_proc_cleanup_module(void);
416 int scst_build_proc_target_dir_entries(struct scst_tgt_template *vtt);
417 void scst_cleanup_proc_target_dir_entries(struct scst_tgt_template *vtt);
418 int scst_build_proc_target_entries(struct scst_tgt *vtt);
419 void scst_cleanup_proc_target_entries(struct scst_tgt *vtt);
420 int scst_build_proc_dev_handler_dir_entries(struct scst_dev_type *dev_type);
421 void scst_cleanup_proc_dev_handler_dir_entries(struct scst_dev_type *dev_type);
422 #endif
423
424 /* sysfs support  */
425 #ifdef CONFIG_SCST_PROC
426 static inline int scst_sysfs_init(void)
427 {
428         return 0;
429 }
430 static inline void scst_sysfs_cleanup(void) { }
431
432 static inline int scst_create_tgtt_sysfs(struct scst_tgt_template *tgtt)
433 {
434         return 0;
435 }
436 static inline void scst_tgtt_sysfs_put(struct scst_tgt_template *tgtt)
437 {
438         scst_tgtt_cleanup(tgtt);
439 }
440
441 static inline int scst_create_tgt_sysfs(struct scst_tgt *tgt)
442 {
443         return 0;
444 }
445 static inline void scst_tgt_sysfs_prepare_put(struct scst_tgt *tgt) { }
446 static inline void scst_tgt_sysfs_put(struct scst_tgt *tgt)
447 {
448         scst_free_tgt(tgt);
449 }
450
451 static inline int scst_create_sess_sysfs(struct scst_session *sess)
452 {
453         return 0;
454 }
455 static inline void scst_sess_sysfs_put(struct scst_session *sess)
456 {
457         scst_release_session(sess);
458 }
459
460 static inline int scst_create_sgv_sysfs(struct sgv_pool *pool)
461 {
462         return 0;
463 }
464 static inline void scst_sgv_sysfs_put(struct sgv_pool *pool)
465 {
466         sgv_pool_destroy(pool);
467 }
468
469 static inline int scst_create_devt_sysfs(struct scst_dev_type *devt)
470 {
471         return 0;
472 }
473 static inline void scst_devt_sysfs_put(struct scst_dev_type *devt)
474 {
475         scst_devt_cleanup(devt);
476 }
477
478 static inline int scst_create_device_sysfs(struct scst_device *dev)
479 {
480         return 0;
481 }
482 static inline void scst_device_sysfs_put(struct scst_device *dev)
483 {
484         scst_free_device(dev);
485 }
486
487 static inline int scst_create_devt_dev_sysfs(struct scst_device *dev)
488 {
489         return 0;
490 }
491 static inline void scst_devt_dev_sysfs_put(struct scst_device *dev) { }
492
493 #else /* CONFIG_SCST_PROC */
494
495 int scst_sysfs_init(void);
496 void scst_sysfs_cleanup(void);
497 int scst_create_tgtt_sysfs(struct scst_tgt_template *tgtt);
498 void scst_tgtt_sysfs_put(struct scst_tgt_template *tgtt);
499 int scst_create_tgt_sysfs(struct scst_tgt *tgt);
500 void scst_tgt_sysfs_prepare_put(struct scst_tgt *tgt);
501 void scst_tgt_sysfs_put(struct scst_tgt *tgt);
502 int scst_create_sess_sysfs(struct scst_session *sess);
503 void scst_sess_sysfs_put(struct scst_session *sess);
504 int scst_create_sgv_sysfs(struct sgv_pool *pool);
505 void scst_sgv_sysfs_put(struct sgv_pool *pool);
506 int scst_create_devt_sysfs(struct scst_dev_type *devt);
507 void scst_devt_sysfs_put(struct scst_dev_type *devt);
508 int scst_create_device_sysfs(struct scst_device *dev);
509 void scst_device_sysfs_put(struct scst_device *dev);
510 int scst_create_devt_dev_sysfs(struct scst_device *dev);
511 void scst_devt_dev_sysfs_put(struct scst_device *dev);
512
513 #endif /* CONFIG_SCST_PROC */
514
515 int scst_get_cdb_len(const uint8_t *cdb);
516
517 void __scst_dev_check_set_UA(struct scst_device *dev, struct scst_cmd *exclude,
518         const uint8_t *sense, int sense_len);
519 static inline void scst_dev_check_set_UA(struct scst_device *dev,
520         struct scst_cmd *exclude, const uint8_t *sense, int sense_len)
521 {
522         spin_lock_bh(&dev->dev_lock);
523         __scst_dev_check_set_UA(dev, exclude, sense, sense_len);
524         spin_unlock_bh(&dev->dev_lock);
525         return;
526 }
527 void scst_dev_check_set_local_UA(struct scst_device *dev,
528         struct scst_cmd *exclude, const uint8_t *sense, int sense_len);
529
530 #define SCST_SET_UA_FLAG_AT_HEAD        1
531 #define SCST_SET_UA_FLAG_GLOBAL         2
532
533 void scst_check_set_UA(struct scst_tgt_dev *tgt_dev,
534         const uint8_t *sense, int sense_len, int flags);
535 int scst_set_pending_UA(struct scst_cmd *cmd);
536
537 void scst_report_luns_changed(struct scst_acg *acg);
538
539 void scst_abort_cmd(struct scst_cmd *cmd, struct scst_mgmt_cmd *mcmd,
540         int other_ini, int call_dev_task_mgmt_fn);
541 void scst_process_reset(struct scst_device *dev,
542         struct scst_session *originator, struct scst_cmd *exclude_cmd,
543         struct scst_mgmt_cmd *mcmd, bool setUA);
544
545 bool scst_is_ua_global(const uint8_t *sense, int len);
546 void scst_requeue_ua(struct scst_cmd *cmd);
547
548 void scst_gen_aen_or_ua(struct scst_tgt_dev *tgt_dev,
549         int key, int asc, int ascq);
550
551 static inline bool scst_is_implicit_hq(struct scst_cmd *cmd)
552 {
553         return (cmd->op_flags & SCST_IMPLICIT_HQ) != 0;
554 }
555
556 /*
557  * Some notes on devices "blocking". Blocking means that no
558  * commands will go from SCST to underlying SCSI device until it
559  * is unblocked. But we don't care about all commands that
560  * already on the device.
561  */
562
563 extern int scst_inc_on_dev_cmd(struct scst_cmd *cmd);
564
565 extern void __scst_block_dev(struct scst_device *dev);
566 extern void scst_block_dev_cmd(struct scst_cmd *cmd, int outstanding);
567 extern void scst_unblock_dev(struct scst_device *dev);
568 extern void scst_unblock_dev_cmd(struct scst_cmd *cmd);
569
570 /* No locks */
571 static inline void scst_dec_on_dev_cmd(struct scst_cmd *cmd)
572 {
573         struct scst_device *dev = cmd->dev;
574         bool unblock_dev = cmd->inc_blocking;
575
576         if (cmd->inc_blocking) {
577                 TRACE_MGMT_DBG("cmd %p (tag %llu): unblocking dev %p", cmd,
578                                (long long unsigned int)cmd->tag, cmd->dev);
579                 cmd->inc_blocking = 0;
580         }
581         cmd->dec_on_dev_needed = 0;
582
583         if (unblock_dev)
584                 scst_unblock_dev(dev);
585
586         atomic_dec(&dev->on_dev_count);
587         /* See comment in scst_block_dev() */
588         smp_mb__after_atomic_dec();
589
590         TRACE_DBG("New on_dev_count %d", atomic_read(&dev->on_dev_count));
591
592         sBUG_ON(atomic_read(&dev->on_dev_count) < 0);
593
594         if (unlikely(dev->block_count != 0))
595                 wake_up_all(&dev->on_dev_waitQ);
596
597         return;
598 }
599
600 static inline void __scst_get(int barrier)
601 {
602         atomic_inc(&scst_cmd_count);
603         TRACE_DBG("Incrementing scst_cmd_count(new value %d)",
604                 atomic_read(&scst_cmd_count));
605
606         /* See comment about smp_mb() in scst_suspend_activity() */
607         if (barrier)
608                 smp_mb__after_atomic_inc();
609 }
610
611 static inline void __scst_put(void)
612 {
613         int f;
614         f = atomic_dec_and_test(&scst_cmd_count);
615         /* See comment about smp_mb() in scst_suspend_activity() */
616         if (f && unlikely(test_bit(SCST_FLAG_SUSPENDED, &scst_flags))) {
617                 TRACE_MGMT_DBG("%s", "Waking up scst_dev_cmd_waitQ");
618                 wake_up_all(&scst_dev_cmd_waitQ);
619         }
620         TRACE_DBG("Decrementing scst_cmd_count(new value %d)",
621               atomic_read(&scst_cmd_count));
622 }
623
624 void scst_sched_session_free(struct scst_session *sess);
625
626 static inline void scst_sess_get(struct scst_session *sess)
627 {
628         atomic_inc(&sess->refcnt);
629         TRACE_DBG("Incrementing sess %p refcnt (new value %d)",
630                 sess, atomic_read(&sess->refcnt));
631 }
632
633 static inline void scst_sess_put(struct scst_session *sess)
634 {
635         TRACE_DBG("Decrementing sess %p refcnt (new value %d)",
636                 sess, atomic_read(&sess->refcnt)-1);
637         if (atomic_dec_and_test(&sess->refcnt))
638                 scst_sched_session_free(sess);
639 }
640
641 static inline void __scst_cmd_get(struct scst_cmd *cmd)
642 {
643         atomic_inc(&cmd->cmd_ref);
644         TRACE_DBG("Incrementing cmd %p ref (new value %d)",
645                 cmd, atomic_read(&cmd->cmd_ref));
646 }
647
648 static inline void __scst_cmd_put(struct scst_cmd *cmd)
649 {
650         TRACE_DBG("Decrementing cmd %p ref (new value %d)",
651                 cmd, atomic_read(&cmd->cmd_ref)-1);
652         if (atomic_dec_and_test(&cmd->cmd_ref))
653                 scst_free_cmd(cmd);
654 }
655
656 extern void scst_throttle_cmd(struct scst_cmd *cmd);
657 extern void scst_unthrottle_cmd(struct scst_cmd *cmd);
658
659 static inline void scst_check_restore_sg_buff(struct scst_cmd *cmd)
660 {
661         if (cmd->sg_buff_modified) {
662                 TRACE_MEM("cmd %p, sg %p, orig_sg_entry %d, "
663                         "orig_entry_len %d, orig_sg_cnt %d", cmd, cmd->sg,
664                         cmd->orig_sg_entry, cmd->orig_entry_len,
665                         cmd->orig_sg_cnt);
666                 cmd->sg[cmd->orig_sg_entry].length = cmd->orig_entry_len;
667                 cmd->sg_cnt = cmd->orig_sg_cnt;
668                 cmd->sg_buff_modified = 0;
669         }
670 }
671
672 #ifdef CONFIG_SCST_DEBUG_TM
673 extern void tm_dbg_check_released_cmds(void);
674 extern int tm_dbg_check_cmd(struct scst_cmd *cmd);
675 extern void tm_dbg_release_cmd(struct scst_cmd *cmd);
676 extern void tm_dbg_task_mgmt(struct scst_device *dev, const char *fn,
677         int force);
678 extern int tm_dbg_is_release(void);
679 #else
680 static inline void tm_dbg_check_released_cmds(void) {}
681 static inline int tm_dbg_check_cmd(struct scst_cmd *cmd)
682 {
683         return 0;
684 }
685 static inline void tm_dbg_release_cmd(struct scst_cmd *cmd) {}
686 static inline void tm_dbg_task_mgmt(struct scst_device *dev, const char *fn,
687         int force) {}
688 static inline int tm_dbg_is_release(void)
689 {
690         return 0;
691 }
692 #endif /* CONFIG_SCST_DEBUG_TM */
693
694 #ifdef CONFIG_SCST_DEBUG_SN
695 void scst_check_debug_sn(struct scst_cmd *cmd);
696 #else
697 static inline void scst_check_debug_sn(struct scst_cmd *cmd) {}
698 #endif
699
700 /*
701  * It deals with comparing 32 bit unsigned ints and worry about wraparound
702  * (automatic with unsigned arithmetic). Borrowed from net/tcp.h.
703  */
704 static inline int scst_sn_before(__u32 seq1, __u32 seq2)
705 {
706         return (__s32)(seq1-seq2) < 0;
707 }
708
709 #ifdef CONFIG_SCST_MEASURE_LATENCY
710
711 void scst_set_start_time(struct scst_cmd *cmd);
712 void scst_set_cur_start(struct scst_cmd *cmd);
713 void scst_set_parse_time(struct scst_cmd *cmd);
714 void scst_set_alloc_buf_time(struct scst_cmd *cmd);
715 void scst_set_restart_waiting_time(struct scst_cmd *cmd);
716 void scst_set_rdy_to_xfer_time(struct scst_cmd *cmd);
717 void scst_set_pre_exec_time(struct scst_cmd *cmd);
718 void scst_set_exec_time(struct scst_cmd *cmd);
719 void scst_set_dev_done_time(struct scst_cmd *cmd);
720 void scst_set_xmit_time(struct scst_cmd *cmd);
721 void scst_set_tgt_on_free_time(struct scst_cmd *cmd);
722 void scst_set_dev_on_free_time(struct scst_cmd *cmd);
723 void scst_update_lat_stats(struct scst_cmd *cmd);
724
725 #else
726
727 static inline void scst_set_start_time(struct scst_cmd *cmd) {}
728 static inline void scst_set_cur_start(struct scst_cmd *cmd) {}
729 static inline void scst_set_parse_time(struct scst_cmd *cmd) {}
730 static inline void scst_set_alloc_buf_time(struct scst_cmd *cmd) {}
731 static inline void scst_set_restart_waiting_time(struct scst_cmd *cmd) {}
732 static inline void scst_set_rdy_to_xfer_time(struct scst_cmd *cmd) {}
733 static inline void scst_set_pre_exec_time(struct scst_cmd *cmd) {}
734 static inline void scst_set_exec_time(struct scst_cmd *cmd) {}
735 static inline void scst_set_dev_done_time(struct scst_cmd *cmd) {}
736 static inline void scst_set_xmit_time(struct scst_cmd *cmd) {}
737 static inline void scst_set_tgt_on_free_time(struct scst_cmd *cmd) {}
738 static inline void scst_set_dev_on_free_time(struct scst_cmd *cmd) {}
739 static inline void scst_update_lat_stats(struct scst_cmd *cmd) {}
740
741 #endif /* CONFIG_SCST_MEASURE_LATENCY */
742
743 #endif /* __SCST_PRIV_H */