- Memory barriers cleanup. Comments for them improved
[mirror/scst/.git] / scst / src / scst_priv.h
1 /*
2  *  scst_priv.h
3  *
4  *  Copyright (C) 2004 - 2008 Vladislav Bolkhovitin <vst@vlnb.net>
5  *  Copyright (C) 2004 - 2005 Leonid Stoljar
6  *  Copyright (C) 2007 - 2008 CMS Distribution Limited
7  *
8  *  This program is free software; you can redistribute it and/or
9  *  modify it under the terms of the GNU General Public License
10  *  as published by the Free Software Foundation, version 2
11  *  of the License.
12  *
13  *  This program is distributed in the hope that it will be useful,
14  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
15  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16  *  GNU General Public License for more details.
17  */
18
19 #ifndef __SCST_PRIV_H
20 #define __SCST_PRIV_H
21
22 #include <linux/types.h>
23
24 #include <scsi/scsi.h>
25 #include <scsi/scsi_cmnd.h>
26 #include <scsi/scsi_driver.h>
27 #include <scsi/scsi_device.h>
28 #include <scsi/scsi_host.h>
29
30 #if LINUX_VERSION_CODE < KERNEL_VERSION(2, 6, 18)
31 #include <scsi/scsi_request.h>
32 #endif
33
34 #define LOG_PREFIX "scst"
35
36 #include "scst_debug.h"
37
38 #define SCST_MAJOR              177
39
40 #define TRACE_RTRY              0x80000000
41 #define TRACE_SCSI_SERIALIZING  0x40000000
42 /** top being the edge away from the interupt */
43 #define TRACE_SND_TOP           0x20000000
44 #define TRACE_RCV_TOP           0x01000000
45 /** bottom being the edge toward the interupt */
46 #define TRACE_SND_BOT           0x08000000
47 #define TRACE_RCV_BOT           0x04000000
48
49 #if defined(CONFIG_SCST_DEBUG) || defined(CONFIG_SCST_TRACING)
50 #define trace_flag scst_trace_flag
51 extern unsigned long scst_trace_flag;
52 #endif
53
54 #ifdef CONFIG_SCST_DEBUG
55 /*#define SCST_DEFAULT_LOG_FLAGS (TRACE_ALL & ~TRACE_MEMORY & ~TRACE_BUFF \
56          & ~TRACE_FUNCTION)
57 #define SCST_DEFAULT_LOG_FLAGS (TRACE_ALL & ~TRACE_MEMORY & ~TRACE_BUFF & \
58         ~TRACE_SCSI & ~TRACE_SCSI_SERIALIZING & ~TRACE_DEBUG)
59 */
60 #define SCST_DEFAULT_LOG_FLAGS (TRACE_OUT_OF_MEM | TRACE_MINOR | TRACE_PID | \
61         TRACE_LINE | TRACE_FUNCTION | TRACE_SPECIAL | TRACE_MGMT | \
62         TRACE_MGMT_MINOR | TRACE_MGMT_DEBUG | TRACE_RTRY)
63
64 #define TRACE_RETRY(args...)            __TRACE(TRACE_RTRY, args)
65 #define TRACE_SN(args...)               __TRACE(TRACE_SCSI_SERIALIZING, args)
66 #define TRACE_SEND_TOP(args...)         __TRACE(TRACE_SND_TOP, args)
67 #define TRACE_RECV_TOP(args...)         __TRACE(TRACE_RCV_TOP, args)
68 #define TRACE_SEND_BOT(args...)         __TRACE(TRACE_SND_BOT, args)
69 #define TRACE_RECV_BOT(args...)         __TRACE(TRACE_RCV_BOT, args)
70
71 #else /* CONFIG_SCST_DEBUG */
72
73 # ifdef CONFIG_SCST_TRACING
74 #define SCST_DEFAULT_LOG_FLAGS (TRACE_OUT_OF_MEM | TRACE_MINOR | TRACE_SPECIAL)
75 # else
76 #define SCST_DEFAULT_LOG_FLAGS 0
77 # endif
78
79 #define TRACE_RETRY(args...)
80 #define TRACE_SN(args...)
81 #define TRACE_SEND_TOP(args...)
82 #define TRACE_RECV_TOP(args...)
83 #define TRACE_SEND_BOT(args...)
84 #define TRACE_RECV_BOT(args...)
85
86 #endif
87
88 /**
89  ** Bits for scst_flags
90  **/
91
92 /*
93  * Set if new commands initialization is being suspended for a while.
94  * Used to let TM commands execute while preparing the suspend, since
95  * RESET or ABORT could be necessary to free SCSI commands.
96  */
97 #define SCST_FLAG_SUSPENDING                 0
98
99 /* Set if new commands initialization is suspended for a while */
100 #define SCST_FLAG_SUSPENDED                  1
101
102 /**
103  ** Return codes for cmd state process functions. Codes are the same as
104  ** for SCST_EXEC_* to avoid translation to them and, hence, have better code.
105  **/
106 #define SCST_CMD_STATE_RES_CONT_NEXT         SCST_EXEC_COMPLETED
107 #define SCST_CMD_STATE_RES_CONT_SAME         SCST_EXEC_NOT_COMPLETED
108 #define SCST_CMD_STATE_RES_NEED_THREAD       SCST_EXEC_NEED_THREAD
109
110 /** Name of the "default" security group **/
111 #define SCST_DEFAULT_ACG_NAME                "Default"
112
113 /**
114  ** Maximum count of uncompleted commands that an initiator could
115  ** queue on any device. Then it will start getting TASK QUEUE FULL status.
116  **/
117 #define SCST_MAX_TGT_DEV_COMMANDS            48
118
119 /**
120  ** Maximum count of uncompleted commands that could be queued on any device.
121  ** Then initiators sending commands to this device will start getting
122  ** TASK QUEUE FULL status.
123  **/
124 #define SCST_MAX_DEV_COMMANDS                256
125
126 #define SCST_TGT_RETRY_TIMEOUT               (3/2*HZ)
127
128 extern unsigned int scst_max_dev_cmd_mem;
129
130 extern mempool_t *scst_mgmt_mempool;
131 extern mempool_t *scst_mgmt_stub_mempool;
132 extern mempool_t *scst_ua_mempool;
133 extern mempool_t *scst_sense_mempool;
134
135 extern struct kmem_cache *scst_cmd_cachep;
136 extern struct kmem_cache *scst_sess_cachep;
137 extern struct kmem_cache *scst_tgtd_cachep;
138 extern struct kmem_cache *scst_acgd_cachep;
139
140 extern spinlock_t scst_main_lock;
141
142 extern struct scst_sgv_pools scst_sgv;
143
144 extern unsigned long scst_flags;
145 extern struct mutex scst_mutex;
146 extern atomic_t scst_cmd_count;
147 extern struct list_head scst_dev_list;
148 extern struct list_head scst_dev_type_list;
149 extern wait_queue_head_t scst_dev_cmd_waitQ;
150
151 extern struct list_head scst_acg_list;
152 extern struct scst_acg *scst_default_acg;
153
154 extern spinlock_t scst_init_lock;
155 extern struct list_head scst_init_cmd_list;
156 extern wait_queue_head_t scst_init_cmd_list_waitQ;
157 extern unsigned int scst_init_poll_cnt;
158
159 extern struct scst_cmd_lists scst_main_cmd_lists;
160
161 extern spinlock_t scst_mcmd_lock;
162 /* The following lists protected by scst_mcmd_lock */
163 extern struct list_head scst_active_mgmt_cmd_list;
164 extern struct list_head scst_delayed_mgmt_cmd_list;
165 extern wait_queue_head_t scst_mgmt_cmd_list_waitQ;
166
167 struct scst_tasklet {
168         spinlock_t tasklet_lock;
169         struct list_head tasklet_cmd_list;
170         struct tasklet_struct tasklet;
171 };
172 extern struct scst_tasklet scst_tasklets[NR_CPUS];
173
174 extern wait_queue_head_t scst_mgmt_waitQ;
175 extern spinlock_t scst_mgmt_lock;
176 extern struct list_head scst_sess_init_list;
177 extern struct list_head scst_sess_shut_list;
178
179 struct scst_cmd_thread_t {
180         struct task_struct *cmd_thread;
181         struct list_head thread_list_entry;
182 };
183
184 struct scst_threads_info_t {
185         struct mutex cmd_threads_mutex;
186         u32 nr_cmd_threads;
187         struct list_head cmd_threads_list;
188         struct task_struct *init_cmd_thread;
189         struct task_struct *mgmt_thread;
190         struct task_struct *mgmt_cmd_thread;
191 };
192
193 extern struct scst_threads_info_t scst_threads_info;
194 extern int scst_cmd_threads_count(void);
195 extern int __scst_add_cmd_threads(int num);
196 extern void __scst_del_cmd_threads(int num);
197
198 extern spinlock_t scst_temp_UA_lock;
199 extern uint8_t scst_temp_UA[SCST_SENSE_BUFFERSIZE];
200
201 extern struct scst_dev_type scst_null_devtype;
202
203 extern struct scst_cmd *__scst_check_deferred_commands(
204         struct scst_tgt_dev *tgt_dev);
205
206 /* Used to save the function call on the fast path */
207 static inline struct scst_cmd *scst_check_deferred_commands(
208         struct scst_tgt_dev *tgt_dev)
209 {
210         if (tgt_dev->def_cmd_count == 0)
211                 return NULL;
212         else
213                 return __scst_check_deferred_commands(tgt_dev);
214 }
215
216 static inline void scst_make_deferred_commands_active(
217         struct scst_tgt_dev *tgt_dev)
218 {
219         struct scst_cmd *c;
220
221         c = __scst_check_deferred_commands(tgt_dev);
222         if (c != NULL) {
223                 TRACE_SN("Adding cmd %p to active cmd list", c);
224                 spin_lock_irq(&c->cmd_lists->cmd_list_lock);
225                 list_add_tail(&c->cmd_list_entry,
226                         &c->cmd_lists->active_cmd_list);
227                 wake_up(&c->cmd_lists->cmd_list_waitQ);
228                 spin_unlock_irq(&c->cmd_lists->cmd_list_lock);
229         }
230
231         return;
232 }
233
234 void scst_inc_expected_sn(struct scst_tgt_dev *tgt_dev, atomic_t *slot);
235 int scst_check_hq_cmd(struct scst_cmd *cmd);
236
237 void scst_unblock_deferred(struct scst_tgt_dev *tgt_dev,
238         struct scst_cmd *cmd_sn);
239
240 void scst_on_hq_cmd_response(struct scst_cmd *cmd);
241 void scst_xmit_process_aborted_cmd(struct scst_cmd *cmd);
242
243 int scst_cmd_thread(void *arg);
244 void scst_cmd_tasklet(long p);
245 int scst_init_cmd_thread(void *arg);
246 int scst_mgmt_cmd_thread(void *arg);
247 int scst_mgmt_thread(void *arg);
248
249 int scst_add_dev_threads(struct scst_device *dev, int num);
250 void scst_del_dev_threads(struct scst_device *dev, int num);
251
252 int scst_alloc_device(gfp_t gfp_mask, struct scst_device **out_dev);
253 void scst_free_device(struct scst_device *dev);
254
255 struct scst_acg *scst_alloc_add_acg(const char *acg_name);
256 int scst_destroy_acg(struct scst_acg *acg);
257
258 int scst_sess_alloc_tgt_devs(struct scst_session *sess);
259 void scst_nexus_loss(struct scst_tgt_dev *tgt_dev);
260
261 int scst_acg_add_dev(struct scst_acg *acg, struct scst_device *dev,
262                      uint64_t lun, int read_only);
263 int scst_acg_remove_dev(struct scst_acg *acg, struct scst_device *dev);
264
265 int scst_acg_add_name(struct scst_acg *acg, const char *name);
266 int scst_acg_remove_name(struct scst_acg *acg, const char *name);
267
268 int scst_prepare_request_sense(struct scst_cmd *orig_cmd);
269 struct scst_cmd *scst_complete_request_sense(struct scst_cmd *cmd);
270
271 int scst_assign_dev_handler(struct scst_device *dev,
272         struct scst_dev_type *handler);
273
274 struct scst_session *scst_alloc_session(struct scst_tgt *tgt, gfp_t gfp_mask,
275         const char *initiator_name);
276 void scst_free_session(struct scst_session *sess);
277 void scst_free_session_callback(struct scst_session *sess);
278
279 struct scst_cmd *scst_alloc_cmd(gfp_t gfp_mask);
280 void scst_free_cmd(struct scst_cmd *cmd);
281 static inline void scst_destroy_cmd(struct scst_cmd *cmd)
282 {
283         kmem_cache_free(scst_cmd_cachep, cmd);
284         return;
285 }
286
287 void scst_check_retries(struct scst_tgt *tgt);
288 void scst_tgt_retry_timer_fn(unsigned long arg);
289
290 #if LINUX_VERSION_CODE < KERNEL_VERSION(2, 6, 18)
291 int scst_alloc_request(struct scst_cmd *cmd);
292 void scst_release_request(struct scst_cmd *cmd);
293
294 static inline void scst_do_req(struct scsi_request *sreq,
295         const void *cmnd, void *buffer, unsigned bufflen,
296         void (*done)(struct scsi_cmnd *), int timeout, int retries)
297 {
298 #ifdef CONFIG_SCST_STRICT_SERIALIZING
299         scsi_do_req(sreq, cmnd, buffer, bufflen, done, timeout, retries);
300 #elif !defined(SCSI_EXEC_REQ_FIFO_DEFINED)
301         sBUG();
302 #else
303         scsi_do_req_fifo(sreq, cmnd, buffer, bufflen, done, timeout, retries);
304 #endif
305 }
306 #else
307 static inline int scst_exec_req(struct scsi_device *sdev,
308         const unsigned char *cmd, int cmd_len, int data_direction,
309         void *buffer, unsigned bufflen, int use_sg, int timeout, int retries,
310         void *privdata, void (*done)(void *, char *, int, int), gfp_t gfp)
311 {
312 #ifdef CONFIG_SCST_STRICT_SERIALIZING
313         return scsi_execute_async(sdev, cmd, cmd_len, data_direction, buffer,
314                     bufflen, use_sg, timeout, retries, privdata, done, gfp);
315 #elif !defined(SCSI_EXEC_REQ_FIFO_DEFINED)
316         sBUG();
317         return -1;
318 #else
319         return scsi_execute_async_fifo(sdev, cmd, cmd_len, data_direction,
320             buffer, bufflen, use_sg, timeout, retries, privdata, done, gfp);
321 #endif
322 }
323 #endif
324
325 int scst_alloc_space(struct scst_cmd *cmd);
326 void scst_scsi_op_list_init(void);
327
328 enum scst_sg_copy_dir {
329         SCST_SG_COPY_FROM_TARGET,
330         SCST_SG_COPY_TO_TARGET
331 };
332 void scst_copy_sg(struct scst_cmd *cmd, enum scst_sg_copy_dir);
333
334 uint64_t scst_unpack_lun(const uint8_t *lun, int len);
335
336 struct scst_mgmt_cmd *scst_alloc_mgmt_cmd(gfp_t gfp_mask);
337 void scst_free_mgmt_cmd(struct scst_mgmt_cmd *mcmd);
338 void scst_done_cmd_mgmt(struct scst_cmd *cmd);
339
340 /* /proc support */
341 int scst_proc_init_module(void);
342 void scst_proc_cleanup_module(void);
343 int scst_build_proc_target_dir_entries(struct scst_tgt_template *vtt);
344 void scst_cleanup_proc_target_dir_entries(struct scst_tgt_template *vtt);
345 int scst_build_proc_target_entries(struct scst_tgt *vtt);
346 void scst_cleanup_proc_target_entries(struct scst_tgt *vtt);
347 int scst_build_proc_dev_handler_dir_entries(struct scst_dev_type *dev_type);
348 void scst_cleanup_proc_dev_handler_dir_entries(struct scst_dev_type *dev_type);
349
350 int scst_get_cdb_len(const uint8_t *cdb);
351
352 void __scst_dev_check_set_UA(struct scst_device *dev, struct scst_cmd *exclude,
353         const uint8_t *sense, int sense_len);
354 static inline void scst_dev_check_set_UA(struct scst_device *dev,
355         struct scst_cmd *exclude, const uint8_t *sense, int sense_len)
356 {
357         spin_lock_bh(&dev->dev_lock);
358         __scst_dev_check_set_UA(dev, exclude, sense, sense_len);
359         spin_unlock_bh(&dev->dev_lock);
360         return;
361 }
362 void scst_dev_check_set_local_UA(struct scst_device *dev,
363         struct scst_cmd *exclude, const uint8_t *sense, int sense_len);
364
365 void scst_check_set_UA(struct scst_tgt_dev *tgt_dev,
366         const uint8_t *sense, int sense_len, int head);
367 int scst_set_pending_UA(struct scst_cmd *cmd);
368
369 void scst_abort_cmd(struct scst_cmd *cmd, struct scst_mgmt_cmd *mcmd,
370         int other_ini, int call_dev_task_mgmt_fn);
371 void scst_process_reset(struct scst_device *dev,
372         struct scst_session *originator, struct scst_cmd *exclude_cmd,
373         struct scst_mgmt_cmd *mcmd, bool setUA);
374
375 static inline int scst_is_ua_command(struct scst_cmd *cmd)
376 {
377         return cmd->cdb[0] != INQUIRY
378                && cmd->cdb[0] != REQUEST_SENSE
379                && cmd->cdb[0] != REPORT_LUNS;
380 }
381
382 static inline int scst_is_implicit_hq(struct scst_cmd *cmd)
383 {
384         return cmd->cdb[0] == INQUIRY
385                || cmd->cdb[0] == REPORT_LUNS
386                || (cmd->dev->type == TYPE_DISK
387                    && (cmd->cdb[0] == READ_CAPACITY
388                        || (cmd->cdb[0] == SERVICE_ACTION_IN
389                            && (cmd->cdb[1] & 0x1f) == SAI_READ_CAPACITY_16)));
390 }
391
392 /*
393  * Some notes on devices "blocking". Blocking means that no
394  * commands will go from SCST to underlying SCSI device until it
395  * is unblocked. But we don't care about all commands that
396  * already on the device.
397  */
398
399 extern int scst_inc_on_dev_cmd(struct scst_cmd *cmd);
400
401 extern void __scst_block_dev(struct scst_device *dev);
402 extern void scst_block_dev_cmd(struct scst_cmd *cmd, int outstanding);
403 extern void scst_unblock_dev(struct scst_device *dev);
404 extern void scst_unblock_dev_cmd(struct scst_cmd *cmd);
405
406 /* No locks */
407 static inline void scst_dec_on_dev_cmd(struct scst_cmd *cmd)
408 {
409         struct scst_device *dev = cmd->dev;
410         bool unblock_dev = cmd->inc_blocking;
411
412         if (cmd->inc_blocking) {
413                 TRACE_MGMT_DBG("cmd %p (tag %llu): unblocking dev %p", cmd,
414                                (long long unsigned int)cmd->tag, cmd->dev);
415                 cmd->inc_blocking = 0;
416         }
417         cmd->dec_on_dev_needed = 0;
418
419         if (unblock_dev)
420                 scst_unblock_dev(dev);
421
422         atomic_dec(&dev->on_dev_count);
423         /* See comment in scst_block_dev() */
424         smp_mb__after_atomic_dec();
425
426         TRACE_DBG("New on_dev_count %d", atomic_read(&dev->on_dev_count));
427
428         sBUG_ON(atomic_read(&dev->on_dev_count) < 0);
429
430         if (unlikely(dev->block_count != 0))
431                 wake_up_all(&dev->on_dev_waitQ);
432
433         return;
434 }
435
436 static inline void __scst_get(int barrier)
437 {
438         atomic_inc(&scst_cmd_count);
439         TRACE_DBG("Incrementing scst_cmd_count(%d)",
440                 atomic_read(&scst_cmd_count));
441
442         /* See comment about smp_mb() in scst_suspend_activity() */
443         if (barrier)
444                 smp_mb__after_atomic_inc();
445 }
446
447 static inline void __scst_put(void)
448 {
449         int f;
450         f = atomic_dec_and_test(&scst_cmd_count);
451         /* See comment about smp_mb() in scst_suspend_activity() */
452         if (f && unlikely(test_bit(SCST_FLAG_SUSPENDED, &scst_flags))) {
453                 TRACE_MGMT_DBG("%s", "Waking up scst_dev_cmd_waitQ");
454                 wake_up_all(&scst_dev_cmd_waitQ);
455         }
456         TRACE_DBG("Decrementing scst_cmd_count(%d)",
457               atomic_read(&scst_cmd_count));
458 }
459
460 void scst_sched_session_free(struct scst_session *sess);
461
462 static inline void scst_sess_get(struct scst_session *sess)
463 {
464         atomic_inc(&sess->refcnt);
465 }
466
467 static inline void scst_sess_put(struct scst_session *sess)
468 {
469         if (atomic_dec_and_test(&sess->refcnt))
470                 scst_sched_session_free(sess);
471 }
472
473 static inline void __scst_cmd_get(struct scst_cmd *cmd)
474 {
475         atomic_inc(&cmd->cmd_ref);
476 }
477
478 static inline void __scst_cmd_put(struct scst_cmd *cmd)
479 {
480         if (atomic_dec_and_test(&cmd->cmd_ref))
481                 scst_free_cmd(cmd);
482 }
483
484 extern void scst_throttle_cmd(struct scst_cmd *cmd);
485 extern void scst_unthrottle_cmd(struct scst_cmd *cmd);
486
487 static inline void scst_check_restore_sg_buff(struct scst_cmd *cmd)
488 {
489         if (cmd->sg_buff_modified) {
490                 TRACE_MEM("cmd %p, sg %p, orig_sg_entry %d, "
491                         "orig_entry_len %d, orig_sg_cnt %d", cmd, cmd->sg,
492                         cmd->orig_sg_entry, cmd->orig_entry_len,
493                         cmd->orig_sg_cnt);
494                 cmd->sg[cmd->orig_sg_entry].length = cmd->orig_entry_len;
495                 cmd->sg_cnt = cmd->orig_sg_cnt;
496                 cmd->sg_buff_modified = 0;
497         }
498 }
499
500 #ifdef CONFIG_SCST_DEBUG_TM
501 extern void tm_dbg_check_released_cmds(void);
502 extern int tm_dbg_check_cmd(struct scst_cmd *cmd);
503 extern void tm_dbg_release_cmd(struct scst_cmd *cmd);
504 extern void tm_dbg_task_mgmt(struct scst_device *dev, const char *fn,
505         int force);
506 extern int tm_dbg_is_release(void);
507 #else
508 static inline void tm_dbg_check_released_cmds(void) {}
509 static inline int tm_dbg_check_cmd(struct scst_cmd *cmd)
510 {
511         return 0;
512 }
513 static inline void tm_dbg_release_cmd(struct scst_cmd *cmd) {}
514 static inline void tm_dbg_task_mgmt(struct scst_device *dev, const char *fn,
515         int force) {}
516 static inline int tm_dbg_is_release(void)
517 {
518         return 0;
519 }
520 #endif /* CONFIG_SCST_DEBUG_TM */
521
522 #ifdef CONFIG_SCST_DEBUG_SN
523 void scst_check_debug_sn(struct scst_cmd *cmd);
524 #else
525 static inline void scst_check_debug_sn(struct scst_cmd *cmd) {}
526 #endif
527
528 /*
529  * It deals with comparing 32 bit unsigned ints and worry about wraparound
530  * (automatic with unsigned arithmetic). Borrowed from net/tcp.h.
531  */
532 static inline int scst_sn_before(__u32 seq1, __u32 seq2)
533 {
534         return (__s32)(seq1-seq2) < 0;
535 }
536
537 #endif /* __SCST_PRIV_H */