In FILEIO:
[mirror/scst/.git] / scst / README
1 Generic SCSI target mid-level for Linux (SCST)
2 ==============================================
3
4 Version 0.9.5, XX XXX 2006
5 --------------------------
6
7 SCST is designed to provide unified, consistent interface between SCSI
8 target drivers and Linux kernel and simplify target drivers development
9 as much as possible. Detail description of SCST's features and internals
10 could be found in "Generic SCSI Target Middle Level for Linux" document
11 SCST's Internet page http://scst.sourceforge.net.
12
13 SCST looks to be quite stable (for beta) and useful. It supports disks
14 (SCSI type 0), tapes (type 1), processor (type 3), CDROM's (type 5), MO
15 disks (type 7), medium changers (type 8) and RAID controller (type 0xC).
16 There are also FILEIO and "performance" device handlers. In addition, it
17 supports advanced per-initiator access and devices visibility
18 management, so different initiators could see different set of devices
19 with different access permissions. See below for details.
20
21 This is quite stable (but still beta) version.
22
23 Tested mostly on "vanilla" 2.6.17.8 kernel from kernel.org.
24
25 Device handlers
26 ---------------
27
28 Device specific drivers (device handlers) are plugins for SCST, which
29 help SCST to analyze incoming requests and determine parameters,
30 specific to various types of devices. If an appropriate device handler
31 for a SCSI device type isn't loaded, SCST doesn't know how to handle
32 devices of this type, so they will be invisible for remote initiators
33 (more precisely, "LUN not supported" sense code will be returned).
34
35 In addition to device handlers for real devices, there are FILEIO and
36 "performance" ones.
37
38 FILEIO device handler works over files on file systems and makes from
39 them virtual remotely available SCSI disks or CDROM's. In addition, it
40 allows to work directly over a block device, e.g. local IDE or SCSI disk
41 or ever disk partition, where there is no file systems overhead. Using
42 block devices comparing to sending SCSI commands directly to SCSI
43 mid-level via scsi_do_req() has advantage that data are transfered via
44 system cache, so it is possible to fully benefit from caching and read
45 ahead performed by Linux's VM subsystem. The only disadvantage here that
46 there is superfluous data copying between the cache and SCST's buffers.
47 This issue is going to be addressed in the next release. Virtual CDROM's
48 are useful for remote installation. See below for details how to setup
49 and use FILEIO device handler.
50
51 "Performance" device handlers for disks, MO disks and tapes in their
52 exec() method skip (pretend to execute) all READ and WRITE operations
53 and thus provide a way for direct link performance measurements without
54 overhead of actual data transferring from/to underlying SCSI device.
55
56 NOTE: Since "perf" device handlers on READ operations don't touch the
57 ====  commands' data buffer, it is returned to remote initiators as it
58       was allocated, without even being zeroed. Thus, "perf" device
59       handlers impose some security risk, so use them with caution.
60
61 Installation
62 ------------
63
64 At first, make sure that the link "/lib/modules/`you_kernel_version`/build" 
65 points to the source code for your currently running kernel.
66
67 Then, if you are going to work on 2.6 kernels, since in those kernels
68 scsi_do_req() works in LIFO order, instead of expected and required
69 FIFO, SCST needs a new function scsi_do_req_fifo() to be added in the
70 kernel. Patch 26_scst.patch (or 26_scst-2.6.14-.patch for early kernels)
71 from "kernel" directory does that. If it doesn't apply to your kernel
72 version, apply it manually, it only adds that function and nothing more.
73 You may not patch the kernel if STRICT_SERIALIZING is defined during the
74 compilation (see its description below).
75
76 To compile SCST go to 'src' directory and type 'make' on 2.6 kernels and
77 'make -f Makefile-24' on 2.4 ones. It will build SCST itself and its
78 device handlers. To install them type 'make install'. The driver modules
79 will be installed in
80 '/lib/modules/`you_kernel_version`/kernel/drivers/scsi/scsi_tgt' on 2.4
81 kernels and in '/lib/modules/`you_kernel_version`/extra' on 2.6 ones. In
82 addition, scsi_tgt.h, scst_debug.h and scst_debug.c will be copied to
83 '/usr/local/include/scst'. The first file contains all SCST's public
84 data definition, which are used by target drivers. The other ones
85 support debug messages logging.
86
87 Then you can load any module by typing 'modprobe drive_name'. The names are:
88
89  - scsi_tgt - SCST itself
90  - scst_disk - device handler for disks (type 0)
91  - scst_tape - device handler for tapes (type 1)
92  - scst_processor - device handler for processors (type 3)
93  - scst_cdrom - device handler for CDROMs (type 5)
94  - scst_modisk - device handler for MO disks (type 7)
95  - scst_changer - device handler for medium changers (type 8)
96  - scst_raid - device handler for storage array controller (e.g. raid) (type C)
97  - scst_fileio - device handler for FILE IO (disk or ISO CD image).
98
99 Then, to see your devices remotely, you need to add them to at least
100 "Default" security group (see below how). By default, no local devices
101 are seen remotely. There must be LUN 0 in each security group, i.e. LUs
102 numeration must not start from, e.g., 1.
103
104 IMPORTANT: Without loading appropriate device handler, corresponding devices
105 =========  will be invisible for remote initiators, which could lead to holes
106            in the LUN addressing, so automatic device scanning by remote SCSI 
107            mid-level could not notice the devices. Therefore you will have 
108            to add them manually via 
109            'echo "scsi add-single-device A 0 0 B" >/proc/scsi/scsi',
110            where A - is the host number, B - LUN.
111
112 IMPORTANT: In the current version simultaneous access to local SCSI devices
113 =========  via standard high-level SCSI drivers (sd, st, sg, etc.) and
114            SCST's target drivers is unsupported. Especially it is
115            important for execution via sg and st commands that change
116            the state of devices and their parameters, because that could
117            lead to data corruption. If any such command is done, at
118            least related device handler driver(s) must be restarted. For
119            block devices READ/WRITE commands using direct disk handler
120            look to be safe.
121
122 To uninstall, type 'make uninstall'. It is not implemented for 2.6
123 kernels.
124
125 If you install QLA2x00 target driver's source code in this directory,
126 then you can build, install or uninstall it by typing 'make qla', 'make
127 qla_install' or 'make qla_uninstall' correspondingly. Or 'make qla26',
128 'make qla26_install' or 'make qla26_uninstall' for new 2.6 driver. For
129 more details about QLA2x00 target drivers see their README files.
130
131 Compilation options
132 -------------------
133
134 There are the following compilation options, that could be commented
135 in/out in Makefile:
136
137  - DEBUG - turns on some debugging code, including some logging. Makes
138    the driver considerably bigger and slower, producing large amount of
139    log data.
140
141  - TRACING - turns on ability to log events. Makes the driver considerably
142    bigger and lead to some performance loss.
143
144  - EXTRACHECKS - adds extra validity checks in the various places.
145
146  - DEBUG_TM - turns on task management functions debugging, when on
147    LUN 0 in the "Default" group some of the commands will be delayed for
148    about 60 sec., so making the remote initiator send TM functions, eg
149    ABORT TASK and TARGET RESET. Also set TM_DBG_GO_OFFLINE symbol in the
150    Makefile to 1 if you want that the device eventually become
151    completely unresponsive, or to 0 otherwise to circle around ABORTs
152    and RESETs code. Needs DEBUG turned on.
153
154  - STRICT_SERIALIZING - makes SCST send all commands to underlying SCSI
155    device synchronously, one after one. This makes task management more
156    reliable, with cost of some performance penalty. This is mostly
157    actual for stateful SCSI devices like tapes, where the result of
158    command's execution depends from device's settings set by previous
159    commands. Disk and RAID devices are stateless in the most cases. The
160    current SCSI core in Linux doesn't allow to abort all commands
161    reliably if they sent asynchronously to a stateful device. Turned off
162    by default, turn it on if you use stateful device(s) and need as much
163    error recovery reliability as possible. As a side effect, no kernel
164    patching is necessary.
165
166  - SCST_HIGHMEM - if defined on HIGHMEM systems with 2.6 kernels, it
167    allows SCST to use HIGHMEM. This is very experimental feature and it
168    is unclear, if it brings something valuable, except some performance
169    hit, so in the current version it is disabled. Note, that
170    SCST_HIGHMEM isn't required for HIGHMEM systems and SCST will work
171    fine on them with SCST_HIGHMEM off. Untested.
172   
173  - SCST_STRICT_SECURITY - if defined, makes SCST zero allocated data
174    buffers. Undefining it (default) considerably improves performance
175    and eases CPU load, but could create a security hole (information
176    leakage), so enable it, if you have strict security requirements.
177
178 Module parameters
179 -----------------
180
181 Module scsi_tgt supports the following parameters:
182
183  - scst_threads - allows to set count of SCST's threads. By default it
184    is CPU count.
185
186  - scst_max_cmd_mem - sets maximum amount of memory in Mb allowed to be
187    consumed by the SCST commands for data buffers at any given time. By
188    default it is approximately TotalMem/4.
189
190 SCST "/proc" commands
191 ---------------------
192
193 For communications with user space programs SCST provides proc-based
194 interface in "/proc/scsi_tgt" directory. It contains the following
195 entries:
196
197   - "help" file, which provides online help for SCST commands
198   
199   - "scsi_tgt" file, which on read provides information of serving by SCST
200     devices and their dev handlers. On write it supports the following
201     command:
202     
203       * "assign H:C:I:L HANDLER_NAME" assigns dev handler "HANDLER_NAME" 
204         on device with host:channel:id:lun
205
206   - "sessions" file, which lists currently connected initiators (open sessions)
207         
208   - "threads" file, which allows to read and set number of SCST's threads
209   
210   - "version" file, which shows version of SCST
211   
212   - "trace_level" file, which allows to read and set trace (logging) level
213     for SCST. See "help" file for list of trace levels.
214
215 Each dev handler has own subdirectory. Most dev handler have only two
216 files in this subdirectory: "trace_level" and "type". The first one is
217 similar to main SCST "trace_level" file, the latter one shows SCSI type
218 number of this handler as well as some text description.
219
220 For example, "echo "assign 1:0:1:0 dev_disk" >/proc/scsi_tgt/scsi_tgt"
221 will assign device handler "dev_disk" to real device sitting on host 1,
222 channel 0, ID 1, LUN 0.
223
224 Access and devices visibility management
225 ----------------------------------------
226
227 Access and devices visibility management allows for an initiator or
228 group of initiators to have different limited set of LUs/LUNs (security
229 group) each with appropriate access permissions. Initiator is
230 represented as a SCST session. Session is binded to security group on
231 its registration time by character "name" parameter of the registration
232 function, which provided by target driver, based on its internal
233 authentication. For example, for FC "name" could be WWN or just loop
234 ID. For iSCSI this could be iSCSI login credentials or iSCSI initiator
235 name. Each security group has set of names assigned to it by system
236 administrator. Session is binded to security group with provided name.
237 If no such groups found, the session binded to "Default" group.
238
239 In /proc/scsi_tgt each group represented as "groups/GROUP_NAME/"
240 subdirectory. In it there are files "devices" and "users". File
241 "devices" lists all devices and their LUNs in the group, file "users"
242 lists all names that should be binded to this group.
243
244 To configure access and devices visibility management SCST provides the
245 following files and directories under /proc/scsi_tgt:
246
247   - "add_group GROUP" to /proc/scsi_tgt/scsi_tgt adds group "GROUP"
248   
249   - "del_group GROUP" to /proc/scsi_tgt/scsi_tgt deletes group "GROUP"
250   
251   - "add H:C:I:L lun [RO]" to /proc/scsi_tgt/groups/GROUP/devices adds 
252     device with host:channel:id:lun as LUN "lun" in group "GROUP". Optionally,
253     the device could be marked as read only.
254   
255   - "del H:C:I:L" to /proc/scsi_tgt/groups/GROUP/devices deletes device with
256     host:channel:id:lun from group "GROUP"
257   
258   - "add V_NAME lun [RO]" to /proc/scsi_tgt/groups/GROUP/devices adds device with
259     virtual name "V_NAME" as LUN "lun" in group "GROUP". Optionally, the device 
260     could be marked as read only.
261   
262   - "del V_NAME" to /proc/scsi_tgt/groups/GROUP/devices deletes device with
263     virtual name "V_NAME" from group "GROUP"
264   
265   - "clear" to /proc/scsi_tgt/groups/GROUP/devices clears the list of devices
266     for group "GROUP"
267   
268   - "add NAME" to /proc/scsi_tgt/groups/GROUP/names adds name "NAME" to group 
269     "GROUP"
270   
271   - "del NAME" to /proc/scsi_tgt/groups/GROUP/names deletes name "NAME" from group 
272     "GROUP"
273   
274   - "clear" to /proc/scsi_tgt/groups/GROUP/names clears the list of names
275     for group "GROUP"
276
277 Examples:
278
279  - "echo "add 1:0:1:0 0" >/proc/scsi_tgt/groups/Default/devices" will
280  add real device sitting on host 1, channel 0, ID 1, LUN 0 to "Default"
281  group with LUN 0.
282
283  - "echo "add disk1 1" >/proc/scsi_tgt/groups/Default/devices" will
284  add virtual FILEIO device with name "disk1" to "Default" group
285  with LUN 1. 
286
287 FILEIO device handler
288 ---------------------
289
290 After loading FILEIO device handler creates in "/proc/scsi_tgt/"
291 subdirectories "disk_fileio" and "cdrom_fileio". They have similar layout:
292
293   - "trace_level" and "type" files as described for other dev handlers
294   
295   - "help" file, which provides online help for FILEIO commands
296   
297   - "disk_fileio"/"cdrom_fileio" files, which on read provides
298     information of currently open device files. On write it supports the
299     following command:
300     
301     * "open NAME PATH [BLOCK_SIZE] [FLAGS]" - opens file "PATH" as
302       device "NAME" with block size "BLOCK_SIZE" bytes with flags
303       "FLAGS". The block size must be power of 2 and >= 512 bytes
304       Default is 512. Possible flags:
305       
306       - WRITE_THROUGH - write back caching disabled
307       
308       - READ_ONLY - read only
309       
310       - O_DIRECT - both read and write caching disabled (doesn't work
311         currently).
312
313       - NULLIO - in this mode no real IO will be done, but success will be
314         returned. Intended to be used for performance measurements at the same
315         way as "*_perf" handlers.
316
317       - NV_CACHE - enables "non-volatile cache" mode. In this mode it is
318         assumed that the target has GOOD uninterruptable power supply
319         and software/hardware bug free, i.e. all data from the target's
320         cache are guaranteed sooner or later to go to the media, hence
321         all data synchronization with media operations, like
322         SYNCHRONIZE_CACHE, are ignored (BTW, so violating SCSI standard)
323         in order to bring a bit more performance. Use with extreme
324         caution, since in this mode after a crash of the target
325         journaled file systems don't guarantee the consistency after
326         journal recovery, therefore manual fsck MUST be ran. The main
327         intent for it is to determine the performance impact caused by
328         the cache synchronization. Note, that since usually the journal
329         barrier protection (see "IMPORTANT" below) turned off, enabling
330         NV_CACHE could change nothing, since no data synchronization
331         with media operations will go from the initiator.
332     
333     * "close NAME" - closes device "NAME".
334
335 For example, "echo "open disk1 /vdisks/disk1" >/proc/scsi_tgt/disk_fileio/disk_fileio"
336 will open file /vdisks/disk1 as virtual FILEIO disk with name "disk1".
337
338 IMPORTANT: By default for performance reasons FILEIO devices use write back
339 =========  caching policy. This is generally safe from the consistence of
340            journaled file systems, laying over them, point of view, but
341            your unsaved cached data will be lost in case of
342            power/hardware/software faulure, so you must supply your
343            target server with some kind of UPS or disable write back
344            caching using WRITE_THROUGH flag. You also should note, that
345            the file systems journaling over write back caching enabled
346            devices works reliably *ONLY* if it uses some kind of data
347            protection barriers (i.e. after writing journaling data some
348            kind of synchronization with media operations will be used),
349            otherwise, because of possible reordering in the cache, even
350            after successful journal rollback you very much risk to loose
351            your data on the FS. On Linux initiators for EXT3 and
352            ReiserFS file systems the barrier protection could be turned
353            on using "barrier=1" and "barrier=flush" mount options
354            correspondingly. Note, that usually it turned off by default
355            and the status of barriers usage isn't reported anywhere in
356            the system logs as well as there is no way to know it on the
357            mounted file system (at least we don't know how). Also note
358            that on some real-life workloads write through caching might
359            perform better, than write back one with barrier protection
360            turned on.
361
362 IMPORTANT: Many disk and partition table mananagement utilities don't support
363 =========  block sizes >512 bytes, therefore make sure that your favorite one
364            supports it. Also, if you export disk file or device with
365            another block size, than one, with which it was already
366            divided on partitions, you could get various weird things
367            like utilities hang up or other unexpected behaviour. Thus, to
368            be sure, zero the exported file or device before the first
369            access to it from the remote initiator with another block size.
370
371 Performance
372 -----------
373
374 Before doing any performance measurements note that:
375
376 I. Maximum performance is possible only with real SCSI devices or
377 performance handlers. FILEIO handler isn't optimized for performance
378 yet, although, if you have enough CPU power, it could provide very
379 acceptable results, when aggregate throughput is close to aggregate
380 throuput locally on the target on the same disks.
381
382 II. In order to get the maximum performance you should:
383
384 1. For SCST:
385
386  - Disable in Makefile STRICT_SERIALIZING, EXTRACHECKS, TRACING, DEBUG,
387    SCST_STRICT_SECURITY, SCST_HIGHMEM
388
389 2. For Qlogic target driver:
390
391  - Disable in Makefile EXTRACHECKS, TRACING, DEBUG_TGT, DEBUG_WORK_IN_THREAD
392
393 3. For device handlers, including FILEIO:
394
395  - Disable in Makefile TRACING, DEBUG
396
397 IMPORTANT: Some of those options enabled by default, i.e. SCST is optimized
398 =========  currently rather for development, not for performance.
399
400 4. For kernel:
401
402  - Don't enable debug/hacking features, i.e. use them as they are by
403    default.
404
405  - The default kernel read-ahead and queuing settings are optimized
406    for locally attached disks, therefore they are not optimal if they
407    attached remotly (our case), which sometimes could lead to unexpectedly
408    low throughput. You should increase read-ahead size
409    (/sys/block/device/queue/read_ahead_kb) for at least 256Kb or even
410    more on all initiators and the target. Also experiment with other
411    parameters in /sys/block/device directory, they also affect the
412    performance. If you find the best values, please share them with us.
413
414 5. For hardware.
415
416  - Make sure that your target hardware (e.g. target FC card) and underlaying
417    SCSI hardware (e.g. SCSI card to which your disks connected) stay on
418    different PCI buses. They will have to work in parallel, so it
419    will be better if they don't race for the bus. The problem is not
420    only in the bandwidth, which they have to share, but also in the
421    interaction between the cards during that competition. We have told
422    that in some cases it could lead to 5-10 times less performance, than
423    expected.
424
425 IMPORTANT: If you use on initiator some versions of Windows (at least W2K)
426 =========  you can't get good write performance for FILEIO devices with
427            default 512 bytes block sizes. You could get about 10% of
428            the expected one. This is because of "unusual" write access
429            pattern, with which Windows'es write data and which is
430            (simplifying) incompatible with how Linux page cache works.
431            With 4096 bytes block sizes for FILEIO devices the write
432            performance will be as expected.
433
434 Just for reference: we had with 0.9.2 and "old" Qlogic driver on 2.4.2x
435 kernel, where we did carefull performance study, aggregate throuhput
436 about 390 Mb/sec from 2 qla2300 cards sitting on different 64-bit PCI
437 buses and working simultaneously for two different initiators with
438 several simultaneously working load programs on each. From one card -
439 about 190 Mb/sec. We used tape_perf handler, so there was no influence
440 from underlying SCSI hardware, i.e. we measured only SCST/FC overhead.
441 The target computer configuration was not very modern for the moment:
442 something like 2x1GHz Intel P3 Xeon CPUs. You can estimate the
443 memory/PCI speed from that. CPU load was ~5%, there were ~30K IRQ/sec
444 and no additional SCST related context switches.
445
446 Credits
447 -------
448
449 Thanks to:
450
451  * Mark Buechler <mark.buechler@gmail.com> for a lot of useful
452    suggestions, bug reports and help in debugging.
453
454  * Ming Zhang <mingz@ele.uri.edu> for fixes and comments.
455  
456  * Nathaniel Clark <nate@misrule.us> for fixes and comments.
457
458  * Calvin Morrow <calvin.morrow@comcast.net> for testing and usful
459    suggestions.
460
461 Vladislav Bolkhovitin <vst@vlnb.net>, http://scst.sourceforge.net