iscsiadm(iscsi 局域网)

rhel 6挂载以及卸载iscsi存储

rhel 6挂载以及卸载iscsi存储

rhel 6挂载和卸载iscsi存储更简单了。如果是挂载的话，扫描之后重启服务器即可；如果是卸载的话，删除相关iscsi信息之后重启服务器即可。

挂载步骤：

1：服务器挂载iscsi存储前提

2：扫描iscsi存储

3：重启服务器

4：如果不想重启服务器使用命令挂载

卸载步骤：

1：删除/var/lib/iscsi/nodes和/var/lib/iscsi/sendtargets目录下所有信息

2：重启服务器

3：如果不想重启服务器卸载就使用卸载命令

挂载步骤：

1：服务器挂载iscsi存储前提 1、iscsi相关rpm包已安装 [root@node1 send_targets]# rpm-qa| grep iscsi iscsi-initiator-utils-6.2.0.873-2.el6.x86_64 2、设置iscsi服务永久生效 [root@node1 send_targets]# chkconfig–level 345 iscsi on [root@node1 send_targets]# chkconfig–list| grep iscsi iscsi     0:off 1:off 2:off 3:on 4:on 5:on 6:off iscsid    0:off 1:off 2:off 3:on 4:on 5:on 6:off

2：扫描iscsi存储 [root@node1~]# iscsiadm-m discovery-t sendtargets-p 10.10.10.21:3260 10.10.10.21:3260,1 iqn.2001-04*.KingStore-blockB0:f8953f4f879e 10.10.10.21:3260,1 iqn.2001-04*.KingStore-blockB1:1d396554f9ed 10.10.10.21:3260,1 iqn.2001-04*.KingStore-blockB2:3891feef5f4

3：重启服务器 [root@node1/]# reboot

4：如果不想重启服务器就挂载挂载命令 iscsiadm-m node-T iqn.2001-04*.KingStore-blockA0:71a01ebeb045–p 10.10.10.20:3260-l iscsiadm-m node-T iqn.2001-04*.KingStore-blockA1:b8873bab8f30–p 10.10.10.20:3260-l iscsiadm-m node-T iqn.2001-04*.KingStore-blockA2:1782d19a932d–p 10.10.10.20:3260-l iscsiadm-m node-T存储iqn–p IP:3260-l

卸载步骤：

1：删除/var/lib/iscsi/nodes和/var/lib/iscsi/sendtargets目录下所有信息/var/lib/iscsi/nodes目录下存放的是所有iscsi挂载的iqn/var/lib/iscsi/sendtargets目录下存放的是iscsi挂载存储IP

2：重启服务器 [root@node1/]# reboot

3：如果不想重启服务器卸载就使用卸载命令 iscsiadm-m node-T iqn.2001-04*.KingStore-blockA2:ad9ac7a8dbc5-u iscsiadm-m node-T iqn.2001-04*.KingStore-blockB0:63e12abcea4c-u卸载命令： iscsiadm-m node-T iscsi存储iqn-u

iscsi共享存储的简单配置和应用

1、环境介绍

SCSI（Small Computer System Interface）是块数据传输协议，在存储行业广泛应用，是存储设备最基本的标准协议。从根本上说，iSCSI协议是一种利用IP网络来传输潜伏时间短的SCSI数据块的方法，ISCSI使用以太网协议传送SCSI命令、响应和数据。ISCSI可以用我们已经熟悉和每天都在使用的以太网来构建IP存储局域网。通过这种方法，ISCSI克服了直接连接存储的局限性，使我们可以跨不同服务器共享存储资源，并可以在不停机状态下扩充存储容量。

所需软件与软件结构

CentOS将 tgt的软件名称定义为 scsi-target-utils，因此你得要使用 yum去安装他才行。至于用来作为 initiator的软件则是使用 linux-iscsi的项目，该项目所提供的软件名称则为 iscsi-initiator-utils。所以，总的来说，你需要的软件有：

scsi-target-utils：用来将 Linux系统仿真成为 iSCSI target的功能；

iscsi-initiator-utils：挂载来自 target的磁盘到 Linux本机上。

那么 scsi-target-utils主要提供哪些档案呢？基本上有底下几个比较重要需要注意的：

/etc/tgt/targets.conf：主要配置文件，设定要分享的磁盘格式与哪几颗；

/usr/sbin/tgt-admin：在线查询、删除 target等功能的设定工具；

/usr/sbin/tgt-setup-lun：建立 target以及设定分享的磁盘与可使用的

客户端等工具软件。

/usr/sbin/tgtadm：手动直接管理的管理员工具(可使用配置文件取代)；

/usr/sbin/tgtd：主要提供 iSCSI target服务的主程序；

/usr/sbin/tgtimg：建置预计分享的映像文件装置的工具(以映像文件仿真磁盘)；

这次的实验结构

（sdx1、sdy1是物理的磁盘通过lun连接到target虚拟的共享块，在客户端挂载这个块。这里我们添加一块硬盘sdb，创建sdb1（400m）和sdb2（500m））

2、server端配置

添加一块磁盘后

复查一下

安装target并加入开机自启动

yum install-y target*

systemctl start target

systemctl enable target

配置target的ctl将sdb1和sdb2共享出去

（一）、block关联磁盘

（二）、创建target

（三）、创建lun关联block和target

至此服务器端就配置完了，详细的配置可以到/etc/target/s*econfig.json修改

3、client端配置

（一）、安装iscsi*

软件包 iscsi-initiator-utils-6.2.0.873-29.el7.x86_64

软件包 iscsi-initiator-utils-iscsiuio-6.2.0.873-29.el7.x86_64

[root@200~]# yum install-y iscsi*

（二）、加入开机自启

[root@200~]# systemctl restart iscsid.service

[root@200~]# systemctl enable iscsid.service

（三）、做一个发现的*作，发现服务器共享的target名字是什么

（四）、查看发现的条目

（五）、修改客户端的acl并登录

注：这个自动加载过来的磁盘重启之后是自动加载过来的

4、客户端挂载iscsi的盘

格式化sdb和sdc

创建挂载点并挂载

[root@200~]# mkdir/sdb

[root@200~]# mkdir/sdc

注：如果需要实时同步的话需要使用gfs集群文件系统

5、总结

（一）、增加iscsi存储

(1)发现iscsi存储:iscsiadm

-m discovery-t st-p ISCSI_IP

(2)查看iscsi发现记录:iscsiadm

-m node

(3)登录iscsi存储:iscsiadm

-m node-T LUN_NAME-p ISCSI_IP-l

(4)开机自动:

iscsiadm-m node–T LUN_NAME-p ISCSI_IP–op

update-n node.startup-v

automatic

（二）、删除iscsi存储

(1)登出iscsi存储

iscsiadm-m node-T LUN_NAME-p ISCSI_IP-u

(2)对出iscsi所有登录

iscsiadm-m node–logoutall=all

(3)删除iscsi发现记录:iscsiadm

-m node-o delete-T LUN_NAME-p ISCSI_IP

linux客户端怎么启动iscsi

1：YUM安装软件

[root@node2 Packages]# rpm-qa| grep iscsi

iscsi-initiator-utils-6.2.0.873-2.el6.x86_64

[root@node2 Packages]# rpm-qa| grep scsi

iscsi-initiator-utils-6.2.0.873-2.el6.x86_64

scsi-target-utils-1.0.24-2.el6.x86_64

[root@node2 Packages]# lsb_release-a服务器版本

LSB

Version:

:base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:printing-4.0-amd64:printing-4.0-noarch

Distributor ID: RedHatEnterpriseServer

Description: Red Hat Enterprise Linux Server release 6.4(Santiago)

Release: 6.4

Codename: Santiago

因为这台服务器是当RAC数据库服务器之一的，所以此服务器需要安装客户端工具和服务器端工具。

YUM软件安装可以参考我的经验：rhel6.4 yum本地yum源配置

2

2：启动并设置开机自启动

[root@node2 Packages]# service tgtd start

Starting SCSI target daemon: [ OK ]

[root@node2 Packages]# chkconfig tgtd on

[root@node2 Packages]# chconfig–list| grep tgtd

-bash: chconfig: command not found

[root@node2 Packages]# chkconfig–list| grep tgtd

tgtd 0:off 1:off 2:on 3:on 4:on 5:on 6:off

3：确定共享磁盘

[root@node2 Packages]# df-h

Filesystem Size Used Avail Use% Mounted on

/dev/sda5 629G 113G 484G 19%/

tmpfs 3.9G 167M 3.7G 5%/dev/shm

/dev/sda1 194M 33M 152M 18%/boot

/dev/sda3 194M 5.9M 178M 4%/home

/dev/sda2 289G 191M 274G 1%/share

或者使用DD创建一个大文件

dd if=/dev/zero of=/target_scsi bs=2M count=500//使用dd

共享出来的设备源可以是DD出来的一个文件，或者是/dev/sda2这样的分区。

如果使用/dev/sda2这个分区，那么/share目录将会变成只读模式

这里我采用DD出一个文件，因为VOTE表决磁盘200M左右大小。

4：编辑配置文件

[root@node2~]# cat/etc/tgt/targets.conf

default-driver iscsi

<target iqn.2015-07.wiscom:wiscom20>

<backing-store/targe_scsi>

scsi_id wiscom20

lun 1

</backing-store>

</target>

默认所有用户都可以访问

编写规范：

target iqn.2015-07.wiscom:wiscom20 iqn.年-月.*名称:scsi_id号为后期编写多路径规则方便

scsi_id wiscom20自定义（客户端挂载后wwid）经过试验，我的服务器必须更改scsi_id,否则多路径无法指定别名

lun 1默认为1

注意：

如果配置完文件之后，没有重启服务器，只是重启了iscsi服务 service tgtd restart。执行tgt-admin-s命令查看的时候没有lun 1设备。最终发现重启服务器才生效

5：重启服务器–至关重要

如果是服务器中已经跑了RAC，需要将node2集群关闭再重启服务器。

在试验过程中，发现自定义scsi_id无法生效，不管怎么修改都不行。最终重启发现生效。

tgt-admin-s或者tgtadm–lld iscsi–mode target–op show都可以查看qin号、设备连接信息和scsi_id号

6：本机挂载–node2挂载

[root@node2~]# iscsiadm-m discovery-t sendtargets-p 10.10.10.7:3260

10.10.10.7:3260,1 iqn.2015-07.wiscom:wiscom20

[root@node2~]# iscsiadm-m discovery-t sendtargets-p 10.10.11.7:3260

10.10.11.7:3260,1 iqn.2015-07.wiscom:wiscom20

[root@node2~]# iscsiadm-m node-T iqn.2015-07.wiscom:wiscom20-p 10.10.10.7:3260-l

Logging in to [iface: default, target: iqn.2015-07.wiscom:wiscom20, portal: 10.10.10.7,3260](multiple)

Login to [iface: default, target: iqn.2015-07.wiscom:wiscom20, portal: 10.10.10.7,3260] successful.

[root@node2~]# iscsiadm-m node-T iqn.2015-07.wiscom:wiscom20-p 10.10.11.7:3260-l

Logging in to [iface: default, target: iqn.2015-07.wiscom:wiscom20, portal: 10.10.11.7,3260](multiple)

Login to [iface: default, target: iqn.2015-07.wiscom:wiscom20, portal: 10.10.11.7,3260] successful.

扫描并挂载存储

如何挂载iscsi存储参考我的经验：rhel 6挂载以及卸载iscsi存储

7：查看scsi_id

scsi_id是设备唯一标识符，类似wwid

[root@node2~]# scsi_id-g-u-d/dev/adap

[root@node2~]# scsi_id-g-u-d/dev/sdap

1wiscom20

[root@node2~]# scsi_id-g-u-d/dev/sdaq

1wiscom20

8：节点2添加磁盘多路径

[root@node2 mapper]# vi/etc/multipath.conf

[root@node2 mapper]# service multipathd restart

ok

Stopping multipathd daemon: [ OK ]

Starting multipathd daemon: [ OK ]

/etc/multipath.conf添加如下：

multipath{

wwid”1wiscom20″

alias crsC01

path_grouping_policy multibus

uid 1300

gid 1301

mode 666

}

在配置之前，一旦挂载就会发现/dev/mapper下已经生成了多路径磁盘mpathm,但是需要在多路径配置文件中添加以上配置生成统一别名。

磁盘多路径配置可以参考我的经验：ASM磁盘多路径及udev配置

9：节点2 udev修改/dev/mapper/crsC01设备读写权限

[root@node2 dev]# vi/etc/udev/rules.d/99-oracle-asmdevices.rules

添加以下内容：

KERNEL==”dm-20″, OWNER=”grid”, GROUP=”asmadmin”, MODE=”0666″

[root@node2 dev]#/sbin/udevadm control–reload-rules

[root@node2 dev]#/sbin/start_udev

Starting udev: [ OK ]

至此，节点2添加磁盘成功。但是节点1还需要添加磁盘。

10：节点1挂载共享iscsi设备

节点1挂载：node1

[root@node1 nodes]# iscsiadm-m discovery-t sendtargets-p 10.10.10.7:3260

10.10.10.7:3260,1 iqn.2015-07.wiscom:wiscom20

[root@node1 nodes]# iscsiadm-m discovery-t sendtargets-p 10.10.11.7:3260

10.10.11.7:3260,1 iqn.2015-07.wiscom:wiscom20

[root@node1 nodes]# iscsiadm-m node-T iqn.2015-07.wiscom:wiscom20-p 10.10.10.7:3260-l

Logging in to [iface: default, target: iqn.2015-07.wiscom:wiscom20, portal: 10.10.10.7,3260](multiple)

Login to [iface: default, target: iqn.2015-07.wiscom:wiscom20, portal: 10.10.10.7,3260] successful.

[root@node1 nodes]# iscsiadm-m node-T iqn.2015-07.wiscom:wiscom20-p 10.10.11.7:3260-l

Logging in to [iface: default, target: iqn.2015-07.wiscom:wiscom20, portal: 10.10.11.7,3260](multiple)

Login to [iface: default, target: iqn.2015-07.wiscom:wiscom20, portal: 10.10.11.7,3260] successful.

10：节点1添加磁盘多路径和udev修改权限

步骤和添加内容和第8步骤、第9步骤一致。

11：查看ASM中是否识别到该设备

两个节点均需要查看

[oracle@node1~]$ export ORACLE_SID=+ASM1

[oracle@node1~]$ export ORACLE_HOME=/u01/app/11.2.0.4/grid/

[oracle@node1~]$ export PATH=$PATH:$ORACLE_HOME/bin

[oracle@node1~]$ sqlplus sys as sysasm

SQL*Plus: Release 11.2.0.4.0 Production on Tue Jul 28 16:33:01 2015

Copyright(c) 1982, 2013, Oracle. All rights reserved.

Enter password:

Connected to:

Oracle Database 11g Enterprise Edition Release 11.2.0.4.0- 64bit Production

With the Real Application Clusters and Automatic Storage Management options

SQL>

SQL>

SQL>

SQL> col name for a20

SQL> col name for a20

col path for a30

col mount_status for a10

set linesize 300SQL> SQL> SQL>

SQL>

SQL>

SQL>

SQL> select name,path,failgroup,mount_status from v$asm_disk order by name;