Getting Disk Storage Details on the Exadata Storage Servers

If you want to know how storage is allocated, presented, and used in the Exadata storage cell, use below commands to get the related information.


1- From any of the Exadatastorage servers, run an lsscsi -v command to list the physical devices:
[root@pk3-iub-cel-es01 ~]# lsscsi -v
[0:0:20:0]   enclosu ORACLE   CONCORD14        0d00  -
  dir: /sys/bus/scsi/devices/0:0:20:0  [/sys/devices/pci0000:00/0000:00:03.2/0000:50:00.0/host0/target0:0:20/0:0:20:0]
[0:2:0:0]    disk    LSI      MR9261-8i        2.12  /dev/sda
  dir: /sys/bus/scsi/devices/0:2:0:0  [/sys/devices/pci0000:00/0000:00:03.2/0000:50:00.0/host0/target0:2:0/0:2:0:0]
[0:2:1:0]    disk    LSI      MR9261-8i        2.12  /dev/sdb
  dir: /sys/bus/scsi/devices/0:2:1:0  [/sys/devices/pci0000:00/0000:00:03.2/0000:50:00.0/host0/target0:2:1/0:2:1:0]
[0:2:2:0]    disk    LSI      MR9261-8i        2.12  /dev/sdc
  dir: /sys/bus/scsi/devices/0:2:2:0  [/sys/devices/pci0000:00/0000:00:03.2/0000:50:00.0/host0/target0:2:2/0:2:2:0]
[0:2:3:0]    disk    LSI      MR9261-8i        2.12  /dev/sdd
  dir: /sys/bus/scsi/devices/0:2:3:0  [/sys/devices/pci0000:00/0000:00:03.2/0000:50:00.0/host0/target0:2:3/0:2:3:0]
[0:2:4:0]    disk    LSI      MR9261-8i        2.12  /dev/sde
  dir: /sys/bus/scsi/devices/0:2:4:0  [/sys/devices/pci0000:00/0000:00:03.2/0000:50:00.0/host0/target0:2:4/0:2:4:0]
[0:2:5:0]    disk    LSI      MR9261-8i        2.12  /dev/sdf
  dir: /sys/bus/scsi/devices/0:2:5:0  [/sys/devices/pci0000:00/0000:00:03.2/0000:50:00.0/host0/target0:2:5/0:2:5:0]
[0:2:6:0]    disk    LSI      MR9261-8i        2.12  /dev/sdg
  dir: /sys/bus/scsi/devices/0:2:6:0  [/sys/devices/pci0000:00/0000:00:03.2/0000:50:00.0/host0/target0:2:6/0:2:6:0]
[0:2:7:0]    disk    LSI      MR9261-8i        2.12  /dev/sdh
  dir: /sys/bus/scsi/devices/0:2:7:0  [/sys/devices/pci0000:00/0000:00:03.2/0000:50:00.0/host0/target0:2:7/0:2:7:0]
[0:2:8:0]    disk    LSI      MR9261-8i        2.12  /dev/sdi
  dir: /sys/bus/scsi/devices/0:2:8:0  [/sys/devices/pci0000:00/0000:00:03.2/0000:50:00.0/host0/target0:2:8/0:2:8:0]
[0:2:9:0]    disk    LSI      MR9261-8i        2.12  /dev/sdj
  dir: /sys/bus/scsi/devices/0:2:9:0  [/sys/devices/pci0000:00/0000:00:03.2/0000:50:00.0/host0/target0:2:9/0:2:9:0]
[0:2:10:0]   disk    LSI      MR9261-8i        2.12  /dev/sdk
  dir: /sys/bus/scsi/devices/0:2:10:0  [/sys/devices/pci0000:00/0000:00:03.2/0000:50:00.0/host0/target0:2:10/0:2:10:0]
[0:2:11:0]   disk    LSI      MR9261-8i        2.12  /dev/sdl
  dir: /sys/bus/scsi/devices/0:2:11:0  [/sys/devices/pci0000:00/0000:00:03.2/0000:50:00.0/host0/target0:2:11/0:2:11:0]
[1:0:0:0]    disk    ORACLE   UNIGEN-UFD       PMAP  /dev/sdm
  dir: /sys/bus/scsi/devices/1:0:0:0  [/sys/devices/pci0000:00/0000:00:1a.0/usb1/1-1/1-1.2/1-1.2:1.0/host1/target1:0:0/1:0:0:0]
[8:0:0:0]    disk    ATA      3E128-TS2-550B01 UI39  /dev/sdn
  dir: /sys/bus/scsi/devices/8:0:0:0  [/sys/devices/pci0000:00/0000:00:02.0/0000:20:00.0/host8/port-8:0/end_device-8:0/target8:0:0/8:0:0:0]
[8:0:1:0]    disk    ATA      3E128-TS2-550B01 UI39  /dev/sdo
  dir: /sys/bus/scsi/devices/8:0:1:0  [/sys/devices/pci0000:00/0000:00:02.0/0000:20:00.0/host8/port-8:1/end_device-8:1/target8:0:1/8:0:1:0]
[8:0:2:0]    disk    ATA      3E128-TS2-550B01 UI39  /dev/sdp
  dir: /sys/bus/scsi/devices/8:0:2:0  [/sys/devices/pci0000:00/0000:00:02.0/0000:20:00.0/host8/port-8:2/end_device-8:2/target8:0:2/8:0:2:0]
[8:0:3:0]    disk    ATA      3E128-TS2-550B01 UI39  /dev/sdq
  dir: /sys/bus/scsi/devices/8:0:3:0  [/sys/devices/pci0000:00/0000:00:02.0/0000:20:00.0/host8/port-8:3/end_device-8:3/target8:0:3/8:0:3:0]
[9:0:0:0]    disk    ATA      3E128-TS2-550B01 UI39  /dev/sdr
  dir: /sys/bus/scsi/devices/9:0:0:0  [/sys/devices/pci0000:00/0000:00:02.2/0000:30:00.0/host9/port-9:0/end_device-9:0/target9:0:0/9:0:0:0]
[9:0:1:0]    disk    ATA      3E128-TS2-550B01 UI39  /dev/sds
  dir: /sys/bus/scsi/devices/9:0:1:0  [/sys/devices/pci0000:00/0000:00:02.2/0000:30:00.0/host9/port-9:1/end_device-9:1/target9:0:1/9:0:1:0]
[9:0:2:0]    disk    ATA      3E128-TS2-550B01 UI39  /dev/sdt
  dir: /sys/bus/scsi/devices/9:0:2:0  [/sys/devices/pci0000:00/0000:00:02.2/0000:30:00.0/host9/port-9:2/end_device-9:2/target9:0:2/9:0:2:0]
[9:0:3:0]    disk    ATA      3E128-TS2-550B01 UI39  /dev/sdu
  dir: /sys/bus/scsi/devices/9:0:3:0  [/sys/devices/pci0000:00/0000:00:02.2/0000:30:00.0/host9/port-9:3/end_device-9:3/target9:0:3/9:0:3:0]
[10:0:0:0]   disk    ATA      3E128-TS2-550B01 UI39  /dev/sdv
  dir: /sys/bus/scsi/devices/10:0:0:0  [/sys/devices/pci0000:80/0000:80:02.0/0000:90:00.0/host10/port-10:0/end_device-10:0/target10:0:0/10:0:0:0]
[10:0:1:0]   disk    ATA      3E128-TS2-550B01 UI39  /dev/sdw
  dir: /sys/bus/scsi/devices/10:0:1:0  [/sys/devices/pci0000:80/0000:80:02.0/0000:90:00.0/host10/port-10:1/end_device-10:1/target10:0:1/10:0:1:0]
[10:0:2:0]   disk    ATA      3E128-TS2-550B01 UI39  /dev/sdx
  dir: /sys/bus/scsi/devices/10:0:2:0  [/sys/devices/pci0000:80/0000:80:02.0/0000:90:00.0/host10/port-10:2/end_device-10:2/target10:0:2/10:0:2:0]
[10:0:3:0]   disk    ATA      3E128-TS2-550B01 UI39  /dev/sdy
  dir: /sys/bus/scsi/devices/10:0:3:0  [/sys/devices/pci0000:80/0000:80:02.0/0000:90:00.0/host10/port-10:3/end_device-10:3/target10:0:3/10:0:3:0]
[11:0:0:0]   disk    ATA      3E128-TS2-550B01 UI39  /dev/sdz
  dir: /sys/bus/scsi/devices/11:0:0:0  [/sys/devices/pci0000:80/0000:80:03.2/0000:b0:00.0/host11/port-11:0/end_device-11:0/target11:0:0/11:0:0:0]
[11:0:1:0]   disk    ATA      3E128-TS2-550B01 UI39  /dev/sdaa
  dir: /sys/bus/scsi/devices/11:0:1:0  [/sys/devices/pci0000:80/0000:80:03.2/0000:b0:00.0/host11/port-11:1/end_device-11:1/target11:0:1/11:0:1:0]
[11:0:2:0]   disk    ATA      3E128-TS2-550B01 UI39  /dev/sdab
  dir: /sys/bus/scsi/devices/11:0:2:0  [/sys/devices/pci0000:80/0000:80:03.2/0000:b0:00.0/host11/port-11:2/end_device-11:2/target11:0:2/11:0:2:0]
[11:0:3:0]   disk    ATA      3E128-TS2-550B01 UI39  /dev/sdac
  dir: /sys/bus/scsi/devices/11:0:3:0  [/sys/devices/pci0000:80/0000:80:03.2/0000:b0:00.0/host11/port-11:3/end_device-11:3/target11:0:3/11:0:3:0]

The output shows both the physical SAS drives as well as flash devices, you can know the difference based on the vendor and model columns. The lines showing LSI indicate 12 SAS devices and you can see the physical device names in the last column of the output (i.e., /dev/sdk). 

2- The physical drives are controlled via the LSI MegaRaid controller and you can use MegaCli64 to display more information about these disks:
[root@pk3-iub-cel-es01 ~]# /opt/MegaRAID/MegaCli/MegaCli64 -ShowSummary -aALL

System
        Operating System:  Linux version 2.6.32-400.11.1.el5uek
        Driver Version: 00.00.06.12
        CLI Version: 8.02.21

Hardware
        Controller
                 ProductName       : LSI MegaRAID SAS 9261-8i(Bus 0, Dev 0)
                 SAS Address       : 500605b005c5d5c0
                 FW Package Version: 12.12.0-0140
                 Status            : Optimal
        BBU
                 BBU Type          : iBBU08
                 Status            : Healthy
        Enclosure
                 Product Id        : CONCORD14
                 Type              : SES
                 Status            : OK

                 Product Id        : SGPIO
                 Type              : SGPIO
                 Status            : OK

        PD
                Connector          : Port 0 - 3: Slot 0
                Vendor Id          : HITACHI
                Product Id         : HUS1560SCSUN600G
                State              : Online
                Disk Type          : SAS,Hard Disk Device
                Capacity           : 557.861 GB
                Power State        : Active

                Connector          : Port 0 - 3: Slot 1
                Vendor Id          : HITACHI
                Product Id         : HUS1560SCSUN600G
                State              : Online
                Disk Type          : SAS,Hard Disk Device
                Capacity           : 557.861 GB
                Power State        : Active

                Connector          : Port 0 - 3: Slot 2
                Vendor Id          : HITACHI
                Product Id         : HUS1560SCSUN600G
                State              : Online
                Disk Type          : SAS,Hard Disk Device
                Capacity           : 557.861 GB
                Power State        : Active

                Connector          : Port 0 - 3: Slot 3
                Vendor Id          : HITACHI
                Product Id         : HUS1560SCSUN600G
                State              : Online
                Disk Type          : SAS,Hard Disk Device
                Capacity           : 557.861 GB
                Power State        : Active

                Connector          : Port 0 - 3: Slot 4
                Vendor Id          : HITACHI
                Product Id         : HUS1560SCSUN600G
                State              : Online
                Disk Type          : SAS,Hard Disk Device
                Capacity           : 557.861 GB
                Power State        : Active

                Connector          : Port 0 - 3: Slot 5
                Vendor Id          : HITACHI
                Product Id         : HUS1560SCSUN600G
                State              : Online
                Disk Type          : SAS,Hard Disk Device
                Capacity           : 557.861 GB
                Power State        : Active

                Connector          : Port 0 - 3: Slot 6
                Vendor Id          : HITACHI
                Product Id         : HUS1560SCSUN600G
                State              : Online
                Disk Type          : SAS,Hard Disk Device
                Capacity           : 557.861 GB
                Power State        : Active

                Connector          : Port 0 - 3: Slot 7
                Vendor Id          : HITACHI
                Product Id         : HUS1560SCSUN600G
                State              : Online
                Disk Type          : SAS,Hard Disk Device
                Capacity           : 557.861 GB
                Power State        : Active

                Connector          : Port 0 - 3: Slot 8
                Vendor Id          : HITACHI
                Product Id         : HUS1560SCSUN600G
                State              : Online
                Disk Type          : SAS,Hard Disk Device
                Capacity           : 557.861 GB
                Power State        : Active

                Connector          : Port 0 - 3: Slot 9
                Vendor Id          : HITACHI
                Product Id         : HUS1560SCSUN600G
                State              : Online
                Disk Type          : SAS,Hard Disk Device
                Capacity           : 557.861 GB
                Power State        : Active

                Connector          : Port 0 - 3: Slot 10
                Vendor Id          : HITACHI
                Product Id         : HUS1560SCSUN600G
                State              : Online
                Disk Type          : SAS,Hard Disk Device
                Capacity           : 557.861 GB
                Power State        : Active

                Connector          : Port 0 - 3: Slot 11
                Vendor Id          : HITACHI
                Product Id         : HUS1560SCSUN600G
                State              : Online
                Disk Type          : SAS,Hard Disk Device
                Capacity           : 557.861 GB
                Power State        : Active

Storage

       Virtual Drives
                Virtual drive      : Target Id 0 ,VD name
                Size               : 557.861 GB
                State              : Optimal
                RAID Level         : 0

                Virtual drive      : Target Id 1 ,VD name
                Size               : 557.861 GB
                State              : Optimal
                RAID Level         : 0

                Virtual drive      : Target Id 2 ,VD name
                Size               : 557.861 GB
                State              : Optimal
                RAID Level         : 0

                Virtual drive      : Target Id 3 ,VD name
                Size               : 557.861 GB
                State              : Optimal
                RAID Level         : 0

                Virtual drive      : Target Id 4 ,VD name
                Size               : 557.861 GB
                State              : Optimal
                RAID Level         : 0

                Virtual drive      : Target Id 5 ,VD name
                Size               : 557.861 GB
                State              : Optimal
                RAID Level         : 0

                Virtual drive      : Target Id 6 ,VD name
                Size               : 557.861 GB
                State              : Optimal
                RAID Level         : 0

                Virtual drive      : Target Id 7 ,VD name
                Size               : 557.861 GB
                State              : Optimal
                RAID Level         : 0

                Virtual drive      : Target Id 8 ,VD name
                Size               : 557.861 GB
                State              : Optimal
                RAID Level         : 0

                Virtual drive      : Target Id 9 ,VD name
                Size               : 557.861 GB
                State              : Optimal
                RAID Level         : 0

                Virtual drive      : Target Id 10 ,VD name
                Size               : 557.861 GB
                State              : Optimal
                RAID Level         : 0

                Virtual drive      : Target Id 11 ,VD name
                Size               : 557.861 GB
                State              : Optimal
                RAID Level         : 0

Exit Code: 0x00
[root@pk3-iub-cel-es01 ~]#

Notice there are  twelve 557.861 GB disks in this storage server. Based on the disk sizes, we know that this storage server has High Performance disk drives. Using CellCLI, we can confirm this and note the corresponding sizes:

[root@pk3-iub-cel-es01 ~]# cellcli -e list physicaldisk where disktype=HardDisk attributes 
name,physicalSize
         20:0    558.9109999993816G
         20:1    558.9109999993816G
         20:2    558.9109999993816G
         20:3    558.9109999993816G
         20:4    558.9109999993816G
         20:5    558.9109999993816G
         20:6    558.9109999993816G
         20:7    558.9109999993816G
         20:8    558.9109999993816G
         20:9    558.9109999993816G
         20:10   558.9109999993816G
         20:11   558.9109999993816G

3- Each Exadata Storage Server has twelve physical SAS disks and four 96 GB PCIe Sun Flash Accelerator flash cards, each partitioned into four 24 GB partitions. From an operating system point of view, however, you can only see a small subset of this physical storage:

[root@pk3-iub-cel-es01 ~]# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/md5              9.9G  5.3G  4.1G  57% /
tmpfs                  32G     0   32G   0% /dev/shm
/dev/md7              2.0G  678M  1.3G  36% /opt/oracle
/dev/md4              114M   31M   78M  28% /boot
/dev/md11             2.3G  147M  2.1G   7% /var/log/oracle

4- Using imageinfo command which lists Exadata cell system image version, search for lines containing the word “partition”, you can see which device your system and software partitions are installed:

[root@pk3-iub-cel-es01 ~]# imageinfo | grep partition
Active system partition on device: /dev/md5
Active software partition on device: /dev/md7
In partition rollback: Impossible
Cell boot usb partition: /dev/sdm1
Rollback to the inactive partitions: Impossible

This storage, as well as the other mount points presented on your storage servers, is physically stored in two of the twelve physical SAS disks and is referred to as the System Area and the volumes are referred to as System Volumes.

5- Based on the /dev/md* Filesystem names, we know we’ve got software RAID in play for these devices and that this RAID was created using mdadm. Let’s query our mdadm configuration on /dev/md6 (the output is similar for /dev/md5, /dev/md8, and /dev/md11):

[root@pk3-iub-cel-es01 ~]# mdadm -Q -D /dev/md5
/dev/md5:
        Version : 0.90
  Creation Time : Mon May 13 10:56:26 2013
     Raid Level : raid1
     Array Size : 10482304 (10.00 GiB 10.73 GB)
  Used Dev Size : 10482304 (10.00 GiB 10.73 GB)
   Raid Devices : 2
  Total Devices : 2
Preferred Minor : 5
    Persistence : Superblock is persistent

    Update Time : Mon Jun 16 13:40:31 2014
          State : clean
 Active Devices : 2
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 0

           UUID : acf7cc99:2d47afad:628dfa70:17e447ff
         Events : 0.38

    Number   Major   Minor   RaidDevice State
       0       8        5        0      active sync   /dev/sda5
       1       8       21        1      active sync   /dev/sdb5

From this output, we can see that the /dev/sda and /dev/sdb physical devices are software mirrored via mdadm. If you do anfdisk –l on these devices, you will see the following:

[root@pk3-iub-cel-es01 ~]# fdisk -l /dev/sda

Disk /dev/sda: 598.9 GB, 598999040000 bytes
255 heads, 63 sectors/track, 72824 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          15      120456   fd  Linux raid autodetect
/dev/sda2              16          16        8032+  83  Linux
/dev/sda3              17       69039   554427247+  83  Linux
/dev/sda4           69040       72824    30403012+   f  W95 Ext'd (LBA)
/dev/sda5           69040       70344    10482381   fd  Linux raid autodetect
/dev/sda6           70345       71649    10482381   fd  Linux raid autodetect
/dev/sda7           71650       71910     2096451   fd  Linux raid autodetect
/dev/sda8           71911       72171     2096451   fd  Linux raid autodetect
/dev/sda9           72172       72432     2096451   fd  Linux raid autodetect
/dev/sda10          72433       72521      714861   fd  Linux raid autodetect
/dev/sda11          72522       72824     2433816   fd  Linux raid autodetect

Each ExadataStorage Server is comprised of 12 physical SAS disks. These disks are primarily used for database storage, but Oracle uses a small 29 GB chunk of storage on the first two physical disks to house the Oracle Linux operating system, ExadataStorage Server software, the /boot file system, as well as /var/log/oracle, which contains Cell Services

and log and diagnostics files. Oracle calls this 29 GB slice of storage the System Area.