Por favor, habilite JavaScript para poder visualizar esta página corretamente.

RECUPERAÇÃO EM ZFS

INCIDENTE COM PERDA DE DADOS POR DANO FÍSICO OU LÓGICO

ORACLE ZFS / OPENZFS / SOLARIS / TRUENAS / BSD / LINUX

RECUPERAÇÃO DE VDEV, POOL, RAID-Z, DATASETS E ARQUIVOS

DEPOIMENTOSATENDIMENTO
Disco com OpenZFS Oracle Sun Exadata Data Center da Hosco

NOSSO
DIFERENCIAL

AUTORIDADE

Ampla experiência em recuperar pools, vdevs e datasets de ZFS

CAPACITAÇÃO

Equipe com certificação LPIC, Oracle ZFSSA, MCSA, dentre outras

EFICIÊNCIA

Rapidez e eficácia na recuperação de dados em cenários com ZFS

ESCALABILIDADE

Suporte a ambientes enterprise e storage com mais de 100 drives

NOSSA
ESTRUTURA

Temos laboratório para reparar vdevs danificados, CPD próprio com ampla capacidade para discos e ferramenta autoral (ZFS Recovery) para recuperar pools e seus datasets.

NOSSOS
ANALISTAS

A equipe possui certificações (LPIC, MCSA, ZFSSA, etc) relevantes para atuação em ambientes enterprise e profissionais com experiência real em grandes storages ZFS.

INCIDENTES ATENDIDOS

FALHA FÍSICA

Drives (vdevs) danificados compromentendo o funcionamento de um pool ou dataset

VDEVS

Perda de dados em pools inoperantes por dano físico em dispositivos (HD ou SSD) SAS, SATA e SCSI.

Storage danificado comprometendo o funcionando de um sistema

STORAGE

Datasets (filesystem, volume, zvol e clone) de storages com problemas nos drives ou controladoras.

DANO LÓGICO

Problema em Pool e Perda de Dados

POOLS

Reversão de desastres em pools (stripe, mirror ou RAID-Z) e reparos em TXG (grupo transacional).

Perda ou Dano em Dataset

DATASET

Eventos relacionados a deleção de filesystems, zvols (volumes), snapshots, clones e arquivos.

STORAGES RECUPERADOS

APPLIANCES

Storage Appliance com ZFS

ORACLE ZFSSA

Sun Storage 7000, 7110, 7210, 7410, 7x20, J4000 e Oracle ZS3-2, ZS4, ZS5-2, ZS7, ZS9, ZS9.

TrueNAS Enterprise

OPENZFS 5000

TrueNAS (F/M/X-Series e Mini), QNAP QES, Infortrend EonNAS Pro 500, Netgear ReadyNAS, etc.

SERVIDORES

Servidor Sun Oracle

SUN / ORACLE

Sun Fire X4500, X4600, Server X3-2, X4-2, X5-2 e X6, SPARC T4/T5 com Solaris ou Oracle VM.

Servidor iXsystems

IXSYSTEMS, ETC.

Armazenamento baseado em TrueNAS (H20, H10, F100, etc.), FreeBSD, OpenIndiana, OI e Linux.

ARQUITETURA

Network-Attached Storage

NAS

M30-M60 (TrueNAS SCALE), QNAP TS-h2483XU‑RP (QuTS hero), XigmaNAS, FreeNAS, NAS4Free, etc.

Storage Area Network

SAN

ZFS Storage Appliance, QNAP TS‑h1283XU‑RP, NexentaStor, Infortrend EonNAS 5120‑2 e demais.

SISTEMAS REPARADOS

A recuperação em ZFS abrange storages, appliances e servidores com diferentes tipos de implementação (Sun ZFS, OpenZFS e ZOL) e níveis de complexidade.

Suportamos recuperações de dados em plataformas mid-end e enterprise de larga escala, envolvidas em incidentes físicos (danos em HDs e SSDs) ou lógicos (exclusões, deleções e corrupções) em arquivos e nas próprias estruturas do ZFS (incluindo eventos com comando zpool destroy ou importações indevidas).

Atendemos infraestruturas bare metal e virtualizadas, englobando hosts SPARC (Oracle VM) e guests x86.

Solaris

SOLARIS

SPARC T/M, IA-32 e x86_64
  • Versões 10 6/06 (U2) à 11.4
  • OVM Server e Logical Domain
  • Zone (Container) e Hypervisor
Sun OpenSolaris

OPENSOLARIS

LDOM / Zone / Container
  • SRV4 x86 e SPARC V9 (T3-T5)
  • Versão 2008.05/11 e 2009.06
  • Servers da Sun Microsystems
OpenIndiana

OPENINDIANA

OI_151a0 a Hipster Cloud
  • SAN FC ou iSCSI (COMSTAR)
  • Datastore e Storage Pool
  • Host de KVM e Global Zone
TrueNAS

TRUENAS

CORE, SCALE e Enterprise
  • NFS, SMB, FC ou iSCSI (Zvol)
  • M30–60, F60-100, H10-20 e Rx
  • Uso em Dell, HPE, Lenovo etc.
FreeBSD

FREEBSD

7.0, 8, 9.x-13.x, 14.x e 15.x
  • Datastore de VMware e outros
  • Sistemas Bare-Metal e Cloud
  • ZFSGuru, ServerU, S-NAS, etc.
QNAP

QES E QUTS HERO

QNAP Enterprise Storage
  • ES1686dc, TES‑1885U, 3085U
  • TVS-hx74, TS-h973AX e h1683
  • TS-h977XU-RP e TVS-h1288X
FreeNAS

XIGMANAS

Versões 11.x, 12.x e 13.x
  • Integra em ESXi, Hyper-V e PVE
  • File Server e SAN (LUN iSCSI)
  • FreeNAS 0.1-0.7 e NAS4Free
Proxmox

PROXMOX

PVE (Proxmox Virtual Env.)
  • Datacenter, Node/Cluster e LXC
  • Inclui Proxmox Backup Server
  • Community e Enterprise v4-v9
illumos

ILLUMOS

OmniOS, SmartOS, OI, etc.
  • Container, Zone, KVM e Bhyve
  • RAID-Z1/2/3 e volume (zvol)
  • NexentaStor, EonNAS e DilOS
Linux

LINUX

Ubuntu, Debian, Arch, OMV
  • OpenMediaVault, Fedora, etc.
  • ZFS on Linux e OpenZFS
  • Pool, Volume e Filesystem

PROCEDIMENTOS

Inicialmente são identificados danos em vdevs (com dmesg e iostat) em pools (por zpool) e dataset (zfs).

A segunda ação consiste em checar o funcionamento de dispositivos físicos (discos rígidos ou SSDs) e virtuais.

O terceiro procedimento visa eventuais reparos em drives de armazenamento vinculados a virtual devices e ajustes para viabilizar a importação dos pools e seus datasets.

Na quarta tarefa ocorre a reconstrução dos pools e file systems (com auxílio da ferramenta ZFS Recovery, da Hosco) e a extração dos arquivos a serem recuperados.

O quinto procedimento tem ênfase na reconstrução e validação do conteúdo (incluindo bases de dados e arquivos diversos), que rodam em um CPD enterprise.

Análise do Incidente

ANÁLISE DO CASO

Inspeção dos drives do storage (NAS ou SAN) ZFS e análise de logs do incidente.

Análise dos Discos

ANÁLISE DE DISCOS

Teste não-invasivo de conjunto leitor (cabeças) e firmware nos discos de storage.

Reparo dos Discos

REPARO EM DISCOS

Reparo em firmware (módulos, sys files e demais) e cabeças de leitura dos drives.

Verificação de arranjos e volumes

VERIFICAÇÃO GERAL

Checagem do sistema de armazenamento, incluindo volumes, file system e arquivos.

Reparo de arrays e volumes

AJUSTES FINAIS

Validação de dados recuperados em ambiente temporário, através de um CPD robusto.

DEPOIMENTOS

Saiba como a Equipe Hosco conheceu o ZFS...

Desde sua origem, ainda na atuação autônoma do fundador, a Hosco já usava Unix-like em sua infraestrutura de produção, sendo Debian com RAID MD e LVM a base de armazenamento.

Em 2006 é feita a migração para OpenSolaris (que já tinha suporte nativo a ZFS) em um NAS interno, visando melhorias com escalabilidade.

Em 2007 a Hosco realizou seu primeiro projeto corporativo em ZFS, reparando um zvol corrompido [em um equipamento Sun] por causa de problemas em um dos HDs. O código aberto do ZFS possibilitou entendimento das operações de read e write (registradas em TXG) e a validação dos blocos (checksums em merkle-4). Este trabalho trouxe maior experiência para a equipe e no mesmo ano ocorreu a inclusão deste tipo de recuperação no catálogo de serviços da empresa.

O Que é Recuperação de ZFS?

Recuperação de ZFS (recuperação de dados em ZFS) é o nome dado aos procedimentos, adotados por profissionais capacitados e operando em estrutura apropriada, para recuperar dados em ambientes e dispositivos com ZFS (pool, RAID-Z, zvol, sistema de arquivos ou qualquer dataset). Os termos correspondentes em inglês são ZFS repair e ZFS recovery.

Os Estados de Pool e Vdev

  • ACTIVE: online |
  • EXPORTED: exportado |
  • DESTROYED: pool removido |
  • REMOVED: vdev removido |
  • UNINITIALIZED: inexistente |
  • UNAVAIL: indisponível |
  • SUSPENDED: erro crítico |
  • DEGRADED: redundância reduzida |
  • FAULTED: problemas com vdev |
  • OFFLINE: inoperante
HDs em storage da Hosco

Conceitos Básicos Sobre o ZFS

O ZFS é um poderoso sistema de arquivos e gerenciador de volumes lançado pela Sun, em 2005, no Solaris 10 U2. Teve seu código aberto até 2010 (enquanto integrava o OpenSolaris). Em 2013 surge o projeto OpenZFS, que reúne implementações open‑source do ZFS — incluindo illumos, FreeBSD, ZFS on Linux e OpenZFS on OS X.

A integração entre filesystem e gerenciador de volumes facilita o trabalho de administradores, permitindo diversas operações com poucas linhas de comando. Este e outros atributos têm estimulado fabricantes e desenvolvedores a inserirem o ZFS em plataformas modernas de armazenamento scale-out com suporte à altas cargas.

Storage Oracle Sun pertencente ao CPD da Hosco

Principais Atributos do ZFS

O ZFS entrega alta resiliência e auto-correção (self-healing) perante inconsistência de dados: as gravações de bloco geram checksums (fletcher-4 ou sha-256) na área de metadados (para verificação de integridade) e havendo divergência entre hashes o sistema realiza correções com bloco redundante ou paridade.

Outro recursos importantes: alocação em modo copy-on-write (COW) para reduzir I/O, diminuir índices duplicados e aumentar a redundância de arquivos; alta capacidade (endereçamento de 128 bits); imunidade ao fenômeno write hole error; data block distribuído e de tamanho variável; snapshots instantâneos, clones e replicações; independência de hardware específico (processamento feito por software).

Verificação de pool ZFS e datasets (zvols) com os comandos zpool e zfs.

Causas de Perda de Dados

Incidentes em Nível Físico

Problemas de funcionamento em virtual devices (discos rígidos e flash drives) e insuficiência de monitoramento em cenários com maiores cargas (servidores de arquivos, bancos de dados, datastores, etc.) são comumente relacionados com de incidentes de nível físico.

Incidentes em Nível Lógico

Imperícia (erros em migrações ou atualizações), imprudência (exclusão de arquivos), operações administrativas incorretas (zpool destroy e zfs destroy), ações dolosas envolvendo violação de sistemas e vandalismo virtual, são frequentemente ligados aos incidentes lógicos.

Representação binária de inconsistência e perda de dados

SOLUÇÕES

A Hosco é reconhecida pela eficiência em recuperar dados de ZFS e pelo amplo histórico em sistemas complexos e de maior porte. Sua estrutura para reparar discos enterprise e seu CPD robusto garantem êxito em ambientes corporativos. Seus profissionais (cientes da dinâmica das operações ocorridas no file system, incluindo a forma como blocos são validados em uma arquitetura ZFS, entre outros atributos relevantes) e sua ferramenta autoral ZFS Recovery asseguram os melhores resultados.

Os procedimentos são realizados com acesso direto (físico) aos dispositivos, nas instalações da empresa em São Paulo. No entanto, a Hosco também tem uma solução segura para eventuais ações remotas.

Laboratório da Hosco

A identidade das empresas atendidas é preservada, mas alguns casos são relatados (pelos solicitantes) no Linkedin da Hosco.

As ações em nível lógico acontecem em uma estrutura computacional considerável (data center) de propriedade exclusiva da empresa, onde são aplicadas melhores práticas de data recovery. Todos os atendimentos enterprise são conduzidos sob a supervisão direta do CTO da empresa, um especialista na gestão de grandes desastres de perda de dados e com um histórico comprovado em intervenções críticas.

Os reparos físicos em discos rígidos avariados são realizados em um laboratório devidamente controlado, por meio de ferramentas autorais e com equipamentos recomendados (MRT e PC-3000).

Esses atributos garantem agilidade e êxito nas recuperações. Por isso é recomendado consultar a Hosco em caso de incidentes com ZFS.

Software ZFS Recovery, desenvolvido pela Hosco