Het begon op een zaterdagavond met mijn vrouw die vroeg waarom onze DVR plotseling stopte met het spelen van een programma waar ze naar keek. Ik vertelde haar dat het waarschijnlijk maar een glitch was, maar ik zou eens kijken. Ik loop de familiekamer in om te kijken en de fout verklaarde in feite dat de onderliggende schijf niet langer beschikbaar was. Niet goed! Dit was het begin van mijn driedaagse horrorverhaal …
Een beetje achtergrond
Mijn DVR is eigenlijk alleen gespecialiseerde software (SageTV voor nieuwsgierigen) die op een pc draait. De software is zeer flexibel en laat je alle verschillende aspecten ervan scheiden. Ik heb een afzonderlijke machine voor gecentraliseerde besturing, planning en opname, afzonderlijke machines voor afspelen en de ster van dit verhaal, een afzonderlijke machine voor opslag. Voor opslag gebruik ik een Linux-bestandsserver, met behulp van LVM (Logical Volume Manager) voor het verzamelen van veel afzonderlijke, niet-identieke schijven in één grote (~ 6 TB momenteel) logische schijf die het besturingssysteem ziet. Omdat het back-uppen van meerdere TB aan gegevens onpraktisch is, en omdat genoemde gegevens 'slechts' tv-programma's zijn, is mijn back-upfilosofie hiervoor altijd geweest om er gewoon niet om te geven. Tot recente gebeurtenissen, was deze filosofie niet getest door een real-world evenement.
Poging om de gegevens te herstellen
Bij het zien van de fout op de DVR, begin ik meteen naar de opslagserver te kijken. Het bestandssysteem is ongelooflijk traag en reageert traag, dus ik vraag LVM naar de status van de fysieke schijven die aan het logische volume ten grondslag liggen. Na een lange vertraging verschijnt het en zegt een schijf van 750 GB. Oh Oh! Ik start de server opnieuw op en verbazingwekkend genoeg komt de schijf terug. Ik geef een pvmove-opdracht uit om alle gegevens van die schijf automatisch te migreren, maar deze mislukt wanneer minder dan 2% voltooid is.
Geconfronteerd met een schijf die erg niet meewerkt aan het lezen van de gegevens, maar die in ieder geval in het BIOS wordt weergegeven, wend ik me tot mijn favoriete schijfherstelhulpprogramma, Spinrite. Hoewel Spinrite normaal gesproken opstart vanaf verwisselbare media, heb ik jaren geleden thuis opstarten ingesteld voor verschillende hulpprogramma's, zodat ik me geen zorgen hoefde te maken over het bijhouden van media. Normaal gesproken maak ik gewoon verbinding met mijn netwerk, selecteer ik opstarten vanaf het netwerk en heb ik verschillende hulpmiddelen tot mijn beschikking om veel problemen op te lossen. Het probleem is dat de machine die al dit magische werk doet, dezelfde machine is die momenteel niet werkt. Geen probleem, zeg ik, ik start gewoon op vanaf een Spinrite-CD. Behalve een paar jaar geleden gaf het optische station op mijn bestandsserver de geest op. Op het moment dat dat gebeurde, besloot ik, omdat ik nooit optische media in die machine gebruik, ik het niet hoefde te vervangen. Geen zorgen, zei ik tegen mezelf, ik haal gewoon het optische station uit mijn hoofdcomputer. Ik schakel mijn hoofdcomputer uit en haal het optische station eruit. Daarna ga ik op zoek naar mijn Spinrite-opstart-cd. Kan het niet vinden! We zijn een paar maanden geleden naar een nieuw huis verhuisd, dus alles is een beetje in de war. Ik denk dat ik gewoon een nieuw exemplaar zal branden, maar ik kan zelfs geen lege optische media vinden! Op naar het volgende plan, een opstartbare flashdrive! Na een paar minuten op Google om mijn geheugen op te frissen, heb ik een opstartbare Spinrite-flashdrive. Ik start daar mijn Linux-box op en start Spinrite. De computer loopt vast en lijkt te crashen. In een poging variabelen te elimineren, verplaats ik de slechte schijf van aansluiten op een PCI-e-uitbreidingskaart naar direct aansluiten op het moederbord. Nu lanceert Spinrite prima, maar het duurt een eeuwigheid om de aangesloten schijven te inventariseren. Ik koppel systematisch alle andere schijven los, behalve de slechte, maar het eindigt nooit met het opsommen van schijven, ongeacht hoe lang ik wacht. Op naar het volgende plan! Ik haal de schijf uit mijn Linux-doos, sluit hem aan op mijn hoofdcomputer en start op vanaf mijn nieuwe glimmende Spinrite-flashdrive. Spinrite wordt gestart en ziet de schijf onmiddellijk, en ik vertel het om gegevens te herstellen, tevreden dat ik eindelijk wat vooruitgang boek. Ik ga na misschien 10 minuten terug om het te controleren en er is een fout op het scherm en het lijkt erop dat de schijf weer is verdwenen. Gefrustreerd probeer ik het nog een paar keer en zeg ik dat Spinrite op verschillende delen van de schijf moet beginnen, maar elke keer hetzelfde resultaat krijgt. Het lijkt me toch niet te helpen.
In een vlaag van irrationele hoop stop ik de schijf terug in mijn Linux-box en start hem op. Tot mijn verbazing verschijnt de rit en LVM brengt alles actief. Verder beproevend mijn geluk, geef ik een ander pvmove-commando om te proberen de gegevens weer van de schijf te verplaatsen. Al vroeg zie ik foutmeldingen over het niet kunnen lezen van de schijf, maar verbazingwekkend genoeg blijft de pvmove vooruitgang boeken, steeds dichterbij en dichter bij 100% voltooid. Een mengeling van verwarring, opluchting en opwinding spoelt over me heen. Ga ik hier ongedeerd van weg? Helaas is het laatste wat LVM onder de dekens doet om een pvmove netjes af te werken, een bijgewerkt logboek naar alle schijven onder zijn beheer te schrijven. Dit mislukt natuurlijk als het probeert naar de slechte schijf te schrijven, en dus wordt het hele proces afgebroken. Nederlaag opnieuw uit de kaken van de overwinning! Ik duik terug in Google en ontdek dat het mogelijk is om te bepalen hoeveel gegevens de opdracht pvmove verplaatst in plaats van ALLE gegevens in één keer te verplaatsen. Ik experimenteer hiermee en heb veel succes met het verplaatsen van een klein deel van mijn gegevens tegelijk. Ik word hebzuchtig en de schijf verdwijnt een paar keer, maar komt altijd terug na een stroomcyclus van de computer. Theoretisch dat alleen bepaalde delen van de schijf slecht zijn, begin ik rond te springen in plaats van aan het begin van de schijf te werken. Na een paar iteraties hiervan, heb ik alles behalve 40 GB van de 750 GB veilig van de schijf gehaald. Voor de resterende 40 GB slaagde het er niet in wat ik ook probeerde. Het was nu zondagavond en ik was uitgeput, dus besloot ik om naar bed te gaan en dit probleem de volgende dag meer aan te pakken.
De volgende dag, na wat slaap en de eerste helft van mijn dag op het werk, besluit ik om gewoon de kogel te bijten omdat ik me niet druk maakte over de laatste 40 GB aan opgenomen tv-programma's en de drive wilde verwijderen uit mijn LVM-configuratie . Ik heb dit al vaak eerder gedaan, dus het gaat redelijk soepel. Het volgende in de opschoonlijst is het repareren van het gat in het midden van het bestandssysteem. Ik kom voor met slechts 40 GB in plaats van 750 GB ontbreekt het kan niet slecht zijn, toch? Fout! Na de reparatie had ik 900 GB extra vrije ruimte in vergelijking met vóór het begin van de beproeving, dus dat prikte nogal. Ach ja, zeg ik tegen mezelf, het was toch gewoon tv. Mijn DVR is eindelijk weer functioneel na zijn onderbreking van drie dagen, en ik kan eindelijk stoppen om hierover na te denken bij elke vrije hersencyclus.
Les geleerd
Dus wat heb ik hiervan geleerd? Ik had beter moeten doen wat echt belangrijk was. Dit gebeurde een paar weken geleden en in die tijd heb ik zelfs geen tv-content gemist die verdwenen was. Ik vind het echter jammer dat ik mezelf, maar nog belangrijker, mijn gezin heb belet om de tv drie dagen lang te kunnen gebruiken en mezelf gedurende die drie dagen in een stressvolle crisismodus te plaatsen. Als ik het herstel van mijn gegevens in het begin had opgegeven, zou de functie na ongeveer een uur en niet binnen drie dagen zijn hersteld. Ik weet maar al te goed dat onze gegevens meestal kostbaar zijn, maar in deze situatie was dat niet het geval.
Ten tweede, als uw gegevens echt waardevol zijn, en 99% van de tijd echt zijn, moet u ze beschermen! Maak een back-up van uw gegevens, er zijn geen excuses. Voor mijn gegevens die onvervangbaar zijn, zoals duizenden foto's van mijn zoon die ik op mijn computer heb staan, zorg ik ervoor dat ik er een back-up van maak op niet minder dan drie plaatsen, waarvan er één een cloudback-upprovider is. Wat betreft de DVR-opslag, ik denk nog steeds niet dat het praktisch is om er een back-up van te maken naar de cloud, maar met de prijs van schijven tegenwoordig, heb ik geen excuus om het niet door RAID te laten beschermen, en dat is precies wat ik ben gaan doen. Toen ik jaren geleden mijn opslagcluster voor het eerst installeerde, denk ik dat ik 10 schijven of meer nodig had om bij een pool van meerdere TB te komen. Ik heb zojuist de prijzen gecontroleerd en je kunt nu een schijf van 3 TB kopen voor ver onder de $ 100. Ik heb gewoon geen excuus om mijn gegevens onbeschermd te laten en als een dergelijk gegevensverlies mij opnieuw overkomt, is dit echt mijn eigen schuld.
