Stroomstoring in datacentrum
Gisteren kort na de middag was er een volledige stroomonderbreking in het datacentrum InterXion te Brussel, waar ook onze servers staan. Onze hosting-partners hebben tot laat in de nacht gewerkt om alles terug operationeel te krijgen (bedankt mannen!).
Alles loopt op dit moment terug zoals het moet.
Hieronder vindt u een overzicht, zoals verteld door Openminds, van de gebeurtenissen op 12 december 2005, naar aanleiding van de stroomstoring in het datacentrum InterXion te Zavemtem (Brussel).
Tijdslijn
De volgende gebeurtenissen hebben zich chronologisch voorgedaan:
- +/- 12u50
- Door problemen met de stroomvoorziening in het datacentrum InterXion te Brussel valt de stroom in het volledige datacentrum weg (beide circuits). Niet enkel Openminds heeft hier last van, maar elk bedrijf dat materiaal heeft staan in eender welk stuk van InterXion.
- +/- 13u10
- De netstroom is terug in het datacentrum, en 85% van de klanten en servers komen terug online zonder ingreep.
- +/- 13u50
- Openminds is ter plaatse in InterXion, waar de stroom ondertussen hersteld is, en alle systemen gestart zijn. We beginnen onmiddellijk met analyse en onderzoek van de problemen
- +/- 14u30
- Het merendeel van de servers en klanten is terug online. Er werden kritieke problemen vastgesteld aan twee servers, waardoor de startup van deze systemen niet lukt.
Op dit punt zijn bijna alle systemen gestart, en zijn er maar 2 machines met problemen. Alle mail die ondertussen naar uw domeinen gestuurd werd, werd opgevangen op de servers in Amsterdam, en wordt terug binnengehaald.
Problemen
Een machine heeft een defecte hardware raid controller, die bij de controlle en herstelling van de data op de disks alle data overschrijft en stukmaakt. We hebben geruime tijd geprobeerd deze data te recupereren, maar deze was onherstelbaar. Later deze week gaat ons team nog proberen verloren data van deze disks te halen (vooral mail).
Deze server bevatte een heel groot deel van de mailboxen van klanten, en verschillende sites van klanten die reeds langere tijd bij ons gehost waren. Deze server wordt vanuit de backup teruggeplaatst, en wordt herzet op de versie van 12/12/2005, rond 4 uur 's nachts.
Het probleem met de tweede server wordt sneller gevonden, maar de machine blijkt ontstabiel te zijn. Na enkele aanpassingen wordt deze terug online gebracht.
De laatste loodjes
Na het terugplaatsen van de backup, moeten de diensten die de defecte server ondersteunde, verplaatst worden naar andere servers. Het neemt wat tijd in beslag om een evenwichtige setup te vinden, zodat de impact van het verdelen van de services minimaal blijft.
Oplossingen
Voor het probleem met de stroom zijn er geen oplossingen mogelijk, aangezien we hier volledig op InterXion zijn aangewezen. We hebben reeds redundancy over de A en B circuits door middel van STS'sen. Openminds heeft gezien dat het merendeel van de systemen goed ingesteld waren, en dat alles fuctioneerde zoals verwacht werd, behalve de defecte hardware, wat niet voorzien kon worden. We zullen zoeken naar oplossingen om de redundantie nog te verbeteren en u een nog betere dienstverlening te bieden.
Stroomstoring in datacentrum werd geschreven door Bart op 13-12-2005 (990 dagen geleden) - Share!
Reacties:
Re: Stroomstoring in datacentrum
Een goede zekerheid in de stroomvoorziening hangt van meer zaken af dan alleen de beschikbaarheid van een A en een B feed zo is hier ook gebleken, belangrijk is een goede opzet van de elektrotechnische installatie in het gebouw, daar begint het mee, gekoppeld aan UPS producten met de hoogst beschikbare vorm van redundantie te denken valt dan meteen aan het gepatendeerde Hot-Sync technologie van POWERWARE. Maar ja, je bent natuurlijk afhankelijk van je hostingbedrijf.
huub van raamsdonk , 09-03-2006 (903 dagen geleden)
