elentir.info :: Contando Estrelas | Caos informático en Madrid (actualizado)

Caos informático en Madrid (actualizado)

Martes 23 de Septiembre de 2008 0:10h

Como he apuntado en mi Twitter, desde hace 40 minutos, todos los sitios del servidor de HazteOir.org y el sitio de Cope.es están caídos. José Antonio Abellán ha comentado en antena que la emisora se ha quedado sin Internet y que se han caído todos los ADSL de la zona. Precisamente el proveedor de hosting de la web de HO también está en Madrid y su web también está caída. Como comenta Isaac Jiménez en su Twitter, todo esto es muy raro.

+ 0:47h: como apunta Isaac en los comentarios, Pixel y Dixel amplían la noticia: incendio en el data center que aloja las webs de RealMadrid.com, Spanair, Cope.es, el Ministerio de Cultura y todos los blogs de Weblogs SL (como Applesfera y Blog de Cine).

+ 1:11h: también están fuera de línea las webs de los Ministerios de Presidencia, Educación, Industria y Ciencia e Innovación.

Más información constante en el Twitter de crisis de WSL.

+ 6:27h: la web de HazteOir.org vuelve a estar activa. Las demás que he citado siguen caídas en este momento.

+ 6:52h: Jiménez Losantos comenta en antena en La Mañana de la COPE que la emisora sigue sin conexión a Internet. Supongo que en Madrid todavía habrá muchas líneas de ADSL caídas.

+ 16:00h: con la situación ya reestablecida, Hurssel me pasa esta nota que ha publicado Red Iris sobre lo ocurrido:

“”en las últimas horas se ha producido una avería de gran envergadura en el edificio donde alojamos el nodo nacional, los servicios centrales y parte del nodo de Madrid (Telvent Housing), que os resumo a continuación.

Sobre las 15:45 comenzamos a detectar problemas eléctricos en algunos equipos ubicados en este nodo. Al haber redundancia eléctrica en la mayoría de ellos, éstos no llegaron a reiniciarse pero sí se veían fallos alternos en las distintas fases eléctricas. Algunos centros de Madrid se vieron afectados al no haber redundancia en el equipamiento propio de su enlace.

Desde Telvent nos comunicaron que el fallo eléctrico era debido a un transformador. Esta avería sobrecargó las UPSs y afectó al sistema de aire acondicionado, que dejó de funcionar. Alrededor de las 20h empezamos a observar alarmas en el equipamiento debido a la temperatura. Finalmente sobre las 23:30h se decidió apagar todo el equipamiento ya que la sala estaba a unos 50 grados.

Esta mañana, a partir de las 8h se han comenzado a levantar los equipos viendo que la situación parecía estable. Desde entonces, los peerings internacionales y con ESPANIX (uno de los dos enlaces) están establecidos.

Los enlaces del backbone que llegan al nodo nacional permanecen caídos ya que el operador que nos da servicio se aloja también en este edificio, y el fallo eléctrico averió un rectificador que da servicio a toda su sala. Debido a esto la conectividad hacia el exterior está prácticamente cortada ya que no hay acceso al nodo nacional desde ningún nodo regional, excepto desde Canarias. La única conexión externa accesible es el CATNIX, pero la conexión es insuficiente para el volumen de tráfico que se genera habitualmente. Estamos a la espera de que reparen el rectificador para recuperar el servicio en estos enlaces.

Esta es toda la información que tenemos por el momento. Os iremos facilitando más datos a medida que los vayamos sabiendo.

Un cordial saludo,”

Enlaces a esta entrada:

Elentir - 0:16 | 23/09/08

Toda la red de HazteOir.org y la web de Cope.es, fuera de línea http://tinyurl.com/53qnrt

[Original tweet, Topsy page]

Comentarios a esta entrada:

Drizzt

Si se han caído todos los ADSL de la zona, tiene pinta que a Telefónica se le ha ido una centralita. ¿COPE tiene su propio CPD o depende de proveedor externo?.

0:19 | 23/09/08
Elentir

Según comenta Isaac, la web la tienen hospedada en un datacenter, por eso es muy raro que además tengan ese problema de líneas y que, justo de casualidad, también la web de HO se haya escogorciado. Debe haber un caos internetero en Madrid de mil pares de narices.

0:22 | 23/09/08
Isaacj

Hola, la web de COPE está alojada en NTT, en el datacenter de Madrid, que tiene vigilancia casi militar y tienen sistemas de alimentación ininterrumpida que pueden aguantar semanas sin suministro eléctrico.

También tienen tal clase de conectividad que es prácticamente imposible que se queden incomunicados.

Por eso todo esto me parece extremadamente extraño, pues esta clase de caída es en teoría imposible.

A ver si mañana me entero de qué está pasando.

0:36 | 23/09/08
Isaacj

Ha sido un fallo eléctrico en el datacenter de Telvent (donde está NTT). La ley de Murphy siempre se cumple:

http://www.pixelydixel.com/2008/09/un-fallo-electrico-en-un-datacenter-deja-fuera-de-servicio-un-gran-numero-de-webs-en-espana.html

Saludos.

0:38 | 23/09/08
Isaacj

Por lo visto se ha incendiado el circuito del aire acondicionado. Así que como medida de seguridad, han tenido que apagar todo el sistema.

0:41 | 23/09/08
Elentir

Lo acabo de leer. Mil gracias por la información, Isaac, acabo de modificar toda la entrada. No me imaginaba yo que se trataría de un follón de estas dimensiones…

0:56 | 23/09/08
Jose

No estaría de más que una web del tamaño y visibilidad de Cadena Cope, tuviera un ‘backup’ para estos casos.

Redirigir el tráfico a un servidor externo (mirroring) no debería ser muy complicado para la empresa que lleve su alojamiento.

Por cierto, el centro de datos donde está alojada, también tiene problemas de ‘uplink’ (no veas lo que tardamos en bajar los programas desde EEUU).

1:43 | 23/09/08
Elentir

Supongo que pocos se esperan que pueda haber un fallo de este calibre en un data center como ése. De hecho, ni siquiera los Ministerios que he citado tienen un mirror para casos así…

1:47 | 23/09/08
Así está Murcia

¿Y eso cuanto puede tardar en solucionarse?

2:26 | 23/09/08
Elentir

Esto era lo que comentaba Isaac en su Twitter hace menos de media hora: “Parece ser que ya están refrigerando las salas de nuevo y en cuanto estén frescas volverán a iniciar los sistemas”.

Supongo que no tardarán mucho. Eso sí, el follón para la empresa que lleva ese data center sólo acaba de empezar. Ya verás las reclamaciones económicas que le van a caer.

2:31 | 23/09/08
Martha Colmenares

Bastante complicado.

2:40 | 23/09/08
pere

Has dicho Telvent, la empresa que lleva ese data? donde andarán…
Yo de momento no tengo ningun problema..

3:01 | 23/09/08
Elentir

Pues parece que sí es Telvent, o al menos así aparece en algunos registros:

http://www.datacentermap.com/spain/madrid/carrierhouse-madrid2.html

De todas formas, el Internet Data Center (IDC) de Alcobendas está registrado como sociedad anónima:

http://www.einforma.com/servlet/app/prod/DATOS_DE/EMPRESA/INTERNET-DATA-CENTER-S.A.-C_QTgyNzA1MTg3_de-MADRID.html

Y fue construido por Acens.

3:12 | 23/09/08
Isaacj

El de Acens, es otro diferente que está un par de calles más abajo.

Saludos.

5:28 | 23/09/08
Elentir

Carais, en Alcobendas deben asarse en verano con tanto data center, ¿no?

Por cierto, ya veo que no has sido capaz de pegar ojo. ;-)

5:33 | 23/09/08
Elentir

La web de HO ya funciona. Las demás que he enlazado siguen caídas… Se ve que la cosa va para rato.

6:29 | 23/09/08
Maya

Una mañana sin COPE ya no es igual, snif… :(

8:25 | 23/09/08
Drizzt

Hay que ver la cantidad de buhos que pupulan por aquí ….

9:11 | 23/09/08
Maya

Elentir no duerme, Drizzt, ¿no lo sabías?

9:54 | 23/09/08
David Carrero Fdez-Baillo

Todos tenemos problemas, pero me sorprende que los grandes fallen así, cuando tienen dinero y medios para ser los mejores :)

En fin, espero que lo arreglen pronto. Si alguien quiere servicios también en España, pero no en Telvent que me comente ;-) jeje

9:57 | 23/09/08
Schwan

Pues a éstas horas aún no está en funcionamiento.

Lo que dice mi hija: cuando yo estaba en África, todo aqui iba mejor

10:25 | 23/09/08
blumun

Parece mentira que todo se descomponga tan facilmente.
Y siempre afecta a unos, que no a otros :)
Saludos.

10:28 | 23/09/08
aln

Pues a mí a veces me parece mentira que todo funcione, dada la complejidad de todos los cacharros que hay por medio…

10:45 | 23/09/08
Hurssel

En nuestro caso, hasta ahora mismo teníamos ‘caído’ el nodo de RedIris, la red con la que funcionamos todas las Universidades, los hospitales, los centros de investigación… de la Comunidad de Madrid.

¡¡¡Échale guindas al pavo!!!

Parece que han habilitado algún tipo de ‘puenteo’, porque aunque la red nos va a pinrel, al menos parece que tenemos acceso y recibimos correo…

11:41 | 23/09/08
Drizzt

Hurssel, jue, pues si cae RedIris, la cosa es divertida. Pero no solo afecta a la Comunidad de Madrid, sino a toda España. Es quien da conectividad a Universidades y centros de investigación.

Pero vamos, quien tb debe de estar jodido son aquellas empresas que hayan hecho outsourcing de su equipamiento informático, como tengan SLA’s altos, no se por cuanto les va a salir la broma.

11:58 | 23/09/08
tencor

Es la segunda vez que le pasa a telvent tuvo otra el fin de semana del sabado 9 al domingo 10 de agosto. Estaba trabajando fuera de España y se les fue lo mismo, el aire acondicionado, todos los sistema de empresa caidos, incluso su web no funcionaba. Es la 2ª vez y no aprenden

12:05 | 23/09/08
Arween

Quisiera saber si me podría alguien confirmar si esto que comentáis tiene que ver con que, desde media mañana, no puedo entrar en buigle.com. Me sale “HTTP 403 PROHIBIDO”.

Gracias de antemano.

12:11 | 23/09/08
Hurssel

Drizzt, así es, pero a nosotros sólo nos han informado de la caída del nodo que da servicio a la CAM. Por eso no me he arriesgado a generalizar más, pues me falta info al respecto.

Por cierto, tras preguntarles que cuándo estará solucionada “la incidencia” nos dicen que no tienen ni la más remota idea, que no son capaces ni de darnos un cálculo aproximado…

Seria la cosa, parece

12:16 | 23/09/08
aln

De todos modos, si el fallo afecta a sistemas aparentemente independientes, es posible que esté localizado en algún equipo de Espanix, que es el ‘hub’ por el que pasan casi todas las comunicaciones de Internet de España…

http://www.espanix.net/

13:14 | 23/09/08
Elentir

Acabo de publicar en la entrada el comunicado de Red Iris explicando qué pasó, me lo ha pasado Hurssel (mil gracias ;-) ). Por cierto, que por la hora de los primeros fallos no me extrañaría que el presunto hackeo de la web de HazteOir.org ayer a primera hora de la tarde estuviese relacionado, en realidad, con algo de esto.

16:04 | 23/09/08
Hurssel

Gracias a ti, por tenernos puntualmente informados de la situación

Esto me hace replantearme qué frágil es la red de redes en determinadas ocasiones…

Lo de Telvent sí que ha sido calentamiento global, y no lo de Gore… ¿habrá tenido la culpa también el CO2 de mi tubo de escape? Tiempo al tiempo

16:18 | 23/09/08
Drizzt

Hursel

No creas, TCP/IP y sus protocolos de rutado (en especial el BGP) están diseádos para funcionar de manera distribuida :). Otra cosa es que todo dios concentre los equipos en el mismo CPD o en un nodo neutro en el mismo lugar físico, y claro, puede pasar lo que puede pasar.

Por ejemplo Telefónica tiene dos CPD redundantes en distintas localidades.

Yo te puedo contar lo que es un CPD con 40 servidores metiendo calor después de caer el aire acondicionado por la “maravillosa” instalación eléctrica. Da para reirse.

16:41 | 23/09/08
Panzer

Pues a los clientes de Ya.com no veas como los han dejado. Ahora empieza a funcionar la pagina. pero los chats, ni de coña.

16:48 | 23/09/08
Caballero ZP

Yo no he tenido problemas, me entero ahora gracias a ti.
Saludos

18:09 | 23/09/08
Panzer

Escribo desde Valencia. Y desde aqui, a los chats no hay forma de entrar.:twisted:

18:41 | 23/09/08
Panzer

Claro, que como somos de Valencia, y aqui no manda el PetaZetas ni sus secuaes, perdon , partido, pues igual….

18:43 | 23/09/08
Elentir

Por lo que estoy leyendo en otras webs, el incendio de ayer afectó mucho a las líneas de ADSL, también a Ya.com. Hay empresas que no han podido trabajar hasta las 12 del mediodía de hoy. Este follón le va a salir muy caro a los propietarios de este data center…

P.D.: hay más datos en Weblogs SL:

http://www.weblogssl.com/2008/09/23-caida-general-de-x-horas-durante-la-madrugada-del-23-de-septiembre-de-2008

18:45 | 23/09/08
Panzer

Nada, ni IE 7 , ni FireFox, ni Safari. Tres navegadores y ninguno encuentra los servidores cuando intantas entrar al chat. Da igual inforchat, Hispachat o Chueca. Ni de coña.

18:56 | 23/09/08
Panzer

Por favor. Alguien sabe por que AUN no se puede acceder a los chats de Ya.com? Desde Valencia. Me es imposible. Accedo a otras paginas afectadas , pero aqui, ni queriendo. Gracias

21:33 | 23/09/08
Rosa_del_desierto

A mí me extrañó lo que pasaba con las webs de Cope y Popular TV, pero con la de Spanair ayer no tuve problemas.

21:46 | 23/09/08