Caos informático en Madrid (actualizado)

Como he apuntado en mi Twitter, desde hace 40 minutos, todos los sitios del servidor de HazteOir.org y el sitio de Cope.es están caídos. José Antonio Abellán ha comentado en antena que la emisora se ha quedado sin Internet y que se han caído todos los ADSL de la zona. Precisamente el proveedor de hosting de la web de HO también está en Madrid y su web también está caída. Como comenta Isaac Jiménez en su Twitter, todo esto es muy raro.

+ 0:47h: como apunta Isaac en los comentarios, Pixel y Dixel amplían la noticia: incendio en el data center que aloja las webs de RealMadrid.com, Spanair, Cope.es, el Ministerio de Cultura y todos los blogs de Weblogs SL (como Applesfera y Blog de Cine).

+ 1:11h: también están fuera de línea las webs de los Ministerios de Presidencia, Educación, Industria y Ciencia e Innovación.

Más información constante en el Twitter de crisis de WSL.

+ 6:27h: la web de HazteOir.org vuelve a estar activa. Las demás que he citado siguen caídas en este momento.

+ 6:52h: Jiménez Losantos comenta en antena en La Mañana de la COPE que la emisora sigue sin conexión a Internet. Supongo que en Madrid todavía habrá muchas líneas de ADSL caídas.

+ 16:00h: con la situación ya reestablecida, Hurssel me pasa esta nota que ha publicado Red Iris sobre lo ocurrido:

“”en las últimas horas se ha producido una avería de gran envergadura en el edificio donde alojamos el nodo nacional, los servicios centrales y parte del nodo de Madrid (Telvent Housing), que os resumo a continuación.

Sobre las 15:45 comenzamos a detectar problemas eléctricos en algunos equipos ubicados en este nodo. Al haber redundancia eléctrica en la mayoría de ellos, éstos no llegaron a reiniciarse pero sí se veían fallos alternos en las distintas fases eléctricas. Algunos centros de Madrid se vieron afectados al no haber redundancia en el equipamiento propio de su enlace.

Desde Telvent nos comunicaron que el fallo eléctrico era debido a un transformador. Esta avería sobrecargó las UPSs y afectó al sistema de aire acondicionado, que dejó de funcionar. Alrededor de las 20h empezamos a observar alarmas en el equipamiento debido a la temperatura. Finalmente sobre las 23:30h se decidió apagar todo el equipamiento ya que la sala estaba a unos 50 grados.

Esta mañana, a partir de las 8h se han comenzado a levantar los equipos viendo que la situación parecía estable. Desde entonces, los peerings internacionales y con ESPANIX (uno de los dos enlaces) están establecidos.

Los enlaces del backbone que llegan al nodo nacional permanecen caídos ya que el operador que nos da servicio se aloja también en este edificio, y el fallo eléctrico averió un rectificador que da servicio a toda su sala. Debido a esto la conectividad hacia el exterior está prácticamente cortada ya que no hay acceso al nodo nacional desde ningún nodo regional, excepto desde Canarias. La única conexión externa accesible es el CATNIX, pero la conexión es insuficiente para el volumen de tráfico que se genera habitualmente. Estamos a la espera de que reparen el rectificador para recuperar el servicio en estos enlaces.

Esta es toda la información que tenemos por el momento. Os iremos facilitando más datos a medida que los vayamos sabiendo.

Un cordial saludo,”

¡Suscríbete gratis a este blog! Ya somos más de 5.000

Comentarios (Facebook):

AVISO: el incumplimiento de las Normas de Participación podrá dar lugar al bloqueo del infractor, de tal forma que sus comentarios quedarán ocultos para los demás lectores.

NOTA: Debido al cambio de URL de http a https, algunos comentarios publicados antes del 9.2.2020 en el blog pueden haberse perdido. Lamento las molestias.

Enlaces desde blogs, webs y agregadores:

Comentarios (Blog):

  1. Si se han caído todos los ADSL de la zona, tiene pinta que a Telefónica se le ha ido una centralita. ¿COPE tiene su propio CPD o depende de proveedor externo?.

  2. Según comenta Isaac, la web la tienen hospedada en un datacenter, por eso es muy raro que además tengan ese problema de líneas y que, justo de casualidad, también la web de HO se haya escogorciado. Debe haber un caos internetero en Madrid de mil pares de narices.

  3. Hola, la web de COPE está alojada en NTT, en el datacenter de Madrid, que tiene vigilancia casi militar y tienen sistemas de alimentación ininterrumpida que pueden aguantar semanas sin suministro eléctrico.

    También tienen tal clase de conectividad que es prácticamente imposible que se queden incomunicados.

    Por eso todo esto me parece extremadamente extraño, pues esta clase de caída es en teoría imposible.

    A ver si mañana me entero de qué está pasando.

  4. Ha sido un fallo eléctrico en el datacenter de Telvent (donde está NTT). La ley de Murphy siempre se cumple:

    http://www.pixelydixel.com/2008/09/un-fallo-electrico-en-un-datacenter-deja-fuera-de-servicio-un-gran-numero-de-webs-en-espana.html

    Saludos.

  5. Por lo visto se ha incendiado el circuito del aire acondicionado. Así que como medida de seguridad, han tenido que apagar todo el sistema.

  6. Lo acabo de leer. Mil gracias por la información, Isaac, acabo de modificar toda la entrada. No me imaginaba yo que se trataría de un follón de estas dimensiones…

  7. Jose

    No estaría de más que una web del tamaño y visibilidad de Cadena Cope, tuviera un ‘backup’ para estos casos.

    Redirigir el tráfico a un servidor externo (mirroring) no debería ser muy complicado para la empresa que lleve su alojamiento.

    Por cierto, el centro de datos donde está alojada, también tiene problemas de ‘uplink’ (no veas lo que tardamos en bajar los programas desde EEUU).

  8. Supongo que pocos se esperan que pueda haber un fallo de este calibre en un data center como ése. De hecho, ni siquiera los Ministerios que he citado tienen un mirror para casos así…

  9. ¿Y eso cuanto puede tardar en solucionarse?

  10. Esto era lo que comentaba Isaac en su Twitter hace menos de media hora: “Parece ser que ya están refrigerando las salas de nuevo y en cuanto estén frescas volverán a iniciar los sistemas”.

    Supongo que no tardarán mucho. Eso sí, el follón para la empresa que lleva ese data center sólo acaba de empezar. Ya verás las reclamaciones económicas que le van a caer.

  11. Bastante complicado.

  12. Has dicho Telvent, la empresa que lleva ese data? donde andarán…
    Yo de momento no tengo ningun problema..

  13. Pues parece que sí es Telvent, o al menos así aparece en algunos registros:

    http://www.datacentermap.com/spain/madrid/carrierhouse-madrid2.html

    De todas formas, el Internet Data Center (IDC) de Alcobendas está registrado como sociedad anónima:

    http://www.einforma.com/servlet/app/prod/DATOS_DE/EMPRESA/INTERNET-DATA-CENTER-S.A.-C_QTgyNzA1MTg3_de-MADRID.html

    Y fue construido por Acens.

  14. El de Acens, es otro diferente que está un par de calles más abajo.

    Saludos.

  15. Carais, en Alcobendas deben asarse en verano con tanto data center, ¿no?

    Por cierto, ya veo que no has sido capaz de pegar ojo. 😉

  16. La web de HO ya funciona. Las demás que he enlazado siguen caídas… Se ve que la cosa va para rato.

  17. Una mañana sin COPE ya no es igual, snif… 🙁

  18. Hay que ver la cantidad de buhos que pupulan por aquí ….

  19. Elentir no duerme, Drizzt, ¿no lo sabías?

  20. Todos tenemos problemas, pero me sorprende que los grandes fallen así, cuando tienen dinero y medios para ser los mejores 🙂

    En fin, espero que lo arreglen pronto. Si alguien quiere servicios también en España, pero no en Telvent que me comente 😉 jeje

  21. Pues a éstas horas aún no está en funcionamiento.

    Lo que dice mi hija: cuando yo estaba en África, todo aqui iba mejor :mrgreen:

  22. Parece mentira que todo se descomponga tan facilmente.
    Y siempre afecta a unos, que no a otros 🙂
    Saludos.

  23. aln

    Pues a mí a veces me parece mentira que todo funcione, dada la complejidad de todos los cacharros que hay por medio… :mrgreen:

  24. En nuestro caso, hasta ahora mismo teníamos ‘caído’ el nodo de RedIris, la red con la que funcionamos todas las Universidades, los hospitales, los centros de investigación… de la Comunidad de Madrid.

    ¡¡¡Échale guindas al pavo!!!

    Parece que han habilitado algún tipo de ‘puenteo’, porque aunque la red nos va a pinrel, al menos parece que tenemos acceso y recibimos correo…

  25. Hurssel, jue, pues si cae RedIris, la cosa es divertida. Pero no solo afecta a la Comunidad de Madrid, sino a toda España. Es quien da conectividad a Universidades y centros de investigación.

    Pero vamos, quien tb debe de estar jodido son aquellas empresas que hayan hecho outsourcing de su equipamiento informático, como tengan SLA’s altos, no se por cuanto les va a salir la broma.

  26. tencor

    Es la segunda vez que le pasa a telvent tuvo otra el fin de semana del sabado 9 al domingo 10 de agosto. Estaba trabajando fuera de España y se les fue lo mismo, el aire acondicionado, todos los sistema de empresa caidos, incluso su web no funcionaba. Es la 2ª vez y no aprenden

  27. Arween

    Quisiera saber si me podría alguien confirmar si esto que comentáis tiene que ver con que, desde media mañana, no puedo entrar en buigle.com. Me sale “HTTP 403 PROHIBIDO”.

    Gracias de antemano.

  28. Drizzt, así es, pero a nosotros sólo nos han informado de la caída del nodo que da servicio a la CAM. Por eso no me he arriesgado a generalizar más, pues me falta info al respecto.

    Por cierto, tras preguntarles que cuándo estará solucionada “la incidencia” nos dicen que no tienen ni la más remota idea, que no son capaces ni de darnos un cálculo aproximado…

    Seria la cosa, parece

  29. aln

    De todos modos, si el fallo afecta a sistemas aparentemente independientes, es posible que esté localizado en algún equipo de Espanix, que es el ‘hub’ por el que pasan casi todas las comunicaciones de Internet de España…

    http://www.espanix.net/

  30. Acabo de publicar en la entrada el comunicado de Red Iris explicando qué pasó, me lo ha pasado Hurssel (mil gracias 😉 ). Por cierto, que por la hora de los primeros fallos no me extrañaría que el presunto hackeo de la web de HazteOir.org ayer a primera hora de la tarde estuviese relacionado, en realidad, con algo de esto.

  31. Gracias a ti, por tenernos puntualmente informados de la situación

    Esto me hace replantearme qué frágil es la red de redes en determinadas ocasiones…

    Lo de Telvent sí que ha sido calentamiento global, y no lo de Gore… ¿habrá tenido la culpa también el CO2 de mi tubo de escape? Tiempo al tiempo :mrgreen:

  32. Hursel

    No creas, TCP/IP y sus protocolos de rutado (en especial el BGP) están diseádos para funcionar de manera distribuida :). Otra cosa es que todo dios concentre los equipos en el mismo CPD o en un nodo neutro en el mismo lugar físico, y claro, puede pasar lo que puede pasar.

    Por ejemplo Telefónica tiene dos CPD redundantes en distintas localidades.

    Yo te puedo contar lo que es un CPD con 40 servidores metiendo calor después de caer el aire acondicionado por la “maravillosa” instalación eléctrica. Da para reirse.

  33. Panzer

    Pues a los clientes de Ya.com no veas como los han dejado. Ahora empieza a funcionar la pagina. pero los chats, ni de coña.

  34. Yo no he tenido problemas, me entero ahora gracias a ti.
    Saludos
    :palomitas:

  35. Panzer

    Escribo desde Valencia. Y desde aqui, a los chats no hay forma de entrar.:twisted:

  36. Panzer

    Claro, que como somos de Valencia, y aqui no manda el PetaZetas ni sus secuaes, perdon , partido, pues igual….

  37. Por lo que estoy leyendo en otras webs, el incendio de ayer afectó mucho a las líneas de ADSL, también a Ya.com. Hay empresas que no han podido trabajar hasta las 12 del mediodía de hoy. Este follón le va a salir muy caro a los propietarios de este data center…

    P.D.: hay más datos en Weblogs SL:

    http://www.weblogssl.com/2008/09/23-caida-general-de-x-horas-durante-la-madrugada-del-23-de-septiembre-de-2008

  38. Panzer

    Nada, ni IE 7 , ni FireFox, ni Safari. Tres navegadores y ninguno encuentra los servidores cuando intantas entrar al chat. Da igual inforchat, Hispachat o Chueca. Ni de coña.

  39. Panzer

    Por favor. Alguien sabe por que AUN no se puede acceder a los chats de Ya.com? Desde Valencia. Me es imposible. Accedo a otras paginas afectadas , pero aqui, ni queriendo. Gracias

  40. Rosa_del_desierto

    A mí me extrañó lo que pasaba con las webs de Cope y Popular TV, pero con la de Spanair ayer no tuve problemas.

Opina sobre esta entrada:

Al pulsar 'Enviar' aceptas las Normas de Participación.