Como he apuntado en mi Twitter, desde hace 40 minutos, todos los sitios del servidor de HazteOir.org y el sitio de Cope.es están caídos. José Antonio Abellán ha comentado en antena que la emisora se ha quedado sin Internet y que se han caído todos los ADSL de la zona. Precisamente el proveedor de hosting de la web de HO también está en Madrid y su web también está caída. Como comenta Isaac Jiménez en su Twitter, todo esto es muy raro.
+ 0:47h: como apunta Isaac en los comentarios, Pixel y Dixel amplían la noticia: incendio en el data center que aloja las webs de RealMadrid.com, Spanair, Cope.es, el Ministerio de Cultura y todos los blogs de Weblogs SL (como Applesfera y Blog de Cine).
+ 1:11h: también están fuera de línea las webs de los Ministerios de Presidencia, Educación, Industria y Ciencia e Innovación.
Más información constante en el Twitter de crisis de WSL.
+ 6:27h: la web de HazteOir.org vuelve a estar activa. Las demás que he citado siguen caídas en este momento.
+ 6:52h: Jiménez Losantos comenta en antena en La Mañana de la COPE que la emisora sigue sin conexión a Internet. Supongo que en Madrid todavía habrá muchas líneas de ADSL caídas.
+ 16:00h: con la situación ya reestablecida, Hurssel me pasa esta nota que ha publicado Red Iris sobre lo ocurrido:
""en las últimas horas se ha producido una avería de gran envergadura en el edificio donde alojamos el nodo nacional, los servicios centrales y parte del nodo de Madrid (Telvent Housing), que os resumo a continuación.
Sobre las 15:45 comenzamos a detectar problemas eléctricos en algunos equipos ubicados en este nodo. Al haber redundancia eléctrica en la mayoría de ellos, éstos no llegaron a reiniciarse pero sí se veían fallos alternos en las distintas fases eléctricas. Algunos centros de Madrid se vieron afectados al no haber redundancia en el equipamiento propio de su enlace.
Desde Telvent nos comunicaron que el fallo eléctrico era debido a un transformador. Esta avería sobrecargó las UPSs y afectó al sistema de aire acondicionado, que dejó de funcionar. Alrededor de las 20h empezamos a observar alarmas en el equipamiento debido a la temperatura. Finalmente sobre las 23:30h se decidió apagar todo el equipamiento ya que la sala estaba a unos 50 grados.
Esta mañana, a partir de las 8h se han comenzado a levantar los equipos viendo que la situación parecía estable. Desde entonces, los peerings internacionales y con ESPANIX (uno de los dos enlaces) están establecidos.
Los enlaces del backbone que llegan al nodo nacional permanecen caídos ya que el operador que nos da servicio se aloja también en este edificio, y el fallo eléctrico averió un rectificador que da servicio a toda su sala. Debido a esto la conectividad hacia el exterior está prácticamente cortada ya que no hay acceso al nodo nacional desde ningún nodo regional, excepto desde Canarias. La única conexión externa accesible es el CATNIX, pero la conexión es insuficiente para el volumen de tráfico que se genera habitualmente. Estamos a la espera de que reparen el rectificador para recuperar el servicio en estos enlaces.
Esta es toda la información que tenemos por el momento. Os iremos facilitando más datos a medida que los vayamos sabiendo.
Un cordial saludo,"
No te pierdas las novedades y contenidos que te interesan. Recibe gratis el boletín diario en tu correo electrónico: Pulsa aquí para suscribirte |
Comentarios:
Drizzt
Si se han caído todos los ADSL de la zona, tiene pinta que a Telefónica se le ha ido una centralita. ¿COPE tiene su propio CPD o depende de proveedor externo?.
0:19 | 23/09/08
Elentir
Según comenta Isaac, la web la tienen hospedada en un datacenter, por eso es muy raro que además tengan ese problema de líneas y que, justo de casualidad, también la web de HO se haya escogorciado. Debe haber un caos internetero en Madrid de mil pares de narices.
0:22 | 23/09/08
Isaacj
Hola, la web de COPE está alojada en NTT, en el datacenter de Madrid, que tiene vigilancia casi militar y tienen sistemas de alimentación ininterrumpida que pueden aguantar semanas sin suministro eléctrico.
También tienen tal clase de conectividad que es prácticamente imposible que se queden incomunicados.
Por eso todo esto me parece extremadamente extraño, pues esta clase de caída es en teoría imposible.
A ver si mañana me entero de qué está pasando.
0:36 | 23/09/08
Isaacj
Ha sido un fallo eléctrico en el datacenter de Telvent (donde está NTT). La ley de Murphy siempre se cumple:
http://www.pixelydixel.com/2008/09/un-fallo-electrico-en-un-datacenter-deja-fuera-de-servicio-un-gran-numero-de-webs-en-espana.html
Saludos.
0:38 | 23/09/08
Isaacj
Por lo visto se ha incendiado el circuito del aire acondicionado. Así que como medida de seguridad, han tenido que apagar todo el sistema.
0:41 | 23/09/08
Elentir
Lo acabo de leer. Mil gracias por la información, Isaac, acabo de modificar toda la entrada. No me imaginaba yo que se trataría de un follón de estas dimensiones…
0:56 | 23/09/08
Jose
No estaría de más que una web del tamaño y visibilidad de Cadena Cope, tuviera un ‘backup’ para estos casos.
Redirigir el tráfico a un servidor externo (mirroring) no debería ser muy complicado para la empresa que lleve su alojamiento.
Por cierto, el centro de datos donde está alojada, también tiene problemas de ‘uplink’ (no veas lo que tardamos en bajar los programas desde EEUU).
1:43 | 23/09/08
Elentir
Supongo que pocos se esperan que pueda haber un fallo de este calibre en un data center como ése. De hecho, ni siquiera los Ministerios que he citado tienen un mirror para casos así…
1:47 | 23/09/08
Así está Murcia
¿Y eso cuanto puede tardar en solucionarse?
2:26 | 23/09/08
Elentir
Esto era lo que comentaba Isaac en su Twitter hace menos de media hora: «Parece ser que ya están refrigerando las salas de nuevo y en cuanto estén frescas volverán a iniciar los sistemas».
Supongo que no tardarán mucho. Eso sí, el follón para la empresa que lleva ese data center sólo acaba de empezar. Ya verás las reclamaciones económicas que le van a caer.
2:31 | 23/09/08
Martha Colmenares
Bastante complicado.
2:40 | 23/09/08
pere
Has dicho Telvent, la empresa que lleva ese data? donde andarán…
Yo de momento no tengo ningun problema..
3:01 | 23/09/08
Elentir
Pues parece que sí es Telvent, o al menos así aparece en algunos registros:
http://www.datacentermap.com/spain/madrid/carrierhouse-madrid2.html
De todas formas, el Internet Data Center (IDC) de Alcobendas está registrado como sociedad anónima:
http://www.einforma.com/servlet/app/prod/DATOS_DE/EMPRESA/INTERNET-DATA-CENTER-S.A.-C_QTgyNzA1MTg3_de-MADRID.html
Y fue construido por Acens.
3:12 | 23/09/08
Isaacj
El de Acens, es otro diferente que está un par de calles más abajo.
Saludos.
5:28 | 23/09/08
Elentir
Carais, en Alcobendas deben asarse en verano con tanto data center, ¿no?
Por cierto, ya veo que no has sido capaz de pegar ojo. 😉
5:33 | 23/09/08
Elentir
La web de HO ya funciona. Las demás que he enlazado siguen caídas… Se ve que la cosa va para rato.
6:29 | 23/09/08
Maya
Una mañana sin COPE ya no es igual, snif… 🙁
8:25 | 23/09/08
Drizzt
Hay que ver la cantidad de buhos que pupulan por aquí ….
9:11 | 23/09/08
Maya
Elentir no duerme, Drizzt, ¿no lo sabías?
9:54 | 23/09/08
David Carrero Fdez-Baillo
Todos tenemos problemas, pero me sorprende que los grandes fallen así, cuando tienen dinero y medios para ser los mejores 🙂
En fin, espero que lo arreglen pronto. Si alguien quiere servicios también en España, pero no en Telvent que me comente 😉 jeje
9:57 | 23/09/08
Schwan
Pues a éstas horas aún no está en funcionamiento.
Lo que dice mi hija: cuando yo estaba en África, todo aqui iba mejor
10:25 | 23/09/08
blumun
Parece mentira que todo se descomponga tan facilmente.
Y siempre afecta a unos, que no a otros 🙂
Saludos.
10:28 | 23/09/08
aln
Pues a mí a veces me parece mentira que todo funcione, dada la complejidad de todos los cacharros que hay por medio…
10:45 | 23/09/08
Hurssel
En nuestro caso, hasta ahora mismo teníamos ‘caído’ el nodo de RedIris, la red con la que funcionamos todas las Universidades, los hospitales, los centros de investigación… de la Comunidad de Madrid.
¡¡¡Échale guindas al pavo!!!
Parece que han habilitado algún tipo de ‘puenteo’, porque aunque la red nos va a pinrel, al menos parece que tenemos acceso y recibimos correo…
11:41 | 23/09/08
Drizzt
Hurssel, jue, pues si cae RedIris, la cosa es divertida. Pero no solo afecta a la Comunidad de Madrid, sino a toda España. Es quien da conectividad a Universidades y centros de investigación.
Pero vamos, quien tb debe de estar jodido son aquellas empresas que hayan hecho outsourcing de su equipamiento informático, como tengan SLA’s altos, no se por cuanto les va a salir la broma.
11:58 | 23/09/08
tencor
Es la segunda vez que le pasa a telvent tuvo otra el fin de semana del sabado 9 al domingo 10 de agosto. Estaba trabajando fuera de España y se les fue lo mismo, el aire acondicionado, todos los sistema de empresa caidos, incluso su web no funcionaba. Es la 2ª vez y no aprenden
12:05 | 23/09/08
Arween
Quisiera saber si me podría alguien confirmar si esto que comentáis tiene que ver con que, desde media mañana, no puedo entrar en buigle.com. Me sale «HTTP 403 PROHIBIDO».
Gracias de antemano.
12:11 | 23/09/08
Hurssel
Drizzt, así es, pero a nosotros sólo nos han informado de la caída del nodo que da servicio a la CAM. Por eso no me he arriesgado a generalizar más, pues me falta info al respecto.
Por cierto, tras preguntarles que cuándo estará solucionada «la incidencia» nos dicen que no tienen ni la más remota idea, que no son capaces ni de darnos un cálculo aproximado…
Seria la cosa, parece
12:16 | 23/09/08
aln
De todos modos, si el fallo afecta a sistemas aparentemente independientes, es posible que esté localizado en algún equipo de Espanix, que es el ‘hub’ por el que pasan casi todas las comunicaciones de Internet de España…
http://www.espanix.net/
13:14 | 23/09/08
Elentir
Acabo de publicar en la entrada el comunicado de Red Iris explicando qué pasó, me lo ha pasado Hurssel (mil gracias 😉 ). Por cierto, que por la hora de los primeros fallos no me extrañaría que el presunto hackeo de la web de HazteOir.org ayer a primera hora de la tarde estuviese relacionado, en realidad, con algo de esto.
16:04 | 23/09/08
Hurssel
Gracias a ti, por tenernos puntualmente informados de la situación
Esto me hace replantearme qué frágil es la red de redes en determinadas ocasiones…
Lo de Telvent sí que ha sido calentamiento global, y no lo de Gore… ¿habrá tenido la culpa también el CO2 de mi tubo de escape? Tiempo al tiempo
16:18 | 23/09/08
Drizzt
Hursel
No creas, TCP/IP y sus protocolos de rutado (en especial el BGP) están diseádos para funcionar de manera distribuida :). Otra cosa es que todo dios concentre los equipos en el mismo CPD o en un nodo neutro en el mismo lugar físico, y claro, puede pasar lo que puede pasar.
Por ejemplo Telefónica tiene dos CPD redundantes en distintas localidades.
Yo te puedo contar lo que es un CPD con 40 servidores metiendo calor después de caer el aire acondicionado por la «maravillosa» instalación eléctrica. Da para reirse.
16:41 | 23/09/08
Panzer
Pues a los clientes de Ya.com no veas como los han dejado. Ahora empieza a funcionar la pagina. pero los chats, ni de coña.
16:48 | 23/09/08
Caballero ZP
Yo no he tenido problemas, me entero ahora gracias a ti.
Saludos
:palomitas:
18:09 | 23/09/08
Panzer
Escribo desde Valencia. Y desde aqui, a los chats no hay forma de entrar.:twisted:
18:41 | 23/09/08
Panzer
Claro, que como somos de Valencia, y aqui no manda el PetaZetas ni sus secuaes, perdon , partido, pues igual….
18:43 | 23/09/08
Elentir
Por lo que estoy leyendo en otras webs, el incendio de ayer afectó mucho a las líneas de ADSL, también a Ya.com. Hay empresas que no han podido trabajar hasta las 12 del mediodía de hoy. Este follón le va a salir muy caro a los propietarios de este data center…
P.D.: hay más datos en Weblogs SL:
http://www.weblogssl.com/2008/09/23-caida-general-de-x-horas-durante-la-madrugada-del-23-de-septiembre-de-2008
18:45 | 23/09/08
Panzer
Nada, ni IE 7 , ni FireFox, ni Safari. Tres navegadores y ninguno encuentra los servidores cuando intantas entrar al chat. Da igual inforchat, Hispachat o Chueca. Ni de coña.
18:56 | 23/09/08
Panzer
Por favor. Alguien sabe por que AUN no se puede acceder a los chats de Ya.com? Desde Valencia. Me es imposible. Accedo a otras paginas afectadas , pero aqui, ni queriendo. Gracias
21:33 | 23/09/08
Rosa_del_desierto
A mí me extrañó lo que pasaba con las webs de Cope y Popular TV, pero con la de Spanair ayer no tuve problemas.
21:46 | 23/09/08
Opina sobre esta entrada: