miércoles, 1 de octubre de 2008

Levent Gürel: 167 millones

Recientemente, finalizando septiembre de 2008, el grupo de Levent Gürel ha establecido un nuevo récord: 167 millones de incógnitas.

La competencia en este desafío es muy buena, gracias a ella se está consiguiendo nuevas técnicas para poder analizar rigurosamente el comportamiento electromagnético de cuerpos excesivamente grandes.

Felicidades al grupo de Levent Gürel, y esperamos que para finalizar este año podamos volver a superar el récord. Los detalles de su récord no los conozco. El pasado lunes hemos invitado al profesor Gürel al Workshop on High Performance Computing Applications. Por motivos de esceso de trabajo yo no he podido asistir, pero en estos días me darán detalles de este último récord. 

domingo, 14 de septiembre de 2008

Prensa

Uno de los aspectos que más nos ha desbordado es la salida en prensa del récord conseguido. Pero es de agradecer el interés que diferentes espacios informativos de prensa escrita y digital, radio y televisión han mostrado en nuestro logro. Al contrario de lo que esperábamos, la tónica general ha sido un respeto a la noticia (en cuanto a que no se han inventado cosas que no hemos hecho, por lo general). 

Aún seguimos impresionados de la difusión de la noticia y de que siga apareciendo y sigan preguntándonos por el alcance del logro científico. Sirva como ejemplo, el video que aparece en esta entrada que apareció el sábado 13 de septiembre.

viernes, 5 de septiembre de 2008

Siguiente desafío: 250 millones de incógnitas

¿Para cuándo? A final del año 2008.

El siguiente desafío supondría volver a casi doblar de nuevo el récord. Los grupos implicados serían los mismos y la idea inicial es utilizar los mismos (o pocos más) recursos de computación de nuestra actual marca vigente.

Aunque no he dedicado todavía entradas de este blog a "contar" la estrategia que hemos seguido para la consecución del récord (un MLFMM o MLFMA clásico pero introduciendo conceptos novedosos y avanzados que permiten abarcar recursos de supercomputación), la superación de 250 millones de incógnitas se podrá realizar volviendo a realizar dos o tres vueltas de tuerca más a la citada estrategia. A su vez, al llevar el análisis electromagnético al límite de lo nunca analizado se observan ciertos aspectos que inducen a pensar que traerían problemas para una futura marca. Estos aspectos serán corregidos o aliviados para final de este año.

¿Pero a dónde conduce nuestro afán de superar récords? No en vano, hemos recibido críticas sobre cual es la contribución científica de conseguir estos récords. Como desafío, conduce claramente a nuevas contribuciones científicas muy importantes que nos permiten avanzar a pasos de gigante en el ámbito científico del electromagnetismo. De hecho, este juego no es por alimentar egos sino por demostrar que nuestris avances en electromagnetismo permiten a la ciencia abarcar problemas cada vez más complejos y por tanto más relacionados con la realidad. Por ejemplo, con las cifras que se están manejando ya sería posible con la mayor exactitud posible analizar la dispersión electromagnética de grandes aviones (tanto civiles como militares) en frecuencias de radar, cuya utilidad directa es la predicción del comportamiento de estos vehículos frente al radar o todos sus sistemas de radio y radionavegación.

¿Por qué exactamente 250 millones? Antes de implementar las estrategias hemos dedicado mucho tiempo a analizar el posible resultado de las mismas en problemas muy grandes a partir de los resultados que conseguimos en nuestros pequeños sistemas de computación así como en el arcaico uso del lapiz y papel. Las nuevas estrategias que ahora mismo están en fase de desarrollo permiten reducir parte de la memoria RAM, aumentar la escalabilidad aún más, y aprovechar el buen balance de carga de las estrategias diseñadas. Cuando llegue el momento podrán ser más, pero nuestro desafío ya de por si no es poco conservador y los cálculos que hemos realizado predicen que podemos superar los 250 millones de incógnitas.

jueves, 4 de septiembre de 2008

La Junta de Extremadura aprueba la compra de un supercomputador

Leo después de confirmar un rumor que me ha llegado esta mañana:


La Junta de Extremadura aprueba la compra de un supercomputador
El Ejecutivo autorizó a la Consejería la adquisición de un ordenador supercomputador para cálculo científico y técnico, que colaborará en el desarrollo y la transferencia de tecnología y conocimiento a la comunidad investigadora extremeña.

La adquisición se hará a la empresa HP, ya que es la única que dispone de esta tecnología; permitirá ejecutar simultáneamente los sistemas operativos en entorno LINUX, UNIX y WINDOWS. La compra supondrá una inversión de 7.749.951 euros, que se gastarán en el presente ejercicio.
Enhorabuena a la Junta de Extremadura por esta iniciativa. Desde el equipo de investigación que represento, esperamos poder exprimir este supercomputador para la consecución de algún desafío científico mundial.

150,000,000

El titular de más de 150 millones de incógnitas es en realidad 150,039,552 incógnitas, muy ajustado, sí.

Me preguntaban estos días a qué problema correspondía. El desafío en el que varios grupos de investigación intentan batir el mayor problema jamás analizado consiste en analizar la dispersión biestática de una esfera de gran tamaño. Es decir, cuál es la dispersión en cada dirección del espacio de una esfera que es atacada por una onda plana electromagnética.

¿Por qué una esfera? Es la primera pregunta que tiene dos respuestas principales. La primera de ellas es que este problema tiene solución analítica en forma de serie infinita (fácilmente acotable). Ya que tiene solución analítica es sencillo comprobar que el resultado del desafío es correcto y la exactitud del mismo. Pero aún hay otra respuesta que conviene dejar patente. La esfera es una geometría que se ha impuesto para la superación de los récords, y por lo tanto es una normalización que respetamos. De no ser así, en nuestra mano hubiera estado el superar el medio billón (americano) de incógnitas sin problemas. Cabe decir que la estrategia del MLFMM que hemos seguido funciona de una manera más eficiente para superficies oblongas. Y existen superficies típicas de análisis electromagnético que cumplen esta premisa: la placa, la Almond de la NASA, etc. Puede decirse que, en general, la esfera necesita de más recursos y conlleva a mayores problemas prácticos en un código paralelo (muestra un comportamiento demasiado desequilibrado en los recursos empleados). Podemos partir de la conclusión de que la esfera conduce a que estén presentes casi todos los problemas prácticos en un análisis de dispersión electromagnética.

¿De qué tamaño es la esfera? En concreto en nuestro análisis tiene un diámetro de 400 longitudes de onda. Por ejemplo, en un análisis a 3GHz correspondería a una esfera de 40 metros de diámetro. En general (dependiendo de la bondad de la discretización de la esfera), se necesitan 100 puntos de discretización por cada longitud de onda al cuadrado, que a su vez generan el triple de incógnitas. Si hacemos la cuenta clavamos una cifra en torno a los 150 millones de incógnitas. En caso de una mala discretización necesitaríamos más incógnitas... Pero esto sería trampa porqué nos costaría mucho menos analizar el problema. Esta trampa no sería permitida. 

El anterior récord de Gürel de 85 millones de incógnitas correspondía a una esfera de 300 longitudes de onda de diámetro. El nuevo intento de Gürel consiguiendo 135 millones (sin arrebatarnos el récord) aunque no conocemos sus pormenores podemos estimar que correspondía a 380 longitudes de onda de diámetro, pues coincide con las cuentas antes explicada.

miércoles, 3 de septiembre de 2008

Researchers from the Universities of Extremadura and Vigo break the electromagnetic simulation world record at CESGA

English Press Release
They practically double the previous record after having solved a problem with 150 million of unknowns.

The new development allows immediate applications in the naval, aerospatial and telecommunications industries among others.

A mixed group of researchers from the Universities of Extremadura and Vigo and technicians from the Supercomputing Center of Galicia (CESGA) has succeeded in solving an electromagnetic problem with 150 million unknowns using supercomputer Finis Terrae, installed at CESGA, considerably far from the previous world record of 85 million unknowns by a Turkish research group. The scientific work to achieve this challenge continues, with the perspective of achieving 250 million unknowns this winter, also thanks to the support of CESGA's supercomputer.

The application used in the challenge (HEMCUVE++) is the result of a continuous development process by the research group, that began in the year 1999 through a project funded by NAVANTIA. The objective was accomplished thanks to the close collaboration among the researchers and the technicians in charge of Finis Terrae. In order to tackle this simulation, only 64 of its 142 nodes were needed; in other words, 1024 processing nodes and 5,4 Terabytes of RAM memory. The calculus were completed in 6 hours, 3 and a half of which were used to initialize the algorithm.

The researcher from the University of Vigo, Fernando Obelleiro, highlights that “Finis Terrae is a fantastic machine for this kind of challenge. Although there are more powerful machines, Finis Terrae's architecture is suitable for our application”.

Practical applications of the new development

There are many research groups all around the world competing to solve more and more complicated electromagnetic problems but, according to Luis Landesa, member of the team from the University of Extremadura, “what is interesting about this competition is to take full advantage of the resources available, what makes us think a lot and show our most scientific side”.

Despite the fact that the work to tackle this challenge is part of the basic research field, “the computational code we are developing will serve us for the applied uses we are working on”, explains Landesa.

The applied uses he is talking about are the solving of electromagnetic problems in the design of big structures equipped with radio, such as boats, planes and land vehicles. “The electromagnetic phenomena can be simulated computationally”, explains Obelleiro.

Thus, his work is focused on finding the most efficient way to simulate the electromagnetic behavior of the structures in the design stage in order to be able to verify and guarantee the fulfillment of the electromagnetic requirements imposed by the industry or the administrations, minimizing thus the problems after the manufacturing process. “When you build a boat you may have interference problems among its antennas. It would be very expensive to build it and then wait to see what happens, and that is the reason for the simulation, which allows us to do virtual designs of the boat and to observe simulatedly as well the reactions and interactions among its different elements, such as the antennas and radars”, details the researcher form the University of Vigo.

The key is in the new algorithm

The dimension of the problems that must be solved in order to do these simulations is huge. After having spent a lot of time using approximate techniques which gave a rough idea of the electromagnetic behavior of the structures, the evolution of the computers and the algorithmic development allowed the analysis of these problems by means of some very rigorous techniques. “We are talking about millions of unknowns that will enable us to analyze and even predict the electromagnetic behavior of structures with great electrical dimensions with a wealth of detail that had been unapproachable until now, and this will undoubtedly mean important competitive advantages for the industries with an access to this technology”, explains Landesa.

The algorithm developed by the research group allows scalabilities that were unthinkable until now. The code was executed on 1024 processing nodes with an efficiency rate close to 100%, while the previous attempts carried out by other teams only got to use 48 processors, showing a very low efficiency in their parallelization. This fact is of a vital importance in order to take full advantage of the capacity of the new generations of supercomputers, equipped with more and more processors.

This record also opens the door to the application of the computational electromagnetics in fields such as biomedicine (radar images for tumor detection, influence of mobile devices on the human body, etc), metamaterials design (artificial materials with unusual electromagnetic properties, with great importance in the creation of superlens or invisibility cloacks), or the development of ground penetrating radars for the detection of anti-personnel mines, geological structures in the subsoil, etc.

About the research team

The team is composed of the researchers Fernando Obelleiro and José Luis Rodríguez from the University of Vigo, and Luis Landesa and José Manuel Taboada from the University of Extremadura.

The team have been working coordinately for some years for the Armada and the company Navantia developing systems that allow them to tackle studies of electromagnetic compatibility by means of computing in supercomputers such as Finis Terrae, aiming to detect interference among antennas, to predict dangerous radiation levels, to study its radar equivalent surface, etc.

About CESGA

The Supercomputing Center of Galicia (CESGA) is the center for high-performance computing, communications and advanced services used by the Scientific Community of Galicia, the University academic system and the Higher Council for Scientific Research (CSIC).

CESGA houses the supercomputer Finis Terrae, recognized as Singular Scientific and Technological Infrastructure by the Ministry of Science and Innovation.


lunes, 1 de septiembre de 2008

Finis Terrae

Finis Terrae es el nombre de uno de los supercomputadores con memoria mixta más importantes de Europa. Si sumamos toda la longitud del cableado (sistemas de red y sistemas de alimentación, principalmente) calcularemos 85 kilómetros de cable: la distancia entre su ubicación física y la ciudad de Fisterra (Finisterre).

Finis Terrae comenzó a funcionar en febrero de 2008, donde agradecemos que se contara con nosotros para las primeras pruebas y primeros retos científicos. Consta de 142 nodos con 128GB de memoria cada uno y 16 núcleos de computación por nodo. Además de dos nodos de prueba Finis Terrae tiene dos nodos adicionales de características especiales: Uno con 128 núcleos de computación y 1TB de memoria y el otro con 128 núcleos y 384GB de memoria. Todos los nodos están interconectados con tecnología Infiniband. La red de interconexión es excelente, damos fé.

Cuando entró en funcionamiento ocupó el puesto 100 a nivel mundial en la lista de TOP500. Actualmente ha bajado posiciones. En España existe un supercomputador de otras características que ocupa el número 5 en el mundo: el Mare Nostrum.

El ranking mundial de supercomputadores no está exento de críticas: Nuestro problema pudo realizarse en el Finis Terrae, pero no está claro que pudiese ser soportado por el Mare Nostrum. Las diferentes arquitecturas y filosofías a la hora de diseñar los supercomputadores pueden resultar en sistemas que con peores posiciones en los ranking puedan solucionar problemas de mayor magnitud.

sábado, 30 de agosto de 2008

Actualidad: Se confirma nuestro récord tras nuevo intento turco

Lo que no podemos asegurar nunca de un reto de esta magnitud es que otro equipo de investigación logre idénticos o mejores resultados en la misma época. De hecho todos guardamos nuestras cartas hasta que lo hemos conseguido. Siempre hemos manifestado nuestra intención de superar los 100 millones de incógnitas en el verano de 2008, pero la idea era superar los 150 millones. El Professor Levent Gurel (foto) tenía otro as en la manga... 

Pues bien, hoy, el grupo del Professor Levent Gürel ha publicado la superación del récord de 85 millones de incógnitas a final de julio de 2008. Su nuevo intento ha logrado superar los 135 millones de incógnitas. Podemos confirmar entonces que estamos en posesión de récord del mundo ya que nuestros directos competidores han confirmado que están por debajo de los 150 millones de incógnitas.

El equipo que batió el récord


Luis Landesa (Universidad de Vigo) y Fernando Obelleiro (Universidad de Vigo) en las instalaciones del Finis Terrae.

Universidad de Extremadura
Luis Landesa







José Manuel Taboada









Universidad de Vigo
Fernando Obelleiro








José Luis Rodríguez








Centro de Supercomputación de Galicia (CESGA)
Andrés Gómez Tato






José Carlos Mouriño

jueves, 21 de agosto de 2008

El éxito: crónica de los diferentes fracasos.

Conseguir acabar de manera exitosa el reto de superar el récord del mundo no fue sencillo. Al igual que la primera vez que se quiso probar HEMCUVE++ sobre Finis Terrae, la semana del reto fue una locura. Hasta el cuarto día no se pudieron solucionar diferentes aspectos que inducían a pensar en el completo fracaso del reto. Todas las llamadas telefónicas del día 7 de agosto trataban sobre cómo justificar el fracaso...

En primer lugar nos encontramos con problemas de portabilidad. Este tipo de problemas yo ya me los esperaba. Es una utopía: aunque se trabaje con sistemas muy parecidos, con el mismo compilador, las mismas librerías, el mismo sistema operativo, la realidad es que las primeras ejecuciones de pruebas en el Finis Terrae fracasaban.

Primero, no escalaban al igual que en nuestro cluster Empire. A pesar de que nuestro cluster es muy modesto, el código escalaba mejor que en Finis Terrae. Los técnicos acabaron averiguando que era un problema de pining con la solución MPI/OpenMP. Costó averiguarlo porque parecía a todas luces que el pining era correcto.

Segundo y que nos costó averiguar: la FFT de la MKL en nuestras máquinas y en Finis Terrae nos daban diferentes resultados... Bien es verdad que hacíamos un truco extraño para declarar los descriptores de la FFT. Este truco en nuestras máquinas nos funcionaba y comprobamos que en Finis Terrae no. Debo dedicar un post especial a la FFT de intel, no como crítica, pues es tan completo que se deben aclarar ciertas cosas desde la experiencia. Conseguimos resolver el problema, sin necesidad de declarar los descriptores cada vez que se necesitaba una FFT.

Tercero, cuarto y consecutivos... Aparecieron varios bugs que empeoraban la escalabilidad cuando se aplicaba a ejemplos grandes o a un número de procesadores importantes. Uno de ellos, la lectura de disco de las excitaciones de entrada, hizo fracasar el reto en el primer intento serio. Este tipo de bugs eran esperados pues hay ciertas cosas que cuesta probar en un cluster pequeño, pero la experiencia nos hace que casi no existan.

Todo esto, era la crónica de un fracaso, pero el jueves noche despues del n-ésimo cambio se dejó la ejecución que finalmente vimos concluida a la mañana siguiente.

Este lucha sobre un posible fracaso es más agobiante de lo que pueda parecer. El acceso a una estructura de supercomputación como Finis Terrae está muy controlada. El fracasar suponía que al menos hasta dentro de 6 meses, en los que se pudiera tener acceso a un número importante de nodos en paralelo, no sería posible el intento del récord. In extremis, al igual que nuestro intento anterior, se consiguió analizar el reto científico propuesto.

Esta crónica, que coincide en parte con el anterior reto (igualar el record que estaba vigente a principios de 2007) en lo que respecta a fracasos, será la misma crónica que habrá en este invierno cuando intentemos 250 millones de incógnitas... Y parecerá más importante cuando esta cifra la traduzcamos al inglés: A quarter of billion of unknowns. Si es que lo conseguimos.

miércoles, 20 de agosto de 2008

Récord del mundo para la UEX

El 8 de agosto de 2008 concluimos el reto científico de superar el récord del mundo del objeto más grande jamás analizado en electromagnetismo.

Dicho objeto se modeló y analizó con más de 150 millones de incógnitas. Superamos por amplio margen el anterior récord de 85 millones de incógnitas obtenido por el grupo de investigación BILCEM de la Bilkent University dirigido por el Professor Gürel.

En dicho reto hemos participado científicos del equipo de electromagnetismo computacional de la Universidad de Extremadura, del grupo de antenas de la Universidad de Vigo y de dirigentes y técnicos del Centro de Supercomputación de Galicia (CESGA).

Para obtener el récord se ha utilizado el supercomputador Finis Terrae situado en las instalaciones del CESGA. Se han utilizado 64 nodos (1024 procesadores) y un total de 5,4 Terabytes de memoria RAM y un total de 6 horas de computación.

El código propio denominado HEMCUVE++ (versión mejorada de HEMCUVE) resuelve el problema electromagnético utilizando conceptos del Fast Multipole Method con diferentes estrategias a las utilizadas anteriormente por otros grupos. Este código ha presentado una escalabilidad excelente, lo cual ha permitido lograr dicho récord.

El récord no termina aquí. Una vez superada la cifra de 150 millones de incógnitas nos hemos planteado el reto de superar los 250 millones de incógnitas en diciembre de 2008. 

Además de a las otras instituciones implicadas en el récord mundial deseamos agradecer la financiación o los apoyos obtenidos desde el Ministerio de Ciencia y Tecnología, la Junta de Extremadura, los fondos FEDER, el Departamento de Tecnología de los Computadores y de las Comunicaciones, la Escuela Politécnica y la Universidad de Extremadura.

En este blog iré destacando todos los aspectos interesantes que han concluido en el récord mundial. ¿Cuál es la utilidad? ¿Tiene objetivos científicos dicho récord o únicamente sirve para satisfacer los egos personales de los científicos implicados? ¿Cuál ha sido la nueva estrategia para abordar el problema? ¿Qué aplicaciones puede abordar un código que permita analizar problemas electromagnéticos tan grandes?