sábado, 21 de agosto de 2010

The billion one challenge (II)

Varias son las claves que han llevado a nuestro grupo a haber obtenido este logro que está siendo reconocido en los foros científicos. Por supuesto los trabajos previos otros dos grupos de investigación que se deben citar. El grupo de W.C. Chew que desarrolló el método Multilevel Fast Multipole Algorithm, MLFMA y que fue el primero en abrir las puertas de la computación de altas prestaciones (HPC) en la resolución de grandes problemas electromagnéticos. Para nosotros un trabajo que consideramos visionario fue 10 million unknowns: is it that big? . A partir de este trabajo otros investigadores han intentado realizar el esfuerzo de superar cifras para lo que han desarrollado métodos cada vez más eficientes (todos basados en el MLFMA) y con ello han conseguido resolver nuevos problemas que estaban vetados a las soluciones de alta precisión.

El grupo que cogió el testigo de W.C. Chew fue el grupo BILCEM de la Bilkent University dirigido por el profesor Levent Gürel. Este grupo desarrolló en todos los sentidos el MLFMA para que pudiese lograr un gran escalado y por tanto ejecutarse en sistemas HPC avanzados. Han logrado los últimos récords hasta hace un par de años en electromagnetismo computacional. La última conferencia de Levent Gürel a la que he asistido (en un congreso organizado por mi en mayo de este año) han mostrado resultados de más de 300 millones de incógnitas.

Desde que nosotros empezamos a trabajar en el campo de la supercomputación partimos de una premisa: El MLFMA no es un método adecuado para su ejecución con un número elevado de procesadores, es decir, el MLFMA es un método muy poco escalable. Nuestra premisa tiene cierta razón y cierta falta de ella. Levent Gürel ha analizado problemas con MLFMA modelados por más de 300 millones de incógnitas; esto es un indicativo de la cierta falta de razón en nuestras premisas. Nosotros en nuestro primer reto en el mundo de la supercomputación conseguimos analizar un problema muy grande que un año antes hubiese sido el mayor problema jamás analizado; lo conseguimos con un método poco eficiente para grandes problemas pero con una escalabilidad muy buena, el simple FMM. Desarrollando la idea de crear nuevas metodologías que tuviesen una eficiencia comparable o poco inferior al MLFMA, introdujimos el método FMM-FFT y posteriormente el nested-FMM-FFT. Pero al final hemos vuelto al MLFMA desarrollando el MLFMA-FFT con el que hemos conseguido en anterior reto en el LUSITANIA y este del que hablamos. Todos estos nuevos desarrollos están publicados en revistas científicas de prestigio. El último con el que hemos conseguido este último logro es un artículo invitado titulado MLFMA-FFT parallel algorithm for the solution of large-scale problems in electromagnetics.

Otra clave del éxito ha sido el anterior logro en el LUSITANIA del Centro Extremeño de Investigación, Innovación Tecnológica y Supercomputación (CénitS) de la fundación COMPUTAEX situado en Trujillo, Extremadura. El código allí ejecutado, con el que se consiguió resolver un problema de más de 620 millones de incógnitas con aplicaciones a la industria automovilística, es el mismo que se ha ejecutado en el Finis Terrae.

Otra parte del éxito es la arquitectura del Finis Terrae y de LUSITANIA. Ambos supercomputadores están diseñados para porder abarcar grandes proyectos científicos, utilizan procesadores Itanium 2 de intel, y están diseñados por HP.

Tanto al CESGA como a CénitS como a HP queremos agradecerles su apoyo en los grandes retos supercomputacionales que hemos logrado. En este último además a la acción ICTS promovida por el CESGA y el Ministerio de Ciencia e Innovación.

HEMCUVE es un acrónimo de Hierarchic Electromagnetic Code of the Universities of Vigo and Extremadura. Hacemos uso de ese nombre para nombrar al macrogrupo formado por el grupo dirigido por mi en la Universidad de Extremadura y el dirigido por Fernando Obelleiro en la Universidad de Vigo. Hacemos llamar a nuestro código HEMCUVE++ (HEMCUVE más 1). El código es altamente escalable y aprovecha de manera muy eficiente arquitecturas de computación híbridas que usan a la vez memoria compartida y distribuida. Está realizado en C++, y utiliza los estándares OpenMP y MPI.

lunes, 16 de agosto de 2010

The billion one Challenge

El 15 de agosto de 2010 el equipo HEMCUVE formado por científicos de las universidades de Extremadura y Vigo han analizado el mayor problema electromagnético de la historia conteniendo más de un billón de incógnitas. El problema analizado es la sección radar de la NASA Almond a la frecuencia aproximada de 3,5 THz.

El análisis se ha realizado en el supercomputador Finis Terrae (desarrollado por HP) del CESGA utilizando para ello un total de 1024 procesadores Itanium, 4,3 TB de memoria RAM y menos de 24 horas de cómputo total.

El trabajo ha sido llevado a cabo mediante un acceso al CESGA financiado por el Ministerio de Ciencia e Innovación. Esta acción da respuesta a varios de los hitos que el equipo está desarrollando en el proyecto Consolider-Ingenio TERASENSE, donde se desarrollan nuevas metodologías y equipos en el campo de los terahercios y la nanotecnología.

Este récord mundial en el campo del electromagnetismo supera la cifra del billón de incógnitas, considerado como uno de los grandes retos científicos del electromagnetismo computacional del siglo XXI.

miércoles, 16 de junio de 2010

Itanium Innovation Award 2010 finalist

El equipo HEMCUVE (Universidad de Extremadura y Universidad de Vigo) junto con la fundación COMPUTAEX ha sido anunciado como finalista de los Itanium Innovation Awards 2010 en la categoría de Computationally Intensive Applications. El premio será anunciado en ceremonia de Gala en San Francisco el 14 de septiembre de 2010. Los otros dos finalistas son eBay y la Universidad de Málaga (enhorabuena a otra institución española por optar al premio).

Esta es la segunda vez que el grupo HEMCUVE es candidata al premio. En 2009 el premio se otorgó a HEMCUVE junto con el CESGA. Esperamos volver a tener suerte en esta segunda nominación.

El jurado ha valorado las nuevas estrategias de computación de problemas electromagnéticos específicamente diseñadas para servidores basados en la tecnología itanium, que han servido para resolver problemas prácticos relacionados con el mundo de la automoción. Estos problemas son los más grandes resueltos hasta la fecha en electromagnetismo en todo el mundo.

Por otra parte, la fundación COMPUTAEX ha sido galardonada con el Itanium Innovation Award 2010 en la categoría de Humanitarian Impact por su contribución al avance científico y social con su número importantes de proyectos que se están llevando a cabo.

Más información: www.computaex.es

Caso de éxito resuelto por HEMCUVE. Respuesta electromagnética de un Citröen C3 a 79GHz



miércoles, 23 de diciembre de 2009

Record del mundo en el supercomputador Lusitania







El grupo de investigación HEMCUVE, formado por científicos de la Universidad de Extremadura y de la Universidad de Vigo, junto con el Centro Extremeño de Investigación, Innovación Tecnológica y Supercomputación (CénitS) han resuelto el problema electromagnético más grande jamás analizado en el Supercomputador extremeño Lusitania.

En concreto se ha resuelto un problema con 620 millones de incógnitas para modelar el comportamiento electromagnético de un automóvil a frecuencias de 79GHz de forma rigurosa. Esta nueva marca supera el anterior record de 500 millones de incógnitas que poseía el mismo grupo en el supercomputador Finis Terrae del CESGA. Triplica el máximo problema que otros científicos han conseguido resolver (en concreto del grupo BILCEM liderado por Levent Gürel).

Para la consecución de este hito se han utilizado los 256 núcleos de procesamiento de Lusitania y 1.6TB de memoria RAM, y un total de 20 horas de uso del supercomputador.

Los datos del análisis realizado serviran de base para el diseño de los nuevos sistemas de seguridad automovilística(tanto de sistemas anticolisión como sistemas de guiado o sistemas radar), para los que la Unión Europea ha asignado la banda de 79GHz.

El equipo HEMCUVE, ha sido galardonado este año con los premios internacionales PRACE e Itanium Innovation por su contribución al electrognetismo en la esfera de la supercomputación. El grupo está liderado por los profesores José Manuel Taboada y Luis Landesa en la Universidad de Extremadura y por Fernando Obelleiro y José Luis Rodriguez de la Universidad de Vigo. José Manuel Taboada ha destacado que haber conseguido este record es fruto de numerosas contribuciones científicas del grupo; por su parte Luis Landesa ha destacado las especiales características del supercomputador extremeño Lusitania que lo hacen muy indicado para la consecución de grandes hitos científicos.

El CénitS que alberga el supercomputador Lusitania en Trujillo, inaugurado este año, es el centro de referencia en Supercomputación en Extremadura. Está dirigido por el Doctor en Ingeniería Informática José Luis González Sánchez quien ha destacado el excelente comportamiento y la gran acogida del supercomputador extremeño en su menos de un año de andadura; al igual que éste logro mundial se están produciendo otros hitos no menos importantes gracias a Lusitania.

Más información en http://cenits.es y en http://tsc.unex.es/~llandesa/


jueves, 24 de septiembre de 2009

Itanium Innovation Award 2009: Computationally Intensive Applications WINNER


The Itanium Solutions Alliance has announced the winners of its third annual Itanium Innovation Awards. In the category of Computationally Intensive Applications the winner has been the team formed by University of Extremadura, University of Vigo and Centro de Supercomputación de Galicia (CESGA). This award has been announced in September 23, in a Gala ceremony in San Francisco at the San Francisco Museum of Modern Art.

This prize award the research in Computational Electromagnetics using the Finis Terrae Supercomputer to analyze massive computational electromagnetics problems, the largest with more than 500 million unknowns, for improvement of design in industry.

We accept this very important award for the work in CESGA, Finisterrae, using Itanium-based HP Integrity servers with 1,024 parallel processors and 6TB of memory in attaining the first-of-its-kind solution. The Itanium architecture was key to the success of the effort, as the rigorous integral equation-based solvers used in computational electromagnetics consume massive amounts of RAM memory in such large-scale, real-world calculations.

miércoles, 29 de julio de 2009

Itanium Innovation Awards 2009


Recently, Intel Itanium Solutions Alliance inform us that we are finalists to the Itanium Innovation Awards 2009 in the Category of Computationally Intensive Applications, for our work in Computational Electromagnetics.

The Winner will be announced at the 2009 Innovation Awards Celebration on September 23, 2009 at the San Francisco Museum of Modern Art.

The finalists are (1) CESGA/University of Extremadura/University of Vigo, (2) University of Warwick in the United Kingdom, (3) Revenue Management Solutions, and (4) HOPS International

More information in: http://www.itaniumsolutions.org/itanium_innovation_awards

lunes, 20 de abril de 2009

PRACE Award 2009

Our work in scalable supercomputing in electromagnetics has been awared with the PRACE Award 2009.

This is an important award in High Performance Computing (HPC) and Supercomputing.

We will receive this prize in the International Supercomputing Conference (ISC'09) at Hamburg.

martes, 20 de enero de 2009

Nota de prensa

NUEVO RECORD MUNDIAL EN SIMULACIÓN ELECTROMAGNÉTICA:






José Manuel Taboada (UEX)









Luis Landesa (UEX) y Fernando Obelleiro (UVigo)

EL GRUPO HEMCUVE RESUELVE 500 MILLONES DE INCOGNITAS CON EL FINIS TERRAE

 

  • La escalabilidad del algoritmo HEMCUVE++ unido a la arquitectura y capacidad del Finis Terrae permite plantear retos aún mayores.

 

  • Tiene ya aplicaciones en ámbitos novedosos, como los radares de automoción o la investigación de metamateriales para paneles de invisibilidad.

 

Santiago de Compostela, 20 de enero de 2009.- Los miembros del grupo HEMCUVE, compuesto por investigadores de las Universidades de Extremadura y Vigo, junto con técnicos del Centro de Supercomputación de Galicia (CESGA), han comenzado el nuevo año batiendo un nuevo record mundial en simulación electromagnética: 500 millones de incógnitas, resueltas a principios del mes  de enero en el supercomputador FINIS TERRAE. El anterior record mundial, ostentado por este mismo grupo, supuso la resolución de 150 millones de incógnitas y, vista la escalabilidad del algoritmo, en fechas próximas podría llegar a duplicarse esta última cifra, apuntando ya al billón americano.

 

El empleo de algoritmos eficientes para la resolución de problemas de este tamaño es fundamental, ya que la resolución "clásica" implicaría almacenar del orden de 500 millones de DVDs (lo que equivaldría a utilizar 20.000 veces la memoria del
ordenador más potente del mundo, El RoadRunner del Laboratorio de Los
Álamos, Texas). Tan solo el almacenaje del resultado final del problema ocuparía completamente un DVD.

 

La aplicación empleada en el reto, HEMCUVE++, tiene la cualidad fundamental de utilizar de forma eficiente un número elevado de procesadores, aprovechando así la potencia de los grandes supercomputadores. En esta ocasión se han empleado para los cálculos los mismos nodos y procesadores que se emplearon para el reto anterior, es decir, 64 nodos completos del Finis Terrae, 1024 cores (aproximadamente el 42% del supercomputador). La memoria RAM empleada fue en torno a 6 TB. En cuanto al tiempo empleado, se utilizaron unas 12 horas en los cálculos iniciales (setup), empleando 26 horas de resolución para asegurar la alta precisión del resultado, 20 más que las empleadas para resolver el reto anterior.

 

El supercomputador gallego ha vuelto a mostrar su capacidad, comportándose de forma excelente durante el reto, aunque según los miembros del Grupo HEMCUVE, el uso que de él hicieron fue “extremadamente exigente”. En este sentido destacan que “aunque existen máquinas más potentes, la arquitectura de Finis Terrae es idónea para nuestra aplicación”. Y es que al disponer de mucha memoria por procesador, facilita enormemente los cálculos, reduciéndose de forma considerable el tiempo de cálculo y el consumo total de memoria.

 

De nuevo y como en retos anteriores, cabe señalar la estrecha colaboración entre investigadores y técnicos responsables del Finis Terrae,  clave para el cumplimiento del objetivo.

 

 

Un algoritmo que “escala muy bien”

Aunque inicialmente se pretendían calcular 250 millones de incógnitas, la escalabilidad del algoritmo empleado (un algoritmo es escalable cuando puede utilizar un gran número de procesadores de modo eficiente), ha permitido duplicar el número de incógnitas resueltas.

 

La aplicación empleada en el reto (HEMCUVE++) es el resultado de un proceso de desarrollo continuado del equipo investigador, iniciado en el año 1999 a través de un proyecto financiado por NAVANTIA. Después de mucho tiempo utilizando técnicas aproximadas, que aportaban una idea un tanto burda del comportamiento electromagnético de las estructuras, la evolución de los ordenadores y el desarrollo algorítmico han permitido que, a través de técnicas de gran rigor, se puedan analizar estos problemas.

 

A pesar de que los trabajos realizados para abordar este reto forman parte del ámbito de la investigación básica, “el código computacional que estamos desarrollando nos servirá para los usos aplicados en los que trabajamos”, explica Luis Landesa, miembro del equipo procedente de la Universidad de Extremadura. “Estamos hablando de millones de incógnitas que nos permitirán analizar y en último término predecir el comportamiento electromagnético de estructuras de grandes dimensiones eléctricas con un lujo de detalles hasta ahora inabordable y esto sin duda supondrá importantes ventajas competitivas para aquellas industrias con acceso a esta tecnología”.

 

 

Aplicaciones prácticas: de los radares a la invisibilidad

Precisamente un ámbito de aplicación novedoso de esos usos e los que se está trabajando, son los radares de
automoción que paulatinamente se están incorporando a los automóviles
como elementos de seguridad (alerta de cambio de carril, advertencia de
vehículos en el ángulo muerto, control avanzado de velocidad de crucero,
etc.). El comportamiento en términos radar de los distintos objetos de
interés (vehículos, peatones, señales de tráfico, guardarraíles, etc.) es
prácticamente desconocido, lo que afecta a las prestaciones de los
sensores que se incorporan a los vehículos. Según señala José Luís Rodríguez, de la Universidad de Vigo, “esta herramienta permite
modelar este tipo de problemas, siendo posible variar todos los
parámetros de operación, lo que permite un importante ahorro tanto
económico como de tiempo respecto a pruebas experimentales”. Actualmente tienen en marcha un proyecto conjunto con el Centro Tecnológico de Automoción de Galicia, CTAG, para el estudio y posible desarrollo de radares de automoción a 79 Giga Hertzios, a través del estudio del comportamiento de un vehículo en modelo sometido a esta frecuencia.

 

Pero el rango de aplicaciones posibles es muy amplio. Cabe
resaltar la resolución de problemas electromagnéticos en el diseño de grandes estructuras dotadas de sistemas de radio, como barcos, aviones y vehículos terrestres, buscando la manera más eficiente de simular el comportamiento electromagnético de las estructuras en la etapa del diseño. Hasta ahora el diseño
de antenas en entornos complejos (aeronaves, barcos, satélites) se
llevaba a cabo de forma individual para cada antena, y las posibles
perturbaciones que causaban unas sobre otras o incluso la interacción
con la estructura portante eran consideradas de forma aproximada. Este
grado de aproximación tenía como consecuencia que en muchas ocasiones
una vez integradas todas las antenas aparecían problemas de
funcionamiento que obligaban a modificar el diseño, con el consiguiente
aumento de costes y los retrasos correspondientes.

 

Con herramientas como estas se podrá abordar estos problemas de forma "global" de manera que se podrá conocer con precisión el comportamiento de los
equipos mucho antes de su montaje. La simulación permite hacer diseños virtuales de la estructura y observar también de forma simulada las reacciones e interacciones entre sus distintos elementos, como el de las antenas y radares”, detalla Fernando Obelleiro.

Este nuevo record mundial abre también la puerta a la aplicación del electromagnetismo computacional en campos como la biomedicina (imágenes radar para detección de tumores, influencia de terminales móviles en el cuerpo humano, etc.), diseño de metamateriales (materiales artificiales con propiedades electromagnéticas inusuales, con gran importancia en la creación de superlentes o paneles de invisibilidad), o el desarrollo de radares de penetración terrestre para la detección de minas antipersona, estructuras geológicas en el subsuelo, etc.

Acerca del equipo investigador

El equipo está compuesto por los investigadores Fernando Obelleiro y José Luis Rodríguez de la Universidade de Vigo y por Luis Landesa y José Manuel Taboada de la Universidad de Extremadura.

 

El equipo trabaja de forma coordinada desde hace años entre otros para la Armada y la empresa Navantia desarrollando sistemas que permiten abordar, mediante cálculos en supercomputadores como el Finis Terrae, estudios de compatibilidad electromagnética, con el objetivo de detectar interferencias entre antenas, predecir niveles de radiación peligrosa, estudiar su superficie equivalente radar, etc.

 

El grupo de la Universidad de Vigo es asesor técnico del CEMEDEM, el Centro de Medidas Electromagnéticas de la Escuela Naval de Marín, y recientemente han comenzado un nuevo proyecto sobre radares de automoción con el Centro Tecnológico de Automoción de Galicia, CTAG.

 

Por su parte, además de la colaboración con la Universidad de Vigo y el CESGA, el
equipo de electromagnetismo computacional de la Universidad de
Extremadura desarrolla métodos avanzados de computación de fenómenos
electromagnéticos en supercomputadores para aplicaciones navales,
análisis y diseño de sistemas radiantes, análisis de metamateriales,
análisis de la sección radar de aviones y buques o reducción de
niveles de exposición electromagnético entre otros. En el presente año
esperan lograr otros retos computacionales en electromagnetismo en el
nuevo supercomputador extremeño Lusitania.

 

 

Acerca de CESGA

El Centro de Supercomputación de Galicia (CESGA) es el centro de cálculo, comunicaciones de altas prestaciones y servicios avanzados de la Comunidad Científica Gallega, sistema académico universitario y del Consejo Superior de Investigaciones Científicas (CSIC). CESGA alberga el superordenador FINIS TERRAE, reconocido como  Instalación Científico Técnica Singular por el Ministerio de Ciencia e Innovación.



viernes, 9 de enero de 2009

500,000,000 Nuevo Récord (0,5 billion)


En Enero de 2009 hemos analizado el RCS de una esfera de 730 longitudes de onda de diámetro discretizada con 500 millones de incógnitas. Hemos alcanzado el medio billón americano.

El problema se analizó entre los días 6 y 7 de Enero de 2009 en el supercomputador Finis Terrae del CESGA utilizando para ello 1024 procesadores y alrededor de 6TB de memoria RAM en un total de 12 horas de inicialización y 12 horas de computación.

Con esta cifra se da un salto cualitativo sobre anteriores marcas. Hemos analizado el problema electromagnético más grande hasta ahora. 

Para concluir con éxito este desafío hemos utilizado nuevas metodologías diseñadas por el equipo científico, basadas en su mayoría en la combinación de la estructura multinivel del MLFMA, en la fuerte asincronía del método diseñado, el enfoque en direcciones del algoritmo FMM-FFT, y en la superación de ciertas barreras computacionales que impone la actual tecnología. En cuanto al código, siguiente evolución de HEMCUVE y HEMCUVE++, está basado en la combinación de estándares OpenMP y MPI para poder ejecutarse en supercomputadores de memoria mixta como Finis Terrae.

Pese a la exigencia en recursos de computación del presente desafío, Finis Terrae se ha comportado de una manera excelente, siendo los resultados finales los que han avalado el éxito de este desafío.

miércoles, 1 de octubre de 2008

Levent Gürel: 167 millones

Recientemente, finalizando septiembre de 2008, el grupo de Levent Gürel ha establecido un nuevo récord: 167 millones de incógnitas.

La competencia en este desafío es muy buena, gracias a ella se está consiguiendo nuevas técnicas para poder analizar rigurosamente el comportamiento electromagnético de cuerpos excesivamente grandes.

Felicidades al grupo de Levent Gürel, y esperamos que para finalizar este año podamos volver a superar el récord. Los detalles de su récord no los conozco. El pasado lunes hemos invitado al profesor Gürel al Workshop on High Performance Computing Applications. Por motivos de esceso de trabajo yo no he podido asistir, pero en estos días me darán detalles de este último récord. 

domingo, 14 de septiembre de 2008

Prensa

Uno de los aspectos que más nos ha desbordado es la salida en prensa del récord conseguido. Pero es de agradecer el interés que diferentes espacios informativos de prensa escrita y digital, radio y televisión han mostrado en nuestro logro. Al contrario de lo que esperábamos, la tónica general ha sido un respeto a la noticia (en cuanto a que no se han inventado cosas que no hemos hecho, por lo general). 

Aún seguimos impresionados de la difusión de la noticia y de que siga apareciendo y sigan preguntándonos por el alcance del logro científico. Sirva como ejemplo, el video que aparece en esta entrada que apareció el sábado 13 de septiembre.

viernes, 5 de septiembre de 2008

Siguiente desafío: 250 millones de incógnitas

¿Para cuándo? A final del año 2008.

El siguiente desafío supondría volver a casi doblar de nuevo el récord. Los grupos implicados serían los mismos y la idea inicial es utilizar los mismos (o pocos más) recursos de computación de nuestra actual marca vigente.

Aunque no he dedicado todavía entradas de este blog a "contar" la estrategia que hemos seguido para la consecución del récord (un MLFMM o MLFMA clásico pero introduciendo conceptos novedosos y avanzados que permiten abarcar recursos de supercomputación), la superación de 250 millones de incógnitas se podrá realizar volviendo a realizar dos o tres vueltas de tuerca más a la citada estrategia. A su vez, al llevar el análisis electromagnético al límite de lo nunca analizado se observan ciertos aspectos que inducen a pensar que traerían problemas para una futura marca. Estos aspectos serán corregidos o aliviados para final de este año.

¿Pero a dónde conduce nuestro afán de superar récords? No en vano, hemos recibido críticas sobre cual es la contribución científica de conseguir estos récords. Como desafío, conduce claramente a nuevas contribuciones científicas muy importantes que nos permiten avanzar a pasos de gigante en el ámbito científico del electromagnetismo. De hecho, este juego no es por alimentar egos sino por demostrar que nuestris avances en electromagnetismo permiten a la ciencia abarcar problemas cada vez más complejos y por tanto más relacionados con la realidad. Por ejemplo, con las cifras que se están manejando ya sería posible con la mayor exactitud posible analizar la dispersión electromagnética de grandes aviones (tanto civiles como militares) en frecuencias de radar, cuya utilidad directa es la predicción del comportamiento de estos vehículos frente al radar o todos sus sistemas de radio y radionavegación.

¿Por qué exactamente 250 millones? Antes de implementar las estrategias hemos dedicado mucho tiempo a analizar el posible resultado de las mismas en problemas muy grandes a partir de los resultados que conseguimos en nuestros pequeños sistemas de computación así como en el arcaico uso del lapiz y papel. Las nuevas estrategias que ahora mismo están en fase de desarrollo permiten reducir parte de la memoria RAM, aumentar la escalabilidad aún más, y aprovechar el buen balance de carga de las estrategias diseñadas. Cuando llegue el momento podrán ser más, pero nuestro desafío ya de por si no es poco conservador y los cálculos que hemos realizado predicen que podemos superar los 250 millones de incógnitas.

jueves, 4 de septiembre de 2008

La Junta de Extremadura aprueba la compra de un supercomputador

Leo después de confirmar un rumor que me ha llegado esta mañana:


La Junta de Extremadura aprueba la compra de un supercomputador
El Ejecutivo autorizó a la Consejería la adquisición de un ordenador supercomputador para cálculo científico y técnico, que colaborará en el desarrollo y la transferencia de tecnología y conocimiento a la comunidad investigadora extremeña.

La adquisición se hará a la empresa HP, ya que es la única que dispone de esta tecnología; permitirá ejecutar simultáneamente los sistemas operativos en entorno LINUX, UNIX y WINDOWS. La compra supondrá una inversión de 7.749.951 euros, que se gastarán en el presente ejercicio.
Enhorabuena a la Junta de Extremadura por esta iniciativa. Desde el equipo de investigación que represento, esperamos poder exprimir este supercomputador para la consecución de algún desafío científico mundial.

150,000,000

El titular de más de 150 millones de incógnitas es en realidad 150,039,552 incógnitas, muy ajustado, sí.

Me preguntaban estos días a qué problema correspondía. El desafío en el que varios grupos de investigación intentan batir el mayor problema jamás analizado consiste en analizar la dispersión biestática de una esfera de gran tamaño. Es decir, cuál es la dispersión en cada dirección del espacio de una esfera que es atacada por una onda plana electromagnética.

¿Por qué una esfera? Es la primera pregunta que tiene dos respuestas principales. La primera de ellas es que este problema tiene solución analítica en forma de serie infinita (fácilmente acotable). Ya que tiene solución analítica es sencillo comprobar que el resultado del desafío es correcto y la exactitud del mismo. Pero aún hay otra respuesta que conviene dejar patente. La esfera es una geometría que se ha impuesto para la superación de los récords, y por lo tanto es una normalización que respetamos. De no ser así, en nuestra mano hubiera estado el superar el medio billón (americano) de incógnitas sin problemas. Cabe decir que la estrategia del MLFMM que hemos seguido funciona de una manera más eficiente para superficies oblongas. Y existen superficies típicas de análisis electromagnético que cumplen esta premisa: la placa, la Almond de la NASA, etc. Puede decirse que, en general, la esfera necesita de más recursos y conlleva a mayores problemas prácticos en un código paralelo (muestra un comportamiento demasiado desequilibrado en los recursos empleados). Podemos partir de la conclusión de que la esfera conduce a que estén presentes casi todos los problemas prácticos en un análisis de dispersión electromagnética.

¿De qué tamaño es la esfera? En concreto en nuestro análisis tiene un diámetro de 400 longitudes de onda. Por ejemplo, en un análisis a 3GHz correspondería a una esfera de 40 metros de diámetro. En general (dependiendo de la bondad de la discretización de la esfera), se necesitan 100 puntos de discretización por cada longitud de onda al cuadrado, que a su vez generan el triple de incógnitas. Si hacemos la cuenta clavamos una cifra en torno a los 150 millones de incógnitas. En caso de una mala discretización necesitaríamos más incógnitas... Pero esto sería trampa porqué nos costaría mucho menos analizar el problema. Esta trampa no sería permitida. 

El anterior récord de Gürel de 85 millones de incógnitas correspondía a una esfera de 300 longitudes de onda de diámetro. El nuevo intento de Gürel consiguiendo 135 millones (sin arrebatarnos el récord) aunque no conocemos sus pormenores podemos estimar que correspondía a 380 longitudes de onda de diámetro, pues coincide con las cuentas antes explicada.

miércoles, 3 de septiembre de 2008

Researchers from the Universities of Extremadura and Vigo break the electromagnetic simulation world record at CESGA

English Press Release
They practically double the previous record after having solved a problem with 150 million of unknowns.

The new development allows immediate applications in the naval, aerospatial and telecommunications industries among others.

A mixed group of researchers from the Universities of Extremadura and Vigo and technicians from the Supercomputing Center of Galicia (CESGA) has succeeded in solving an electromagnetic problem with 150 million unknowns using supercomputer Finis Terrae, installed at CESGA, considerably far from the previous world record of 85 million unknowns by a Turkish research group. The scientific work to achieve this challenge continues, with the perspective of achieving 250 million unknowns this winter, also thanks to the support of CESGA's supercomputer.

The application used in the challenge (HEMCUVE++) is the result of a continuous development process by the research group, that began in the year 1999 through a project funded by NAVANTIA. The objective was accomplished thanks to the close collaboration among the researchers and the technicians in charge of Finis Terrae. In order to tackle this simulation, only 64 of its 142 nodes were needed; in other words, 1024 processing nodes and 5,4 Terabytes of RAM memory. The calculus were completed in 6 hours, 3 and a half of which were used to initialize the algorithm.

The researcher from the University of Vigo, Fernando Obelleiro, highlights that “Finis Terrae is a fantastic machine for this kind of challenge. Although there are more powerful machines, Finis Terrae's architecture is suitable for our application”.

Practical applications of the new development

There are many research groups all around the world competing to solve more and more complicated electromagnetic problems but, according to Luis Landesa, member of the team from the University of Extremadura, “what is interesting about this competition is to take full advantage of the resources available, what makes us think a lot and show our most scientific side”.

Despite the fact that the work to tackle this challenge is part of the basic research field, “the computational code we are developing will serve us for the applied uses we are working on”, explains Landesa.

The applied uses he is talking about are the solving of electromagnetic problems in the design of big structures equipped with radio, such as boats, planes and land vehicles. “The electromagnetic phenomena can be simulated computationally”, explains Obelleiro.

Thus, his work is focused on finding the most efficient way to simulate the electromagnetic behavior of the structures in the design stage in order to be able to verify and guarantee the fulfillment of the electromagnetic requirements imposed by the industry or the administrations, minimizing thus the problems after the manufacturing process. “When you build a boat you may have interference problems among its antennas. It would be very expensive to build it and then wait to see what happens, and that is the reason for the simulation, which allows us to do virtual designs of the boat and to observe simulatedly as well the reactions and interactions among its different elements, such as the antennas and radars”, details the researcher form the University of Vigo.

The key is in the new algorithm

The dimension of the problems that must be solved in order to do these simulations is huge. After having spent a lot of time using approximate techniques which gave a rough idea of the electromagnetic behavior of the structures, the evolution of the computers and the algorithmic development allowed the analysis of these problems by means of some very rigorous techniques. “We are talking about millions of unknowns that will enable us to analyze and even predict the electromagnetic behavior of structures with great electrical dimensions with a wealth of detail that had been unapproachable until now, and this will undoubtedly mean important competitive advantages for the industries with an access to this technology”, explains Landesa.

The algorithm developed by the research group allows scalabilities that were unthinkable until now. The code was executed on 1024 processing nodes with an efficiency rate close to 100%, while the previous attempts carried out by other teams only got to use 48 processors, showing a very low efficiency in their parallelization. This fact is of a vital importance in order to take full advantage of the capacity of the new generations of supercomputers, equipped with more and more processors.

This record also opens the door to the application of the computational electromagnetics in fields such as biomedicine (radar images for tumor detection, influence of mobile devices on the human body, etc), metamaterials design (artificial materials with unusual electromagnetic properties, with great importance in the creation of superlens or invisibility cloacks), or the development of ground penetrating radars for the detection of anti-personnel mines, geological structures in the subsoil, etc.

About the research team

The team is composed of the researchers Fernando Obelleiro and José Luis Rodríguez from the University of Vigo, and Luis Landesa and José Manuel Taboada from the University of Extremadura.

The team have been working coordinately for some years for the Armada and the company Navantia developing systems that allow them to tackle studies of electromagnetic compatibility by means of computing in supercomputers such as Finis Terrae, aiming to detect interference among antennas, to predict dangerous radiation levels, to study its radar equivalent surface, etc.

About CESGA

The Supercomputing Center of Galicia (CESGA) is the center for high-performance computing, communications and advanced services used by the Scientific Community of Galicia, the University academic system and the Higher Council for Scientific Research (CSIC).

CESGA houses the supercomputer Finis Terrae, recognized as Singular Scientific and Technological Infrastructure by the Ministry of Science and Innovation.


lunes, 1 de septiembre de 2008

Finis Terrae

Finis Terrae es el nombre de uno de los supercomputadores con memoria mixta más importantes de Europa. Si sumamos toda la longitud del cableado (sistemas de red y sistemas de alimentación, principalmente) calcularemos 85 kilómetros de cable: la distancia entre su ubicación física y la ciudad de Fisterra (Finisterre).

Finis Terrae comenzó a funcionar en febrero de 2008, donde agradecemos que se contara con nosotros para las primeras pruebas y primeros retos científicos. Consta de 142 nodos con 128GB de memoria cada uno y 16 núcleos de computación por nodo. Además de dos nodos de prueba Finis Terrae tiene dos nodos adicionales de características especiales: Uno con 128 núcleos de computación y 1TB de memoria y el otro con 128 núcleos y 384GB de memoria. Todos los nodos están interconectados con tecnología Infiniband. La red de interconexión es excelente, damos fé.

Cuando entró en funcionamiento ocupó el puesto 100 a nivel mundial en la lista de TOP500. Actualmente ha bajado posiciones. En España existe un supercomputador de otras características que ocupa el número 5 en el mundo: el Mare Nostrum.

El ranking mundial de supercomputadores no está exento de críticas: Nuestro problema pudo realizarse en el Finis Terrae, pero no está claro que pudiese ser soportado por el Mare Nostrum. Las diferentes arquitecturas y filosofías a la hora de diseñar los supercomputadores pueden resultar en sistemas que con peores posiciones en los ranking puedan solucionar problemas de mayor magnitud.

sábado, 30 de agosto de 2008

Actualidad: Se confirma nuestro récord tras nuevo intento turco

Lo que no podemos asegurar nunca de un reto de esta magnitud es que otro equipo de investigación logre idénticos o mejores resultados en la misma época. De hecho todos guardamos nuestras cartas hasta que lo hemos conseguido. Siempre hemos manifestado nuestra intención de superar los 100 millones de incógnitas en el verano de 2008, pero la idea era superar los 150 millones. El Professor Levent Gurel (foto) tenía otro as en la manga... 

Pues bien, hoy, el grupo del Professor Levent Gürel ha publicado la superación del récord de 85 millones de incógnitas a final de julio de 2008. Su nuevo intento ha logrado superar los 135 millones de incógnitas. Podemos confirmar entonces que estamos en posesión de récord del mundo ya que nuestros directos competidores han confirmado que están por debajo de los 150 millones de incógnitas.

El equipo que batió el récord


Luis Landesa (Universidad de Vigo) y Fernando Obelleiro (Universidad de Vigo) en las instalaciones del Finis Terrae.

Universidad de Extremadura
Luis Landesa







José Manuel Taboada









Universidad de Vigo
Fernando Obelleiro








José Luis Rodríguez








Centro de Supercomputación de Galicia (CESGA)
Andrés Gómez Tato






José Carlos Mouriño

jueves, 21 de agosto de 2008

El éxito: crónica de los diferentes fracasos.

Conseguir acabar de manera exitosa el reto de superar el récord del mundo no fue sencillo. Al igual que la primera vez que se quiso probar HEMCUVE++ sobre Finis Terrae, la semana del reto fue una locura. Hasta el cuarto día no se pudieron solucionar diferentes aspectos que inducían a pensar en el completo fracaso del reto. Todas las llamadas telefónicas del día 7 de agosto trataban sobre cómo justificar el fracaso...

En primer lugar nos encontramos con problemas de portabilidad. Este tipo de problemas yo ya me los esperaba. Es una utopía: aunque se trabaje con sistemas muy parecidos, con el mismo compilador, las mismas librerías, el mismo sistema operativo, la realidad es que las primeras ejecuciones de pruebas en el Finis Terrae fracasaban.

Primero, no escalaban al igual que en nuestro cluster Empire. A pesar de que nuestro cluster es muy modesto, el código escalaba mejor que en Finis Terrae. Los técnicos acabaron averiguando que era un problema de pining con la solución MPI/OpenMP. Costó averiguarlo porque parecía a todas luces que el pining era correcto.

Segundo y que nos costó averiguar: la FFT de la MKL en nuestras máquinas y en Finis Terrae nos daban diferentes resultados... Bien es verdad que hacíamos un truco extraño para declarar los descriptores de la FFT. Este truco en nuestras máquinas nos funcionaba y comprobamos que en Finis Terrae no. Debo dedicar un post especial a la FFT de intel, no como crítica, pues es tan completo que se deben aclarar ciertas cosas desde la experiencia. Conseguimos resolver el problema, sin necesidad de declarar los descriptores cada vez que se necesitaba una FFT.

Tercero, cuarto y consecutivos... Aparecieron varios bugs que empeoraban la escalabilidad cuando se aplicaba a ejemplos grandes o a un número de procesadores importantes. Uno de ellos, la lectura de disco de las excitaciones de entrada, hizo fracasar el reto en el primer intento serio. Este tipo de bugs eran esperados pues hay ciertas cosas que cuesta probar en un cluster pequeño, pero la experiencia nos hace que casi no existan.

Todo esto, era la crónica de un fracaso, pero el jueves noche despues del n-ésimo cambio se dejó la ejecución que finalmente vimos concluida a la mañana siguiente.

Este lucha sobre un posible fracaso es más agobiante de lo que pueda parecer. El acceso a una estructura de supercomputación como Finis Terrae está muy controlada. El fracasar suponía que al menos hasta dentro de 6 meses, en los que se pudiera tener acceso a un número importante de nodos en paralelo, no sería posible el intento del récord. In extremis, al igual que nuestro intento anterior, se consiguió analizar el reto científico propuesto.

Esta crónica, que coincide en parte con el anterior reto (igualar el record que estaba vigente a principios de 2007) en lo que respecta a fracasos, será la misma crónica que habrá en este invierno cuando intentemos 250 millones de incógnitas... Y parecerá más importante cuando esta cifra la traduzcamos al inglés: A quarter of billion of unknowns. Si es que lo conseguimos.

miércoles, 20 de agosto de 2008

Récord del mundo para la UEX

El 8 de agosto de 2008 concluimos el reto científico de superar el récord del mundo del objeto más grande jamás analizado en electromagnetismo.

Dicho objeto se modeló y analizó con más de 150 millones de incógnitas. Superamos por amplio margen el anterior récord de 85 millones de incógnitas obtenido por el grupo de investigación BILCEM de la Bilkent University dirigido por el Professor Gürel.

En dicho reto hemos participado científicos del equipo de electromagnetismo computacional de la Universidad de Extremadura, del grupo de antenas de la Universidad de Vigo y de dirigentes y técnicos del Centro de Supercomputación de Galicia (CESGA).

Para obtener el récord se ha utilizado el supercomputador Finis Terrae situado en las instalaciones del CESGA. Se han utilizado 64 nodos (1024 procesadores) y un total de 5,4 Terabytes de memoria RAM y un total de 6 horas de computación.

El código propio denominado HEMCUVE++ (versión mejorada de HEMCUVE) resuelve el problema electromagnético utilizando conceptos del Fast Multipole Method con diferentes estrategias a las utilizadas anteriormente por otros grupos. Este código ha presentado una escalabilidad excelente, lo cual ha permitido lograr dicho récord.

El récord no termina aquí. Una vez superada la cifra de 150 millones de incógnitas nos hemos planteado el reto de superar los 250 millones de incógnitas en diciembre de 2008. 

Además de a las otras instituciones implicadas en el récord mundial deseamos agradecer la financiación o los apoyos obtenidos desde el Ministerio de Ciencia y Tecnología, la Junta de Extremadura, los fondos FEDER, el Departamento de Tecnología de los Computadores y de las Comunicaciones, la Escuela Politécnica y la Universidad de Extremadura.

En este blog iré destacando todos los aspectos interesantes que han concluido en el récord mundial. ¿Cuál es la utilidad? ¿Tiene objetivos científicos dicho récord o únicamente sirve para satisfacer los egos personales de los científicos implicados? ¿Cuál ha sido la nueva estrategia para abordar el problema? ¿Qué aplicaciones puede abordar un código que permita analizar problemas electromagnéticos tan grandes?