Inicio
Contacto
Área privada
Sobre ES-NGI ES-NGI@EGI Centros de Recursos Portal de Usuarios Proyectos de investigación soportados Formación

Información Básica Para Usuarios

¿Qué es el GRID?

   

Para dar una definición correcta Ian Foster describe el GRID como una lista de tres puntos:

· Coordina recursos que no están sujetas a un control centralizado
· El uso de estándares, abiertos y protocolos e interface de propósito general
· Ofrecer de manera no trivial un servicio de calidad.

Por lo tanto, GRID es más que un sistema distribuido: es un sistema con un nivel bien definido y cuantificable de los servicios prestados, y con la coordinación del uso de los recursos, en comparación con el sistema de gestión centralizada. Se basa en interfaces y los estándares en lugar de las implementaciones definidas estrictamente (y por lo general limitada). Estos atributos ofrecen una gran flexibilidad que viene en el precio de un cierto grado de complejidad.A pesar de los esfuerzos constantes para mantener los costos de acceso y propiedad lo más bajo posible, hay una puesta en marcha no despreciable y una serie de problemas de soporte técnico que necesitan ser bien entendido. Para aplicaciones que no requieren grandes recursos de computación o almacenamiento, ni para el que la agregación de los recursos a través de sitios múltiples es una ventaja importante, un método más sencillo, por ejemplo, sobre la base de una granja localizada, puede ser más apropiado. Por otro lado, donde uno o ambos de estos es un requisito - tipificado por las necesidades de los grandes experimentos de Física de Altas Energías - la computación GRID ofrece una solución perfectamente probada. Incluso si este no es el caso, algunos de los conceptos básicos que son esenciales para la informática Grid - tales como la Organización Virtual (VOs) - bien pueden ser muy interesantes.

Motivación

Hay una amplia gama de aplicaciones que requieren grandes recursos computacionales y de almacenamiento - a menudo más allá de lo conveniente se puede proporcionar en un solo sitio. Estas aplicaciones pueden ser clasificadas como sigue:

· Provisionados: Lo que significa que los recursos se necesitan más o menos continuamente por un período similar o superior al tiempo de vida útil del hardware necesario.
· Programados: Cuando los recursos son necesarios para períodos más cortos de tiempo y los resultados no son necesariamente críticos en un instante de tiempo (pero más alto que para la siguiente categoría).
· Oportunistas: Donde no hay presión en el tiempo de urgencia.

Las razones por las que los recursos no se pueden proporcionar fácilmente en un único lugar son:

- La financiación: donde los grupos internacionales están bajo presión para gastar los fondos a nivel local en los institutos que forman parte de la red Grid.
- Energía y refrigeración: cada vez más es un problema con la aumento de los precios de la energía y la preocupación por los gases de efecto invernadero.

Por ejemplo, el WLCG (Worldwide LHC Computing Grid) son 140 centros de computación en 35 paises ofreciendo un servicio de 220k cores para computación y un servicio de almacenamiento de 168Pb muy por encima de lo que realmente puede ser proporcionada por un laboratorio de investigación individual en la actualidad.

En la actualidad, la adaptación de una aplicación existente para el entorno Grid requiere un profundo conocimiento no sólo del paradigma de la computación Grid, sino también del modelo de cálculo de la aplicación en cuestión. Esto requiere que los expertos tanto en el ámbito de aplicación como la tecnología Grid necesitan trabajar en conjunto para evaluar la idoneidad de la tecnología Grid y realizar la portabilidad necesaria en la configuración de la infraestructura.

   

Primeros pasos en la Red

Observaciones generales

La actual infraestructura de Grid es principalmente HUC desarrollada y apoyada por el sistema operativo Scientific Linux (Desarrollado por el CERN). El uso con otros sistemas operativos es posible, pero puede dar lugar a problemas de implementación mucho más difícil y requiere mucho tiempo e incompatibilidades de vez en cuando. La elección del sistema operativo tiene un impacto en la gestión de VO (el despliegue de los servicios de la red), así como en las aplicaciones (que debe ser capaz de ejecutar en un sistema operativo elegido).

Otra decisión importante que debe hacerse por la VO es la elección del middleware, la mayoría de los cuales son proporcionados por la European Middleware Initiative (EMI) de EGI (aunque se pueden considerar otros proveedores, tales como SAGA, StratusLab e IGE). Esta decisión se debe evaluar según la capacidad de las colas de middleware y diferentes los requisitos de las aplicaciones a alto nivel y los usuarios de VO.

Directivas VO

Una VO es una colección de sitios y usuarios de la infraestructura que se unen en una colaboración para lograr un objetivo común (por ejemplo, para llevar a cabo una simulación, para ejecutar una aplicación, etc.)

En general, la complejidad de la infraestructura de la red debe ser ocultada de los usuarios finales. Esto requiere la documentación que se proporciona en las primeras fases del proyecto y la simplificación de los procedimientos de interés para los usuarios. Una lista de los pasos claves a seguir por los gestores de una VO se detalla a continuación.

  1. El registro de una nueva VO: El primer paso es comprobar si la actividad puede ser organizada por una de las existentes VOs [EVOs]. Esto ahorra el esfuerzo de crear una nueva VO. La guía para el registro de una nueva VO que describe completamente el procedimiento, que incluye certificados de seguridad y una política de uso aceptable se puede encontrar en [ORF].

  2. Recursos: Las nuevas VOs tienen que recibir un conjunto mínimo de recursos sólo para las pruebas básicas - por lo general en oportunistas y ocasionales (como la producción para determinados fines) forma programada. Tal VOs deben encontrar los sitios Grid existentes que estén dispuestos a aportar los recursos a esta actividad.
Hay que diseñar correctamente el uso de la producción Grid, que no sean las primeras pruebas, para la aportación de los recursos correspondientes.

  3. Interfaz de usuario (UI): el envío de trabajos al middleware Grid requiere de una UI en un ordenador donde los usuarios tienen acceso al inicio de sesión interactivo. El método de instalación más sencillo sería utilizar las instrucciones de re-locatable tarfiles [RLT], también hay instrucciones generales de instalación para GliteUI [GGII]. La instalación de la interfaz de usuario es sun poco complicada.
La utilización de portales y otros entornos de alto nivel, integrado en la parte superior de la UI, oculta la propia UI más tediosa a los usuarios finales y hace que la instalación de la UI y su mantenimiento sea una tarea administrativa, que es manejado por el administrador del sistema de la comunidad y no por los miembros.

  4. áreas de software: Para aplicaciones que requieren instalaciones grandes y complejas, pre-instalado el código de aplicación en los sitios Grid que soportan una VO debe ser proporcionada (simples/pequeñas aplicaciones, los usuarios pueden enviar todos los archivos necesarios en cada job). Esto puede lograrse utilizando las credenciales de administrador de VO, las llamadas etiquetas de software y áreas de software. El área de software no es más que un directorio local en cada sitio, generalmente montados en un sistema de archivos de red y se comparte con los worker nodes (donde se ejecutan los jobs) de forma que los jobs pueden acceder a los archivos de la aplicación instalada allí. La etiqueta software es una forma de marcar un sitio para tener una cierta versión de la aplicación instalada, de tal manera que los usuarios pueden enviar jobs a estos sitios solamente. Hay muchos ejemplos de etiquetas software, puede verlas en [STE].

Usuarios VO

Los nuevos usuarios deben seguir el procedimiento de registro [RP]. La comprensión de los conceptos básicos de seguridad es esencial: los certificados digitales y claves públicas y privadas. La computación Grid gira en torno a dos conceptos clave: worker nodes (tareas de cálculo) y datos (acceso a los sistemas de almacenamiento distribuido). El manual de gLite [TGM] proporciona una introducción en profundidad a estos conceptos. El middleware gLite compatible con distintos tipos de jobs, incluyendo el tipo de job paramétrico para aplicaciones de barrido por parámetros. Los usuarios pueden proporcionar los requisitos de trabajopara cada job tales como los límites de tiempo de CPU y memoria, etiquetas software para aplicaciones instaladas, etc. El sistema busca automáticamente los recursos más adecuados para la ejecución del job y permite la especificación de los archivos sandbox llamados, que son transferidos desde el entorno del usuario final (UI) a los worker nodes. Este método es adecuado para la transferencia de archivos pequeños, donde el límite típico de todos los archivos en un sandbox es del orden de 10 MB. Herramientas de gestión de datos de apoyo a la distribución y transferencia de archivos más grandes. Los conceptos clave en la gestión de datos son: elementos de almacenamiento (SE) que son típicamente de almacenamiento masivo en sistemas distribuidos en Grid y catálogos de archivos (FC), que le permiten a uno hacer un seguimiento de los archivos y en algunos casos también de búsqueda de metadatos (por ejemplo, [AMGA] ).
Dado que los comandos gLite pueden ser difícil de usar, la gestión de trabajo puede simplificarse en gran medida mediante el uso de herramientas de alto nivel, como Ganga, que permite cambiar fácilmente entre diferentes tipos de middleware y sistemas locales de procesamiento de los jobs. Otras herramientas de interés se muestran en la [RESPECT] (Recommended External Software Packages for EGI Communities) en 'Aplicaciones y Herramientas". Referencias útiles y la lectura en profundidad se puede encontrar en la Guía del usuario de LCG [LCG User Guide].

Grandes Comunidades de Usuarios (HUC)

HUCs son comunidades virtuales de investigación (VRC) que han estado utilizando Enabling Grids for e-Ciencia y EGI de forma rutinaria y por lo tanto se han convertido en VOs más estructuradas y avanzadas en términos de uso del Grid. Estas comunidades se centran en cuestiones de dominio específico, como la forma de acceso de la Física de Altas Energías en las aplicaciones EGI, la forma de permitir nuevos experimentos de física de EGI y así sucesivamente.
Por un lado, estos equipos son administrados por proyectos externos, tales como WLCG, pero por otro lado, cuentan con miembros en el paquete de trabajo WP6 (también llamado SA3) de la EGI-INSPIRE. El esfuerzo de la distribución del equipo WP6 de EGI-INSPIRE está dirigido a la prestación de servicios compartidos que faciliten la portabilidad de las nuevas aplicaciones de estos dominios científicos a la Grid más amplia mediante la detección y explotación en común entre las VOs y conducir la implementación de una dirección genérica.
Al mismo tiempo la colaboración inter-VO resulta por lo general, no sólo en soluciones grandes, un significativo ahorro de mano de obra a largo plazo. Esos beneficios serían poco probable que se lograran con las estructuras de apoyo genérico, tanto para las comunidades individuales de gran tamaño como HEP (que básicamente podrían desarrollar múltiples soluciones similares a problemas comunes), como para todas las disciplinas (por ejemplo, el uso de Dashboards, Ganga y HammerCloud a través de comunidades).
En conclusión, las HUCs ofrecen beneficios no sólo a los nuevos adoptantes de la tecnología Grid, sino también el uno al otro. Esto sigue siendo demostrado, tanto por la adopción de nuevas herramientas desarrolladas para una comunidad se extiende a las demás, como nivel conceptual: menos óptima, pero ofrece una solución más pragmática para que las diversas comunidades.

¿Quiénes son las grandes comunidades de usuarios de la EGI-INSPIRE?

El propósito de esta sección es ofrecer una visión general de las HUCs actuales en EGI y de las capacidades y servicios que ofrecen. Para más información, por favor consulte el siguiente enlace: https://wiki.egi.eu/wiki/WP6:_Services_for_the_Heavy_User_Community.

· Física de Altas Energías (HEP)

La Física de Altas Energías representa los 4 experimentos del LHC en el CERN, que están completamente confiando en el uso de Grid Computing para la distribución de datos en línea para su procesamiento y análisis. Los sistemas informáticos HEP son probablemente los más complejos integrados en Grid actualmente. Los servicios que corrió por el HUC HEP se pueden clasificar en:

 - Sistemas de computación y servicios para experimentar: las colas software desarrolladas por los experimentos en la parte superior de la WLCG middleware para implementar sus modelos de computación en particular. Por ejemplo, Linear Collider Detector.
 - Servicios Middleware: VO independiente, de alto nivel Gridservices:
  . Data Management: Servicios para el descubrimiento y transferencia de datos, por ejemplo, LCG File Catalogue, gLite File Transfer Service, WLCG Disk Pool Manager,etc.
  . Workload Management: servicios que permiten a los usuarios enviar y gestionar jobs genéricos por lotes en los recursos Grid, por ejemplo, Ganga, gLite Workload Management System, etc.
  . Persistency: Framework para acceder a la interfaz de base de datos para almacenar y recuperar diferentes tipos de datos científicos, como el evento y las condiciones de los datos.
  . Monitoring: aplicación e interfaz de monitorización del sitio para seguir las actividades y el estado de la infraestructura Grid, por ejemplo, Dashboards, SAM/Nagios monitoring and HammerCloud.

EGI-INSPIRE WP6 SA3 apoya y contribuye al esfuerzo de desarrollo de algunos de estos servicios, en particular, a través de las subtareas TSA 3.2 0.1, 3.2.2 y 3.3.

· Ciencias de la Tierra (ES)

Sus aplicaciones abarcan diversas disciplinas como la sismología, la modelización atmosférica, la predicción meteorológica, pronóstico de inundaciones y muchos otros. Su presencia en SA3 se centra actualmente en la implantación, despliegue y mantenimiento del servicio EGDR para facilitar el acceso del Grid a los recursos dentro de la Ground European Network for Earth Science Interoperations - Digital Repositories (GENESI-DR).
El ES HUC incluye también a los investigadores y científicos que trabajan en el ámbito del cambio climático. En particular, la mayoría de ellos participan activamente en el uso de Climate-G. Este explota el servicio GRelC para la gestión de metadatos distribuidos y el portal Climate-G como puerta de entrada para esta colaboración científica.

· Ciencias de la Vida (LS)

La grupo de Ciencias de la Vida se origina en el uso de la tecnología Grid en los sectores médico, biomédico y la bioinformática con el fin de conectar los laboratorios de todo el mundo, compartir recursos y facilitar el acceso a los datos de una manera segura y confidencial a través de la health-Grids. Una lista de los servicios soportados y / o desarrollados por esta HUC es la siguiente:

 - Grid database management service: El servicio GRelC serán implementadas para poner en práctica algunos casos de uso específico. En las próximas semanas será enviado un cuestionario a la lista de distribución SA3 para obtener comentarios sobre las fuentes de datos disponibles que necesita una interfaz de acceso a la red de bases de datos (porting in Grid of existing/legacy databases).
 - Metadata catalogues: AMGA
 - Workflow engines: MOTEUR2 y Taverna
 - File encryption service: Hydra
 - Monitoring: Dashboard and Hudson.

· Astronomía y Astrofísica (A & A)

Originalmente, los institutos de Astronomía y Astrofísica generalmente adquieren los recursos necesarios en las instalaciones de computación locales y a menudo también se contrata el acceso a un conjunto de recursos en los centros de supercomputación. Sin embargo, algunas aplicaciones de A & A han crecido en complejidad y se considera muy adecuado para ser ejecutado en infraestructuras Grid. En este momento el HUC A & A se dedica a la evaluación de diferentes soluciones para la "Gridificacion" de una gran variedad de aplicaciones. En particular, el trabajo se centra en:

 - Visualization tools: VisIVO para la visualización de los datos recogidos es diversos proyectos del grupo.
 - Databases and catalogues: Actualmente, el HUC está evaluando la posibilidad de adoptar y adaptar las diferentes herramientas que ya están en producción (por ejemplo, AMGA, GRelC, etc.)
 - Parametric applications: El uso DIANE para estudiar las solicitudes paramétricas espaciales.

Además, uno de los principales objetivos es la realización de un buen nivel de interactividad entre las distintas tecnologías relacionadas con la supercomputación: High Performance Computing, High Throughput Computing, Grid y Cloud.

The knowledge

Aparte de los detalles específicos sobre los servicios y herramientas para las grandes comunidades de usuarios ​​y la forma en que podría aplicarse en otros lugares, quizás el beneficio más tangible en que los HUCs puede aportar es una gran riqueza de conocimientos y experiencias. Si bien este trabajo ha sido ampliamente documentado a través de EGEE y los hitos de EGI, los resultados y los informes, no hay mucho que ganar por un breve período de sesiones de la consultoría informal que puede aclarar muchas de las cuestiones descritas en detalle más adelante.

Después de haber leído este documento, las comunidades interesadas en ir más lejos se pueden poner en contacto con un miembro apropiado de la HUCs correspondiente, en base a los puntos de contacto que se detallan en [MS609] (HUC puntos de contacto y el modelo de apoyo).

Soporte al usuario en EGI y EGI-INSPIRE

La creciente demanda de los usuarios han dado el empuje necesario para el desarrollo y ampliación de la infraestructura Grid. Debe quedar claro que por lo tanto, el apoyo activo de estas comunidades es una preocupación primordial para el ecosistema EGI.eu / NGI y uno de los principales objetivos de EGI es aportar un valor añadido significativo para las comunidades de usuarios nuevos y existentes.

Las actividades de apoyo al usuario en EGI debe definir, implementar y operar los servicios y herramientas que permiten a los usuarios utilizar los servicios de infraestructura y desarrollar la auto-sostenibilidad de las comunidades Grid. Las comunidades autosostenibles son capaces de:

 - Portar nuevas aplicaciones a la infraestructura.
 - Ampliar la infraestructura de acuerdo a las necesidades de sus miembros.
 - Ampliar sus usuarios sin depender de los servicios de apoyo a los usuarios de EGI.

La auto-sostenibilidad de las comunidades de usuarios garantiza el uso permanente de la infraestructura Grid, un flujo continuo de los resultados científicos de las aplicaciones, y como resultado general, un interés a nivel europeo en el mantenimiento de la colaboración EGI.

Los Partners en el proyecto EGI-INSPIRE, en la User Community Coordination y WP6 (Servicios para grandes comunidades de usuarios) son los principales interesados ​​en definir y ejecutar los procesos de soporte al usuario en EGI. Se puede encontrar más información a través de los siguientes enlaces:

 - D3.1: https://documents.egi.eu/document/106

 - D3.2: https://documents.egi.eu/document/386

 - D3.3: https://documents.egi.eu/document/661



2017 © Spanish National GRID Iniciative Aviso legal