Documentación

Esta guía tiene como objetivo proporcionar información detallada sobre el proyecto, su estructura, y funcionamiento.

Menú de Contenidos

• Resumen del Proyecto
• Requisitos
• Dependencias
• Estructura del Repositorio
• Configuración del Entorno
• Flujo de Trabajo
• Arquitectura y Funcionamiento Interno
• Monitoreo

Resumen del Proyecto

Generación de alertas de eventos astronómicos detectados por la red de telescopios del proyecto ATLAS.

Requisitos

Registros de ATLAS:

• [Registro de observaciones nocturnas].
  • {root_path}/red/{telescope}/{nite}/{telescope}{nite}.log

head -5 /atlas/red/02a/58625/02a58625.log
Observation     MJD      Filt  Foc Etime TCCD    Sky     FWHM   Nstar   ZP     MAG5SIG   RA       Dec       AZ       ALT  QC             Object
02a58625e0001o 58625.17372 o   10530   2.0 -52.0    836.0   0.00      0   0.000   0.000   0.0000   0.0000     0.00     0.00 02022222992900 preflight
02a58625o0002o 58625.23799 o   10531  30.0 -52.4   4970.0   2.42  29888  22.191  17.820 133.8409 -16.9640   225.06    38.93 00100000000010 SN134S17
02a58625o0003o 58625.23846 o   10531  30.0 -52.4   5848.0   2.63  71059  22.145  17.530 138.5566 -37.9579   206.21    24.66 00101100000010 SN139S38
02a58625o0004o 58625.23896 o   10531  30.0 -52.4   5379.0   2.80  58179  22.117  17.590 161.7156 -47.5011   185.53    21.45 00101100000000 SN162S48

• [Catálogo de fuentes encontradas en las imágenes diferenciales].
  • {root_path}/diff/{telescope}/{nite}/{exp}.ddc

head -5 /atlas/diff/02a/58625/02a58625e0001o.ddc
#   RA        Dec     mag    dmag      x        y     major  minor  phi  det chi/N Pvr Ptr Pmv Pkn Pno Pbn Pcr Pxt Psc Dup  WPflx  dflx
 79.33780  45.12984  16.256  0.194  3580.55    31.84   3.93   3.69  77.10  0   4.67 131   0   0   0   0   0  36   0 832  0  1385.7   0.3
 76.46060  45.68639  19.834  0.151  2045.82    59.25   2.53   2.30  84.80  0   4.02   0 678   0   0  99   0   0   0 107  0     1.6   1.9
 75.73909  45.66336  18.605  0.100  1055.40    58.85   2.53   2.30  84.80  0   8.58   9   0   0   0   0   0   0   0 966  0  4826.8   3.4
 81.68144  45.68851  18.824  0.126  9156.95    59.08   2.53   2.30  84.80  0   2.26 142   0   0   0   0   0   0   0 515  0   998.4   2.7

• [Imágenes reducidas y calibradas].
  • {root_path}/red/{telescope}/{nite}/{exp}.fits.fz
• [Imágenes diferenciales (plantilla menos reducida)].
  • {root_path}/diff/{telescope}/{nite}/{exp}.diff.fz

Dependencias

Herramientas de ATLAS:

• skyangle Calcula detalles sobre el cielo en un MJD y una ubicación determinados. Se usa para calcular el amanecer y parar el stream.
• cm Fusiona dos archivos según los campos coincidentes. Se usa para determinar las fuentes coincidentes en varias observaciones.
• monsta Sistema de procesamiento de imágenes. Se usa para recortar las stamps.

Otros servicios:

• Apache Kafka Cola de mensajes. Aquí se envían las alertas.
• MongoDB Base de datos. Se usa como servicio de cross-match para fuentes.

Estructura del Repositorio

Archivos y directorios más importantes:

• /config: [Contiene un archivo de configuración.]
• /schema: [Contiene el esquema de salida de las alertas.]
• group_exposures.sh: [Escucha activamente el log de observaciones y acumula 4 por tesseletion.]
• create_objects.sh: [Filtra las fuentes encontradas en las imágenes diferenciales.]
• candids.sh: [Corta las stamps y prepara los metadatos de la alerta.]
• generate_alerts.go: [Envía las alertas a Kafka.]

Configuración del Entorno

Sigue estos pasos:

1. Ejecutar en un screen red-diff-rsyncs.sh que sincroniza los registros necesarios en SC02 desde SC01.
2. Configurar crontab para eliminar archivos con más de 20 días. 0 12 * * * find /data/atlas-local/*/*/ -maxdepth 1 -type d -mtime +20 -exec rm -r {} \;
3. Clonar código del proyecto.
4. Completar el archivo de configuración.
5. Configurar crontab para iniciar pipeline cada día a una hora cercana al la apertura del telescopio.

   40 18 * * * bash -lc "/home/alerce/production/group_exposures.sh 01a" 2>>/home/alerce/production/err.log 1>>/home/alerce/production/out.log
   40 18 * * * bash -lc "/home/alerce/production/group_exposures.sh 02a" 2>>/home/alerce/production/err.log 1>>/home/alerce/production/out.log
   45 06 * * * bash -lc "/home/alerce/production/group_exposures.sh 03a" 2>>/home/alerce/production/err.log 1>>/home/alerce/production/out.log
   50 12 * * * bash -lc "/home/alerce/production/group_exposures.sh 04a" 2>>/home/alerce/production/err.log 1>>/home/alerce/production/out.log
   

Flujo de Trabajo

graph  LR
A[group_exposures.sh] -- 4 observations --> B(create_objects.sh)
B  -- filtered sources --> C(candids.sh)
C  -- alerts --> D[generate_alerts.go]
D  -- avro --> E[Kafka]

Loading

Arquitectura y Funcionamiento Interno

Para comprender mejor cómo funciona el proyecto, exploraremos su arquitectura y funcionamiento interno:

• [Descripción de componentes clave].
• [Detalles sobre algoritmos utilizados].
• [Flujos de datos y procesos principales].

Monitoreo

1. [node_exporter].
2. [jmx_exporter].
3. [atlas_dashboards].