Cet axe regroupe tout le travail (algorithmie innovante, technologies émergentes, IA) permettant de repousser les limites et d’atteindre les objectifs de coût tout en maximisant l’efficacité énergétique. C’est aussi ici que l’équipe fait le pont avec d’autres disciplines / d’autres applications du HPC / HPDA, à travers des collaborations externes, notamment avec des partenaires étrangers.
La chaîne de traitement complète de l’observatoire SKA est décrite dans le schéma ci-dessous, depuis les capteurs scientifiques (à gauche) jusqu’aux moyens disponibles au post-traitement et à la réduction des données (à droite). Ce diagramme fait apparaître à haut niveau les défis tant technologiques qu’architecturaux qu’il faudra relever à court terme pour la réalisation de ce grand instrument.
Le sous-système SDP est identifié ici comme “Data Processing & Storage » avec une étiquette “High Performance Computing”. Alors que cette représentation à gros grains ne permet pas d’identifier le contenu spécifique de cette infrastructure (en terme de matériel et de logiciel), elle fournit un aperçu de ses caractéristiques principales ainsi qu’une vue de son environnement proche et des défis associés. À partir de considérations haut niveau sur l’architecture de la cyber-infrastructure du SKA, il est possible de tracer quelques lignes directrices pour le travail de R&D :
- Gestion des I/O :
- Compromis entre l’empreinte mémoire et le recours à l’utilisation des capacités de stockage dans le contexte de cet algorithme itératif
- Mise en œuvre d’une stratégie de pipelining entre l’étape d’ingestion des visibilités en entrées du système et le workflow de calibration / imagerie
- Parallélisation et distribution des tâches et des données :
- étude de la meilleure stratégie de parallélisation des tâches (à gros grains à travers les dimensions spectrale, spatiale et/ou temporelle, et à grains plus fins, à l’intérieur de l’approche itérative)
- stratégie d’exécution asynchrone des tâches, afin d’optimiser les performances en maximisant l’utilisation des ressources disponibles, grâce à une modélisation à travers un graphe de dépendance et dans le contexte d’un processus itératif où la gestion des I/O est un aspect critique
- étude du déterminisme temporel et de la reproductibilité des temps d’exécution dans le contexte d’un flux constant de données en entrée et d’une capacité limitée de stockage des données brutes
- Algorithmie applicative :
- réduction de la précision numérique / utilisation de précision variable à différents endroits du workflow
- étude de l’efficacité des différentes options algorithmiques (e.g. convolutions via Fourier ou algèbre linéaire) en fonction des librairies disponibles et des approximations possibles
- Portabilité / hétérogénéité :
- utilisation de modèle de programmation “general purpose” plutôt que “domain specific” afin d’assurer une plus grande portabilité et la capacité d’exécuter le workflow sur une architecture très hétérogène
- Meilleure intégration de la stratégie de gestion des I/O dans les modèles de programmation
- Utilisation d’outils de prototypage rapide, tout en garantissant un niveau de performance cohérent avec la capacité à mener une étude de dimensionnement système
- Changement de paradigme :
- Utilisation des méthodes de l’apprentissage profond pour la réalisation de tout ou partie de cette chaîne de traitement (filtrage / étalonnage / gridding / degridding / déconvolution / synthèse globale)
- Étude du niveau de confiance de ces méthodes, problématique de la disponibilité d’une “vérité terrain” pour le processus d’apprentissage, utilisation d’IA efficace (e.g. réseaux de neurones à impulsions).
Ces 5 lignes directrices permettent de définir 4 lots de travaux centraux de la R&D, représentés en bleu dans le schéma ci-dessous. À ceux-ci viennent s’ajouter les activités en amont (“Instrumentation & Objectifs Scientifiques” de l’axe “Radioastronomie” et “Specifications SKAO” de l’axe “SKAO”), un axe transverse à l’ensemble du travail de R&D sur la “simulation et la prédiction de performance” (axe SKAO), ainsi qu’un lot de travaux en aval sur les “Études système” visant à aboutir à une vision complète du design proposé (axe “Système”).
