Open pavics for public access / update canarie registry #35

huard · 2018-04-04T12:34:12Z

Are there still show stoppers to get there ?

Zeitsperre · 2018-04-04T13:37:35Z

I've moved over the NCEP Reanalysis and all of CORDEX so far and am in the process of just putting the CCCMA CMIP5 data. Once that's done later today, I'll run the crawler and everything should be okay from my end.

huard · 2018-04-04T13:38:57Z

Good! But is that a requirement for opening up access ?

Zeitsperre · 2018-04-04T13:43:45Z

No, I suppose not. The one major issue I can see with pavics.ouranos.ca is that facet search is revealing no data, hence why we should probably run the crawler before public interacts with it. PAVICS was rebuilt yesterday so components are latest version.

huard · 2018-04-04T13:47:19Z

Agreed that's a show stopper for users, but a separate issue. I still suggest opening up to public as soon as problems outlined by Mourad are solved. Want to open separate tickets for all those issues ?

Zeitsperre · 2018-04-04T13:51:05Z

Sure thing. I won't open an issue for "no data" since running the crawler may solve the problem and I don't want to run it before the data is in. Will open issue about data transfer now.

dbyrns · 2018-04-19T14:02:11Z

@Zeitsperre and @moulab88 What is blocking this issue now? Can we move forward?

huard · 2018-04-19T14:12:19Z

One issue was changing the admin password to something stronger. Mourad is OK with the solution proposed by @dbyrns yesterday over the phone.

dbyrns · 2018-04-19T14:30:14Z

Ok so two tasks are now required:
-Change the admin password in the config file. Steps required :
stop, rm twitcher, magpie and postgres-magpie containers
flush the db located at /data/magpie_persist on the host
change the password in the config file
restart the container
create a user for the catalog crawler
change the config for the catalog in config/catalog/catalog.cfg
restart the catalog container
-Log into the canarie portal and set the entry point for our services to pavics.ouranos.ca

moulab88 · 2018-04-19T19:02:21Z

Task one is done. I also execute the crawler to check if all is correct. It will take him a few hours to finish.

dbyrns · 2018-04-19T19:25:16Z

@moulab88 I don't know if you have the required access for the canarie registry (I don't). If not, @tomLandry has the key and should be able to get you started.

moulab88 · 2018-04-19T19:42:41Z

No I don't have.

dbyrns · 2018-04-19T19:46:34Z

Before closing an issue we should request a verification from somebody else in the team to make sure that issue aren't close too soon and that they are fully done.
For now I understand that the CANARIE registry is still not updated so we must wait for that. Maybe @huard is better suited to do that?

dbyrns · 2018-05-14T13:52:29Z

@huard Il y a plusieurs urls de doc qui sont mal configurés pour le registre canarie.
Voir les liens contenu dans la page : https://pavics.ouranos.ca/canarie/
Ils doivent être mis à jour dans : https://github.com/Ouranosinc/PAVICS/blob/master/birdhouse/config/canarie-api/docker_configuration.py.template

@tomLandry Voici les routes à enregistrer auprès de canarie :
services :
node : https://pavics.ouranos.ca/canarie/node
indices : https://pavics.ouranos.ca/canarie/indices
bias : https://pavics.ouranos.ca/canarie/bias
renderer : https://pavics.ouranos.ca/canarie/renderer
slicer : https://pavics.ouranos.ca/canarie/slicer

platform :
pavics : https://pavics.ouranos.ca/canarie/pavics

@moulab88 , @ldperron
Le validateur mentionne délai dépassé (firewall bloqué?)
Voici comment les différentes routes précédentes peuvent être testé :
https://science.canarie.ca/researchsoftware/services/validator/service.html
https://science.canarie.ca/researchsoftware/services/validator/platform.html

Ceci est une urgence pour la démo de vendredi, les validateurs doivent être au vert.

dbyrns · 2018-05-14T13:57:20Z

La route stats aussi ne donne pas de résultat sur boreas : https://pavics.ouranos.ca/canarie/node/service/stats
Elle est basé sur un parser de log de nginx... Est-ce que le serveur proxy de boreas est monté différement?
Les infos contenu dans la config
DATABASE = {
'filename': '/opt/local/src/CanarieAPI/stats.db',
'access_log': '/var/log/nginx/access_file.log',
'log_pid': '/var/run/nginx.pid'
}
Servent au daemon à calculer les stats d'accès correctement.
@ldperron tu es peut-être le mieux placé pour répondre

huard · 2018-05-14T17:34:04Z

Je pense que c'est bon que @moulab88 soit aussi au courant pour les stats d'utilisation.

@dbyrns Pour les liens doc, tu voudrais que ça pointe sur les sections de la docum qui décrivent ces services plutôt que le point d'entrée de la doc ?

dbyrns · 2018-05-14T17:40:04Z

Le point d'entrée ça ne me dérange pas, mais pour l'instant la plupart des liens pointe vers des pages inexistantes.

huard · 2018-05-14T17:42:17Z

Ok, je corrige ça.
Pour le tryme, quelles sont les attentes de Canarie ?

huard · 2018-05-14T17:44:27Z

Aussi, en ce moment le supportEmail est [email protected]. Est-ce qu'on garde ça comme ça ou on remplace par [email protected] ?

dbyrns · 2018-05-14T17:46:30Z

@moulab88 si tu veux regarder pkoi le parser de log nginx ne semble pas fonctionner voici ce qui devrait se passer:
Le container docker de canarieapi lance au démarrage un cron job :
https://github.com/Ouranosinc/CanarieAPI/blob/master/canarieapi-cron

Qui fait appel à un parser :
https://github.com/Ouranosinc/CanarieAPI/blob/master/canarieapi/logparser.py

Qui scan les logs de nginx paramétré par la config :
https://github.com/Ouranosinc/PAVICS/blob/master/birdhouse/config/canarie-api/docker_configuration.py.template

Il s'occupe ensuite de faire la rotation des logs en envoyant le signal SIGUSR1au pid de nginx.

tomLandry · 2018-05-14T17:51:34Z

@huard : try me ça peut être une section de la documentation, un vidéo explicatif ou un tutoriel sur un sandbox. Ca a jamais été vraiment enforcé comme un point chaud où faut avoir une démo dispo pour tout le monde. Un "contact us for a demo" marcherait possiblement, quoique un peu cheap.

ldperron · 2018-05-14T18:41:48Z

Le courriel de support devrait être correct sur Boreas. Je l'ai géré dans pavics-compose.sh, via la variable SUPPORT_EMAIL

moulab88 · 2018-05-14T19:11:27Z

J'ai rajouté une ligne vide à la fin de /etc/cron.d/canarieapi-cron.
Ça semble débloquer maintenant.

dbyrns · 2018-05-14T19:19:03Z

Super ! Les stats sont de nouveaux disponibles.
Je vois maintenant 2 problèmes:

Up but returning unexpected response : Bad return code from https://pavics.ouranos.ca/magpie/groups (Expecting 200, Got 403
Effectivement il faut maintenant des droits pour obtenir les groupes... il faudra revoir ce test
Up but returning unexpected response : Bad response content from http://pavics.ouranos.ca:8983/solr/birdhouse/select?q=CMIP5&wt=json (Expecting : .catalog_url":".+birdhouse/CMIP5/CCCMA/CanESM2/rcp85/day/atmos/r1i1p1/pr/catalog.xml. Got : {"responseHeader":{"status":0,"QTime":1,"params":{...
Celui-ci est relié au contenu de solr... Il faudrait modifié le test pour fitter avec le contenu actuel de solr du côté d'ouranos.

Je n'ai pas accès au port 8983, il faudrait donc que @moulab88 s'occupe de l'erreur #2... je peux faire la #1

dbyrns · 2018-05-14T19:53:43Z

@moulab88 pour le #2 j'ai compris la subtilité... chez-vous les données CMIP5 sont directement sous birdhouse/CCCMA donc je vais templater la source.

moulab88 · 2018-05-14T19:55:32Z

Ok.

dbyrns · 2018-05-14T20:06:03Z

For reference : https://github.com/Ouranosinc/PAVICS/pull/74

moulab88 · 2018-05-17T15:07:42Z

L’accès à pavics.ouranos.ca est maintenant ouvert pour l’extérieur.

huard · 2018-05-17T15:48:14Z

Yé !

Balinus · 2018-05-17T17:42:04Z

Je suis de la maison et je n'arrive pas à charger pavics.ouranos.ca. Simplement la propagation DNS?

ldperron · 2018-05-17T17:43:15Z

Ça fonctionne si on met https://

Balinus · 2018-05-17T18:44:14Z

Pas de chez nous.
https://pavics.ouranos.ca/

Je réessaie demain.

dbyrns · 2018-05-17T18:45:21Z

J’ai fait les tests sur :
https://science.canarie.ca/researchsoftware/services/validator/service.html
avec : https://pavics.ouranos.ca/canarie/[service_name]

et sur :
https://science.canarie.ca/researchsoftware/services/validator/platform.html
avec : https://pavics.ouranos.ca/canarie/pavics

et on passe haut la main.
Reste juste à enregistrer les urls.

moulab88 · 2018-05-17T18:52:20Z

@Balinus Peux-tu faire: dig pavics.ouranos.ca

Balinus · 2018-05-17T18:58:55Z

proy@pop-os:~$ dig pavics.ouranos.ca

; <<>> DiG 9.10.3-P4-Ubuntu <<>> pavics.ouranos.ca
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: SERVFAIL, id: 57425
;; flags: qr rd ra; QUERY: 1, ANSWER: 0, AUTHORITY: 0, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 65494
;; QUESTION SECTION:
;pavics.ouranos.ca.		IN	A

;; Query time: 0 msec
;; SERVER: 127.0.0.53#53(127.0.0.53)
;; WHEN: Thu May 17 14:58:11 EDT 2018
;; MSG SIZE  rcvd: 46

ldperron · 2018-05-17T19:02:47Z

et : dig pavics.ouranos.ca @8.8.8.8 ?

Balinus · 2018-05-17T19:04:09Z

Ça semble bon!

; <<>> DiG 9.10.3-P4-Ubuntu <<>> pavics.ouranos.ca @8.8.8.8
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 11710
;; flags: qr rd ra; QUERY: 1, ANSWER: 2, AUTHORITY: 0, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 512
;; QUESTION SECTION:
;pavics.ouranos.ca.		IN	A

;; ANSWER SECTION:
pavics.ouranos.ca.	21599	IN	CNAME	boreas.ouranos.ca.
boreas.ouranos.ca.	21599	IN	A	207.162.87.155

;; Query time: 66 msec
;; SERVER: 8.8.8.8#53(8.8.8.8)
;; WHEN: Thu May 17 15:03:15 EDT 2018
;; MSG SIZE  rcvd: 83

ldperron · 2018-05-17T19:08:18Z

qqch ne va pas avec la configuration DNS sur pop-os donc. Ça semble être un Ubuntu sous dnsmasq... peut-être que le redémarrer va régler le problème.

Balinus · 2018-05-17T19:09:59Z

Bon désolé, l'erreur est vraiment de mon côté. Je viens de me souvenir que je me suis connecté sur le vpn d'Ouranos ce matin. Je viens de me déconnecter et ça fonctionne! 👍

edit - Super job en passant! :)

huard added this to the First official release milestone Apr 4, 2018

huard assigned Zeitsperre and moulab88 Apr 4, 2018

Zeitsperre mentioned this issue Apr 17, 2018

Server deployment issues should not be publicly accessible #38

Closed

huard changed the title ~~Open pavics.ouranos.ca for public access / update canarie registry~~ Open pavics for public access / update canarie registry Apr 17, 2018

moulab88 closed this as completed Apr 19, 2018

dbyrns reopened this Apr 19, 2018

dbyrns assigned huard, ldperron and tomLandry and unassigned Zeitsperre May 14, 2018

dbyrns added the critical label May 14, 2018

dbyrns closed this as completed May 14, 2018

dbyrns reopened this May 14, 2018

tomLandry closed this as completed May 18, 2018

Open pavics for public access / update canarie registry #35

Open pavics for public access / update canarie registry #35

Comments

huard commented Apr 4, 2018

Zeitsperre commented Apr 4, 2018

huard commented Apr 4, 2018

Zeitsperre commented Apr 4, 2018

huard commented Apr 4, 2018

Zeitsperre commented Apr 4, 2018

dbyrns commented Apr 19, 2018

huard commented Apr 19, 2018

dbyrns commented Apr 19, 2018

moulab88 commented Apr 19, 2018

dbyrns commented Apr 19, 2018

moulab88 commented Apr 19, 2018

dbyrns commented Apr 19, 2018

dbyrns commented May 14, 2018

dbyrns commented May 14, 2018 • edited Loading

huard commented May 14, 2018

dbyrns commented May 14, 2018

huard commented May 14, 2018

huard commented May 14, 2018

dbyrns commented May 14, 2018

tomLandry commented May 14, 2018

ldperron commented May 14, 2018

moulab88 commented May 14, 2018

dbyrns commented May 14, 2018

dbyrns commented May 14, 2018

moulab88 commented May 14, 2018

dbyrns commented May 14, 2018

moulab88 commented May 17, 2018

huard commented May 17, 2018

Balinus commented May 17, 2018

ldperron commented May 17, 2018

Balinus commented May 17, 2018

dbyrns commented May 17, 2018

moulab88 commented May 17, 2018

Balinus commented May 17, 2018

ldperron commented May 17, 2018

Balinus commented May 17, 2018

ldperron commented May 17, 2018

Balinus commented May 17, 2018 • edited Loading

dbyrns commented May 14, 2018 •

edited

Loading

Balinus commented May 17, 2018 •

edited

Loading