Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

ajouter le support swift à matchID backend (recipes.py) #193

Open
rhanka opened this issue Mar 16, 2020 · 3 comments
Open

ajouter le support swift à matchID backend (recipes.py) #193

rhanka opened this issue Mar 16, 2020 · 3 comments
Assignees

Comments

@rhanka
Copy link
Member

rhanka commented Mar 16, 2020

permettre l'accès direct à Swift tout comme cela a été fait pour S3

@rhanka rhanka self-assigned this Mar 16, 2020
@cristianpb
Copy link
Member

En utilisant curl ou le client swift ?

@rhanka rhanka changed the title ajouter le support swift à matchID backend ajouter le support swift à matchID backend (recipes.py) Mar 16, 2020
@rhanka
Copy link
Member Author

rhanka commented Mar 16, 2020

La question se pose pour l'issue #194 et non pour ce ticket, qui concerne le code python de matchID.

La question équivalente est plutôt : via la librairie python swift officielle ou via request.

Sur histovec, via Dataiku nous utilisions plutôt la librairie request standard pour éviter d'installer un composant supplémentaire dans l'environnement de production.

Sur matchid, il semble plus raisonnable d'utiliser la libairie Swift. L'avantage est de laisser la parallélisation (nécessaire pour une bonne perf) à la lib swift, plutôt que de faire une parallélisation custom (comme fait sur le dataprep histovec). L'inconvénient est l'augmentation de la taille du docker matchID, mais ça me semble mineur par rapport à l'ensemble des librairies (e.g. on intégère déjà le S3 assez conséquent, et surtout pandas et sci kit).

@cristianpb
Copy link
Member

Merci pour la précision. J'avais mal compris. Effectivement, je pense que c'est mieux la lib swift python

@rhanka rhanka mentioned this issue Apr 11, 2020
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants