[Desenvolvimento do webscraping - LinkedIn] Download do arquivo apontando para o AWS S3

[renata-olivmachado]

Tarefa da Story: #16

Desenvolver webscraping Python, podendo usar selenium ou outra lib.
O webscraping deve logar no LinkedIn, acessar a página do SJ e extrair os dados para o AWS S3.

[Moscarde]

Arquivo da classe ScraperLinkedin no repositório

Utilizando a seguinte configuração é possível passar um path específico para salvar arquivos baixados pelo driver:

options.add_experimental_option(
            "prefs",
            {
                "download.default_directory": self.DOWNLOAD_PATH,
                "download.prompt_for_download": False,
                "download.directory_upgrade": True,
            },
        )

Atualmente a inicialização do driver está sendo feita da seguinte forma:
(Porém é necessário revisar para a implementação em nuvem)

    def start_driver(self) -> webdriver:
        """
        Inicia o driver do Selenium.

        Returns:
            webdriver: Driver do Selenium.
        """
        if not os.path.exists(self.DOWNLOAD_PATH):
            os.makedirs(self.DOWNLOAD_PATH)
        else:
            for file in os.listdir(self.DOWNLOAD_PATH):
                os.remove(os.path.join(self.DOWNLOAD_PATH, file))

        options = Options()

        options.add_experimental_option(
            "prefs",
            {
                "download.default_directory": self.DOWNLOAD_PATH,
                "download.prompt_for_download": False,
                "download.directory_upgrade": True,
            },
        )

        try:
            driver = webdriver.Chrome(
                service=Service(ChromeDriverManager().install()), options=options
            )
            print("Driver iniciado com webdriver-manager")

        except Exception as e:
            if "'NoneType' object has no attribute 'split'" in str(e):
                print("Chrome não instalado")
                print("Driver iniciado sem webdriver-manager")
                driver = webdriver.Chrome(options=options)
            else:
                print(str(e))

        return driver