LINUX PARA PROGRAMAÇÃO PYSPARK

😉 Tópicos:

00:00 | O que você vai aprender neste vídeo
00:37 | Download da fonte de dados no Kaggle
01:38 | Criando ambiente virtual na Anaconda com o comando conda
02:50 | Instalando Open JDK via conda
03:17 | Instalando Jupyter via
03:31 | Como apoiar o canal Unraveling Code
03:57 | Checando pacotes instalados
04:25 | Instalando extensões necessárias no VSCode
04:53 | Criando um Jupyter Notebook para instalações e testes
07:04 | Instalando o findspark e o pyspark
08:10 | Testando o PySpark
10:00 | Analise exploratória
28:55 | Encerramento: mensagem cósmica

Link para download da fonte de dados do Kaggle: https://www.kaggle.com/datasets/antoniocgg/sao-paulo-real-estate-prediction

Projeto no Github: https://github.com/edsonlourenco/projeto-analytics-v1

Comandos para criação do ambiente:

# listar ambientes:
$ conda env list

# cria o ambiente vazio:
$ conda create --name pysparkenv

# acessar o ambiente novo:
$ conda activate pysparkenv

# retornar para o ambiente base
$ conda activate base

# listar pacotes do ambiente ativo:
$ conda list

Instalações dentro do ambiente virtual novo:

# acessar o ambiente
$ conda activate pysparkenv

# instalar a open jdk
$ conda install openjdk

# instalar jupyter
$ conta install jupyter

# checar instalações
$ conda list

#anaconda #vscode #pyspark