LINUX PARA PROGRAMAÇÃO PYSPARK
😉 Tópicos:
00:00 | O que você vai aprender neste vídeo
00:37 | Download da fonte de dados no Kaggle
01:38 | Criando ambiente virtual na Anaconda com o comando conda
02:50 | Instalando Open JDK via conda
03:17 | Instalando Jupyter via
03:31 | Como apoiar o canal Unraveling Code
03:57 | Checando pacotes instalados
04:25 | Instalando extensões necessárias no VSCode
04:53 | Criando um Jupyter Notebook para instalações e testes
07:04 | Instalando o findspark e o pyspark
08:10 | Testando o PySpark
10:00 | Analise exploratória
28:55 | Encerramento: mensagem cósmica
Link para download da fonte de dados do Kaggle: https://www.kaggle.com/datasets/antoniocgg/sao-paulo-real-estate-prediction
Projeto no Github: https://github.com/edsonlourenco/projeto-analytics-v1
Comandos para criação do ambiente:
# listar ambientes:
$ conda env list
# cria o ambiente vazio:
$ conda create --name pysparkenv
# acessar o ambiente novo:
$ conda activate pysparkenv
# retornar para o ambiente base
$ conda activate base
# listar pacotes do ambiente ativo:
$ conda list
Instalações dentro do ambiente virtual novo:
# acessar o ambiente
$ conda activate pysparkenv
# instalar a open jdk
$ conda install openjdk
# instalar jupyter
$ conta install jupyter
# checar instalações
$ conda list
#anaconda #vscode #pyspark
-
0:08
danilosousa
1 year agoApache Spark
3 -
3:30
Tabular
11 months agoTabular Bits: Working with Athena and PySpark
1 -
13:24
Shane Welcher
2 years ago $0.01 earnedUsing Pylogix to Read PLC Data through a Python3 GUI
12 -
0:46
Danilo Sousa
2 years agoO que é um Dataframe ? | Apache Spark
7 -
2:03
Danilo Sousa
2 years agoRDD VS Dataframe | Apache Spark
5 -
1:12
Danilo Sousa
2 years agoSpark Sql VS Spark Dataframe
6 -
23:56
tomerbd
3 years agoReading Apache Spark Documentation
3 -
2:34
Danilo Sousa
2 years agoO que é um RDD no Apache Spark ?
3 -
1:22
Danilo Sousa
2 years agoComo Funciona um Job no Apache Spark ?
7 -
31:34
ultirequiem
1 year agoPython + Psycopg para conectarse a PostgreSQL en Docker | ft. PgAdmin
3