Scala & Spark And Hadoop Eğitimi
Scala & Spark and Hadoop eğitimi, veri analitiği ve büyük veri yönetimi süreçlerinde kullanılan bu popüler araçların etkin bir şekilde uygulanmasını öğretmektedir. Eğitim içeriği, hem teorik hem de pratik bilgilerle desteklenmiştir.
Scala & Spark And Hadoop Eğitim İçeriği
Eğitim Süresi: 5 Gün
Introduction of Scala
- Installation of Scala IDE
- Run first ‘Hello world’
- Variables and Expressions
- Functions
- Operations
- Exception handling
- Collections
Data Architecture
- Generic Data Architecture
- Lambda Architecture
- Event-driven Architecture
- Kappa Architecture’
Hadoop Architecture
- Apache Hadoop Overview
- Hadoop architecture
- Data Processing with MapReduce
HDFS Architecture
- HDFS architecture
- File formats like parquet
- Deploy file to HDFS
- Introduction of Hive
- Example query with Hive
- Hive best practises
Apache Sqoop
- Apache Sqoop Overview
- Import a file via Sqoop
- Export a file via Sqoop
Apache Spark
- Apache Spark Overview
- Apache Spark Architecture
- Features of Spark
- Using RDD , Dataset and DataFrame
- Example with RDD and DataSet
- Encoders
- Example with Encoder
- Using JSON, CSV, Parquet,
- Introductuon to SparkSQL
- Example with SparkSQL
- Hive integration
- Apache Spark integration with MySQL
- Important configurations for Spark
- Best practises for Spark
- Introduction to Spark Streaming