排序
apache spark 是什么
Spark是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速。Spark非常小巧玲珑，由加州伯克利大学AMP实验室的Matei为主的小团队所开发。使用的语言是Scala，项目的core部分的代...
2年前
VSCode 对 Scala 语言的支持情况及开发中的常见问题
vscode 对 scala 语言的支持情况良好，尤其是在安装了 scala (metals) 扩展后。1) 安装 scala (metals) 扩展，提供自动补全、代码导航等功能。2) 使用 sbt 作为构建工具时，需耐心等待项目初始...
1个月前
Scala 继承 Java 类并覆盖字段的实用指南
本文旨在解决 Scala 中继承 Java 类并覆盖其字段的问题。通过探讨使用受保护的构造函数和可覆盖的方法两种方案，详细解释了如何在 Scala 中修改 Java 父类的字段值，并提供了相应的代码示例，帮...
11天前
什么是apache kafka数据采集
什么是apache kafka数据采集？ Apache Kafka - 介绍 Apache Kafka起源于LinkedIn，后来成为2011年的开源Apache项目，然后在2012年成为Apache的一流项目。Kafka以Scala和Java编写。Apache Kafka...
2年前
Scala/Akka 与 Go 的选择：功能差异与适用场景
本文旨在探讨 Scala/Akka 与 Go 在并发编程方面的功能差异，并提供选择依据。尽管 Go 的 goroutine 和 channel 可以类比 Akka 的 Actor 和 ActorRef，但它们处于不同的抽象层级。选择哪种技术栈...
14天前
HBase配置文件加载是否正确如何测试以解决Kerberos认证连接问题？
HBase Kerberos认证连接问题及配置文件加载测试方法 在使用HBase时，通过Kerberos认证进行连接时，可能会遇到各种错误。这些错误通常与配置文件的加载和环境变量的设置有关。本文将详细介绍如何...
3个月前
SQL语言如何与Scala结合使用 SQL语言在大数据生态中的Spark SQL实践
spark sql执行sql查询的步骤为：1. 解析sql语句生成逻辑执行计划；2. 通过优化器对逻辑计划进行优化，如谓词下推和列裁剪；3. 将优化后的逻辑计划转换为物理执行计划；4. 在集群上分布式执行物...
11天前
19个实用vscode开发插件分享
工欲善其事必先利其器。本篇文章给大家总结分享19个我在开发中使用到的vscode插件，希望对大家有所帮助！ 1：Chinese (Simplified) Language Pack 中文语言插件 适用于 VS Code 的中文（简体...
10个月前
如何实现Python数据的近实时处理？流处理架构
python实现近实时数据处理的核心在于转向流处理架构，其关键组件包括数据摄入层（如kafka）、流处理引擎（如faust、pyspark structured streaming、pyflink）、数据存储层（如cassandra、mongod...
20天前
vscode如何调试scala vscode配置scala环境运行指南
调试 scala 在 vs code 上可行且步骤明确。1. 安装 scala (metals) 插件以获得语言支持；2. 配置 java 环境（jdk 8-17）并设置 java_home；3. 安装 sbt 构建工具；4. 创建 launch.json 文件配置...
32天前