HDFS 读文件源码学习
通过 IDEA 创建一个 maven 项目，在 maven 中加入 hadoop 依赖， 通过 Java 写一个最简单的 Demo，作为 HDFS Client…
5000 字干货 | 大数据之 HDFS 图文详解
全文没有代码，不要慌，主要是概念结合图片进行理解，觉得对你有用的话，坚持看完并提出建议。 大纲 HDFS 基本概念及特性 NameNode 和 DataNode…
2019 年终总结
2020 年：少瞎想多行动，实践出真知。 工作后最大的感觉：时间过得太特么快了。 工作 无论在实习还是正式工作中，经历过多次迷茫，每次与不同朋友沟通都有新收获，…
Hadoop 基础
什么是 Hadoop Hadoop 是由很多技术项目组成的一个生态系统。狭义的 Hadoop 有三个框架： 海量数据的存储 – HDFS（Hadoo…
Maven 打包可直接运行的 Java 程序
1、在 pom 文件中配置 assembly 插件; 2、maven package 打包; 3、在 target 目录下生成 jar 文件（与普通 jar 包…
Spring Boot 如何通过 Security Context 缓存账号密码
SecurityContextHolder 是用来保存 SecurityContext 的，通过 SecurityContextHolder.getContex…
shell 脚本将任务并行化
为了节省部署应用的整体时间，并且两个应用是相互独立的，此时可以将两个应用的部署流程分别封装在函数中，再通过 & 让进程在后台运行以及 wait 关键字，…
如何给 AWS EC2 磁盘扩容
对于未挂载过 EBS 的实例，操作步骤请参考官方文档：将 Amazon EBS 卷附加到实例 对于已经挂载过 EBS 的实例，我们要做仅仅的是扩容，在这个过程中…
AWS EMR 与 Azure HDInsight 产品分析
AWS 和 Azure 是全球最大的两家云厂商，分别对应于亚马逊和微软的云计算平台，本文要介绍的 EMR 和 HDInsight 分别是其大数据集群服务。下面先…
小白理解 Apache Kylin 到源码学习
用户视角 你是否面对海量数据查询缓慢而备受煎熬 ？受限于查询速度而只能屈服于数据量？想在同一个分析工具下分析不同来源的数据？想在不同的 BI 工具下仍具有敏捷的…