技术文章集合
kafka
kafka offset 介绍 查看文章
zookeeper + kafka 的leader机制 查看文章
kafka 一致性的重要机制 ISR,leader会维护一个与其基本保持同步的Replica列表,该列表称为ISR(in-sync Replica),每个Partition都会有一个ISR,而且是由leader动态维护。如果一个follower比一个leader落后太多,或者超过一定时间未发起数据复制请求,则leader将其重ISR中移除. 当ISR中所有Replica都向Leader发送ACK时,leader才commit 查看文章
JAVA
ConcurentHashMap 在JDK7 和 JDK8中的区别。JDK7中采用分段锁的机制,JDK8中采用了 CAS算法。查看文章
Java7/8 中的 HashMap 和 ConcurrentHashMap 全解析 查看文章
Spark
Spark SQL 官方文章,必看。查看文章
Spark Sql 的二次排序取 Top N 查看文章
Spark Sql 使用hiveContext 查看文章
Spark 分组TopN 查看文章
Spark中foreachPartition和mapPartitions的区别 查看文章
谓词下推 查看文章
Spark 数据本地化。 查看文章
HDFS
系统
- Ubuntu 18.04 网络配置,改动了。查看文章
zookeeper
- 查看集群的状态。查看文章