网站首页 开源技术 第725页
-
Kafka+Spark Streaming管理offset的两种方法
Kafka配合SparkStreaming是大数据领域常见的黄金搭档之一，主要是用于数据实时入库或分析。为了应对可能出现的引起Streaming程序崩溃的异常情况，我们一般都需要手动管理好Kafka的offset，而不是让它自动提交，即需...
2024-10-19 wxchong 开源技术 42 ℃ 0 评论 -
0500-使用Python2访问Kerberos环境下的Kafka
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1文档编写目的...
2024-10-19 wxchong 开源技术 77 ℃ 0 评论 -
Kafka大厂高频面试题:在保证高性能、高吞吐的同时保证高可用性
Kafka的消息传输保障机制非常直观。当...
2024-10-19 wxchong 开源技术 41 ℃ 0 评论 -
Kafka+Spark Streaming管理offset的几种方法
来源:大数据技术与架构作者:王知无大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！By大数据技术与架构场景描述：Kafka配合SparkStreaming是大数据领域常见的黄金搭档之一，主要是...
2024-10-19 wxchong 开源技术 42 ℃ 0 评论 -
清华同方大数据岗位面试题（清华同方数据库官网）
清华同方面试题（1）公司的集群架构，每台部署了什么东西（2）公司的数据量，离线数据仓库每层的数据量有多大（3）关于Hadoop相关的调优（4）KafkaManager（5）Azkaban任务的调度，每天多少指标等等（6）数据仓库每层都保存...
2024-10-19 wxchong 开源技术 48 ℃ 0 评论 -
# Kafka_深入探秘者(10):kafka 监控--2
#寻找热爱表达的你#...
2024-10-19 wxchong 开源技术 20 ℃ 0 评论 -
大数据:开发运维必备常用的Kafka操作命令整理，可当速查手册
之前我推荐了多个Kafkamanager(orUI)，web图形化的Kafka管理工具是提升效率的利器。不过命令行的管理操作仍然是必知必会的。对于Kafka的操作命令，我进行了如下的总结：前提条件：如下的操作都需要在Kafka安装部署目...
2024-10-19 wxchong 开源技术 15 ℃ 0 评论 -
使用Docker(Mac)搭建 Nginx/Openresty - Kafka - kafkaManager
作者：高广超链接：https://www.jianshu.com/p/3dc01a283c89本文默认读者已经对Docker有一定了解，且清楚使用Docker进行部署的优势。1.安装Docker（Mac）官网：https://docs.do...
2024-10-19 wxchong 开源技术 64 ℃ 0 评论 -
三分钟学会kafka常用命令（kafka常见命令）
1.开启zookeeper集群startzk.sh2.开启kafka集群start-kafka.sh3.开启kafka可视化界面kafka-manager：start-kafka-manager.sh4.生产者操作：kafka-c...
2024-10-19 wxchong 开源技术 45 ℃ 0 评论 -
SpringBoot+Nacos+Kafka简单实现微服务流编排
前言最近一直在做微服务开发，涉及了一些数据处理模块的开发，每个处理业务都会开发独立的微服务，便于后面拓展和流编排，学习了SpringCloudDataFlow等框架，感觉这个框架对于我们来说太重了，维护起来也比较麻烦，于是根据流编排的思...
2024-10-19 wxchong 开源技术 58 ℃ 0 评论
- 控制面板
- 网站分类
- 最新留言
-