1、解决办法：1） 首先说一下flink原来的JobGraph， 如下图， 产生背压的是中间的算子，2） 背压是什么？如果您看到任务的背压警告（例如High），这意味着它生成的数据比下游算子可以消耗的速度快。
2、问题原因：做窗口聚合的任务的分组字段，分组粒度太小，hash不能打散，数据倾斜严重，导致少数TaskManager上压力过大，从而影响落Es的效率，导致背压。解决方式：将两个任务独立开来，作为不同的流程。结果：修改之前24个TaskManager（CPU） 来不及消费，改完之后20个CPU可完成任务。
1、flink框架是什么 Apache Flink 是一个流处理和批处理的开源框架，它用于构建大规模数据流和离线处理应用程序。Flink 提供了一个高效的分布式计算引擎，能够在多核和集群环境中处理实时数据流，并且能够同时处理大规模数据集。
2、Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行。
3、Flink框架的主要特点包括： 流处理：Flink是一个流处理引擎，专门为处理连续、动态的数据流而设计。这意味着它可以实时分析大量的数据流，而无需等待数据的完整批次。这使得Flink在各种实时应用中非常有用，如实时分析、预测分析和异常检测。
在数据处理的进化版图上，Apache Flink以其独特的魅力脱颖而出，作为一款专为高吞吐量、低延迟和高性能设计的分布式流处理框架，它在实时数据世界中扮演着至关重要的角色。
Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。
熟练掌握Flink的基本架构以及流式数据处理思想，熟练使用Flink多种Soure、Sink处理数据，熟练使用基本API、Window API 、状态函数、Flink SQL、Flink CEP复杂事件处理等 使用Flink搭建实时数仓项目，熟练使用Flink框架分析计算各种指标 ClickHouse安装、使用及调优 项目实战。
1、首先，Flink监控是指在使用Flink进行数据处理和计算时，对Flink系统的运行状态进行实时监控和管理的过程。通过监控Flink的运行状况，可以及时发现系统的异常情况并进行处理，确保数据处理和计算的准确性和稳定性。其次，Flink监控可以分为两种类型：系统监控和应用监控。
2、Flink Web界面上提供了对运行Job的Backpressure行为的监控，它通过使用Sampling线程对正在运行的Task进行堆栈跟踪采样来实现。 默认情况下，JobManager会每间隔50ms触发对一个Job的每个Task依次进行100次堆栈跟踪调用，过计算得到一个比值，例如，radio=0.01，表示100次中仅有1次方法调用阻塞。
3、Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时（Flink Runtime），提供支持流处理和批处理两种类型应用的功能。
4、Flink Web UI 的反压监控提供了 Subtask 级别 的反压监控。监控的原理是 通过Thread.getStackTrace（） 采集在 TaskManager 上正在运行的所有线程，收集在缓冲区请求中阻塞的线程数（意味着下游阻塞），并计算缓冲区阻塞线程数与总线程数的比值 rate 。
5、而在大数据领域，还有另外一类应用场景，它们需要对实时产生的大量数据进行即时计算，比如对于遍布城市的监控摄像头进行人脸识别和嫌犯追踪。这类计算称为大数据流计算，相应地，有Storm、Flink、Spark Streaming等流计算框架来满足此类大数据应用的场景。
1、Flink是一个框架和分布式处理引擎，用于对无限制和有限制的数据留进行有状态的计算。Flink被设计为可在所有常见的集群环境中运行，以内存速度和任何规模执行计算。任何类型的数据都是作为事件流产生的。信用卡交易，传感器测量，机器日志或网站移动应用程序上的用户交互，所有这些数据均作为流生成。
2、版本引入的状态管理进一步提升了性能，使得处理复杂流传输变得更为灵活。Flink通过轻量级分布式快照机制实现容错，同时利用Save Points技术避免数据丢失，为实时推荐、欺诈检测和数仓分析等关键应用场景提供了强大支持。Flink的架构设计精巧，分为API&Libraries、Runtime核心和物理部署三层。
3、Flink只要不用时间窗口函数，就是基于事件处理，对于事件驱动的任务，我们需要关心的点，尤其是存在shuffle和聚合的时候： 1 是否存在数据倾斜 2 是否会存在某些节点状态过大 （例如使用状态时，不配置过期时间，那么状态会一直缓存，就会导致内容一直增加，带来gc等问题）基于窗口操作。
