spark如何防止内存溢出

1、Spark在一个Executor中的内存分为三块，一块是execution内存，一块是storage内存，一块是other内存。

3、数据不平衡导致内存溢出，也有可能导致性能的问题，此时调用repartition重新分区即可。

5、shuffle内存溢出的情况可以说都是shuffle后，单个文件过大导致的。在Spark中，join，reduceByKey这一类型的过程，都会有shuffle的过程，在shuffle的使用，需要传入一个partitioner。

7、在RDD中，共用对象能够减少OOM的情况。