我正在使用Flink v1.4.0早芭。我正在使用DataSet API（盡管這不重要）。我正在12核VM上進行一些重型轉(zhuǎn)換孽惰。我正在為一個Flink job使用2個內(nèi)核轨淌，其中我將一些數(shù)據(jù)存儲到Flink Queryable State中，并使用剩余的10個內(nèi)核運行另一個Flink作業(yè)州袒。當我以10個內(nèi)核運行第二個作業(yè)時揭绑，似乎出現(xiàn)以下錯誤：java.io.IOException: Insufficient number of network buffers: required 10, but only 9 available. The total number of network buffers is currently set to 4096 of 32768 bytes each. You can increase this number by setting the configuration keys 'taskmanager.network.memory.fraction', 'taskmanager.network.memory.min', and 'taskmanager.network.memory.max'. at org.apache.flink.runtime.io.network.buffer.NetworkBufferPool.createBufferPool(NetworkBufferPool.java:257) at org.apache.flink.runtime.io.network.NetworkEnvironment.registerTask(NetworkEnvironment.java:199) at org.apache.flink.runtime.taskmanager.Task.run(Task.java:618) at java.lang.Thread.run(Thread.java:745)

?如果我使用8核來運行它，它就可以通過郎哭。是什么原因造成的他匪，為什么我不能使用其他2個-> 8 + 2 = 10個內(nèi)核？最佳答案引用Apache Flink常見問題解答：??如果您以很高的并行度運行Flink夸研，則可能需要增加網(wǎng)絡緩沖區(qū)的數(shù)量邦蜜。????默認情況下，F(xiàn)link占用JVM堆大小的10％作為網(wǎng)絡緩沖區(qū)亥至，最小為64MB悼沈，最大為1GB贱迟。您可以通過taskmanager.network.memory.fraction，taskmanager.network.memory.min和taskmanager.network.memory.max調(diào)整所有這些值絮供。????有關(guān)詳細信息衣吠，請參閱《配置參考》。有一個dedicated section in the docs for how to configure the network buffers壤靶「壳危總之，可以通過設置./conf/flink-conf.yaml參數(shù)來配置taskmanager.network.numberOfBuffers文件中的網(wǎng)絡緩沖區(qū)數(shù)贮乳。該參數(shù)應設置為#slots-per-TM^2 * #TMs * 4忧换，其中#slots per TM是每個TaskManager的插槽數(shù)，而#TMs是任務管理器的總數(shù)向拆。例如亚茬，要支持一個由20個8插槽計算機組成的集群，則應使用大約5000個網(wǎng)絡緩沖區(qū)以實現(xiàn)最佳吞吐量亲铡。默認情況下才写，每個網(wǎng)絡緩沖區(qū)的大小為32 KiBytes。在上面的示例中奖蔓，系統(tǒng)將因此為網(wǎng)絡緩沖區(qū)分配大約300 MiBytes赞草。請參考文檔以獲取詳細信息。

原地址：https://www.coder.work/article/3585277