Чекпоинтинг во Flink: почему он тихо отказывает, и как настроить интервал и таймаут

Интервал checkpoint и таймаут checkpoint звучат как одна настройка. На деле они контролируют два разных риска, и их смешение — верный способ получить ложное чувство защищённости.

Интервал против таймаута: две разные задачи

checkpointing.interval задаёт, как часто предпринимается попытка checkpoint — короче значит меньше данных для повтора при восстановлении, ценой более частых накладных расходов. checkpointing.timeout задаёт, сколько времени разрешено на одну попытку checkpoint, прежде чем Flink её отменит — слишком коротко, и вполне здоровый checkpoint под кратковременной нагрузкой отменяется без реальной причины; слишком долго, и страдающая задача продолжает предпринимать попытки checkpoint, которые изначально не могли завершиться, тратя ресурсы на повторы вместо реальной обработки.

Тихий отказ: истечение checkpoint под backpressure

Под backpressure барьер checkpoint должен пройти через входной буфер каждого оператора, прежде чем checkpoint сможет завершиться — если эти буферы заполнены (а именно это и означает backpressure), барьер встаёт в очередь позади них, и checkpoint занимает гораздо больше времени, чем обычно. Ничего не падает; задача продолжает обрабатывать данные. Но checkpoint'ы продолжают тихо истекать, пока кто-нибудь не заметит, что реальная точка восстановления задачи устарела на минуты или часы вместо секунд.

Разумная отправная точка и метрика, которая скажет, что она неверна

Распространённая пара: интервал в диапазоне от десятков секунд до нескольких минут, таймаут — в несколько раз больше вашей типичной длительности checkpoint, а не наилучшей. Затем следите за длительностью checkpoint как за трендом, а не как за моментальным значением.