Аккумуляторы - это переменные, которые «добавляются» только через ассоциативную операцию и поэтому могут эффективно поддерживаться параллельно. Их можно использовать для реализации счетчиков (как в MapReduce) или суммирования. Spark изначально поддерживает аккумуляторы числовых типов, и программисты могут добавить поддержку новых типов.
Почему мы используем аккумулятор?
Гидравлические аккумуляторы используются в самых разных отраслях для хранения энергии; поддерживать давление; гасить вибрации, пульсации и удары; и многое другое. Хранение энергии. Аккумуляторы могут принимать, хранить и высвобождать энергию в виде жидкости под давлением для повышения эффективности вашей гидравлической системы.
В чем разница между трансляцией и накопителем в Spark?
Ключевое различие между широковещательной переменной и аккумулятором состоит в том, что хотя широковещательная переменная доступна только для чтения, к аккумулятору можно добавить. … Каждый рабочий узел может получить доступ и добавлять только к своему локальному значению аккумулятора, и только программа-драйвер может получить доступ к глобальному значению.
Как работает аккумулятор Spark?
Аккумуляторы - это переменные, которые используются для агрегирования информации по исполнителям. Например, эта информация может относиться к данным или диагностике API, например, сколько записей повреждено или сколько раз вызывался конкретный библиотечный API.
Почему переменная-аккумулятор в Spark не должна использоваться воркером для операций преобразования?
Аккумулятор выдаст неверный результат. Если задача выполняется медленно, Spark может запустить условную копию этой задачи на другом узле. Вердикт: не обрабатывается. Аккумулятор выдаст неверный результат.
