Статья расчитана на тех кто знает основы Apache Spark и хочет мониторить свои проекты на нём. Любая работа рано или поздно попадёт в production. В том числе и Spark приложения. А там уже только правки и контроль работоспособности. Особенно это надо для стриминговых приложений, но и периодические задачи было бы не плохо контролировать, а то будете сидеть и ждать в то время как Spark не хватает памяти или процессорного времени.
Первый шаг: CI запускает тесты и заливает артефакт в Nexus
При работе со стриминговыми приложениями Spark процесс ничем не отличается от той же веб разработки: мы вносим правки, создаём коммит, загружаем его на GitLab/GitHub/Bitbucket. Внутри GitLab срабатывает задача (пример .gitlab-ci.yml)
before_script: — mvn clean job_test: script: — mvn test deploy
Заливаем артефакт в Nexus. Заливка артефакта в Maven называется deploy. Как работать с Nexus подробно расписано в его документации.
Второй шаг: через spark-jobserver вызываем выполнение приложения на Spark
Теперь нам надо запустить Spark приложение и начать его мониторить на тестовом кластере. В этом нам поможет проект spark-jobserver. Он представляет из себя HTTP API для управления Spark.
Как расширить оперативку на телефоне
Чтобы получить список jar для задач выполним запрос к spark-jobserver:
curl localhost:8090/jars
Возможно, там есть задача которую мы хотим заместить и тогда стоит её остановить:
curl -XDELETE localhost:8090/jobs/
Список же всех задач можно получить по запросу:
curl localhost:8090/jobs
Ну а теперь можно запустит нашу задачку
curl -XPOST ‘localhost:8090/jobs?appName=testsync=false’
Важный момент ?sync=false — для стриминговых задач нет смысла ждать завершения, да и для долгих пакетных тоже. Если не понятно почему нет смысла ждать — почитайте о HTTP протоколе и как он работает, особое внимание к таймаутам.
Вообще в jobserver множество возможностей, подробнее в документации: https://github.com/spark-jobserver/spark-jobserver. Особенно обратите внимание на аутентификацию — а то всякие школьники на вашем кластере будут домашнюю работу делать 🙂
В итоге простейший конфиг для gitlab-ci:
Мониторим состояние приложений
Zabbix — хорошо оплачиваемая система мониторинга, потому работаем с ним. Если вы не сталкивались с Zabbix, то его написали русские ребята из Латвии и у них есть чудесные русские доки.
Теперь настроим Zabbix собирать информацию о задаче. Если других задач тут нет, то информацию мы будем получать на порту 4040. Проинспектировать получаемые метрики можно с помощью богомерзкого языка Python (можно на любом языке, но опять же на питоне быстро и выгодно):
curl «http://127.0.0.1:4040/metrics/json/» | python -mjson.tool
Теперь пишем скрипт который как аргумент получает ip и port работающего Spark процесса , и параметр который надо извлечь:
#!/bin/bash PYSTR1=’import json,sys;obj=json.load(sys.stdin);print obj[«gauges»][«‘ PYSTR3='»][«value»]’ curl -s -X GET «http://$1:$2/metrics/json/» | python -c «$PYSTR1$3$PYSTR3»
Кладём скрипт в /var/lib/zabbixsrv/externalscripts/ и не забываем сменить пользователя, выставить контекст SELinux, дать право исполнения:
Как из «4G» Сделать «5G» Интернет ЛЕТАЕТ!!
chown zabbixsrv:zabbixsrv /var/lib/zabbixsrv/externalscripts/yourscriptname.sh restorecon -R /var/lib/zabbixsrv/externalscripts/ chmod +x /var/lib/zabbixsrv/externalscripts/yourscriptname.sh
В Zabbix есть система сбора метрик. Она прекрасно описана в документации, поэтому создаём item следуя инструкциям:
- https://www.zabbix.com/documentation/2.4/manual/config/items/item
- https://www.zabbix.com/documentation/2.4/manual/config/items/itemtypes/external
Загрузка AR-маски в Spark Hub
Создание маски — лишь первый этап. Для того, чтобы она стала доступна широкому кругу пользователей, её необходимо загрузить непосредственно в сам Instagram.
Spark AR Hub
После экспорта новой маски Spark AR Studio предлагает переход на специальную платформу Spark AR Hub. Здесь необходимо выбрать платформу, на которую будет производиться выгрузка эффекта (маски). Стоит помнить, что одна и та же маска не может быть выгружена и на Facebook и в Instagram.
Следующий шаг — загрузка иконки для маски
Она должна быть в формате 200×200 px и демонстрировать эффект или его действие. Сделать такой значок можно в любом графическом редакторе. Лучше всего внимательно изучить выставленные модераторами требования.
Загрузка файла
Затем производится сама загрузка файла в формате .arexport.
Модерация и тестирование
Добавленную маску невозможно удалить, только архивировать. После создания или внесения каких-либо изменений эффект проходит модерацию, которая занимает в среднем 2-3 дня, реже — до 5 дней. После загрузки становится доступна ссылка для тестирования маски, рассчитанная на 200 тестовых просмотров.
Предпросмотр
Заключительный этап загрузки маски — выбор её категории и загрузка предпросмотра маски в видео формате. Этот предпросмотр будет отображаться в галерее эффектов, о чём стоит помнить при загрузке. Не лишним будет и заполнить графу описания эффекта — это позволит модераторам лучше понять специфику маски. Указанное описание не имеет особого влияния и нигде не отображается, поэтому текст пишется только для модераторов.
Срок действия маски
Срок действия маски может быть ограниченным, а может начаться сразу после одобрения модераторами — это необходимо указывать в зависимости от целей и желаний.
Что делать дальше?
Как только маска будет одобрена модераторами (или когда подойдёт запланированный срок), и создатель, и подписчики увидят эффект в сториз. Однако не у всех подписчиков маски отображаются в эффектах — многим необходимо перейти на страницу создателя и посмотреть маску в соответствующем разделе аккаунта. Оттуда любой пользователь сможет скачать эффект для себя и начать использовать при создании Stories. Именно поэтому при появлении новых масок стоит обязательно оповестить об этом своих подписчиков.
Маски также появляются в галерее эффектов, но необходимо помнить, что все маски ранжируются по популярности, поэтому у популярных пользователей в ТОПе может находиться сразу несколько эффектов, принося драгоценный трафик.
Отслеживание
Отслеживать статистику по показам, снимкам и репостам масок можно в личном кабинете Spark Hub. Вкладка Insights позволяет следить за статистикой по каждой маске аккаунта в удобном формате таблицы.
Использование AR-масок — один из эффективных способов увеличения трафика для любого пользователя.
Источник: depix.ru
Как получить токены SPARK (Flare Network): Ledger Nano S, Nano X
Топовые обзоры, интервью с экспертами, разборы уязвимостей и атак, обучающие материалы и авторский контент от Владимира Абовяна теперь на канале Sunscrypt! Подписывайтесь youtube.com/sunscrypt2140 В этом видео команда Cryptonist расскажет как получить токены #Spark от Flare Network с помощью аппаратных кошельков #LedgerNanoS и #NanoX. В конце видео будет способ получения токенов через горячий кошелек Exodus. ★ Купить Ledger Nano S — bit.ly/3fCbIxe ★ Купить Ledger Nano X — bit.ly/366tPrU Тайминг 00:00 Intro 00:22 Условия получения Spark 01:42 Ledger Nano S, X: заявляем SPARK 05:38 Все ли мы правильно сделали? 06:11 Заявление через Exodus Если это видео оказалось вам полезным, то можете поддержать канал донатом BTC: 35zShNnsh6TDto2BDVfGyFYoPjkL473yky Ссылки по теме ➤ Справочный инструмент — flare.wietse.com/ ➤ Клиент XRP ToolKit — xrptoolkit.com/ ➤ Официальная страница Flare Network — flare.ghost.io/claiming-spark-faq/ ➤ Официальный FAQ по Эйрдропу СПАРК — flare.ghost.io/claiming-spark-faq/ ➤ Получение Airdrop’ов в Exodus — support.exodus.io/article/697-how-to-deal-with-airdropped-token-with-exodus про нас ★ Интернет магазин — cryptonist.ru ➤➤➤ Подписывайтесь на наши каналы: ★ Telegram – t.me/cryptonistHW ★ Vkontakte — vk.com/cryptonist_ru ★ Facebook — facebook.com/cryptonist.ru/ ★ Instagram — instagram.com/cryptonist.ru/ ★ Twitter — twitter.com/CryptonistR
Источник: ekadoctor.ru