Технический регламент на оказание услуг

Технический регламент

Технический регламент описывает требования к взаимодействию информационных систем Клиента и проекта Digincore. Информация, указанная в документе носит ознакомительный характер, и может быть изменена. 

 

Содержание

 

Блэклисты

Формат файлов блэклистов

  • Формат файлов:
    • сжатые программой gzip текстовые файлы;
    • кодировка текста - UTF-8;
    • один домен в одной строке без префикса http, без www;
    • кириллические и национальные домены переведены в punycode.
  • Формат имен файлов по категориям: <Категория><Тип_блеклиста><YYYY-MM-DD>.gz, где 
    • <Категория> - аббревиатура блокируемой категории:
      • bl - общий блэклист
      • porn - Porn - порнография
      • adult - Adult - сайты для взрослых
      • se - Sex Education - образовательные сайты;
      • ss - Sex Shops & Sex Enchancements - товары для секса;
      • sh - Sex Health - медицинские сайты;
      • prx - Anonymous Proxy - анонимные прокси;
      • sn_general - Social Networks - General - социальные сети общего назначения;
      • sn_thematic - Social Networks - Thematic - тематические социальные сети.
    • <Тип_блэклиста>
      • add - список доменов на добавление в блэклист относительно предыдущего дня;
      • rm - список доменов на исключение из блэклиста относительно предыдущего дня;
      • пустое значение - актуальный блэклист по категории.
  • Также предоставляются Squid-совместимые блэклисты, в <Категории> и имени файлов которых используется префикс “sq_”. Они также сжаты программой gzip, кодировка UTF-8, один домен в строке, требующие этого домены переведены в punycode. Единственное отличие связано с тем, что для блокирования всего домена Squid требует указания перед ним символа "." (точка). Подробнее см.: Отличие механизмов обработки блэклистов у Squid и SquidGuard, и как мы делаем блэклисты.

Примеры (предположим, что текущая дата - 22 января 2015 года):

  • актуальный общий блэклист: bl-2015-01-22.gz
  • актуальный прокси-блэклист: prx-2015-01-22.gz
  • список на добавление в прокси-блэклист: prxadd-2015-01-21-2015-01-22.gz
  • список на исключение из adult блэклиста: adultrm-2015-01-21-2015-01-22.gz
  • актуальный общий squid-совместимый блэклист: sq_bl-2015-01-22.gz 

Прим.: Мы рекомендуем каждый раз скачивать полные актуальные блэклисты.

 

Сроки выкладки блэклистов и статистики

Блэклисты и статистика по результатам предыдущих суток выкладываются в промежуток времени с 11:00 до 14:00 МСК (GMT+3)

 

Digincore API

Временной регламент на использование Digincore API

Логически в процессе функционирования системы выделяется два этапа: этап сбора контента с сайтов и этап обработки полученных результатов. Длительность полного цикла - сутки. В 2:30 (мск) этап сбора завершается и начинается обработка полученного контента. По завершении обработки, в промежуток с 11:00 до 14:00 (мск) полученные результаты (блэклисты) выкладываются на https://digincore.com и становятся доступны для скачивания по прямым ссылкам. По завершении этапа обработки стартует очередной этап сбора.

Последний забор доменов из очереди в API осуществляется в 00:15 (мск). Это обеспечивает обработку всех доменов, добавленных в API в течение суток в рамках ближайшего этапа обработки.

Домены, помещенные в очередь на экспертное (ручное) оценивание обрабатываются экспертами с максимальным приоритетом в порядке живой очереди. Оцененные экспертами домены попадают в блэклисты в рамках ближайшего обновления  и выставленные категории становятся доступными в API. 

Таким образом, структура функционирования системы такова (время московское, GMT+3):

  • 00:15 - все домены загруженные клиентами в Digincore API для автоматической или экспертной проверки выгружаются в подсистему сбора. Все домены, добавленные после этого времени, попадут на обработку НА СЛЕДУЮЩИЕ сутки;
  • 02:30 - завершается этап сбора контента с сайтов, начинается просчет полученных данных. По завершении просчета начинается следующий этап сбора контента с сайтов.
  • 11:00 - 14:00 - осуществляется выгрузка рассчитанных блэклистов и параметров статистики по завершенному циклу на digincore.com. Результаты экспертного оценивания запрошенных сайтов также выгружаются в API. Все результаты завершенного цикла становятся доступными для просмотра, либо скачивания.

Прим.: Мы рекомендуем загружать домены для проверки до 24:00 часов текущих суток, а получать результаты, либо загружать блэклисты после 15:00 МСК (GMT+3) суток, следующих после вставки доменов в API.

 

Сроки обработки доменов загруженных в Digincore API

  • Домены, загруженные в Digincore API для автоматической проверки до 00:15 МСК (GMT) обрабатываются в рамках текущего этапа просчета. В случае, если домен оценивается автоматикой как содержащий порнографический контент, он попадет в рассчитываемый блэклист, который станет доступен в промежуток времени с 11:00 до 14:00 МСК (GMT+3)
Прим.: Специфика принятия автоматикой решения о включении домена в порн-блэклист такова, что на первом цикле информации о домене может быть недостаточно. В этом случае сайт может быть оценен как порнографический по результатам последующих циклов сбора-просчета.
  • Домены, загруженные в Digincore API для ручной (экспертной) проверки до 00:15 МСК (GMT) обрабатываются экспертами в течение трех рабочих дней.

 

Формат данных Digincore API

Формат передаваемых данных Digincore API описан в Документация по использованию Digincore API