Зеркало открытых датасетов

Зеркало открытых датасетов

Зеркало открытых наборов данных и релизов. Отдача без ограничения скорости, поддерживаются диапазонные запросы и докачка.

синхронизация раз в 6 часов Открыть каталог

Сортировка — по клику на заголовок столбца. Живой индекс каталога: /pub/.
Имя Тип Размер Дата

Машиночитаемый индекс: GET /catalog/ (JSON, формат nginx autoindex).

Синхронизируется cron'ом; лицензия и контрольная сумма — в manifest.json.
Файл Лицензия Размер Выборка

Классы лицензий и правила редистрибуции — в /pub/opendata/NOTICE.txt.

# докачка прерванной загрузки
wget -c https://datamirror.ru-ai-hub.com/pub/dataset-part-000.bin

# синхронизация каталога
rsync -av --partial https://datamirror.ru-ai-hub.com/pub/ ./mirror/

# проверка контрольной суммы
sha256sum -c dataset-part-000.bin.sha256
ПротоколыHTTPS, HTTP
Диапазонные запросыподдерживаются (Range, 206 Partial Content)
Ограничение скоростинет
Соединений на клиентадо 8

Зеркалируются только материалы, распространяемые по открытым лицензиям: Creative Commons, Open Data Commons, лицензии открытых дистрибутивов. Контрольные суммы SHA256 публикуются рядом с файлами.

Зеркало предоставляется «как есть», без гарантий доступности. Для регулярных задач используйте rsync — он переживает обрывы соединения.