Решил описать свою домашнюю полуавтоматическую систему выкачки всего подряд из интернета.
Немного истории.
Гигазы варезов я качал всю жизнь, сначала посредством модема на работе, по ночам прокачивались огромные, на начало 90х, объёмы. Затем на работе появился выделенный канал в интернет, аж на 64 килобита, и он тоже по ночам использовался для выкачки теперь уже с приватных фтп серверов. Затем, в 1999ом, появился Napster, кое-что ещё можно было найти на вебе, затем в 2000ом появился eDonkey. Потом битторрент. Осенью 2006ого мне рассказали как пользоваться news/nntp и с тех пор я пользуюсь на 99% только этим методом.
Network News
NNTP – Network News Transfer Protocol, специальный сетевой протокол для распространения сообщений и дискуссий в сети Usenet. На заре интернета, когда ещё не было ЖЖ и прочих форумов, народ общался при помощи специальных программ, которые соединялись с NNTP серверами и выкачивали обсуждения оттуда. Теперь обсуждения перешли на другие технологии, а сервера преимущественно стали хранилищем всяких файлов. Из-за того, что технология была сделана для обмена сообщениями, то файлы все разбиты на кучу “сообщений”, которые надо раскодировать, проверить на ошибки и склеить вместе. Для выкачки нужного файла используется специальный метафайл, .nzb, который содержит в себе номера “сообщений”, составляющих искомый файл. Некоторые сообщения могут “потеряться”, но это не страшно, так как для этого придуманы файлы, содержащие избыточную информацию для восстановления оригинального содержания – эти файлы называются .par или .par2
NNTP Серверы
Файлы хранятся на серверах не вечно, а порядка полугода-года (это называется server retention). То есть что-то выпущенное давным давно скачать может и не получиться.
Доступ к серверам не бесплатный, видов оплаты много разных, надо смотреть на то, как часто вы будете выкачивать, важна ли скорость и удобство оплаты.
Я пользуюсь AstraWeb, они хранят файлы 785 дней и у них есть поддержка SSL, планом пользуюсь pay-by-download 180Gb.
Качать файлы можно вручную, при помощи программы NewsBin Pro, а можно и при помощи программы-робота. Я пользуюсь ручным средством если надо скачать что-нибудь маленькое, а для всего остального использую SABNZBD – это многоплатформная программа-сервис, которая выкачивает файлы, склеивает их и раскладывает по заданным директориям.
Ссылки на файлы
Откуда брать файлы чтобы это всё заработало? С серверов, аггрегаторов NZB файлов:
nzbmatrix.com
newzbin.com
nzbrus.com
или с серверов, поисковиков в news:
На серверах аггрегаторах лежат уже готовые и рассортированные NZB, на поисковиках же показывают, как правило, разрозненные файлы, но позволяют их объединить в NZB.
Я пользуюсь nzbmatrix.com и binsearch.info. Nzbmatrix за деньги продаёт возможность подписки на RSS фид его категорий, что делает процесс выкачки сериалов практически автоматическим.
Процесс выкачки: сериалы
SABNZBD поставлен мониторить RSS фид HD сериалов на nzbmatrix – при этом ему сказано смотреть только за теми, что мне интересны. Как только NZB с новым эпизодом появляется – SABNZBD автоматически его выкачивает, при этом процесс выкачки самого NZB скрыт и видно только, что начал выкачиваться сам файл. По окончании выкачки файл будет проверен на наличие ошибок и присутствие всех частей, если что-то отсутствует, то будут выкачаны PAR/PAR2 файлы и будет сделана попытка восстановить утраченное. Если всё просто ок или утраченное восстановилось, то файл будет декодирован, обычно это будет несколько RAR архивов, архивы будут распакованы, и удалены – на выходе будет просто один файл, который будет положен в нужную директорию.
Я настроил у себя так, что все сериалы идут в e:TV и там расскладываются в сабфолдеры с именем сериала.
Процесс выкачки: всё остальное
Фильмы и всё остальное надо выкачивать вручную – на автомат это не поставить так как всё подряд мне не надо. Но и тут присутствие SABNZBD упрощает весь процесс выкачки и сортировки – ему только дай NZB файл, а дальше он сам знает что с ним делать. Даёт ему файл небольшой плагин для Firefox: nzbStatus, он понимает форматы всех основных сайтов, раздающих NZB, и показывает иконку для старта выкачки прямо в SABNZBD: 
Нажимаешь – и сразу пошло выкачиваться, без лишних вопросов. Плюс плагин понимает категории в NzbMatrix.com и устанавливает правильную категорию в SABNZBD, дабы тот правильно отсортировал файл по окончании выкачки.
Чем не пользуюсь
Не пользуюсь XBMC. Несколько раз пытался заставить себя, но – не идёт. То невозможно ему сказать, что он неправильно распознал название фильма, то он отказывается проигрывать некоторые файлы, которые радостно проигрывал ещё вчера. Документации нет, а сидеть на форумах радости мало.
Планы
На днях узнал о программе-сервисе, которая автоматизирует поиск, сортировку и выкачку сериалов – SickBeard. Работает она параллельно с SABNZBD и смотрит за коллекцией сериалов: находит пропущенные серии и позволяет их выкачать, переименовывает файлы(из, например, “S02E02-1.mkv в “Series Name – S02E02 – EpisodeName.mkv”), показывает краткое содержание серий и расписание будущих эпизодов и т.д. и т.п.
Пока поставил тестировать, посмотрю на неё недельку-другую.
Итого
Пока владельцы копирайтов бегают за пиратами и плачут на каждом углу, что тиграм в клетке недокладывают мяса денег неизвестно как зарабатывать, пираты в это время научились собирать деньги с доморощенных пиратов. Я плачу, с учётом годовой подписки на NzbMatrix, где-то £18 в месяц, но за это имею практически нелимитированный доступ к фильмам, сериалам, музыке, книгам и софту. Был бы вариант точно такой-же выкачки сериалов с легального сайта или сервера – я бы подписался. Но, увы, сайта такого нет и не предвидится для тех, кто вне Штатов.
В далёком 2006ом всё приходилось выкачивать и сортировать вручную, сейчас же всё это происходит автоматом. Мне нравится!