Skip to content

Home downloads setup

Решил описать свою домашнюю полуавтоматическую систему выкачки всего подряд из интернета.

Немного истории.

Гигазы варезов я качал всю жизнь, сначала посредством модема на работе, по ночам прокачивались огромные, на начало 90х, объёмы. Затем на работе появился выделенный канал в интернет, аж на 64 килобита, и он тоже по ночам использовался для выкачки теперь уже с приватных фтп серверов. Затем, в 1999ом, появился Napster, кое-что ещё можно было найти на вебе, затем в 2000ом появился eDonkey. Потом битторрент. Осенью 2006ого мне рассказали как пользоваться news/nntp и с тех пор я пользуюсь на 99% только этим методом.

Network News

NNTP – Network News Transfer Protocol, специальный сетевой протокол для распространения сообщений и дискуссий в сети Usenet. На заре интернета, когда ещё не было ЖЖ и прочих форумов, народ общался при помощи специальных программ, которые соединялись с NNTP серверами и выкачивали обсуждения оттуда. Теперь обсуждения перешли на другие технологии, а сервера преимущественно стали хранилищем всяких файлов. Из-за того, что технология была сделана для обмена сообщениями, то файлы все разбиты на кучу “сообщений”, которые надо раскодировать, проверить на ошибки и склеить вместе. Для выкачки нужного файла используется специальный метафайл, .nzb, который содержит в себе номера “сообщений”,  составляющих искомый файл. Некоторые сообщения могут “потеряться”, но это не страшно, так как для этого придуманы файлы, содержащие избыточную информацию для восстановления оригинального содержания – эти файлы называются .par или .par2

NNTP Серверы

Файлы хранятся на серверах не вечно, а порядка полугода-года (это называется server retention).  То есть что-то выпущенное давным давно скачать может и не получиться.

Доступ к серверам не бесплатный, видов оплаты много разных, надо смотреть на то, как часто вы будете выкачивать, важна ли скорость и удобство оплаты.

Я пользуюсь AstraWeb, они хранят файлы 785 дней и у них есть поддержка SSL, планом пользуюсь pay-by-download 180Gb.

Качать файлы можно вручную, при помощи программы NewsBin Pro, а можно и при помощи программы-робота. Я пользуюсь ручным средством если надо скачать что-нибудь маленькое, а для всего остального использую SABNZBD – это многоплатформная программа-сервис, которая выкачивает файлы, склеивает их и раскладывает по заданным директориям.

Ссылки на файлы

Откуда брать файлы чтобы это всё заработало? С серверов, аггрегаторов NZB файлов:

nzbmatrix.com
newzbin.com
nzbrus.com

или с серверов, поисковиков в news:

binsearch.info
newzleech.com

На серверах аггрегаторах лежат уже готовые и рассортированные NZB, на поисковиках же показывают, как правило, разрозненные файлы, но позволяют их объединить в NZB.

Я пользуюсь nzbmatrix.com и binsearch.info. Nzbmatrix за деньги продаёт возможность подписки на RSS фид его категорий, что делает процесс выкачки сериалов практически автоматическим.

Процесс выкачки: сериалы

SABNZBD поставлен мониторить RSS фид HD сериалов на nzbmatrix – при этом ему сказано смотреть только за теми, что мне интересны. Как только NZB с новым эпизодом появляется – SABNZBD автоматически его выкачивает, при этом процесс выкачки самого NZB скрыт и видно только, что начал выкачиваться сам файл. По окончании выкачки файл будет проверен на наличие ошибок и присутствие всех частей, если что-то отсутствует, то будут выкачаны PAR/PAR2 файлы и будет сделана попытка восстановить утраченное. Если всё просто ок или утраченное восстановилось, то файл будет декодирован, обычно это будет несколько RAR архивов, архивы будут распакованы, и удалены – на выходе будет просто один файл, который будет положен в нужную директорию.

Я настроил у себя так, что все сериалы идут в e:TV и там расскладываются в сабфолдеры с именем сериала.

Процесс выкачки: всё остальное

Фильмы и всё остальное надо выкачивать вручную – на автомат это не поставить так как всё подряд мне не надо. Но и тут присутствие SABNZBD упрощает весь процесс выкачки и сортировки – ему только дай NZB файл, а дальше он сам знает что с ним делать. Даёт ему файл небольшой плагин для Firefox: nzbStatus, он понимает форматы всех основных сайтов, раздающих NZB, и показывает иконку для старта выкачки прямо в SABNZBD: alt

Нажимаешь – и сразу пошло выкачиваться, без лишних вопросов. Плюс плагин понимает категории в NzbMatrix.com и устанавливает правильную категорию в SABNZBD, дабы тот правильно отсортировал файл по окончании выкачки.

Чем не пользуюсь

Не пользуюсь XBMC. Несколько раз пытался заставить себя, но – не идёт. То невозможно ему сказать, что он неправильно распознал название фильма, то он отказывается проигрывать некоторые файлы, которые радостно проигрывал ещё вчера. Документации нет, а сидеть на форумах радости мало.

Планы

На днях узнал о программе-сервисе, которая автоматизирует поиск, сортировку и выкачку сериалов – SickBeard. Работает она параллельно с SABNZBD и смотрит за коллекцией сериалов: находит пропущенные серии и позволяет их выкачать, переименовывает файлы(из, например, “S02E02-1.mkv в “Series Name – S02E02 – EpisodeName.mkv”), показывает краткое содержание серий и расписание будущих эпизодов и т.д. и т.п.

Пока поставил тестировать, посмотрю на неё недельку-другую.

Итого

Пока владельцы копирайтов бегают за пиратами и плачут на каждом углу, что тиграм в клетке недокладывают мяса денег неизвестно как зарабатывать, пираты в это время научились собирать деньги с доморощенных пиратов. Я плачу, с учётом годовой подписки на NzbMatrix, где-то £18 в месяц, но за это имею практически нелимитированный доступ к фильмам, сериалам, музыке, книгам и софту. Был бы вариант точно такой-же выкачки сериалов с легального сайта или сервера – я бы подписался. Но, увы, сайта такого нет и не предвидится для тех, кто вне Штатов.

В далёком 2006ом всё приходилось выкачивать и сортировать вручную, сейчас же всё это происходит автоматом. Мне нравится!

downloads home howto HTPC internet mediacenter movies piracy software technology | admin | | Leave a comment

Change of hosting

Где-то в середине июня меня достало то, что мои WordPress блоги, хостящиеся на unmanaged VPS провайдера SitePenguin, чаще лежат, чем работают. Поэтому поискал пару дней другого провайдера и перетащил всё к нему.

Оплатил первый месяц, а потом как-то так случайно проигнорировал билл на оплату второго месяца. Ну бывает. Они мне прислали письмо с напоминанием, я сразу же оплатил и переслал им ресит от Пейпала. Проходил один день, второй – сайт продолжает лежать. Отписал им ещё раз, ещё раз отослал номер транзакции. В ответ приходит отписка о том, что они внимательно смотрят на свои логи. На что я уже ругательное письмо написал, которое помогло – сайт восстановился.

Ровно через неделю смотрю – лежит. Захожу в контрольную панель, а там мне говорят что нет у меня никакого сервиса от них. WTF!?

Оказывается у них там роботы пропустили мой платёж, люди что-то вовремя не обновили и другие роботы весь мой VPS похерили нафик. Опаньки!

О чём я написал тут-же на Твиттере. И получил несколько офферов от таких-же хостингов на бесплатную многомесячную пробу их хостинга. На один из них и согласился – BigWetFish.

Вчера дали доступ, а сегодня уже всё установил: Lighttpd вместо Apache, MySQL, Postfix, WordPress. Теперь вот думаю о том, как бы мне устроить бэкап всех настроек и данных.

blogging internet technology wordpress | admin | | Leave a comment

Work, work, work

На работе третий месяц моей небольшой командой из 2.5 человек пишутся скрипты для тестирования производительности продукта, который большая команда будет переписывать с нуля. Всего где-то 120 питон скриптов, плюс баш скрипты чтобы всё это запускать “одной кнопкой”. В результате многочасового теста сгенерится где-то гиг файлов, которые преобразуются в 10и килобайтный текстовый файл.
Меня поражает факт что для генерации этого файлика требуется столько усилий и времени. :) И всё для того, чтобы тест этот можно было запускать когда угодно.

work | admin | | Leave a comment

Elections

Приезжаю вчера после работы в отель, а прям напротив входа стоит телевизионный фургончик. Ну такой, видели наверное, с антенной на мачте. И камера напротив него стоит, направлена на вход, но оператора нет рядом с ней. Подхожу к дверям, мне их открывает одна из отельских работниц. “Странно,” думаю. Подхожу к лифту, а там его дожидается начальница отельских уборщиц (head manager of housekeeping). Здороваемся и я её спрашиваю – что такое происходит? Она отвечает уклончиво: “У нас сегодня остановился VIP гость”. Ну ладно, важный, так важный. Мне дела мало.

Захожу в номер, включаю телевизор, а там говорят, что дебаты претендентов на кресто премьер министра, оказывается, проходят в Бирмингеме. Понимаю, что в отеле остановился кто-то из претендентов. А кто?

Пошёл, как и планировал по пути в отель, сходил в ближайший магазин за бутылочкой вина на вечер. Дверь входную мне опять открывали служащие. Никакой полиции с автоматами вокруг не замечено. Всё как обычно, за исключением телекамеры у входа и открытия двери.

Вернулся в номер, заказал еду. Потом спросил у принёсшего её парня – кто же это остановился-то? “Премьер”, говорит, “министр.” “Будущий?” Он засмеялся и ответил, что врядли будущий, просто теперешний. То есть в отеле со мной останавливался шотландский одноглазый идиот – Гордон Браун.

Потом я по телику видел как он выходил, садился в машину и выезжал на улицу – как он ехал по улице я уже видел из окна своего номера. Улицу перекрыли буквально на три секунды: там при выезде из отеля надо переехать улочку, по которой вообще нет никакого движения вечером. Весь кортеж был такой: три седана, включая тот, в котором ехал шотландец, два полицейских на мотоциклах спереди и один полицейский Фокус замыкал колонну. Мигалки были только у полицейских.

Сегодня утром отель работал как обычно, но, видимо, Гордон был ещё внутри, так как двери мне самому открывать не пришлось. Плюс у входа была телекамера теперь уже с девушкой-корреспонденткой.

Вот так, приобщился к истории. :)

life uk | admin | | Leave a comment

Ash again

Третий день отличная, солнечная погода.

Оказывается вся эта бодяга с отменой полётов и, якобы, распространением пепла, основана не на реальном положении дел, а на выводах компьютерной симуляции, произведённой Vulcanic Ash Advisory Centre располагающемся в Лондоне.

Вот интересная статья в немецком Spegel. (Перевод на английский) Говорят, что никаких замеров загрязнения пеплом нигде не производится, несколько самолётов летало и после посадки никаких изменений на них замечено не было. Но все слушают что скажут британские учёные.

globalmadness | admin | | Leave a comment

Ash

Глядя на голубое небо и на сияющее тёплое солнце и читая новости о том, что пепла всё больше и больше, начинаю думать о том, что вся эта бодяга с отменой всех полётов – это проделки безконтрольных “учёных” климатологов-потепленцев. Ибо они сразу начали говорить о том, что из-за этого вулкана глобальное потепление отменяется. Плюс сразу же выползли статьи о том, как хороша жизнь без самолётов.

По-моему пора некоторых учёных привлекать к уголовной ответственности за подделку данных.

globalmadness | admin | | Leave a comment

Question

Может пора уже перестать сопротивляться и заняться в полный рост performance testing?

За последние 10 лет на каждой работе и на каждом проекте этим занимаюсь, но сопротивляюсь. И вот на новом проекте опять двадцать пять – поставили этим заниматься потому как “Алексей знает это лучше других”. Так что я теперь задумался…

ideas life work | admin | | Leave a comment

Relaxation II

Утром встал, сфотографировал огромную радугу и пошёл прогуляться вдоль пляжа – видел в воде живых морских звёзд, одну выташил осторожно из воды, чтобы рассмотреть поближе. Видел морского ежа, но побоялся его вытаскивать – вдруг они ядовитые?
Затем поехал в Cabo Rojo, на пляж с белоснежным песком. Дорога туда ведёт не обычно-асфальтовая и даже не бетонная, а простая, грунтовая. С огромными колдобинами! Поэтому последнюю милю приходится ехать медленно и постоянно напряжённо смотреть куда едешь. Машина у меня маленькая, Mazda 3, для таких дорог совсем не предназначена. Но ничего, доехал и туда и обратно.
Обедать поехал в ресторан, что при яхт клубе в городе La Parguera. Я там уже был в предыдущий визит в Пуэрто Рико два года тому назад и мне тогда там понравилось. В ресторане посмотрел на то, как кормят двухметровую мурену (не в самом ресторане, а дикую, под пирсом, где стоят яхты), а затем разговорился с двумя дядьками, обедавшими рядом. Один пуэрториканец, а второй кубинец. Но оба живут во Флориде. (Предки пуэрториканца были из Англии, но на англичанина он совершенно не похож.) Слово за слово разговор перешёл на обсуждение “прелестей” социализма и про то, что тем, кто не хочет работать, не стоит давать деньги просто так. Приятно поболтали, и пуэрториканец дал свою визитку – он оказывается детский кардиолог.
Затем поехали назад в отель и решили прокатиться дальше по дороге, ведущей в отель. А там оказались ещё всяческие пляжи – и песочные и каменные (с розовыми камнями!). Плюс места там весьма фотогеничные. Доехали до конца дороги и я залез в море с маской и ластами. А там, практически в пяти метрах от берега – стаи рыб, на дне лежат морские ежи и даже пришлось увидеть двух осьминогов. Это всё на глубине где-то по грудь! То есть можно встать на ноги и случайно наступить на какого-нибудь осьминожка…

life travel | admin | | Leave a comment

Relaxation

Первая поездка за рубеж в Штаты без визы. За день до отлёта Дельта отказалась чекинить онлайн ввиду неких неизвестных “visa regulations”, но свободно зачекинила уже в аэропорту. В самолёте по-старинке раздавали белые и зелёные бумажки I-94 – ввиду неработающей электронной системы. То есть пришлось слегка попереживать. Но зато на паспортном контроле было весело: иммиграционный офицер увидел, что мы летим транзитом через Атланту в Сан Хуан, сообщил об этом соседним офицерам, один из которых был родом из Пуэрто Рико, и сразу завелся разговор о том, стоит ли ехать в Пуэрто Рико, чтобы есть там китайскую еду. Пуэрториканец настойчиво советовал есть только её, а мы возражали. Все смеялись и стандартные процедуры, отпечатки и фотки на память, прошли совершенно между делом.
Полёт до Сан Хуана был ужасен. Очень похож на полёты компании Ryanair – еда за деньги и коленки упираются в сиденья.
Ночь по прибытии провёл в отеле в самом аэропорту. Без роскоши, очень по-спартански, но ничего, кроме сна и душа, после 16 часов(с передышкой в 4 часа) перелёта и не нужно.
Взял машину, Мазда 3, в бюджетной рентовалке Dollar. Должно было быть дёшево, но оказалось почти как в моём любимом Hertz – просто Hertz, наверное, сразу включает в цену полную страховку, а эти крохоборы нет. Крохоборы они потому, что просто так в аэропорт они автобусы не гоняют – мне пришлось два раза им звонить, чтобы он приехал. Плюс далековато от аэропорта они…
Три ночи провёл в Wyndham Grand Resort, который был заказан ввиду дешевизны на том же уровне, что и маленькие отельчики в том-же районе с сомнительными отзывами на Tripadvisor. Отель, на минуточку, top-of-the-line resort от Wyndham, той компании, что держит всякие Holiday Inn, etc. Но впечатление оставил странное. В четыре часа дня я не мог дозвониться в течение 15 минут консьержу – просто никто не брал трубку, в номере не было халатов, не было штопора. За парковку надо платить! Интернет бесплатный только для членов их awards программы.
Я попытался вступить в эту программу, ради интернета, но они сказали, что даже если я вступлю, то не получу интернета – для этого надо букировать номер только через их вебсайт, а не через Экспедию. Плюс отказались отматчить мой левел в Хилтоне, Марриотте и Хайете – мотивируя тем, что они не конкурируют с этими отелями.
Цены там на еду тоже были огого: коктейль 15 баксов, стакан капучино – 4 бакса. Я же не брезгую едой аборигенов, поэтому завтракал в ресторане по выезде из отеля – 10 на двоих. Вообще ощущение от отеля как от круизного лайнера: толпа американцев, живущих только в отеле, и не интересующихся ничем вокруг.
Посетил гору в заповеднике Эль Юнька. Затем посетил пляж для местных с белым песком, бутылками в песке, но где можно парковаться прямо в трёх метрах от моря. Там же и поел в экзотическом киоске. (Кстати, место помечено в путеводителе как супер аутентичное пуэрториканское)
Сегодня переехал в отель на юге острова – Copamarina Resort and Spa. Отель классом пониже, чем предыдущий, но народа поменьше и всё как-то подушевнее. Пляж тут не очень, но за 7 баксов отвезут на остров, где и песок и всякая рыба-живность дикая. Съездил туда, посмотрел на рыбок, пожалел, что не взял туда фотоаппарат и маску-ласты. Очень порадовала рыбка голубого цвета, которая смело защищала свой дом-корягу от назойливого великана. Я к ней руку протяну, а она кусается, нападает. При этом размера в ней в длину где-то сантиметра 2-2.5! Ничего не боится!
В планах на ближайшее будущее: сплавать завтра вечером в залив, где живут бактерии, зажигающие огни. Плюс сходить посмотреть на всяких птичек в ближайшем заповеднике. Затем – в Ринкон, где тусуются сёрферы. Может и урок серфинга возьму, а может и два. Только страшновато: волны там огромные, а я плаваю не так, чтобы очень хорошо…
Такие вот дела.

life | admin | | Leave a comment

Charity

Вместо поддержки чёрных в Гаити поддержал своими деньгами Lifeboats и оплатил годовую сумму на прокорм щенка, тренируемого в собаку-поводыря для слепых.

life | admin | | Leave a comment