>>111915
Плюсую, куча тредов уже потерялась, что же ты делаешь, абу?
Для тех, кто не понял - сохроненные треды слишком часто использовали в качестве вещдоков беспредела модерации, в результате чего было принято такое решение. Если в следующий раз где-нибудь на просторах /вм удалят релейтед тред, или в /б - тред инакомыслящих, то доказать это будет сложнее. Это так, к сведению.
Разбанивайте давайте. Люди ждут.
Бамп.
>>111915
Забанили кококонкурента. Архивач жи гораздо интереснее мизулина, годноты полно, ридонли форсированный, куча плюсов.
абу, сука, я тебя ненавижу. твою вонючую самодовольную хачежидовскую харю.
>>112005
А ТО!
Хотя в каждой шутке... Может свой архивач на макабе пилят бесплатный и без смс.
>>111915
+++ Поддерживаю. Хуле вы как на эстраде? Кругом бизнес, годные тред теряются.
АРХИВАЧ МНЕ СДЕЛАЛ БЛЯДЬ!!!!
совсем уже охуели, то Таиланд целиком забанят, теперь это
Нахуя, абу?
>>111915
Вы совсем дебилы что ли, не знаете с кем дело имеете.
Скачивать треды надо другим ИП, отдельным.
Не можете - значит лохи и дебилы ебанные, нахуй архивач такой.
>>112113
1. IP прикрыт CloudFlare.
2. Абу одобрил архивач.
Судя по всему, он сейчас просто не может отреагировать.
>>112139
Кукарекло это ты, а мы ждем официального ответа Абу.
>>112141
Он уже был. Это хорошая новость.
Он куда-то пропал. А вот это уже навевает смутные сомнения.
После непродолжительной переписки с Архивачем создалось впечатление, что создатель/админ - ленивое хуйло, не способное преодолеть малейшие сложности, и Абу тут даже не особенно при чём. Готов был бы даже предложить конкретную техническую помощь, но что-то и потребности в ней не заметно. Сервис не для пользователей, а для ЧСВ?
>>112579
Ну подумай сам. Для обновления всех тредов нужно 400+ запросов, не учитывая загрузки пикч, пусть даже большинство только по хедеру. И так каждые 2-5 минут, ну пусть 10. Многопоточность не используется. Как с такими масштабами можно притворяться обычным пользователем? Даже с запросом доп файлов (кол-во запросов++) и подстановкой кук/рефереров етц? Я не против конструктивной беседы, но тут какой то разговор ради ЧСВ получается.
>>112585
>нужно 400+ запросов
>так каждые 2-5 минут, ну пусть 10
Прям овер дохуя. Любой современный браузер с настройками по умолчанию шлёт сразу несколько десятков запросов почти параллельно, и ничего, никого же не банят за это. Алсо, в HTTP есть keep-alive, чтобы не пилить отдельное соединение на каждый последующий запрос (и следовательно не напрягать всякие rate limiter'ы). Да и никто не мешает прикрутить хотя бы с десяток постоянно ротируемых шустрых прокси, если уж совсем уныло.
>Многопоточность не используется
Why so slow bad?
>Даже с запросом доп файлов (кол-во запросов++)
Хуй бы с ними с файлами.
>подстановкой кук/рефереров
Зачем куки, если это АИБ? Там ничего полезного не хранится. И сервер что, банит всех, кто не указал сраный реферрер?
>>112592
>многопоточное скачавиние овердохуя тредов
>нормальное использование
Ну ты понял.
>Любой современный браузер с настройками по умолчанию шлёт сразу несколько десятков запросов почти параллельно
Если ты про pipelining, то только сопутствующих файлов блеать (js/css/img). И IE/FF не поддерживают его по дефолту.
>Зачем куки, если это АИБ? Там ничего полезного не хранится. И сервер что, банит всех, кто не указал сраный реферрер?
Но как-то же детектируются атаки.
Конечно, самый очевидный способ детектировать - нормальный пользователь не будет круглосуточно скачивать 400 тредов со всеми пикчами каждые 10 минут. Если для тебя это не очевидно, то ты поехавший странный.
Да и вопрос у нас не стоит в обходе тех препятствий вместе с ддосерами лол, а в добавлении в вайт-лист, что сейчас, судя по всему, не предоставляется возможным, в связи с продолжением атак.
http://nyamo.org внезапно, нормально скачивает, заговор?
Вроде заработало. Нету гарантий, что через 5 минут не отвалится, но там защита вроде уровня /б была.
Перенесу это дело на многопоточность, если хк позволит.
На днях нас добавили в исключения, так что функционируем в обычном режиме. Состояние же сего форума остается под вопросом.
Абу, опять сломалось, чини.
+
И снова сломалось. Да что же за пиздец творится?
БББИИИИИИИИИИИСТРА БЛЯДЬ!!!!!!1
Опять эта хуйня!
Краулер Архивача опять соснул? Дайте угадаю, не можете обойти клаудфлэровский anti-DDoS и эмулировать полноценного юзера? Предлагаю запилить краулер поверх WebKit движка (PhantomJS и т.п.).
>>115362
Судя по 502 Bad Gateway, блокурует запросы конечный сервер, а не клаудфлара. Кроме того, мы в клаудфларовском вайтлистепо крайней мере были. За PhantomJS спасибо.
СЦУК ППЦ((((
ОПЯТЬ НЕ РОБОТАЕТ(((((9
Разраб Архивача, ты как будто ещё криворучестее Абу. Ну понятно же, что тепличных условий не будет, пора бы уже не надеяться ни на какой whitelist, а соответствующим образом адаптировать краулер.
Если нужны идеи - давай обсудим. Или иначе скоро будет проще запилить собственный архивач.
>>115596
Опять ты, лол. К твоему сведению, сейчас ни один из существующих онлайн архивов не может скачивать треды.
А теперь по Архивачу. Кравлер пытается получить треды раз в 2 минуты. Уже недели две как, после хотя бы одного отказа он сразу останавливается, до следующего запуска. И все равно, через некоторое время сервер начинает постоянно отдавать 503. Возможно, считается количество запросов за промежуток времени. Если 1 запрос в 2 минуты - это слишком много, то как тогда обновлять 600 тредов?
Если имеешь предложения по делу, то пиши, не стесняйся.
>>115657
>Если 1 запрос в 2 минуты - это слишком много, то как тогда обновлять 600 тредов?
Пили лог/статистику запросов твоего краулера, поглядим.
Моя реализация тред-краулера выкачивает весь /biz/ за полминуты без каких-либо добавленных пауз, никто не банит.
Абу, разбань айпишник архивача. Годные треды надо сохранять.