Сохранен 59
https://2ch.hk/web/res/18075.html
24 декабря Архивач восстановлен после серьёзной аварии. К сожалению, значительная часть сохранённых изображений и видео была потеряна. Подробности случившегося. Мы призываем всех неравнодушных помочь нам с восстановлением утраченного контента!

Хранение большого объема изображений

 Аноним Чтв 07 Фев 2013 18:51:29  #1 №18075 

Саб, вебач. Пилю понемногу архиватор тредов борд. Какие можешь посоветовать варианты бесплатного ну или почти хранения большого объема NSFW изображений, от 100Гб.
Также желательно чтобы при возникновении абуз (а такие точно будут, так как модерации всего потока изображений не будет) давалось бы время на удаление, а не мгновенный саспенд.
Возможные варианты:
1. Дома на пекарне. Пока не могу.
2. Прокси + разные хостинги изображений без регистрации. Минусы: сложность, непостоянность (может не найтись рабочей прокси) + на большинстве со временем удаляют.
3. Хостинг изображений с оплатой за клики лол, там вроде бы не удаляют со временем но чую саспендят на ура.
4. ???

Аноним Чтв 07 Фев 2013 18:56:47  #2 №18076 

>>18075
Ну а если не найдется, будет пока без изображений, щито поделать.

Аноним Чтв 07 Фев 2013 21:25:23  #3 №18101 

>>18076
Хостинг себе купи, пёс.

Аноним Чтв 07 Фев 2013 21:50:21  #4 №18107 

>>18101
Хостинг на 500Гб, срсли?

Аноним Чтв 07 Фев 2013 21:54:09  #5 №18109 

>>18107
>от 100Гб.

Аноним Чтв 07 Фев 2013 22:02:15  #6 №18112 

>>18109
Ну первый месяц 100, а далее объем только расти будет же. Это ведь не борда - они вроде проточной трубы, у тут цистерна нужна.

Аноним Чтв 07 Фев 2013 22:13:26  #7 №18114 

>>18112
2 по 100

Аноним Чтв 07 Фев 2013 22:21:23  #8 №18117 

>>18114
Да ты считать оказывается умеешь.
Может еще деньжат подкинешь?
Только учти, примерно каждые 2 месяца нужно докупать 100Гб.

Аноним Чтв 07 Фев 2013 22:27:15  #9 №18118 

>>18117
Ну у тебя же других вариантов дохуя просто.

Аноним Чтв 07 Фев 2013 22:35:10  #10 №18120 

>>18118
Так назови же, бесплатные приветствуются.

Аноним Птн 08 Фев 2013 02:32:32  #11 №18126 

>>18075
Можно было bluehost, только там адалт низя. Есть еще неограниченный облачный сервис Bitcasa.

Аноним Птн 08 Фев 2013 03:43:33  #12 №18128 

>>18126
Часто под "unlimited" на дешевых шаред хостингах имеется ввиду неограниченное хранение .хтмл файлов и прочего текста, а лимиты на другие типы обычно вычисляются соотношением к текстовым. Не знаю как на bluehost, но обычно так. Да и тут не просто адалт, тут блеать и ЦП может успевать сохранится до удаления поста или треда. И еще, из 2-ух разных отзывов: >Количество файлов на аккаунт скрыто ограничено 50 000.

Bitcasa с недавних пор стоит $99 $69/год по акции, да и API пока не выпустили.
Но спасибо, хоть кто-то адекватный

Аноним Птн 08 Фев 2013 16:09:29  #13 №18139 

Вроде бы нашел кандидата: http://bayimg.com/
От создателей бухты, работает с 2007, и при том
>free image hosting, no registration required, uncensored, max file upload size is 100Mb
Может кто знает что о нем, как он отреагирует на большой трафик с одного IP?

Ну и поиски продолжаются, хотя бы один запасной нужен.

Аноним Суб 09 Фев 2013 03:08:39  #14 №18174 

ОП, ты самый умный человек на свете.
Архивы ИБ поэтому и затухают, потому что надо хранить огромное кол-во файлов.
Тот же метачан хранит пикчи очень хитро, многие удаляет.
Поэтому их никто и не делает, а не потому, что до этого додумался только ты.

>от 100Гб
>Хостинг на 500Гб
>первый месяц 100, а далее объем только расти будет же
Удивительные истории. Откуда такие расчеты?
Если ты будешь сохранять треды только по запросу, как метачан, то этих 100 Гб тебе на год хватит. Ты правда думаешь, что твой серис будет уберпопулярен? Архивы всегда были нишевой вещью с невысокой посещалкой ЦА, очень много будет набегать с поисковиков.
Для примера: все превьюшки картинок живых тредов сосача по моим прикидкам весят порядка 50-70 Гб. Вообще все.
Сохранять у тебя будут, ну пусть, 30 тредов/день.
Даже если твой сервис будет таким же культовым, как метачан или нямо, то дай бог ты эти 100 Гб за год стратишь.

Единственный вариант - дома на пекарне.
100 мбит в дом, внешний IP, мать с SATA 3 на борту, два терабайтника в RAID 1, и пошел!
Только незадача - тебе придется обучиться FreeBSD.

И вопрос к тебе - ты как сохранять-то будешь? Написал парсер вакабы что ли? А если макака изменит html-код? Все сломается?

Аноним Суб 09 Фев 2013 17:01:43  #15 №18195 

>>18174
>ОП, ты самый умный человек на свете.
Ой, как приятно...

Какой-то весьма противоречивый срыв покров вышел.
Я в курсе, что архивы как раз из-за стоимости содержания невыгодны, поэтому и ищу где бы их с минимальными затратами пристроить, так как дома не хотет.

>Удивительные истории. Откуда такие расчеты?
Да с потолка же. Тому анону нужно было объяснить, что йоба-анлимитед-хостинг за .99 не пойдет.

>И вопрос к тебе - ты как сохранять-то будешь? Написал парсер вакабы что ли? А если макака изменит html-код? Все сломается?
Да здесь и парсер писать не нужно, все готово, бери-не хочу. К примеру, этот тред: http://2ch.hk/web/res/18075.json
Ну а для других, если придется писать, то есть jQuery для PHP, с которым разбирать тред на посты одно удовольствие, и мелкие изменения кода не помехи.

Кстати, а где нямо хранил пикчи?

Аноним Суб 09 Фев 2013 17:23:15  #16 №18196 

>>18195
>Ой, как приятно...
Это была ирония, няша.

>где бы их с минимальными затратами пристроить
Если нужны объемы - домашний хостинг часто выигрывает перед всеми остальными.
Выбери среди провов тех, у которого пиринг с Ростелекомом очень широкий, и большинство российских посетителей будут иметь до тебя стабильную сотню. А если у прова будет еще пиринг с Транстелекомом - вообще шикарно, по России твой сайт будет летать.

И насчет ЦП. Заранее пишешь на [email protected], чтобы жалобы для сайта %сайтнейм% писались сразу тебе, а то бака Роскомнадзор ничего не поймет куда писать и заблокирует тебя. Прочти это - http://zapret-info.gov.ru/toproviders/appeal/

JSON-апи плохо тем, что нет сажи и трипкодов. Ты ведь знаешь об этом?
А другие борды? Архиваторы традиционно кроссбордерная вещь.
>jQuery для PHP
Жуквери - несусветная срань для лентяев и неосиляторов жабоскрипта, а что там оно представляет собой в PHP - представить боюсь.

Аноним Вск 10 Фев 2013 02:16:16  #17 №18202 

>>18196
Ну хуй знает, пока пусть грузит на несколько хостингов без цензуры с неограниченным временем хранения, а там посмотрим. Если сервис будет пользоваться популярностью, то не буду ждать банхаммера, перенесу куда-то.
За ссылку спасибо.

>нет сажи и трипкодов
Знаю, знаю. На локалхосте обхожусь, но всё равно придется писать под другие борды, так что допишу.

>а что там оно представляет собой в PHP - представить боюсь.
Предлагаешь вручную регекспами? Вряд ли получится так универсально как в том классе. Да и детали уже это.

Аноним Вск 10 Фев 2013 17:47:40  #18 №18243 

>>18202
>Предлагаешь вручную регекспами?
Да нет, но не думаю, что регэкспы будут тяжелее жуквери.

Удачи.

Аноним Срд 13 Мар 2013 06:30:04  #19 №19787 

Смотри, ОП если ты ещё жив
Захожу на сайт твой, жмакаю "Схоронить нить", медитирую на прогресс-бар, скачиваю торрент-файл и тяну .rar-чик.

Заходит Вася на твой сайт, скролит первые посты схоронённых нитей со статистикой по весу архива, количеству всей хуйни сидеров etc, тянет торрент понравившегося тхреда.

Надо просто как-то запилить на сервере, чтобы он первым вставал на раздачу.

А теперь внимание (освобождаем место на сервере):
По крону ходим в БД трекера, смотрим раздачи, у которых уже есть несколько скачиваний и грохаем эти архивы на серваке, и исключаем себя из сидеров, и даже небо, даже звёзды, даже ты, ОП.

Аноним Срд 13 Мар 2013 08:47:05  #20 №19789 

>>18075
Купи за 300 рублей
https://www.dropbox.com/pricing?tk=dropbox&ag=home_exp&ad=pro

Или Amazon S3 http://aws.amazon.com/s3/pricing/


тред не читал

Аноним Срд 13 Мар 2013 08:52:03  #21 №19790 

>>18075
ОП, ты прнс зделал? А то я уже джва года жду такой сайт.

Аноним Срд 13 Мар 2013 08:55:03  #22 №19791 

>>18174
> Архивы всегда были нишевой вещью с невысокой посещалкой ЦА
Сделать там автоприсваивание тегов фотографиям на основании названия треда хотя бы, технологию я не знаю
Поплывет в гугл имаджес и им подобным на раз.
После этого можно и заработать баннером на хостинг для самого архива тредов

Аноним Срд 13 Мар 2013 09:40:45  #23 №19792 

>>19787
> скачиваю торрент-файл
> Заходит школоВася с радмином c /i/ на твой сайт
> смотрит сидеров etc, тянет торрент и начинает ковырять их IP адреса
да ну НАХУЙ

Аноним Срд 13 Мар 2013 22:06:56  #24 №19811 

nazuka.net

Аноним Срд 13 Мар 2013 22:24:52  #25 №19813 

Сам для себя сделал сохраняч тредов. Но у меня хост с работы и почти неограниченное место там.
>>18128
> API пока не выпустили
Закачка по крону.

Аноним Чтв 14 Мар 2013 00:09:51  #26 №19818 

Фигасе, какая активность, а я уже думал забрасывать.
>>19787
Слишком муторно, разве что для пикч на крайняк. Треды-то по 30Кб сжатые весят.
>>19789
Хранилище типа Dropbox и буду скорее всего юзать для пикч, но палить не хочу. Даже либу уже набыдлокодил.
>Amazon S3
>Restore jobs typically complete in 3 to 5 hours.
Я могу найти тянку и стать успешным, пока качается мой любимый тред.
>>19790
Трпи. уже скороменьше года так точно
>>19791
Пикчи скорее всего ресайзить буду, я ебал платить за нескучные обои в FullHD. Для начала пусть 800х800 будет. Гугл, как и тинай, успешно ищут исходник даже по превьюшке. Для ориджинал контента возможно сделаю кнопку для хранения оригинала.
>>19811
Реселлерское говно от youhosting.com. Все минусы даже перечислять не буду.
Думаю на AppFog хоститься пока.
>>19813
Братишка! Парсер тредов писал, или целые страницы хранишь?
Я пока nokogiri для парсинга пробовал, примерно 3 секунды против 20 в phpQuery для треда в 500 постов.
Алсо, как перевести массив, возвращаемый nokogiri (вида http://pastebin.com/YseGQBxf ) обратно в html?

Аноним Чтв 14 Мар 2013 10:10:16  #27 №19851 

>>19818
> я ебал платить за нескучные обои в FullHD
а меня вот как раз и прельщают паки арта, картин которые иногда всплывают в бэ и ресайз не есть айс.
Ценители будут на обочине.

Аноним Чтв 14 Мар 2013 15:28:54  #28 №19874 

>>19851
Вот тебе ссылка на гуглопоиск по превьюшке:
https://www.google.com/search?hl=uk&safe=off&q=pegaso+negro&tbm=isch&tbs=simg:CAQSXRpbCxCo1NgEGgQIAAgEDAsQsIynCBoyCjAIARIKjgSPBK8EpASiBBog5q9EJ2qGtme5ZNfWj4l34tJYuI95u3mWrJN8O9bI0IQMCxCOrv4IGgoKCAgBEgTsCcXJDA&sa=X&ei=2bJBUcm8KciTtQbJiYCwBQ&ved=0CCYQwg4&biw=1482&bih=1014
Я говорил о том, что ориджинал контента среди обоев почти нет, и нет смысла хранить то что сохранено 355 000 раз. Переход в поиск будет осуществляться одной кнопкой. Ну и, как писал, возможно будет кнопка для выборочного хранения фуллсайза.

Аноним Чтв 14 Мар 2013 15:32:58  #29 №19875 

>>19874
В догонку: если весь тред будет с таких пикч, то весить он будет порядка 172Мб, а с PNG может и до 400 дойти.

Хуй Непростой Суб 16 Мар 2013 10:00:04  #30 №19968 

>>18075
Я тут подумал, всплывают годные треды, но ждать бамплимита порой нереально так как спать или на работу пора, а проебать неохото и почитать позднее можно.
Можно в твоем сервисе скормить ссылку на тред, оставить мыльник фейко разумеется и твой сервис будет ходить по ссылке каждые 2 минуты обновляя скачанный тред до того момента как начнет получать по ссылке 404, хуякс зипанул и отправил на мыло архив аттачем.

sageАноним Суб 16 Мар 2013 13:33:46  #31 №19971 

>>19968
В /b, быдло!

Аноним Суб 16 Мар 2013 16:26:35  #32 №19975 

Amazon s3 же

Аноним Суб 16 Мар 2013 18:23:12  #33 №19981 

>>19968
Частично из-за этого и решил создать.
>>19975
AppFog его и юзает.

Аноним Суб 16 Мар 2013 20:08:06  #34 №19997 

>>19971
нет ты

Аноним Суб 16 Мар 2013 20:08:30  #35 №19998 

>>19971
я щокирован

Аноним Суб 16 Мар 2013 20:08:48  #36 №19999 

>>19998
9999

Аноним Суб 16 Мар 2013 23:22:40  #37 №20022 

>>18075
анон, а где твой сайт то?

Аноним Вск 17 Мар 2013 00:45:12  #38 №20025 

>>20022
Мы работаем над этим. Нужно разобраться с новым парсером и по-быстрому запилить хотя бы для сосача сначала. Пока ещё есть что архивировать

Аноним Вск 17 Мар 2013 18:24:54  #39 №20057 

>>18075>>20025
Парсер готов. За 2 секунды обрабатывает тред в 500 постов со всеми полями (трипами, видео, сагой и т.д). Нот Бэд. На досках с Макабой также работает.
Думаю, на днях будет готова тестовая версия.

Аноним Вск 17 Мар 2013 18:29:45  #40 №20061 

>>20057
сурс выкинешь? для личного пользования анонам

Аноним Вск 17 Мар 2013 18:40:51  #41 №20064 

>>20061
Да там 30 строк, не считая nokogiri, лол. Кому надо, сам напишет.

Аноним Вск 17 Мар 2013 18:46:58  #42 №20065 

>>20064
> Кому надо, сам напишет.
Угу, смотри не удавись от жадности.

Аноним Вск 17 Мар 2013 18:58:31  #43 №20067 

>>20065
Это приватные наноразработки, я должен обсудить этот вопрос с начальством.

Аноним Пнд 18 Мар 2013 00:26:13  #44 №20085 

>>20065>>20067
OMNOMNOM
Апи будет открыто, чтобы аноны с мелкоборд смогли сами добавить их поддержку. А модуль сосача будет в качестве примера, так что кому надо тот скачает.

Аноним Пнд 18 Мар 2013 01:58:34  #45 №20094 

Кстати, о птичках.
Выбранный Cloud Storage Service накрылся медным тазом. Точнее, он до сих пор иногда работает, но старые файлы уже не скачать, и у меня такие подозрения, что их вообще удалили. А я-то всего 40Гб закачал туда для теста, эхх..
Появилась идея хранить пикчи прямо в Корпорации добра Google Picasa, там же безлимит для изображений до 800х800, мать его! И апи есть. Да, и учитывая их объемы, вряд ли модер когда-нибудь проверит приватные альбомы моего фейка, а тем более обнаружит некондицию. Осталось только пикчи через свой сервер проксировать.

Аноним Пнд 18 Мар 2013 02:16:41  #46 №20095 

>>20094
Тащемта гугл сам дохуя пикч кеширует с сосача.

Аноним Пнд 18 Мар 2013 12:51:17  #47 №20108 

ОП, запили скрипт для поиска оригинала изображения через тинаи и гуглы всякие. Профит: сразу несколько зеркал одного изображения и, если повезет, можно найти хай-рез пикчи.

Аноним Пнд 01 Апр 2013 20:25:04  #48 №20505 

Ба-бамп!
>>20108
Будет.
Picasa кстати тоже отпадает, там ограничение на количество пикч в альбомах.


Нашел убергодный способ хранения картинок, с переложением их модерации на пользователей. Есть такой сайт http://imgur.com/, предоставляет собой неограниченное хранилище изображений.

И, конечно, у него открыт API.

Для хранения треда с пикчами, нужно будет указать client_id приложения, созданного на imgur.com, и после успешной проверки он сохранится. Приложение надо будет единожды создать, благо это несколько кликов. Все пикчи с тредов будут автоматически сохранятся в аккаунт пользователя на imgur.
Теоретически, если там обнаружат ЦП, аккаунт вероятно заблокируют, но только того кто не следил за пикчами, а не все.

Интересует юридический аспект сих действий.
Конкретней, на ком будет лежать ответственность за изображения, учитывая что они даже не будут передаваться через наш канал, так как будет использована удаленная загрузка с чанов напрямую на imgur, используя предоставленный пользователем client_id.

Аноним Втр 02 Апр 2013 15:23:56  #49 №20547 

>>18075
есть опыт говносайтинга. делюсь опытом
>посоветовать варианты бесплатного ну или почти
>100гб
>бесплатно
ну ты понял
советую облака - селектел, s3, и так далее
>Хостинг изображений с оплатой за клики
даже блять не думай об этом

Аноним Втр 09 Апр 2013 18:50:14  #50 №20878 

А как насчет хранения изображений вконтактике? Разумеется, после загрузки сразу удаляя их. Как известно, контакт не удаляет загруженные пикчи, поэтому до сих пор работают все прямые ссылки на изображения загруженные даже 4 года назад.

Аноним Втр 09 Апр 2013 19:30:44  #51 №20880 

>>20878
И делать периодические бекапы на пеке, разумеется.

Аноним Срд 10 Апр 2013 21:09:03  #52 №20910 

>>20878
Все варианты хороши до первых банов, поживем-увидим.

Аноним Чтв 11 Апр 2013 00:35:35  #53 №20920 

habrastorage.org смотрел, оп?

Аноним Чтв 11 Апр 2013 14:15:46  #54 №20933 

>>20920
И чем он лучше любого другого? Главный плюс - устойчивость к нагрузкам - нам особо ни к чему, а анальное прикрепление к акку делает его даже хуже. Вряд ли одминистрация закроет глаза на нехилый поток нерилейтед картинок.

Аноним Чтв 11 Апр 2013 14:24:09  #55 №20934 

Пока лучший вариант - вконтактик. С их объемами, маловероятно что нами кто-то заинтересуется. Как выяснилось, им достаточно напрямую грузить картинки по выданной ссылке, даже не вызывая апи, да что там, даже не авторизируясь, лол. Ссылка уже дня 3 не меняется.

Аноним Чтв 11 Апр 2013 22:33:40  #56 №20960 

>>20934
> им достаточно напрямую грузить картинки по выданной ссылке, даже не вызывая апи
Как?

Аноним Птн 12 Апр 2013 03:52:00  #57 №20965 

>>20960
Да хоть телепатически, API кури.

sageАноним Птн 19 Апр 2013 22:57:48  #58 №21365 

оп, выкатывай бету уже, сука

Аноним Суб 27 Апр 2013 23:21:07  #59 №21726 

Бета версия готова, перекат: http://2ch.hk/web/res/21725.html

comments powered by Disqus

Отзывы и предложения