Оп, очень даже неплохо.
Там в этом объекте дохуя ещё интересного, включая, как я понял, друзяшек. Распарсить бы это всё, чтобы понять, что сохранять.
В принципе, можно выкачать, проганья на пару часов с перлом. Вот только по трафику это получится порядка 50000000 x 50Кб ≈ 2 Тб. Ладно, у меня скоро kimsufi будет, там 5 Тб в комплекте и порт 100Мб, посмотрим.
Короче,я спать пошел. Если до 00:00 по мск никто не заинтересуется - займусь своими делами.
>>41973
>на пару часов с перлом
Не верится. Тем более с тормознутыми перловыми потоками.
>дохуя ещё интересного
Ничего вовсе. Я все обыскал. Друзяшек там нет, там есть подарки от пиздолизов("ProfileGifts"). Все что представляет какую-то ценность я отрисовал юзер скриптом.
Есть ещё несколько подозрительных записей, но я пока не видел чтоб они были заполены. Пишу по памяти:
odessamama
ukranianExperiment
blocked_countries
geo* (код локации)
adminturkey
italian*
confirmation_code
isDeveloper
isDev
vk_ero_album_id ← наследие от старого геймплея, сейчас вроде не работает.
>>41975
>Не верится.
Ну не верь, лол. Код для многопоточности у меня давно написан, и никаких «тормознутых потоков» я там не использую, только старый-добрый fork.
«Пару часов с перлом» я говорил про время кодинга, а не сбора данных, если что.
>>41975
>тормознутыми перловыми потоками
Типа, топфейс тебе контент отдаёт быстрее, чем перловые потоки его отрабатывают? форман жпг
>append("Почта шлюхи: "+socid+"
WUT? social_id, кроме почты, может быть id из вк, фб, мм, ок и ещё хуй знает чего.
>>41973
Сохранять стоит (как мне кажется) только TF.config.data["debugTools"]["ip"] и TF.config.data["currentUser"].
(((50611526*1.5)/1024)/1024) = 72.4 ГБ (если вырезать только эти 2 части массива в JSON, а затем сжимать gzip-ом - то получается в среднем около полутора килобайт).
Алсо, что это за пиздатый алгоритм, и что за magick nubmers 175/40, 350/100?
В чём у них там деньги измеряются?
if (intmoney {loh = 'Ну хуй знает';}
else if (intmoney > 6 && intmoney {loh = intmoney*175/40;loh = loh.toString()+" руб.";}
else
{loh = intmoney*350/100;loh = loh.toString()+" руб.";}
>>41981
Или вообще ограничиться только IP + id_в_социалках.
>>41981
На кой хуй нам весь TF.config.data["currentUser"]?
Там полезного — на пальцах пересчитать: firstname, vk_id, fb_id, mm_id, social_id, age, platform, city, sex, [money, photo_url, big_photo_url,] да всякие geo_, если есть.
Чистых данных гигабайт на 50 даже без сжатия, а если впихнуть в БД, то и того меньше, наверное.
Главный вопрос в том, сколько это всё будет качаться (50Кб на 50000000 страниц — 2.5 Тб. 2.5Тб на 100 Мбит — двое суток) и не забанят ли мой ip за это время (а я думаю, обязательно забанят).
>>41984
Вот смотри - уже упустил ok_id. Он не везде есть, и потому не хотелось бы его проебать. Кто его знает, что там ещё полезного может быть, что не у всех выводится?
Поэтому я и предложил - сначала сграббить, а потом уже с парсингом спокойно возиться.
Насчет бана - я думаю не забанят, лол. Вот делать им нехуй больше. Кстати: http://topface.com/catalog/
>>41984
И странно ты посчитал. Сервер же gzip-ом жмёт (можно ещё и range заюзать, но опасно), там около 30кб получается. Т.е. около 1.5 ТБ, а не 2.5.
>>41985
>сначала сграббить, а потом уже с парсингом спокойно возиться
Можно и так, чо.
>Сервер же gzip-ом жмёт
Ну да, забыл.
Ладно, всё равно я ещё сервер не оплатил, так что раньше, чем завтра, дампать не начну. Думаю потом оформить это в виде веб-морды для удобства.
>>41978
>Не верится. С потоками, тем более с перловыми.
Так лучше?
>>41980
А if я для чего писал?
>>41981
>TF.config.data["debugTools"]["ip"] и TF.config.data["currentUser"].
>(((50611526*1.5)/1024)/1024) = 72.4 ГБ
1.5 Кб ты отводишь под хранение записей 255.255.255.255 и 2*10**8?
>>41983
4 байта под IPv4 + 4 байта под id,итого 8 байтов умножить на 50М записей => 381 Mb. Я уже давно все посчитал.
>>41982
Пикрелейтед, не точно конечно, просто для забавы написал.
>>41985
Меня на 10 минут ограничили, вы делаете слишком много запросов.
>http://topface.com/catalog/
http://topface.com/sitemap.xml
Блджад посоны, вы об этом приложении или нет? http://vk com/app1713637
Как в нём можно через дебагер айпи узнать?
>>41988
>1.5 Кб ты отводишь под хранение записей 255.255.255.255 и 2*10**8?
А если почитать внимательнее?
>TF.config.data["debugTools"]["ip"] и TF.config.data["currentUser"]
в JSON + gzip, потому что >>41985.
>Меня на 10 минут ограничили, вы делаете слишком много запросов.
Ох лол, так они всё-таки "прокачаны", оче нечасто такое наблюдается. И через сколько такое появилось? По ойпи заблочили-то?
>>41991
Похоже у низ одна база? Меня перекинуло в мой профиль на app1713637, то есть показывает друзей из app1713637.
Захожу на страницу Друзья, там 1 друг, и нихуя нет ссылки на его профиль в этом приложении, только фото, как её узнать? Ну или айди, что бы по базе http://topface.com/catalog/ найти?
По айди с контактика там другой человек.
Например http://topface.com/profile/1/ далеко не Дуров.
>>41993
А как на страницу друга попасть в этом говне? Она почему то некликабельная, просто фоточка, в коде айдишника страницы в этом говне вроде тоже нету.
>>41989
Это их старое приложение.
Асло вот там то как раз и были vk_ero_album_id, можно поковырять.
Олдфаг того лицемера
>>41988
>Так лучше?
Ни разу не лучше не лучше. Так и не понял, чем тебе не нравится перл, тем более, что никаких потоков я не использую, только fork().
>4 байта под IPv4 + 4 байта под id
Ну ты и придумал. А мыльце не хочешь сохранить? А если id-шек больше одной (вк и фб, например)? Но в месте не проблема вообще, тут похуй.
Гет в тематике
>>41999
>А если id-шек больше одной
Айдишек? Множественное число айди, правильно? Он там один же. Или ты хочешь к одному ипу привязать нескоьлко id если таковые будут? Непонел.
>А мыльце не хочешь сохранить?
А нахуя те мыльцо?
>>41998
Страницу думаю всё же не стоит, с виду оно так выглядит
Возможно перейти на профиль можно будет после того как проголосуешь
>>42003
Исходный код страницы > Ctrl+F > "/profile/"
Переходи по всем ссылкам пока не найдешь своего друга. У меня нет такого, так что помочь не могу не имея данных. Все фейки в бане. Сам регился через почту. Единственный способ, если кто-то зарегается через почту фейко, скинет сюда мыло, я найду в поиске по почте внутри приложения и тогда он появится у меня в друзяшках.
>>42002
>Множественное число айди, правильно? Он там один же.
Ну там же есть vk_id, fb_id, mm_id — для вконтактика, фасебука и моегомира соотв-нно. Почему бы их не сохранить?
>А нахуя те мыльцо?
Для поиска по мыльцу, очевидно же.
>>42005
Мне понятна твоя идея. Но я исходил из целесообразности дампа всей анкеты или тех полей про которые ты говоришь, никому они не нужны эти поля. С фейсбука регаются только фейки, с мыла ещё хуй знает кто. Основная масса с вк. И люди которые будут заходить на твою веб морду будут искать по id в вк. Таблица соответствия vk id : ip - единственный профит который можно извлечь из этого приложения.
>Для поиска по мыльцу, очевидно же.
Не думаю что кто-то будет регаться через мыло, увидя возможность зарегаться через vk id. Да и тем более это приложение большинство находят именно через соц сети, и регистрируются соответственно через них же.
>>42003
Зайди на сайт topface используя авторизацию вк, а не через приложение в сраном инфрейме.
>>42004
Нашёл её профиль через избранное, повезло что когда то при создании старой версии приложения добавил её туда. Ойпи неожиданно с другого конца Роиссе от того места где она живёт, может быть что Росстелеком раздают айпи рандомно, забив на город, или получается что она переехала?
Посоны, вы потом когда всё сольёте, сделает софтину с базой и рейтингами ойпи и подобной хуинты?
>>42006
>Основная масса с вк
Я тоже так думал. Но давай сравним.
Всего юзеров на топфейсе:
>50 630 210
Юзеры приложения вконтаче:
>Приложение установили 9 800 000 человек
Видимо необязательно ставить приложение, чтобы регистрироваться, но всё же. Интересно бы после парсинга проанализировать процентное соотношение "кто откуда", лол.
>Таблица соответствия vk id : ip - единственный профит который можно извлечь из этого приложения.
Я бы не сказал. Фб, ок и т.д. тоже неплохо. Да и вполне вероятно что хомичок вбил туда возможно более "расширенные" данные, чем в социалочке (всё-таки площадка для знакомств).
Всё равно выкачивать одни и те же объемы, почемы бы не схоронить побольше, вдруг потом мысли умные придут по использованию, или же они скроют некоторые данные? 72 гига - не так уж и много же (особенно когда входные данные поболе терабайта), можно торрентом раздать, кому надо - возьмет, а анон с сервисом оставит позже у себя только вконтач и ip.
>>42007
Заходил, та же хуита, кликнул оценку, это типа дерьма которое появится на стене у того за кого ты проголосуешь.
>>42008
>может быть что Росстелеком раздают айпи рандомно, забив на город
Врятли. Может переехала, может её взломали. Айпи случаем не из диапазона сотовых операторов? Чем вообще геолокацию делал?
>>42011
Нет, Росстелеком, проверял обычным вхуисом, просто у меня тоже такое было что город не мой показывало.
Лол посоны, сходил поссать и до меня дошло, это же охуенную базу можно сделать, с поиском по айпи, айди, меилу, имени, полу, возрасту и тд., сливайте все данные лол.
>>42006
>Не думаю что
Да я вижу, что не думаешь. Тем не менее, мыльца там есть.
>никому они не нужны
Так можно и про всю затею сказать. Ты лучше не кукарекай о ненужности, а посмотри в дампы свои, сколько там «основной массы из вк». Результаты тебя удивят.
>люди которые будут заходить на твою веб морду
Ну а это вообще пушка! Ты уже за меня решил, кто будет на мою вебморду заходить?
>>42009
Остальные - англоговорящая аудитория с facebook, оно тебе надо?
>"расширенные" данные
Согласен. У многих заполнено рост,вес, размер груди. в вк таких полей не видел. Но в основном милфы занижают возрат вот и все отлиция от профиля вк.
>скроют некоторые данные
Ага. Следуя из названия debugtools, это костыль чтобы модераторы банили по ип. они просто потом прикрутят проверку на аккаунт модератора. Так что если они и спохватятся то первым делом скроют Ip, на счет vk id не особо понятно. На этом держится весь ихний сервис вроде, там же не только vk id показывается но и дата рождения, имя, фамилия и другие данные из анкеты, значит они для чего то используются.
>>42011
Давно заходила в приложение? Может то диапазон переназначили другому региону?
>>42014
Делай ты че хочешь. Главное выебите это приложение по полной.
>>42016
>Остальные - англоговорящая аудитория с facebook, оно тебе надо?
А почему бы и нет, если уже уплочено, как говорится?
>>42018
>была 2 дня назад.
Или более 2-х дней назад? Если более, то в диапазоне от 3 дней до начала времен этого приложения - сокращается до "более 2-х дней"
>>42019
Вот такая надпись.
>>42019
"Была более двух дней назад"
Понял, отсос, значит хуй пойми когда и айпи возможно перенесли, но у меня точно было что я в 1 городе, а по айпи совсем в другом.
>>42021
>а по айпи совсем в другом
Так айпи-то действительно твой был или где?
Ну что, аноны, скоро база будет?
>>42041
Ты же сказал, что банят по IP, я и забил.
перловик с форками
>>42535
Думаю, разницы нет. По крайней мере, я бы на месте разработчиков не делал.
ОП, ты ваще кулкакер, ебать ту люсю. Ты нашёл очень важную мегадырень в очень важном сайте для очень важных людей.
Когда закончишь собирать базу, предлагаю тебе заняться сбором статистики из въконаткта. Тоже невъебаться насколько важная информация.
>>42538
Зря ты так. Во-первых, можно узнать, сколько на самом деле бабла лохи занесли на этот сайт, во-вторых, инфа про состоятельных хомяков кое-чего тоже стоит.
>>42539
> сколько на самом деле бабла лохи занесли на этот сайт
Бред же.
Ну вот что тебе даст инфа о пользователе из http://topface.com/profile/1/ ?
>>42540
Даже лень объяснять жпг. Инфа о реальной прибыли компании чего-то стоит по-любому. Продать непросто, это да.
Мне очень важно авторитетное мнение анонимного школьника, который сагает с картинкой. Обязательно прокомментируй другие мои треды.
>>42572
> сагает с картинкой
Это интеллигентное посылание на хуй, дружок.
Извиняюсь, а для чего нужен чей-то IP? Задеанонить чтоли собрались, лол? Он же у большинства тем более динамичный да и инфы никакой не несёт.
Вот можно ли узнать через контактик номер телефона, к которому привязана страница? ну то есть, если жертва нигде номер телефона не указала, можно ли его узнать? Ведь каждая страница к телефону привязана.
>>42668
Для того, чтобы набивать ебальники и проводить целенаправленные атаки, очевидно же.
Кусок телефона же можно узнать, запросив восстановление. Ну и про базы не забудь.
>>42675
>чтобы набивать ебальники
что, простите? по IP ты ничего не узнаешь, да и в самом контактике инфы обычно выложено более, чем дохуя.
так, про восстановление что-то слышал. а базы по мобильным телефонам? что-то они старые, а теперь на торрентах их и не сыщешь.
>>42675
целенаправленные атаки это по типу радмина? так то, что айпи у многих динамичен и каждый раз меняется, это не смущает?
Есть одно дырявое приложение Старый добрый Лицемер
Через которое можно узнать ип того, кто установил это приложение,
Эта информация встаивается в страницу анкеты (Которая выглядит вот так http://topface.com/profile/22903489/) в приложении.
Для тех, кто хочет сразу приступить я написал user.js, который отрисовывает эту информацию в браузере, можно скачать здесь http://rghost.ru/private/44750897/f21b1693d75001ac64f97b66741dfd96
Для тех кто хочет поковырять приложение:
Необходимая имформация находится в inline JS-скрипте, 14 по счету от начала страницы, начинается с if, легко найдете в dragonfly от оперы, в этом скрипте переменно TF.config.data присваивается значение, которое является JSON объектом. В этом объекте и находится IP.
Для навигации по объекту:
TF.config.data['currentUser']['vk_id'] - Id лалки
TF.config.data["debugTools"]["ip"] - IP лалки
Если есть люди умеющие в асинхрон (желательно Twisted), то можем выкачать всю базу.
У меня в этом деле мало опыта, нужно как-то ограничить количество деферов, и запускать новые по мере выполнения.