О том, как ВКонтакте собирает информацию о нас. Часть 1

Сегодня, ковыряя отснифеный трафик официального приложения ВКонтакте под Android, пытаясь найти особенности, по которым API отсеивает официальные приложения для получения музыки, я наткнулся на запросы довольно интересного содержания.

DisclaimerСразу хочу отметить, что я снимаю с себя любую ответственность за возможный ущерб, который Вы можете причинить себе/своим устройствам или другим/чужим устройствам, выполняя действия, которые здесь описаны. Также я не призываю заниматься подобной деятельностью на своих сетях. Информация предоставлена исключительно в ознакомительных целях и крайне не рекомендуется к воспроизведению/повтору на личных устройствах, сетях, а также строго не рекомендуются эксплуатации на пользователях, поскольку снифинг чужих данных — дело незаконное, а свое устройство я промониторить в праве.И да, для любителей найти рекламу там, где её нет: этот пост/статья — не является рекламой. Упомянутые ниже приложения приводятся в качестве примеров, не более.

Update 6А еще давайте сразу, вот что ответил (где-то) Андрей Рогозов про данную информацию.

ПредисловиеГода два назад я тоже снифил трафик с помощью Shark for Root, отправляемый ВКонтакте с телефона. Ничего странного я тогда не видел. Сейчас же, когда нас окружают "умные" (именно в кавычках, ибо они идиотские) ленты, машинное обучение и прочее, техника стала, мягко говоря, следить. С одной стороны, это хорошо (мы даем пищу для машин, чтобы они обучались), с другой — плохо (данные о нас сохраняются на серверах).

РезультатыПроснифив только авторизацию, аудиозаписи и вообще первые минуты после авторизации в приложении, уже можно поймать все эти странные запросы. Итак:

Самое странное, что мне показалось — это то, что приложение сливает абсолютно весь список пользовательских приложений, установленных на устройстве. Зачем?! (в центре скрина влепил decoded-строку параметра apps)

Update 2Друг-разработчик Андрей добавил ещё скринов того, что сливается официальным приложением под Android.

Update 3Эдуард Безменов, разработчик модификации официального приложения VK Coffee, прокомментировал этот пост так:

«. сама настройка появилась далеееко не сразу, в сравнении от самого слива. Слив подобных данных лично для меня далеко не ново и в кофе давно отключено. . Самый ад то, что libverifyот мыла.ру собирает серийники sim-карт, а mytracker — lac и cid. Это вроде и показал Андрей. Серийники сим карт и т.п. Вот из-за этого и надо поднимать хайп.»

Update 4Григорий Клюшников, бывший разработчик этого самого приложения, как оказывается, был сам против включения сервисов Vigo в приложение:

«Vigo уже очень давно был, внедрял его я. Я был против с самого начала, но на моё мнение всем было известно как. И это вы там ещё до мейловского MyTracker не дошли, там самая мякотка.»А вот, что на самом деле представляет Vigo по описанию Григория:

«По изначальному замыслу, точнее, как это мне все объясняли — "выбирать качество видео в зависимости от интернета". Естественно, я абсолютно не хотел сливать подобные данные ради этой никому не нужной мелочи. Хотели бы на самом деле сделать удобный просмотр видео с подстройкой качества под интернет — запилили бы DASH/HLS, как у настоящих видеохостингов. . »Отправка местоположения, как оказалось, производится только при просмотре отдельного поста. На аудиозаписи это не влияет, как некоторые стали считать, что в зависимости от региона некоторые треки "скрывается".

Update 5: Ответы от ВКонтакте

Мобильная техподдеркаДенис решил всё-таки добиться ответов на наши вопросы и задал их мобильной поддержке ВК (id333)

Оказывается, Ваше местоположение, данные для таргетинговой рекламы, список установленных приложений и сети Wi-Fi жизненно необходимы для приложения и сайта в целом.В ответ на последний вопрос, поддержка решила отойти от темы.

Подручные средства

У нас в распоряжении комп под Linux (Ubuntu 16.04 LTS), два телефона на Android 5.1 (Sony Xperia L) и 6.0.1 (Samsung *какой-то там*). У Sony выпилены Google Play Services. На обоих телефонах последняя версия приложения и стороннее приложение — Kate Mobile (версии 37 и 41 соответственно). Ну, и, естественно, единая локальная сеть, к которой подключен и комп, и два устройства.

Подготовка: создание сертификата SSL

Если просто начать снифинг, то мы получим лишь сырые данные, не поддающиеся обработке, поскольку они передаются по протоколу HTTPS — данные зашифрованы. Для того, чтобы получить данные такие, которые мы можем расшифровать, мы меняем сертификат на тот, который мы же и создали. Таким образом мы можем расшифровать этот трафик.openssl req -x509 -newkey rsa:4096 -keyout key.pem -out cert.pem -days 365Этой командой создаем сертификат, где key.pem — файл ключа, cert.pem — сертификат.В phrase key вводим что-то типа пароля. Он нам еще понадобится. Затем его еще раз повторить. Остальные поля можно оставить пустыми/не вводить. По окончанию в текущей директории будет создано два файла.

Подготовка: установка нашего сертификата на устройство

Передаем файл cert.pem на устройство и устанавливаем его в систему. Обращу внимание, что для установки сертификата необходимо, чтобы на телефоне был какая-нибудь защита на экране блокировки (графический ключ, пароль или PIN).

Подготовка: переброс портовВозвращаемся на Linux, вбиваем в терминал:

sudo sysctl -w net.ipv4.ip_forward=1sudo iptables -t nat -Fsudo iptables -t nat -A PREROUTING -p tcp --dport 80 -j REDIRECT --to-ports 8080sudo iptables -t nat -A PREROUTING -p tcp --dport 443 -j REDIRECT --to-ports 8443sudo iptables -t nat -A PREROUTING -p tcp --dport 587 -j REDIRECT --to-ports 8443sudo iptables -t nat -A PREROUTING -p tcp --dport 465 -j REDIRECT --to-ports 8443sudo iptables -t nat -A PREROUTING -p tcp --dport 993 -j REDIRECT --to-ports 8443sudo iptables -t nat -A PREROUTING -p tcp --dport 5222 -j REDIRECT --to-ports 8080

Подготовка: EttercapУстанавливаем Ettercap:

sudo apt-get -y install ettercap

После установки его запускаем.

Снифинг данныхКлацаем "Sniff" -> "Unifed sniffing. ". В окне выбора интерфейса обычно выбирается уже нужный (может быть wlan0, wlp1s0, enp5s0), если не тот — выбрать свой. "ОК".

Выбор интерфейсаДалее: "Hosts" -> "Scan for hosts". Ожидаем сканирование хостов.

Сканирование хостовДалее "Hosts" -> "Hosts list". В списке выбираем IP нашего роутера (у меня 192.168.1.1) и жмем "Add to target 1", затем выбираем IP устройства (у меня 192.168.1.222), затем "Add to target 2".

Конец подготовки: SSLSplitДалее в терминале ставим sslsplit:

sudo apt-get -y install sslplit

Когда установка завершена, создаем директории:

И в текущей директории (где лежат файлы cert.pem и key.pem)

cp /dev/null logfile.log

Выходим из аккаунта в приложении на телефоне.В текущей директории выполняем:

sudo sslsplit -k key.pem -c cert.pem -l logfile.log -j logs -S . https 0.0.0.0 8443 http 0.0.0.0 8080

Вводим phrase key, который указывали при создании сертификата.В logfile.log будут записываться неполные логи (именно домен, адрес, порт), в директорию logs будут записываться подробные запросы, заголовки и ответы.Далее авторизуемся в приложении и видим, как в терминале, в logfile.log и в директории logs появляются данные. Для остановки снифинга жмем в терминале Ctrl+C.Логи в директории logs будут записываться под владельцем и группой root без доступа к чтению и записи от текущего пользователя. Поэтому нужно изменить владельца. В директории с сертификатами вводим

sudo chown -R vlad805:vlad805 logs

Где вместо "vlad805" — имя Вашего пользователя.Далее можно просматривать файлы с помощью обычного текстового редактора.

UpdateКак позже подсказал ]Антон, снифинг можно выполнить двумя кликами с помощью приложений для Android, и тогда вот эта длиннющая инструкция не понадобится. Но. кому как удобнее.

БлагодарностиТакже выражается благодарность Константину за наводку и подробную инструкцию по снифингу.