Какова эффективность использования WiFi Радара для сбора MAC-адресов?

By admin Дек 18, 2020

Зачем компании собирают MAC-адреса своих клиентов?

Сбор MAC-адресов мобильных устройств активно используется в маркетинге для формирования портрета клиента. Маркетолог выгружает список MAC-адресов в сервис Яндекс.Аудитории, и тем самым, создает сегмент обезличенных пользователей.

После добавления собранных MAC-адресов, сервис подбирает всю известную информацию о владельце устройства (интересы, геолокации, поведение) и формирует список анонимных ID для настройки рекламных кампаний в агрегаторах Яндекса (Директ, Дисплей). В дальнейшем этот сегмент используется для таргетирования рекламных предложений.

Мониторинг MAC-адресов в беспроводных сетях может быть незаконным, особенно в сетях, которыми вы не владеете. Пожалуйста, ознакомьтесь с законами вашей страны. Материал опубликован в ознакомительных целях.

Что вообще за MAC-адрес?

Это уникальный идентификатор любого сетевого оборудования, который вшивается в него производителем, каждому из которых специальная организация выдаёт определённый диапазон адресов. Поэтому по MAC-адресу можно определить и производителя устройства.

Кстати, именно благодаря MAC-адресам мы «приносим» рекламу домой.

Когда вы в дороге или на работе ищете ту или иную информацию, посещаете различные сайты, метрики собирают информацию о вашем поведении. Дома, когда вы подключаетесь к домашней сети, ставите телефон на зарядку и начинаете сёрфить интернет на домашнем компьютере, не удивляйтесь, что вам будет показываться реклама, соответствующая той тематике, на которую вы проводили изыскания на телефоне. Ведь те же метрики уже установили соответствие адресов вашего смартфона, домашнего роутера и всех устройств с выходом в интернет, подключенных к нему.

И ещё, пишется правильно Wi-Fi и никак иначе, ни wifi ни wi-fi. И это не аббревиатура и никак не расшифровывается.

Как не попадать в базы и не давать лишнего повода маркетологам показывать вам рекламу?

Всё очень просто: выключайте Wi-Fi на устройстве, когда покидаете дом и не подключайтесь к бесплатным сетям в общественных заведениях (это, кстати, небезопасно).

Приносят пользу ловушки Wi-Fi или нет — спорный момент.

С одной стороны, они позволяют заведениям более точно запускать рекламу и делать специальные предложения новым или постоянным посетителям, максимально возможно персонализируя рекламу.

С другой, количество ловушек в городах в ближайший год, как ожидается, увеличится в несколько раз, что за собой приведёт новый поток рекламы в силу доступности и самих ловушек и рекламных инструментов, и это гарантированно будет по большей части некачественная и нецелевая назойливая реклама.

Побывали в одном заведении, реклама из него будет преследовать до конца жизни.

Как это работает?

  • На территории, которая интересует клиента, устанавливается оборудование сканирующее мобильные устройства по Wi-Fi, находящиеся в радиусе его действия.
  • Физические адреса таких устройств (MAC-адреса) запоминаются и сохраняются в базу.
  • База фильтруется — например, выбираются устройства, которые многократно были авторизованы в пределах периметра и отбрасываются те, которые появлялись единожды. Еще можно отфильтровать по производителям, например, возможно выделить все устройства компании Apple или другой.
  • База загружается в инструмент интернет-маркетинга, такой как Яндекс.Аудитории или My target (соцсети Вконтакте, Одноклассники, МойМир) и из нее формируется целевая аудитория.
  • После чего этой группе людей показываются рекламные баннеры, когда они пользуются соответствующей поисковой системой системой или социальной сетью.

Таким образом, на выходе получаем эффективную рекламную кампанию, так как рекламу видят только те лица, которые могут быть потенциальными покупателями.

Запуск Wi-Fi радара

Скрипт, который будет работать на базе нашего сенсора, вычисляет количество людей поблизости, используя смартфоны в качестве прокси. Телефоны находящиеся в зоне покрытия определяются на основе фрейм-запросов, так называемых probe request.

Возможное использование howmanypeoplearearound включает в себя: мониторинг окружения и пешеходного движения, сбор MAC-адресов. Вероятно, он был разработан для использования на миниатюрных устройствах, например Raspberry Pi etc.

Подготовка рабочей среды

Для запуска скрипта нам потребуется:

  • Устройство с предустановленным Linux (например, Ubuntu);
  • Python ⩾ 2.7;
  • tshark.

Любая антенна с поддержкой Monitor Mode (режима мониторинга):

  • Чип RT3070;
  • Panda PAU5;
  • Alfa AWUSO36NH;
  • Sabrent NT-WGHU;
  • и др.

Установка Python 3

sudo apt-get install python3

Python и установщик пакетов pip, должен быть установлен на вашем компьютере. Я использую Ubuntu 18.04, в которой Python уже предустановлен и не хватает только установщика pip:

Установка pip для Python 2.7

sudo apt install python-pip

Установка pip для Python 3

sudo apt install python3-pip

Техническая реализация

Система состоит из трех компонентов:

1. Сервер на базе CentOS для хранения и организации информации.
2. Роутер Mikrotik в режиме фейк-точек доступа. Следующими командами активируем интерфейс, создаем на одном интерфейсе 3 беспроводные сети и присваиваем им SSID популярных публичных сетей (таких как Moscow_Wi-Fi_Free):
 add disabled=no mac-address=00:00:00:00:00:F5 master-interface=wlan2 name=wlan4 ssid=Moscow_Wi-Fi_Free vlan-id=10 vlan-mode=use-tag add disabled=no mac-address=00:00:00:00:00:F8 master-interface=wlan2 name=wlan6 ssid=Subway vlan-id=10 vlan-mode=use-tag add disabled=no mac-address=00:00:00:00:00:FA master-interface=wlan2 name=wlan8 ssid=MT_Free vlan-id=10 vlan-mode=use-tag 
3. Роутер Mikrotik в режиме сниффера. Командами активируем режим сниффера, указываем что захваченные данные нужно передавать на сервер и указываем его адрес:
 /interface wireless sniffer set multiple-channels=yes streaming-enabled=yes streaming-server=192.168.40.77 

Наличие двух роутеров необходимо, так как часть устройств в ходе поиска Wi-Fi точек для подключения и рассылки информации о себе используют случайный MAC-адрес.

На сервере сбор информации настроен следующим образом:

  • в cron по таймеру идёт запуск скрипта macs.sh, который перезапускает/запускает сниффер на базе tshark в файл с роутера-сниффера.
 #!/bin/bash killall -9 tshark date=`date '+%Y%m%d%H%M%S'` nohup tshark udp port 37008 -nn > dump_$date.dump & 
  • Информация с роутера фейк-точек, собирается через типовой механизм сборки логов роутера посредством приложения rsyslog.
  • Обработка информации выполняется по cron раз в сутки путем запуска файла parse.sh. Данный скрипт обрабатывает всю информации и складывает её в папку — /var/www/ftp/macs, которая доступна через ftp (доступ с помощью приложения vsftpd).

    На роутерах настроена минимальная конфигурация (дефолт роут + обновление времени). Доступ с Wi-Fi ограничен.
    Роутер-сниффер настроен на отсылку дампа Wi-Fi окружения через планировщик на адрес сервера.
    Роутер фейк-точек настроен на публикацию нескольких популярных SSID, при автоподключении к которым происходит запись в локальный лог файл и отправка на сервер.

    Шаг 1: Сбор MAC-адресов

    Компания или фирма закупает нужное оборудование. По сути, нужным оборудованием будет выступать тот же роутер со специальными настройками и прошивкой. Его задача отслеживать ближайшие устройства людей с включенным модулем вай-фай передатчика. То есть, если на телефоне прохожего включен поиск вайфай сетей – то MAC-адрес его телефона, планшета или ноутбука – попадает на маршрутизатор в специальный список.

    Аппарат или сам беспроводной радар должен быть подключен к интернету. Это нужно для того, чтобы собранные данные отправлять на сервер, где они и будут обрабатываться.

    Как происходит сбор адресов.

    Всё очень просто: когда у вас на девайсе, например, на смартфоне, включен WiFi (не подключен к какой-то точке доступа, а именно просто включен), устройство опрашивает все доступные рядом сети Wi-Fi, обмениваясь с каждым роутером тем самым MAC-адресом.

    Необходимо это для того, чтобы роутер и ваше устройство узнали друг друга, если ранее вы подключались к нему, чтобы повторное подключение заняло минимально возможное время (всё для вашего удобства). Также такой постоянный опрос (раз в три секунды, кстати), необходим, чтобы предоставить пользователю информацию о том, какие рядом есть доступные сети, среди которых вы выбираете ту, к которой хотите подключиться.

    В итоге ловушка обменивается MAC-адресами с вашим девайсом, сохраняет его в базе.

    А дальше начинается магия

    Имея обезличенные данные в виде набора цифр можно устанавливать различные соответствия:

    — как часто вы находитесь рядом с той или иной ловушкой

    — как долго проводите в этом месте время

    — впервые ли пришли или приходите регулярно в определённое время

    — и так далее

    Ну а при настройке рекламы по базе MAC-адресов в том же Яндекс.Директ, например, рекламная система уже сама, в зависимости от заданных параметров, будет выбирать, показывать вам рекламу или нет.

    Ведь у корпораций по вашему MAC-адресу, если вы пользуетесь устройством положительное время, есть много обезличенной, но подробной информации о возрасте, предпочтениях в рекламе, посещаемых сайтах и прочих поведенческих особенностях.

    Да, реклама становится благодаря этому всё более персонализированной, но чувство, что мы все под колпаком, не добавляет радости жизни.

    ШАГ 2: Обработка

    Каждому клиенту, выделяется личный кабинет. В нём можно отслеживать рабочие базы данных МАК-адресов.

    Далее клиент-компания, выгружает базу на сервера Яндекс, MyTarget, Одноклассники – сервисов очень много. Они как раз занимаются анализом адресов и подбор специальной рекламы. Как это происходит? – Всё достаточно просто, их система работает по такому алгоритму:

    1. Идёт поиск совпадения по МАК-адресам из выгрузки радара и из личной уже имеющийся БД, двух этих компаний.
    2. После нахождения совпадения – система определяет на какие рекламные блоки заходили клиенты из вашей БД.
    3. К примеру, ваша компания занимается продажей электронной техники. И если есть совпадения по интересу, то вы можете использовать онлайн-рекламу только для этих клиентов. Не распыляясь на остальных.

    Цель: более точечная распределение рекламы. Совсем недавно был проведен игровой форум – где были представлены совершенно новые игры. Мероприятие было проведено специально для игроманов. На нём было собрано БД из 17500 участников. При отсеивании осталось 12000. После этого БД использовали компании, который продают мышки, клавиатуры, игровые ПК и т.д.

    ШАГ 3: отслеживание эффективности

    И так, вы уже собрали БД, отправили в специальные сервисы, где система смогла найти вам достойных клиентов. В таких системах также предусмотрен алгоритм для того, чтобы вы смогли отслеживать эффективность этой затеи. Все эти MAK-адреса хранятся в специальной базе данных.

    Роутер также будет отслеживать помимо новых клиентов, тех, кто уже состоит в вашей базе. То есть, если он вернется к вам и пробудет у вас как минимум 15 минут (время может меняться), то он будет считаться привлеченным по этой технологии. Вы сможете просматривать таблицу всех вернувшихся клиентов после просмотра рекламы. То есть просто зашедший клиент с дороги – не считается, а просто, как и все – добавляется в БД.

    Примеры использования

    Такая система может использоваться во многих сферах бизнеса, но их можно объединить в две большие группы. Первая ориентирована на то, чтобы выявить, кто находится на определенной территории, вторая на то, чтобы собрать информацию о людях по определенному признаку вне зависимости от их расположения. Примеры приведены в таблице.

    Таблица 1. Цели использования и примеры

    Объекты Цель использования Пример
    1 Кафе, рестораны, магазины, салоны, торговые автоматы Собрать аудиторию, которая часто физически находится рядом с местом, где клиент продает свой товар или оказывает услугу. Особенно эффективно для товаров или услуг, которые требуются клиенту часто и имеют невысокую стоимость. Автомат по продаже еды в бизнес-центре. Результатом будет сбор данных о всех сотрудниках, которые проходили мимо автомата и дальнейшее предложение еды сотрудникам бизнес-центра.
    2 Тематические мероприятия, конференции, выставки Собрать аудиторию определенной отрасли или с определенным кругом интересов. Эффективно для товаров или услуг, покупка которых не привязана к месту их продажи. Может применятся в сегменте дорогих продуктов или тех, которые покупаются очень редко. Например компания оказывает услуги по обучению и сертификации ИТ-специалистов и участвует в масштабной ИТ конференции или выставке. Результатом будет сбор данных об участниках этого мероприятия. Эти люди связаны с ИТ или активно интересуются тематикой, соответственно, им могут быть интересны такие услуги.

    Точность сканирования

    Точность сканирования устройств зависит от того, как часто смартфон проверяет связь с сетью Wi-Fi (что происходит каждые 1–10 минут, если Wi-Fi не отключен).

    Оборудование и сервисы

    Сервисы – это компании, которые как раз и будут выставлять свою рекламу и отсеивать для вас клиентов. Они постоянно пополняются. Также нужно понимать, что вы будете заключать договор вообще со сторонними компаниями, которые имеют сотрудничество с: Mail.ru, Yandex, Facbook, MyTarget, Одноклассники и т.д.

    Список будет пополняться постоянно и в будущем площадок для реклам будет куда больше. И так – с этим я думаю вы разобрались. Теперь давайте поговорим об оборудовании. Для клиента понадобится только специальный роутер. Они бывают двух видов:

    • Стационарный – устанавливается в кафе, офисе или людном месте, где как уже могут быть потенциальные клиенты.
    • Переносной — это роутер можно носить, где угодно, а подключение к интернету идёт от мобильного оператора с СИМ-картой. Эта вещь хорошо подходит для тематических форумов, собраний и прочих мероприятий.

    Ещё очень часто их ставят на улицы. Все дело в том, что радиоволна гасится от препятствий и радиус действия покрытия становится меньше. Поэтому стоит задуматься о приобретении модели с защитой от влаги и пыли по стандарту IP, и со стабильной работой в минусовую температуру.

    Ошибки при запуске

    Если не работают команды или встречается ошибка «command not found», выполните:

    python3 -m pip install --upgrade --no-cache-dir howmanypeoplearearound

    Результаты тестирования и выводы

    Оборудование было установлено в одном из крупных московских ТРЦ. Результаты за первые 3 месяца указаны в таблице ниже. Количество адресов указано в таблице.

    Месяц Количество собранных адресов в режиме сниффера Количество собранных адресов в режиме ложной точки доступа
    1 Август 2021 720805 1068
    2 Сентябрь 2021 1501387 2097
    3 Октябрь 2021 2508578 3254

    В результате было получено 2 пула данных:

    1. Пул в режиме сниффера. Очень много адресов, но из них большинство нереальные, так как устройства для сканирования сети используют случайный MAC-адрес. Такие списки нужно очень тщательно фильтровать, используя таблицы закрепленных за производителями MAC-адресов.
    2. Пул с ложной точки доступа. Адресов получилось собрать во много раз меньше, но зато это реальные устройства.

    По нашему мнению, использовать для сбора адресов режим ложной точки доступа значительно эффективнее, так как собираются реальные адреса устройств. Сниффер менее эффективен, поскольку собирает огромное количество адресов, и их достаточно сложно отфильтровать, а это в свою очередь приведет к ошибкам при определении целевой аудитории.

    Итоги

    Для таргетирования по мас-адресам мы выбрали РСЯ, поисковая тут не нужна — сложно представить человека, который через поисковик ищет американо подешевле. Но ее тоже можно настраивать.

    — Вы можете управлять повышением или понижением ставок на поиске в зависимости от того, находится человек в вашем сегменте или нет. Например, у вас салон красоты на станции Кожуховская. Вы собрали список мас-адресов часто проходящих мимо людей. Человек вводит запрос «Салон красоты на Кожуховской» и при этом еще и находится в этом списке. Для вас это сигнал поднять ставку на поиске — вероятно, этому клиенту будет удобно зайти именно к вам, — поясняют в SMM Radar.

    [spoiler title=»Источники»]

    • https://blog.dubkov.org/lab/wi-fi-radar-for-collecting-mac-addresses/
    • https://zen.yandex.ru/media/id/5d34940e92414d00ada629e6/wifilovushki-kak-marketologi-otlavlivaiut-nas-ispolzuia-nashi-je-smartfony-planshety-i-noutbuki-5d82ed832f1e4400add2ab02
    • https://efsol.ru/articles/mac.html
    • https://WiFiGid.ru/poleznoe-i-interesnoe/wi-fi-radar
    • https://vc.ru/marketing/127713-kak-ya-sobirala-mac-adresa-i-pochemu-stargetirovat-po-nim-reklamu-okazalos-ne-tak-prosto

    [/spoiler]

    By admin

    Related Post