Научиться парcить поисковую выдачу App Store (iOS)
- Опубликовано 2 года назад
- Просмотры 6
- Закончить проект
0,00₽
Описание
Нужно собрать сервис, который сможет парсить поисковую выдачу App Store и
передавать данные через API на фронт. Не обязательно реализовывать сам
бэк, будет достаточно найденной возможности собирать данные о
приложениях, которые показываются в выдаче App Store и делать это
стабильно.
Забирать нужно основные метаданные приложений из
выдачи. Например — по запросу "Авиабилеты" App Store показывает 250
приложений. По каждому из них нужно забрать: иконку, название,
подзаголовок, рейтинг, описание, скриншоты.
Какая есть проблема —
App Store не имеет публичного API, т.е. нельзя просто стукнуться туда и
забрать нужные данные. Тем не менее, есть сервисы, которые
предоставляют такие данные — Sensor Tower, Data.ai, Apptewak и много других, а значит возможность есть)
Еще
момент — можно распарсить выдачу iTines (сейчас приложение называется
Музыка на macOS),но там, как оказалось, позиции приложений отличаются
от того, что выдает App Store на iOS — важно добиться того, чтобы
позиции были идентичны тем, что выдает iPhone.
Пробовали распарсить результаты iTunes с помощью Charles. Уткнулись в проблему, что программа апстора при установке соединения с бакэндом на этапе handshaking получает ошибку, и дальнейший обмен сообщениями не происходит
насколько я понимаю, у нас происходит одна из двух вещей:
1) клиент зашифровывает свои сообщения не публичным ключом чарлика, а публичным ключом сервера (то есть не ведётся на наш обман с подменой)
2) клиент зашифровывает свои сообщения два раза, то есть у клиента тоже есть публичный и приватный ключ (и мы не имеем ни малейшего представления о том, что это за ключи и откуда их можно выцепить)
Задача интересная, готов обсуждать детали
передавать данные через API на фронт. Не обязательно реализовывать сам
бэк, будет достаточно найденной возможности собирать данные о
приложениях, которые показываются в выдаче App Store и делать это
стабильно.
Забирать нужно основные метаданные приложений из
выдачи. Например — по запросу "Авиабилеты" App Store показывает 250
приложений. По каждому из них нужно забрать: иконку, название,
подзаголовок, рейтинг, описание, скриншоты.
Какая есть проблема —
App Store не имеет публичного API, т.е. нельзя просто стукнуться туда и
забрать нужные данные. Тем не менее, есть сервисы, которые
предоставляют такие данные — Sensor Tower, Data.ai, Apptewak и много других, а значит возможность есть)
Еще
момент — можно распарсить выдачу iTines (сейчас приложение называется
Музыка на macOS),но там, как оказалось, позиции приложений отличаются
от того, что выдает App Store на iOS — важно добиться того, чтобы
позиции были идентичны тем, что выдает iPhone.
Пробовали распарсить результаты iTunes с помощью Charles. Уткнулись в проблему, что программа апстора при установке соединения с бакэндом на этапе handshaking получает ошибку, и дальнейший обмен сообщениями не происходит
насколько я понимаю, у нас происходит одна из двух вещей:
1) клиент зашифровывает свои сообщения не публичным ключом чарлика, а публичным ключом сервера (то есть не ведётся на наш обман с подменой)
2) клиент зашифровывает свои сообщения два раза, то есть у клиента тоже есть публичный и приватный ключ (и мы не имеем ни малейшего представления о том, что это за ключи и откуда их можно выцепить)
Задача интересная, готов обсуждать детали
Опубликовано 2 года назад
Информация
Посещаемость:
3813
Дата регистрации:
13 лет назад