Примерно год назад мне в голову пришла идея создать доску авто объявлений.
И естественно мне хотелось добавить туда несколько фич свойственных крупным порталам, в частности некий аналог авто заполнения формы при подачи объявления т.е. выбираю год - скрипт выдает список доступных марок которые выпускали модели в этот год, выбираю марку - скрипт выдает список доступных моделей и.т.д.
Как это реализовать понятно.
Но где взять базу для реализации данного алгоритма?
Мысль об вводила меня в отчаянье.
Долгие ночи поиска не приводили к желаемому результату т.к. мне хотелось найти идеальный вариант, а их мне найти не удалось.
Мой идеал это: 
Итак есть популярные ресурсы где можно было "спарсить" нужную мне инфу для базы.
На тот момент (год назад) на ресурсе использовался старый интерфейс.
И данные с сервера отправлялись примерно в таком виде
CODE ( javascript):
скопировать код в буфер обмена
var data = new Array(); data['modification_id'] = new Array(); data['modification_id']['options'] = [ ]; updateSelect('modification_id','sale',"rotateModification('text', 1)"); unlinkData();
т.е. сервер на запрос с клиента по ajax возвращал чистый js который потом выполнялся в браузере через eval().
Худо бедно бессонными ночами мне удалось спарсить весь каталог.
Но время идет и каталог надо обновлять, а повторно тратить пару суток на парс не очень хотелось.
И вот настал тот прекрасный день когда на "ресурсе" обновили интерфейс, но это не столь важно нежели то что происходило между интерфейсом и сервером.
Разработчики разродились на JSON, и это положило старт новой эпопеи.
Я понимал что этим надо воспользоваться в полной мере и начал разбираться что куда надо отправить что-бы получить нужные данные (см. под спойлером).
И вот за пару дней мной был написан скрипт для автоматического "высасывания" всех данных, всех до последней капли.
И еще день что-бы все слить к себе в базу.
Вот такой каталог получился.
Ну и для тех кому надо. думаю разберетесь.
Спойлер (Отобразить)// Получает марки
// ресурс/ajax/form/get_marks/?category_id=15§ion_id=1
// Получает модели
// ресурс/ajax/form/get_folders/?section_id=1&category_id=15&mark_id=15&parent_id=45969&level=1
// Получает года
// ресурс/ajax/form/get_year/?category_id=15§ion_id=1&mark_id=30&folder_id=365
// Получает кузовы
// ресурс/ajax/form/get_body/?category_id=15&year=2009&mark_id=30&folder_id=365
// Получает поколения
// ресурс/ajax/form/get_breed/?category_id=15&mark_id=30&folder_id=365&year=2009&body_id=120
// Получает модификации и характеристики
// ресурс/ajax/filter_modification/?category_id=15§ion_id=1&mark_id=30&folder_id=383&year=2009&group_property=122
// Тут можно получить и связать модель с субмоделью и субмодель с поколением
// ресурс/ajax/get_mmm_data/?category_id=15&level=2&type=folder&mark_id=260&id=3476 // Corolla
// ресурс/ajax/get_mmm_data/?category_id=15&level=2&type=folder&mark_id=260&id=3476_2630 // Corolla -> Levin
Кому нужна база или скрипт пишите в личку договоримся.(Отредактировано автором: 09 Сентября, 2015 - 09:18:43)
|
Главная
Помощь
Поиск
Пользователи
Форумы портала PHP.SU » Объявления » Наработки по собственным проектам (Модератор: EuGen)
Описание: Мой опыт написания грабера для моего проекта
