Парсинг сайтов, сбор данных, обработка информации

Я работаю над различными проектами по сбору данных начиная с 2005 года. Первые проекты я делал на PHP и Perl, затем перешёл на Python. Практически для всех проектов я использую Python и собственный фреймворк для парсинга сайтов Grab.

Я имею неплохой опыт построения веб-сайтов с нуля, что даёт мне ясное понимание, как работают веб-сайты и какие проблемы могут возникать при их парсинге.

В среднем, я пишу 2-3 парсера в неделю для заказчиков и для личных нужд. Если я берусь за ваш проект, то с вероятностью 80-90% он будет завершён. Увы, чудес не бывает, я не могу успешно завершать каждый проект, за который взялся. Иногда нельзя сразу увидеть критические препятствия на пути извлечения данных с конкретного веб-сайта.

Какие проекты я не делаю?

Большинство проектов, с которыми ко мне обращаются, я не делаю. Я не веб-студия, я просто человек. Для меня нет смысла браться за все подряд проекты. Моя главная задача — отказаться от тех проектов или заказчиков, которые не подходят мне по тем или иным причинам. Парсинг данных для меня больше хобби, чем работа. Даже если я отвергну все коммерческие заказы, я всегда могу придумать сам для себя интересную задачу для сбора данных.

Импорт данных в ваш сайт

Я не занимаюсь импортом данных в базу уже созданного веб-сайта. Этот тип задач связан с изучением структуры базы веб-сайта и время на эту задачу спрогнозировать трудно т.к. базы бывают разной сложности. Кроме того, мне просто неинтересно разбираться в устройстве чужого веб-сайта.

Периодический сбор данных

Периодический сбор данных подразумевает наблюдение за процессом парсингда данных и своевременное исправление ошибок. К сожалению, у меня нет на это времени. Я занимаюсь только разовым парсингом данных. Я могу сделать повторный парсинг по цене сопоставимой с первым парсингом данных.

Запуск парсера на сервере клиента

Я не работаю по проектам, где парсер должен работать на сервере клиента, потому что на каждом сервере будут возникать специфичные для этого сервера проблемы. Я предпочитаю запускать парсер с помощью своих ресурсов: на своих сверверах, через свои прокси.

Поддержка парсера

Я не продаю код парсеров и не осуществляю поддержку и консультацию по работе парсеров. Я продаю услугу парсинга данных. В качестве результата моей работы заказчк получает данные, а не код программы. При желании заказчика я могу отдать код парсера в качестве бесплатного бонуса, но я не даю никаких консультаций или гарантий по поводу его работы на сервере заказчика.

Проекты без предоплаты

Я работаю только по предоплате: 50% до начала работы, 50% после получения и проверки вами полных данных. Если мне не удаётся довести проект до конца, то я возвращаю предоплату в полном объёме.

Проекты без ТЗ

Я не берусь за проект, если не понимаю, что хочет заказчик. Пожалуйста, будьте максимально конкретны в описании данных, которые вы желаете получить.