Ну, не знаю. Занимался парсингом раньше. Основная проблема -- найти клиента. Это не массовые заказчики, а буквально несколько и все из них хотят получить результат за копейки. Может, мне просто не везло? Какие нафиг миллионы? Последняя просьба была -- сделать на региональном сайте магазина запчастей подстановку с каталога другого крупного поставщика запчастей с изменением цен, готовы были за это заплатить 7 тыс. (семь тысяч) рублей. Вежливо послал нафиг.

@gorovitz

6 ай бұрын

Просто подумать, 37млн, чистая прибыль 25% - 9млн, с этого заплатить налоги и поделить на нескольких владельцев Натиссимуса... Выйдет меньше чем зарабатывает 1 программист на мировом рынке. Вывод: отсуствует. Думайте

@alekseypashkov9993

6 ай бұрын

Таких сразу лесом слать, пусть сами своими руками

@user-js1ny7lf6y

6 ай бұрын

Карл! походу трабл в том что никто не знает что так можно. Смекаешь?

@gelo-k-gen

6 ай бұрын

Он просто цену набивает. Не нужно это никому

@KROTTT2013

6 ай бұрын

А можно подробнее про подстановку,я думаю что алиэкспр ру такой же темой занимаюстя с накруткой цены.

Спасибо что делитесь и мотивируете. Успехов вашему бизнесу.

@MaximKulgin

6 ай бұрын

спасибо

Спасибо, что делитесь информацией, вы крутые!

@MaximKulgin

6 ай бұрын

Спасибо

То что вы начали вести тг и ютуб это очень правильное решение :) дни идут, а ваши ролики остаются привлекая потенциальных клиентов. успехов вам :)

@MaximKulgin

6 ай бұрын

спасибо!

Грамотный мужик, мог бы про успешный успех на тренингах личностного роста рассказывать и были бы клиенты

@MaximKulgin

6 ай бұрын

Еще доберусь :)

Всегда интересно послушать, ставлю как подкаст

@MaximKulgin

6 ай бұрын

:)

Хороший обзор. Раньше тоже занимался парсингом, собирал с сайтов электросетей время отключения и адрес отключения. Потом меня сократили и необходимость в этом отпала. Но было интересно.

@MaximKulgin

6 ай бұрын

Спасибо

Это перезалив или перезапись?) Год назад ковырялся в инете с инфой про парсинг, в том числе и похожее видео с этого канала смотрел) тогда восхищался и удивлялся, особенно тому, что парсер за 3 расчетные недели не смогли написать и порекомендовали при составлении договора умножать сроки выполнения на 3). Вот думаю я встрял с этим чертовым парсингом - сложно, но мне нужно было, поэтому с нуля влез в пайтон и после изучения (не сильно глубоко) и с выбором модуля определился и паука себе накатал на 24 строки кода за неделю. Неделя, Карл! И то я застрял на модификации т.к. долго подбирал варианты где меньше артефактов цепляется при запросе. Потом плюнул и просто по шаблону чистится csv само. Так что послушать конечно можно для общего развития, но только один раз) И в любом случае, мое уважение, что тянете команду, я бы не взялся за других, только за себя могу отвечать)

Спасибо за расклады. Я хоть другими направлениями занимаюсь, не IT вообще, но вижу аналогии, как можно предпринимательский опыт применить. Особенно в ситуациях, когда я тоже так думал, но колебался с решением.

@memorizer

6 ай бұрын

​ @Red_Paper6495 Какие "такие деньги" ? 7 разрабов, 4 менеджера плюс владелец - 3 ляма на человека выручки в год. Прибыль будет только если сурово кроить на зарплатах.

Благодарю за полезную и честную информацию.

@MaximKulgin

6 ай бұрын

Спасибо

про рекламу и самооценку топ!!!!

Рад за вас, что рост оборотов на направлении парсинга. Вроде пару лет назад было совсем мало. Я смотрю давно, с другого акка

@MaximKulgin

6 ай бұрын

Пока растём

Было бы интересно послушать про ваше ценообразование в парсинге.

@MaximKulgin

6 ай бұрын

Ок

@user-uz7be7bg5n

6 ай бұрын

а на работу принимаете?@@MaximKulgin

Супер, коммент для продвижения !

@MaximKulgin

6 ай бұрын

Спасибо 🙏

Случайно наткнулся на видео, но было интересно послушать, ибо сам последние 3 года занимаюсь краулингом в немецкой компании.

@vr29645

6 ай бұрын

начал смотреть соседние видео, а там услышал про парсинг и дотнет, вот это поворот

@MaximKulgin

6 ай бұрын

Да у нас стек net

Спасибо за видео

@MaximKulgin

6 ай бұрын

Спасибоь

Спасибо рекомендациям Ютуба, очень интересно было послушать. Тем более, я и сам работаю дата инженером, сайты тоже приходилось парсить. Успехов вам, буду ждать новые видео о вашей деятельности.

@MaximKulgin

6 ай бұрын

Спасибо 🙏

Хороший контент, полезный.

@MaximKulgin

6 ай бұрын

Спасибо

Поздравляю с увеличением оборотки. Успехов в следующем году! Вопрос: Сколько можно в день обходить урлов(количество сайтов) если парсить только title?

@MaximKulgin

6 ай бұрын

100r

@MaximKulgin

6 ай бұрын

100к

Серваки иметь свои это конечно хорошо, но только их размещать советую на оооооочень большом расстоянии, мы например вообще в другой стране..... После изъятия их органами, - остались без БД, после того как серваки вернули (через год) инфа потеряла свои свойства полностью....

@MaximKulgin

6 ай бұрын

ага . но у нас особо забирать нечего.

Очень интересно! А скажите, Авито входит в число "сложных" сайтов для парсинга?

@MaximKulgin

6 ай бұрын

очень сложен

своя серверная? это электричество, охлаждение (кондеи ломаются), два ввода от разных провайдеров. Дизель генератор или поставщик который привезет гену "мгновенно". зимой приточку с улицы можно сделать, сильно понизит расходы на электричество

@MaximKulgin

6 ай бұрын

У нас своя подстанция

где это научиться?

Что-то я сложил затраты на качественный персонал, инфраструктуру и осталось как-то не много. Оборот есть. А деньги в кармане?

@MaximKulgin

6 ай бұрын

все ок. мы делимся с командой щедро

Было бы круто узнать примеры. Хотя бы полностью выдуманные

@MaximKulgin

6 ай бұрын

Полно примеров

Я сделал продукт из парсинга одного сайта, и у меня сейчас 9 тыс клиентов) За видео спасибо!

@MaximKulgin

6 ай бұрын

спасибо! а что за продукт?

@user-tn5sf4go6n

6 ай бұрын

Вы готовый парсер используете или самописный?

@abrakadabra7491

6 ай бұрын

А я программист, создаю, ремонтирую, обновляю сайты. Когда надоело сидеть на фрилансе и бороться за каждый заказ, сам напарсил себе заказчиков, и послал вручную им кучу писем. Неделю наверное писал) Но потом на протяжение 7-8 лет у меня отбоя не было от заказов. До сих пор иногда люди отзываются на письма, что-то просят сделать, а некоторые письма, на которые они откликаются, отправлены в 2016-2017 годах. Парсинг - сила, если с умом его применять.

@eugenefedoryachenko8793

6 ай бұрын

@@MaximKulgin kinopoisk dev неофициальный api для кинопоиска

@eugenefedoryachenko8793

6 ай бұрын

​@@user-tn5sf4go6n свой, потому что публичные очень ресурсоемнкие и медленные

я 10 лет об этом думаю, никак начать не могу

У вас выгода 23млн после выплаты всех ЗП, аренды серверов и офиса? Эта чистая прибыль, которую можно потратить на, например, масштабирование компании или новые направления?

@MaximKulgin

6 ай бұрын

Да

Привет. Дай, пожалуйста, совет. Собираюсь войти в АйТи, интересна на перспективу тематика Парсинга сайтов. Какой посоветуешь учить язык? Я думаю между php или python

@MaximKulgin

6 ай бұрын

Питон

@mp_reports

6 ай бұрын

Парсит проще гошечкой тогда уж. Многопоточность из коробки

@gorovitz

6 ай бұрын

@@mp_reports там затык не в производительности языка а в скорости интернета и БД.

Если конкуренция в парсинге действительно большая, то почему на фрилансе ставят прайсы 3-5к за парсинг ресурса, в некоторых случаях за несколько ресурсов, это очень мало, за такие деньги хорошие специалисты и пальцем не ударят. Очень редко проскальзывают суммы 100к +, с такими клиентами можно работать, но по ощущениям в рф просто не сформировался рынок парсинга и эффективной работы с данными, компании пока сами не умеют и не видят value в спарсенных данных.

@MrSoloveyko

6 ай бұрын

Так чем выше конкуренция тем ниже цены. А вне РФ индусы набегают и тоже цены в пол.

Для аккредитации не обязательно иметь продукт, можно и просто услуги. Я получил без проблем, обычные услуги на 1С и консультационная деятельность.

@MaximKulgin

6 ай бұрын

А как думаете услуги Парсинга можно аккредитировать?

@ichthyandr

6 ай бұрын

@@MaximKulgin Это ИТ-услуги, значит можно. Единственное что часто проще новое юр. лицо под это дело сделать, так как у уже существующих довольно много ограничений.

Что за дополнительный бизнес? В который вы вкладывайтесь?

@MaximKulgin

6 ай бұрын

Clickfraud.ru

Какие технологии используете для парсинга? Питон, шарп, джава? Селениум?

@MaximKulgin

6 ай бұрын

net core

@makc3682

6 ай бұрын

@@MaximKulgin Даже немного удивительно! Обычно все на питоне! А какие библиотеки используете? Селениум, AngleSharp. Просто я начинающий разработчик net core, делал своих пару проектов, в одном парсил нужные мне изображения, во втором к яндекс переводчику обращался - брал заграничный текст по апи, переводил и себе в телегу скидывал :) Использовал Селениум. Интересно что используют в серьезных проектах :)

6:49 Валера! Настало твое время!

@MaximKulgin

6 ай бұрын

валера? :)

тяжёлая эта работа, и постоянный движ....

а что мешает открыть ооошку в условном Казахстане и по-белому заказывая у российской компании собственно техническое сопровождение принимать деньги со вссего мира так же по-белому в любой валюте

@myev2421

6 ай бұрын

Честность

@1153rus

6 ай бұрын

@@myev2421 и причем тут честность? совершенно честно проблемы с возможностью принимать валюту в РФ, а на КЗТ есть такая возможность, все по-белому

@MaximKulgin

6 ай бұрын

да. скоро к этому придем

@johngort764

6 ай бұрын

Казахстан не совеовал бы, скоро могут во вторую Украину превратиться

ладно, я готово научите парсить.

Где вы делали рекламу?

@MaximKulgin

6 ай бұрын

у нас нет рекламы

Я посмотрел ваш сайт! И думаю что вы потеряли еще 30 миллионов) Заходя на сайт я задаю себе вопрос "Для чего мне это и как этим пользоваться", ответа так и не нашел.

@MaximKulgin

6 ай бұрын

Уверен так и есть. Нам много что еще надо сделать

Если я напишу парсер Озона/Амазона (есть идеи) - вы у меня его арендуете?

@MaximKulgin

6 ай бұрын

Да. Озон точно вопрос цены

@gontnetwork8851

6 ай бұрын

@@MaximKulgin А сколько товаров/запросов в день выгружать нужно?

@user-oj5gu3zd6u

6 ай бұрын

Какая цена? Скажите условия? Озон не тяжело

Правило 80:20 никто не отменял )

@MaximKulgin

6 ай бұрын

Так и есть

Canvas придэ, шухер неведэ 😂

А я знаю как в разы сократить оплату серверов. Прям ждал этого момент когда автор скажет, что сервера сжирают очень большую часть прибыли + прокси скорее всего. Ибо гавнокод!)

@MaximKulgin

5 ай бұрын

:)

Как вы расчитываете сумму которую должен платитьт клиент?

@MaximKulgin

6 ай бұрын

По трудозатратам на парсинг

@sergonix1

6 ай бұрын

@@MaximKulgin Максим, подскажите, пожалуйста, если программист оценил парсинг в месяц работы. И например месяц его работы для упрощения стоит 75 тысяч рублей. Вы ставите цену клиенту 100 тысяч рублей? Тогда 25% прибыли как раз получится? Или там еще много всяких административных расходов и вы ставите клиенту цену 75 * 2 = 150 тысяч рублей, тогда за вычетом всех расходов получается 25% прибыли? Не поделитесь, какую зарплату нужно платить программистам по парсингу? Если нет, то не страшно ) И вопрос, можно ли имея достаточный капитал и некоторый опыт в парсинге выйти на выручку 37 млн за год, а не за три? Готов делиться с вами 10%-ми чистой прибыли за экспертные советы по наладке бизнеса, что-то типа франшизы, не думали об этом?

@Sorrymelame

5 ай бұрын

@@sergonix1 Если прогер стоит 75к - сюда сразу +42% налоги за него надо платить если он официально оформлен (пенсионный, мед страх) + 13% ндфл = 100к + затраты на сервер ~2-5к ( в целом от задач зависит может и 15к выходить) + аренда офиса обычно 1м квадратный 700-1000р на человека надо минимум два + сюда от вида организации 6%-20% налоги гос-ву + твои 25% ты ещё хочешь заработать + 20% я всегда закладываю форс мажор = итого считай сам. Не претендую на точное описание ценообразования, но примерно оно такое, где ошибся поправьте. P.s. сеньор-помидор питонист ~220т среднняя зп )) P.s.s. а ещё эквайринг + услуги банков + бухгалтер

@Sorrymelame

5 ай бұрын

@@sergonix1 "И вопрос, можно ли имея достаточный капитал и некоторый опыт в парсинге выйти на выручку 37 млн за год, а не за три?" Выручка != оборотка Ну изи же посчитать 28млн расходы дели на два - столько надо для старта ну и конечно же 37 клиентов по 1кк найти, привлечь, согласовать, подписать договора и сделать работу ) И всё это за один день )

Реально есть проблема с оплатой из-за границы за работу?

@MaximKulgin

6 ай бұрын

Есть

@alexpopov6471

6 ай бұрын

@@MaximKulgin взаимно зачёт. Зарубежный партнёр платит в страну х за границей. Российская фирма платит не за границу а фирме в России т. К на фирму х пришли деньги за границей.

Заказчик профессор?

Обучением занимаетесь?

@MaximKulgin

5 ай бұрын

Нет

29 ноября 2022 1 usd to rub 61.17 5 октября 2023 1 usd to rub 100.30 Выручка с 20кк до 37кк🤔

@MaximKulgin

6 ай бұрын

мы же в рублях живем.

@windus08

6 ай бұрын

​@@MaximKulgin скорее в долларах номинированных в фантиках от цб

@Ostap..Bender

6 ай бұрын

Это пока, они как фантики выглядят. Просто немного подожди))

А чистая прибыль?

@MaximKulgin

6 ай бұрын

мало :(

чтобы получить клиентов на парсинг, надо подробно объяснить что он из себя представляет и чем полезен. В примерах. ВОт кто-то продает носки, чтобы их продать больше - можно сделать то и то, это даст то и то, и стоит столько-то.. А так обыватель не знает даже как задать вопрос и считает что это стоит миллионы..

@MaximKulgin

6 ай бұрын

я понимаю, но пока не получается

@gontnetwork8851

6 ай бұрын

Репрайсеры всех мастей - очевидный клиент. А т.к. больших репрайсеров в РФ нет - вот и покупают частный парсинг.

Максим, приветствую! Глупый вопрос :) Зачем тот же озон, например, защищается от парсинга? Чего они так бояться, как вы думаете?

@eprst0

6 ай бұрын

Вайлбериса боятся

@AlexeyPetrov9212

6 ай бұрын

@@eprst0 в каком плане? Бояться, что будет сервис вроде "сравните цену одинаковых позиций в маркетплесах" ?

@user-rb8fz6fj7f

6 ай бұрын

Они все монетизируют

@MaximKulgin

6 ай бұрын

Они же данные продают сами

@AlexeyPetrov9212

6 ай бұрын

@@MaximKulgin Видимо, в каком то очень узком кругу продают. Ценник таков, что выгоднее платить тем, кто парсит озон, чем самому озону? Просто прикидываю риски занятия этим делом. Допустим, поручу своим ребятам написать парсер озона, напишут, потом поддержка. Наверняка ченить будет меняться со временем - структуру html поменяли, селекторы переименовали, прокси стали лучше вычислять и.т.д. - надо сидеть и следить за этим постоянно. Еще и придумать, как понять, что что-то не так - не факт, что это сразу, на глаз будет очевидно. И если озон через условную неделю вдруг скажет "а мы теперь сами все продаем за 3 копейки, из первых рук" - все коту под хвост. Вот и пытаюсь понять фундаментальные причины, почему они этого не делают сейчас в открытую, хотя спрос, вроде как, есть.

Сколько вы потратили на рекламу?

@MaximKulgin

6 ай бұрын

нисколько

@Nikolay19754

6 ай бұрын

сказали в видео что много потратили, получается видео не соответствует правде@@MaximKulgin

@MaximKulgin

6 ай бұрын

а... ну давно мы потратили 100к где то. выхлопа нет. пару лет назад. больше не тратим уже

Хз какая там защита у озона...пару недель назад парсилось без проблем... П.с. если нужен парсер озона пишите)

@gontnetwork8851

6 ай бұрын

А сколько товаров? Можно ли 1 млн скачать без бана?

@yalmeme

6 ай бұрын

@@gontnetwork8851 зачем тебе 1 млн товаров озона можно пример? )

@user-ti3ib3ue8f

6 ай бұрын

@@gontnetwork8851если сроки не жмут то это вообще не проблема...а если необходим миллион, к примеру, в день то задача трудно выполнима. Чтобы выполнить все известные мне задачи миллион не нужен.Зачем вам миллион, если не секрет?

Ещё один взрослый мужик который разговаривает с камерой. :) шу чу:)))

@MaximKulgin

6 ай бұрын

:) с возрастом приходит :)

Ээээ ты чего ругаешься так? И даже не запикал. Можно было в краце сказать что такое парсинг кто первый раз смотрит. Окей гугл что такое парсинг?

с какой головы вообще эта цифра ? да и сайты уже уходят в прошлое потихоньку

@MaximKulgin

6 ай бұрын

куда уходят?

@abrakadabra7491

6 ай бұрын

Сейчас сайтов на планете больше 2 млрд, и их количество из года в год растёт. Кстати, в августе 1991 был всего 1 сайт...

Парсеры это те, кто ботами грузят сайты?

@MaximKulgin

6 ай бұрын

Да

не доверяю я людям, которые находят "золотую жилу", а потом стоят и тряпками машут - все сюда, тут бабла на всех! Значит либо жила говно, либо труда там уйдет на подземную добычу с непредсказуемым результатом

@MaximKulgin

6 ай бұрын

Вы сюда не ходите :) здесь плохо 😞

@1968.5

6 ай бұрын

@@MaximKulgin ни за фто!

@MaximKulgin

6 ай бұрын

отлично :)

Водаааааа.

Я тоже люблю трындеть с дивана: выручка сто тыщ мильенов, куча клиентов, деньги девать некуда и прочая живность. А показать бухгалтерскую отчётность? Данунах! И так сойдёт...

Капец Вы ушлые, вот кто мои сайты копирует... 😔

@MaximKulgin

6 ай бұрын

:)

@eujc9009

6 ай бұрын

Это владелец Озона пишет? )

Ии еще не научились парсить?😢

@MaximKulgin

6 ай бұрын

Нет

@xander-on-the-earth

6 ай бұрын

У ИИ нет креатива, и он вообще не понимает, что делает. Это просто способ решить несовместную систему уравнений за счет огромного количества данных. Математические модели, разумеется, разные: от рисунков до вставок программного кода - но суть одна. Составить сжатую информацию на основе каких-то данных - отлично! Углядеть зависимости, которые человек никогда не заметит - отлично! Шаг в сторону, где надо проявить смекалку - всё, приехали.

@user-sy8co7ok9c

6 ай бұрын

Зато ИИ может потом составлять отчет и аналитику по спарсенным данным :)

Не понимаю кто может покупать этот парсинг

@MaximKulgin

6 ай бұрын

крупные компании

@user-pe8ew9tq8z

6 ай бұрын

@@MaximKulgin околокриминальные и нелегальные? ))

@user-pe8ew9tq8z

6 ай бұрын

@@MaximKulgin хочу написать API с 1с на GigaChat от сбера. У вас кстати получилась эта тема?

@johngort764

6 ай бұрын

@@user-pe8ew9tq8z Например вот кто: Маркетологи собирают информацию об объемах продаж, выявляют долю полки, узнают категорийный спрос и другие показатели позволяющие прогнозировать продажи; Продукт-менеджеры собирают информацию об изменении метрик продукта, проводят A/B тесты, меряют статистическую значимость; Аналитики мониторят изменение цен конкурентов; Разработчики наполняют интернет-магазины контентом оптовика и автоматически обновляют цены; SEO-специалисты узнают заполнены ли все метаданные, H1, Title, Description, анализируют наличие несуществующих страниц показывающих 404 ошибку, выявляют ключевые слова; Управленцы производственных компаний следят за тем, чтобы партнеры не демпинговали и получают бизнес показатели; Для частных целей можно собрать коллекцию рецептов, уроков или любой другой информации, которую нужно сохранить для личных целей. Этого достаточно?)

@vladsvd1988

6 ай бұрын

​@@user-pe8ew9tq8z Вы когда товар на рынок выводите (и ваш товар не уникален), вам надо поставить конкурентную цену на этот самый товар, и поставлять этот товар вы собираетесь на всю страну. Как это сделать? Ну посмотреть цены на этот товар во всех регионах страны. Можете сами это сделать потратив свое время, а можете обратиться за сбором цен, да, страшное слово парсинг, это и есть в 90% случаев сбор цен на группы товаров. Такой "парсинг" бывает и в офлайне, когда люди проходят по магазинам с камерами и снимают ценники. Это основа торговли

37 млн и диван из Икеи за 20.000.

@MaximKulgin

6 ай бұрын

Дивану лет 8. Купили когда открыли фирму

@cafeterra1093

6 ай бұрын

@@MaximKulgin а срок службы дивана?

Похоже на какой то чес и блаблабла, если честно, любой школьник при желании сеофрогом из под гугл бота обойдет половину защит , добавит пару экстракторов готовых и выгрузит любую дату в каком угодно формате и при желании экспортирует куда надо... Датацентры они собрались строить... Не ссыте людям в уши, вася и артем 😂

@MaximKulgin

6 ай бұрын

Вы большой молодец 👍

Оч приятный рассказчик

@MaximKulgin

6 ай бұрын

Спасибо бро

Здравствуйте, без денег можно будет попробовать себя в этом деле ?

@MaximKulgin

6 ай бұрын

Да

Херню какую то несет уже несколько лет? чего парсинг? Кому он нужен?

@MaximKulgin

6 ай бұрын

Вам не нужен