Parsing Conf
597 subscribers
6 photos
2 videos
14 files
162 links
Data collection conference/meetup

Митап о сборе данных

Тематические объявления и посты бесплатно размещаем


По всем вопросам можно обращаться в чат
https://t.iss.one/joinchat/HvuCPzwpPJHrrDfC
или в личку @NikolayKrupiy @cuda23
Download Telegram
#Работа
Если у Вас есть желание поднять немного денег, то пишите сюда @fedormakarov

Задание в треде
#работа
Описание от автора.
"Нужен парсинг с сайта https://www.flashscore.com.ua
Как видно из примера прикрепленного файла, нужен парс следующих показателей: 2-х реализовано, 3-х реализовано, Персональные фолы, Всего подборов. (Пример окна — https://www.flashscore.com.ua/match/4pFzm7mo/#match-summary/match-statistics/0) всех баскетбольных команд за сезон 2020/2021, где имеется хотя бы один из вышеперечисленных показателей на этом сайте.
К тому же нужно выгрузить эти данные по каждой баскетбольной команде именно в том порядке по четвертям, как указано в прикрепленном примере.
Чтобы открыть окно с данными нужно кликнуть на один из матчей в разделе Баскетбол."

Контакты: @Cornerkamil15

Если Вы хотите разместить Вашу задачу, смело пишите @cuda23. Мы делаем это совершенно бесплатно. Любая тематическая реклама также размещается бесплатно.
#ссылка
#работа

Если вы ищете работу, возможно, вам поможет этот канал

https://t.iss.one/meta_jobs
#работа
"я тут думаю себе найти человека на парт-тайм
есть скрейпер линка, его нужно поддерживать и юзать эластик на данных
платить много не смогу и крайне желательно иметь счёт в банке вне России (я в Украине)
т.к. я нацелен на долгосрочное сотрудничество и возможно переход в фултайм, то крайне желательны разделение ценностей (ответственное отношение к работе и т.д.) и интерес к проекту (рекрутинг в мл сфере, поиск наиболее подходящего места работы/сотрудника, в дальнейшем всякие онтологии проф развития, постоянный анализ рынка, расширение на другие сферы)"

@ufi00
#работа

Парсинг БД по автотематике, сбор информации и структуризация

Требуется парсинг по определенным сайтам, структуризация, создание собственной БД

Контакты:
eurorazbor.ru
[email protected]
https://www.fl.ru/users/eurorazbor/

Бюджет: 100 000
——————————————
Многопоточный парсинг сайтов python

Необходимо спарсить данные с сайта www.etm.ru/im/ и www.tesli.com/

Контакты: https://www.fl.ru/users/hbb2/

Бюджет: 45 000
——————————————
Необходимо доработать функционал маркетплейса


Предполагаемый объем работы – 1 месяц.

Требуется:
- добавить дополнительные параметры фильтрации,
- настроить систему под парсинг,
- допилить систему рассылок от поставщиков курсов клиентам
- добавить функционал под физических лиц для публикации курсов и подключения их к нашей системе продаж

Навыки и опыт работы:
- Опыт работы по направлению от 3 лет;
- Уверенные навыки Python 3;
- Уверенные знания Django Rest Framework;
- Уверенные знания SQL;
- Умение пользоваться Git

Будет плюсом:
- Наличие опыта работы с парсингом
- Опыт работы с LMS-системами
- Опыт работы с агрегаторами и маркетплейсами, в особенности по курсам или мероприятиям

Бюджет: 160 000

————————————————-
Парсинг данных профилей из Инстаграма

Напиcать код с использованием неофициального API Инстаграма, который будет принимать в качестве исходных данных список ссылок на открытые профили и на выходе выдавать БД SQL, содержащую доступные данные из всех подписок этих профилей.

Исполнитель получит более подробное ТЗ.

Бюджет: 3 500

Контакты:
https://www.fl.ru/users/a_vorochkov/

———————————————————
Написать скрипт на питоне для парсинга запикленых дампов

Нам нужно иметь возможность распаковывать (деcериализовать) файлы pickle (до последней версии протокола) в условиях, когда в проекте нет объектов, классов или модулей, присутствующих в пикл (короче говоря, дамп пикла был создан вне проекта).
Скрипт может разбирать пикл-файл разными способами: Вы можете читать коды операций и формировать собственную проекцию данный, создавать стабы объектовна лету, Главное в итоге получить проекцию файлов и иметь возможность изменять атрибуты/значения в них и после запаковать эту проекцию обратно в дамп. Если значений содержимого файла не было
проекция обязана быть такой же как и оригинал.

Цена может быть пересмотрена, при наличии объективных причин.

Во вложении пример запикленного файла и пример псевдокодом как это может выглядить эдеологически.

Вложение 1
Вложение 2

Контакты:
https://www.fl.ru/users/andrewgrinevich/

Бюджет: 3 500
#работа

Нужно сделать ежедневный парсинг товаров раздела ФОТО/ВИДЕО с этого интернет-магазина:
https://kremlinstore.ru/category/fotovideo/
Данные нужно загрузить на сайт: https://roxes.ru/
Есть фид.
Ещё нужно сделать, чтобы при заказе на сайте roxes, заказы перекидывались в телеграм, для менеджеров kremlinstore

Контакты: @nikolasanderson
#работа

Привет. Требуется реализовать парсер карточки товара ozon. Требует вытащить:

- Хлебные крошки
- Атрибуты
- Ссылка на картинку
- Тайтл
- Количество отзывов
- Оценки
- Продавец
- Описание
- Артикул
- Скидки
- Цена

Есть ограничение по технологиям. Подробности в личке

Контакты: @cuda23
#работа
Python разработчик middle/senior

от 120 000 до 200 000 руб. на руки
Требуемый опыт работы: 3–6 лет
Полная занятость, удаленная работа

Мы - команда проекта ODDSCORP, небольшая группа full-stack разработчиков. 4.5 года назад мы начали автоматизировать ставки на спорт. За это время мы сделали более 8 млн. ставок своими ботами, и продолжаем делать от 10 до 40 тыс. ставок ежедневно. (Да-да, мы действительно переигрываем букмекеров, и ты сможешь в этом напрямую поучаствовать)

Задачи:
Разрабатывать парсеры новых источников данных;
Оптимизировать скорость и качество работы уже работающих парсеров, разработанных на Python
Технические навыки:

Необходимо уверенное владение:
Python (в т.ч. знания ООП, декораторов, перегрузки операторов и прочих основных особенностей языка);
JavaScript - чтобы без труда уметь разобраться в js-движке на любом крупном сайте;
Работа с Git;
SQL / NoSQL базы данных;
Linux.

Глубокое понимание:
Механизмов парсинга данных (Знание различных паттернов проектирования, в частности: стратегии, прокси и д.р. Умение применять их и оптимизировать);
Работы с TCP-протоколом на низком уровне;
http и websocket протокола;
Распараллеливания задач (threading, multiprocessing, subprocess, asyncio, aiohhtp) и работы с очередями.

Будет плюсом (не обязательно):
Опыт разработки парсеров на Node.js;
Знания С++ и PHP (для работы с нашей базой данных)
Опыт использования React;
Покрытие своего кода тестами;
Опыт оптимизации времени исполнения кода;
Опыт взаимодействия с Chrome Extensions API.

А также для нас крайне важно:
Умение работать в команде;
Умение самостоятельно организовывать свой рабочий процесс;
Дисциплина и порядок (в коде, в рабочих чатах, в голове);
Умение брать на себя ответственность и инициативность.

Условия:
Удаленная работа;
Свободный график;
Испытательный срок 2 месяца;
ЗП от 120 000 ₽ до 200 000 ₽ на руки + бонусы по результатам работы.
Для отклика писать по следующим контактам: https://t.iss.one/AliyaAkimova, [email protected]
#работа
Ведущий Python разработчик (Lead)

Мы - команда проекта ODDSCORP, небольшая группа full-stack разработчиков. 4.5 года назад мы начали автоматизировать ставки на спорт. За это время мы сделали более 8 млн. ставок своими ботами, и продолжаем делать от 10 до 40 тыс. ставок ежедневно. (Да-да, мы действительно переигрываем букмекеров, и ты сможешь в этом напрямую поучаствовать).

Задачи:
- Разрабатывать парсеры новых источников данных;
- Оптимизировать скорость и качество работы уже работающих парсеров, разработанных на Python (95%) и Node.js (5%);
- Проводить ревью кода и управлять своей командой разработки (7 человек).

Технические навыки:
- Необходимо уверенное владение:
- Python (в т.ч. знания ООП, декораторов, перегрузки операторов и прочих основных особенностей языка);
- JavaScript - чтобы без труда уметь разобраться в js-движке на любом крупном сайте;
Работа с Git;
- SQL / NoSQL базы данных;
- Linux.

Глубокое понимание:
- Механизмов парсинга данных (Знание различных паттернов проектирования, в частности: стратегии, прокси и д.р. Умение применять их и оптимизировать);
- Работы с TCP-протоколом на низком уровне;
http и websocket протокола;
- Распараллеливания задач (threading, multiprocessing, subprocess, asyncio, aiohhtp) и работы с очередями.

Будет плюсом:
- Опыт разработки парсеров на Node.js;
- Знания С++ и PHP (для работы с нашей базой данных)
- Опыт использования React;
- Покрытие своего кода тестами;
- Опыт оптимизации времени исполнения кода;
- Опыт взаимодействия с Chrome Extensions API.

А также для нас крайне важно:
- Умение работать в команде;
- Умение самостоятельно организовывать свой рабочий процесс;
- Дисциплина и порядок (в коде, в рабочих чатах, в голове);
- Умение брать на себя ответственность и инициативность.

Условия:
- Рабочее место на Маяковской (сначала удаленка 2 месяца);
- Комфортный офис с поваром и массажистом;
- Свободный график;
- Испытательный срок 2 месяца;
- ЗП от 200 000 ₽ до 350 000 ₽ на руки + бонусы по результатам работы.
#Python, #JavaScript, #SQL, #NoSQL, #Linux #Москва #Офис
Для отклика писать по следующим контактам:
https://t.iss.one/AliyaAkimova, [email protected]
#работа
Скачать информацию из различных источников. Информация определённых категорий.

Источники:
- Соц. сети
- Агрегаторы
- Форумы
- Новостные ленты
- Телеграм, Viber, WhatsApp

Группировки:
- Разбивка по городам
- По ресурсам
- По характеру объекта

Больше деталей в личке: @cuda23
Цена в личке
Работа под ключ
#работа
Нужен парсер постов из телеграм каналов (в них размещаются объявления о кастингах), и структурирование полученной инфы по категориям:
требования заказчика;
контакты заказчика;
Цена: договорная
Контакты: @crankocial
#работа

Нужно собрать базу почты, номеров телефонов всех блогеров / инфлюенсеров по снг

Аудитория: от 10к или 50к

Контакты: @pokaifu365
#работа

Ищу человека, который способен написать парсер на Street Beat через запросы, необходимо чтобы бот отслеживал наличие товаров, а также находил новые товары по кейвордам, после чего эта информация выводилась в дискорд канал.

Контакты: @dasnes228
#работа

Компания Верный в поиске специалиста по информационной безопасности (в Москве)

Зпл. по результатам собеседования от 80 000 - 120 000 руб.

Обязанности:
Обеспечение бесперебойного функционирования систем информационной безопасности
Сопровождение систем управления информационной безопасностью
Проведение работ по выявлению наиболее уязвимых с точки зрения безопасности мест и процедур информационных систем, сетевых устройств и бизнес-приложений
Мониторинг и контроль функционирования технических средств защиты и организационных мер обеспечения информационной безопасности
Выявление нарушений требований политик информационной безопасности, попыток несанкционированного доступа к корпоративным ресурсам, нецелевого использования корпоративных ресурсов
Участие в контроле исполнения регламентных мероприятий в целях обеспечения информационной безопасности Компании
Администрирование системы обеспечения информационной безопасности
Взаимодействие с поставщиками услуг в рамках своих компетенций
Проведение мероприятий по оценке рисков нарушения информационной безопасности (в том числе инвентаризация активов идентификация уязвимостей и угроз, оценка ущерба, анализ рисков, формирование модели угроз и нарушителей) Информирование, обучение и повышение осведомленности работников, клиентов и контрагентов по вопросам обеспечения информационной безопасности

Требования:

Знание нормативной базы в области защиты информации, ФЗ, ГОСТы, ISO 27001
Знание технологий и средств обеспечения информационной безопасности
Широкий кругозор в области информационных технологий Знание семейства ОС Windows XP/7/10, Windows server 2008, 2012, 2016 (развертывание, настройка, эксплуатация)
Знание и понимание сетевых технологий (базовые принципы и протоколы работы сетей, методы защиты информации), принципов работы Ethernet, основных сетевых протоколов служб и сервисов (AD, Group Policy).
Экспертные знания следующих программных и аппаратных систем: Kaspersky Security Center или подобные Maxpatrol или подобные
Желательно: опыт работы в силовых и др. контролирующих ведомствах.
Резюме на почту: [email protected]




===================
к компании не имею отношение, размещаю по просьбе колег по цеху

от себя, вакансия двоякая, по деньгам странно, а по требованием ИТ СБ, но почему то без ЕЛК стека (хотя возможно он зашит в формулировку информационных систем).

Еще странным выглядит про силовиков, так что может вообще не прогерская вакансия, просто натупили с обязаностями и описанием
#Работа


Задача


Скачать с тик-тока 10к видео танцующих людей.
Возможно для этих целей подойдет парсер https://github.com/drawrowfly/tiktok-scraper
Желательно чтобы люди на видео были в полный рост, а камера не двигалась. Также прикладываю примеры видео.

Цена: экспертизы в вопросе сбора информации из тиктока нет, поэтому цену предложить не могу, жду её от исполнителя.

Контакты: @roman_kucev
#работа

Ищу разработчика компетентного, чтобы написать облачный парсер, похожий на https://instaparser.ru/ с определенными модификациями.

Что он должен уметь:

- Парсер аккаунтов
- лайков
- комментариев
- фото
- хештегов
- гео
- Отслеживание аудитории конкурентов (мониторинг комментариев, лайков, подписчиков, постов)
- Парсинг телефонов, адресов почт и других контактных данных
- Множество настроек фильтрации (в том числе по ключевым словам, наличию историй, по городу, по интересам)
- Сопоставление нескольких баз и выделение общих id/username пользователей
- Многопоточная работа в облаке

Я готов заплатить 3000$ за готовый сервис.

Хочу запустить его на зарубежный рынок и зарабатывать на подписках.

У меня есть каналы продаж готовые, поэтому нужна разработка.

Пишите пожалуйста в лс: @Jegor_lu