Parsing Conf

#ссылка
#github

Как и для любой сферы, для парсеров есть awesome-репозитории. Иногда про них забываешь https://github.com/BruceDone/awesome-crawler

GitHub

GitHub - BruceDone/awesome-crawler: A collection of awesome web crawler,spider in different languages

A collection of awesome web crawler,spider in different languages - BruceDone/awesome-crawler

520 viewsedited 19:38

Parsing Conf

#ссылка
#github

https://github.com/Hedgehogues/yandex-toloka-parser

Появился yandex-toloka-parser сегодня вечером. Вдруг, кому пригодится. Ничего особенного. Разобрал запросы. Получил апишки. Готово.

GitHub

GitHub - Hedgehogues/yandex-toloka-parser: This parser extracts all info about your workers via private API

This parser extracts all info about your workers via private API - GitHub - Hedgehogues/yandex-toloka-parser: This parser extracts all info about your workers via private API

470 viewsedited 16:16

Parsing Conf

#ссылка
#github

https://github.com/Hedgehogues/kaggle-parser

Ещё один парсер. Он умеет собирать данные с kaggle.com

GitHub

GitHub - Hedgehogues/kaggle-parser: This parser will allow you to get all users out of the competition. But you will need a proxy…

This parser will allow you to get all users out of the competition. But you will need a proxy, since kaggle blocks frequent calls to the user service - GitHub - Hedgehogues/kaggle-parser: This pars...

506 viewsedited 00:20

Parsing Conf

#ссылка
#github

Сбор данных через консоль браузера с помощью js скрипта

Пример реализации парсера подписчиков и подписок instagram

https://github.com/leoneedpro/instagram-parser

GitHub

GitHub - leoneedpro/instagram-parser: Парсер аккаунтов подписчиков и подписок в Instagram на основе прокрутки списков

Парсер аккаунтов подписчиков и подписок в Instagram на основе прокрутки списков - leoneedpro/instagram-parser

725 viewsedited 07:47

Parsing Conf

#ссылка
#github

https://github.com/mailgun/flanker

Ещё одна утилита, которая умеет работать с email's

GitHub

GitHub - mailgun/flanker: Python email address and Mime parsing library

Python email address and Mime parsing library. Contribute to mailgun/flanker development by creating an account on GitHub.

592 viewsedited 16:02

Parsing Conf

#ссылка
#github

https://github.com/GRAAL-Research/deepparse

Ещё одна библиотечка для разбора адресов. Русского, к сожалению, нет.

GitHub

GitHub - GRAAL-Research/deepparse: Deepparse is a state-of-the-art library for parsing multinational street addresses using deep…

Deepparse is a state-of-the-art library for parsing multinational street addresses using deep learning - GRAAL-Research/deepparse

594 viewsedited 16:02

Parsing Conf

#ссылка
#github

Я очень люблю библиотеку ferret для парсинга. Спасибо Тиму Воронову за её создание. Основная фишка её в том, что происходит разделение логики извлечения данных с html-страницы и кода (бизнес-логики). Это позволяет оперативно исправлять парсеры без передеплаивания системы, а также позволяет легко тестировать их.

До недавнего времени эта библиотека была доступна только на golang. Но я сделал c-библиотеку и теперь её можно использовать на python. На python портирован пока что лишь ограниченный функционал, но Вы уже можете попробовать её использовать

https://github.com/MontFerret/pyfer

GitHub

GitHub - MontFerret/pyfer: Python wrapper for Ferret

Python wrapper for Ferret. Contribute to MontFerret/pyfer development by creating an account on GitHub.

628 viewsedited 19:31

Parsing Conf

#ссылка
#github
https://github.com/openvenues/libpostal

Замечательная библиотека для структурирования адресов. Реализована на основе OSM. Т.е. из сырой строки она получает полноценный адрес. В том, числе и на русском. К моему большому удивленю, до сих пор жива.

GitHub

GitHub - openvenues/libpostal: A C library for parsing/normalizing street addresses around the world. Powered by statistical NLP…

A C library for parsing/normalizing street addresses around the world. Powered by statistical NLP and open geo data. - openvenues/libpostal

562 viewsedited 16:03

Parsing Conf

#github

Привет, друзья!
Всех тех, кто пользуется или интересуется библиотекой Ferret, приглашаем в новый чат в Телеграмме, где вы можете задать интересующий вас вопрос или просто пообщаться!

https://t.iss.one/montferret_chat

А ещё есть телеграм-канал, в котром будут публиковаться новости

https://t.iss.one/montferret

639 viewsedited 18:09

Parsing Conf

#github

JS-интерпретатор на golang. 2 живых контрибьютора
https://github.com/dop251/goja

GitHub

GitHub - dop251/goja: ECMAScript/JavaScript engine in pure Go

ECMAScript/JavaScript engine in pure Go. Contribute to dop251/goja development by creating an account on GitHub.

776 views12:04

Parsing Conf

#github
Библиотека, которая умеет делать запросы и разбирать полученный html.

https://github.com/psf/requests-html

GitHub

GitHub - psf/requests-html: Pythonic HTML Parsing for Humans™

Pythonic HTML Parsing for Humans™. Contribute to psf/requests-html development by creating an account on GitHub.

934 viewsЕгор, edited 16:04

Parsing Conf

#github

https://github.com/sdushantha/tmpsms

Если Вы хотите обезопасить Ваш номер и не регистрироваться на сомнительных ресурсах, специально для Вас есть утилита

GitHub

GitHub - sdushantha/tmpsms: A temporary SMS utility right from your terminal written in POSIX sh

A temporary SMS utility right from your terminal written in POSIX sh - sdushantha/tmpsms

826 viewsЕгор, edited 16:03

Parsing Conf

#github

Ещё одна интересная библиотека. JS-интерпретатор на golang. Но, к сожалению, давно не развивается.
https://github.com/robertkrimen/otto

GitHub

GitHub - robertkrimen/otto: A JavaScript interpreter in Go (golang)

A JavaScript interpreter in Go (golang). Contribute to robertkrimen/otto development by creating an account on GitHub.

1.13K viewsЕгор, 16:00

Parsing Conf

#github
#ресурс

https://github.com/paulirish/headless-cat-n-mouse

Небольшое соревнование