git clone https://github.com/tonbistudio/model-trader
cd model-trader
pip install -r requirements.txt

python -m pipeline.scaffold_trader my_trader

python -m pipeline.fetch_youtube_transcripts \
traders/my_trader/transcripts VIDEO_ID

export ANTHROPIC_API_KEY=sk-ant-...

python -m pipeline.extract_strategy \
traders/my_trader/transcripts \
traders/my_trader

Selenium — инструмент для автоматизации тестирования веб-приложений, который также широко используется для парсинга веб-страниц.

Позволяет автоматизировать взаимодействие с браузером, что делает его полезным для сбора данных с динамических сайтов, где контент генерируется с помощью JavaScript.

Selenium может имитировать действия пользователя, такие как клики, ввод текста, навигация по страницам, что позволяет обходить защиту от ботов и парсить сайты, требующие авторизации.

python
# Создание объекта ChromeOptions для дополнительных настроек браузера
options_chrome = webdriver.ChromeOptions()
# Добавление аргумента '--headless' для запуска браузера в фоновом режиме
options_chrome.add_argument('--headless')
# отключает использование графического процессора для рендеринга, что может быть
полезным на машинах с проблемными или отсутствующими графическими драйверами
options_chrome.add_argument('--disable-gpu')
# если вам потребуется запустить браузер в режиме --headless и с расширениями(используются
для модификации поведения браузера)
options_chrome.add_argument('--headless=chrome')
options_chrome.add_extension('coordinates.crx')
# Перенос профиля пользователя из основного браузера Chrome в браузер, управляемый через
Selenium
options_chrome.add_argument('user-data-dir=C:\\Users\\user\\AppData\\Local\\Google\\Chrome\\User
Data')
# запрос через прокси
chrome_options.add_argument('--proxy-server=%s' % proxy)
# Запускает браузер без дополнительных мер безопасности
options.add_argument('--no-sandbox')
...