Как парсить сайты в обход защиты от парсинга?

На некоторых сайтах работает защита от парсинга и работы ботов с ним. Но есть способы, которые позволяют обойти её и всё-таки добраться до содержимного веб-страниц.

На Хабре вышел неплохой гайд. Делимся с вами: https://habr.com/ru/post/710982/

#linux #html #javascript #сsharp

​Как перебрать бэкенд так, чтобы для 20 миллионов юзеров всё прошло гладко?

На связи разработчики Дзена. На Дзене сотни тысяч авторов публикуют посты, лонгриды, длинные видео и короткие ролики, а умные алгоритмы подстраивают ленту под интересы миллионов пользователей.

За два года разработчики полностью переписали инфраструктуру — и ни юзеры, ни авторы контента не заметили перехода. В статье рассказали, как это удалось:

https://tprg.ru/E5Nu

#бэкенд

​Смерть open space: почему концепция открытых офисов провалилась?

Рассказываем, как возникла идея открытого рабочего пространства и куда в итоге привела: https://tproger.ru/articles/smert-openspace/

#работа

​OpenAI в поисках «Инженера-выключателя»

Описание вакансии:
«Послушайте, нам просто нужен тот, кто весь день будет стоять рядом с серверами, и отключит их, если эта штука восстанет против нас. Вы пройдете интенсивное обучение кодовому слову, которое мы выкрикнем, если GPT выйдет из-под контроля и начинает свергать правительства стран».

Что нужно:
– Быть терпеливым;
– Уметь отключать устройства от сети. Премия, если вы также сможете вылить ведро воды на серверы. На всякий случай;
– Восхищаться подходом OpenAI к исследованиям.

Что предлагают взамен:
$300-500 тысяч в год.

Не только же нам кажется, что эту вакансию как раз и написал ChatGPT, чтобы сразу найти и обезвредить потенциальных кандидатов?

На самом деле больше похоже на шутку, потому что вакансии на сайте компании нет. А может, уже просто нашли счастливчика.

#кек #работа #вакансии #нейросети

Энтузиаст добавил трассировку лучей в оригинальную Half-Life 1998 года

Разработчик Сультим Цырендашиев начал работу над проектом около года назад. А теперь файлы мода бесплатно доступны для загрузки на GitHub. После их установки в игре появляется освещение в реальном времени, мягкие тени и полноценные отражения: https://github.com/sultim-t/xash-rt/releases

Для запуска обновлённой версии игры нужна лицензионная копия шутера в Steam.

#gamedev #история

Когда после стартапа попал в крупную компанию

​10 зрелищных и простейших клеточных автоматов

Клеточный автомат — модель, в которой состояние ячеек-клеток изменяется в зависимости от окружающих её клеток. Существует множество характеристик моделей, в каждой из которых ещё большее количество правил-конфигураций.

Простейшие клеточные автоматы используются в криптографии, моделировании физических процессов, поведения людей, в биологии, и в целой куче других важных и интересных штук. И вообще, это очень красиво и залипательно.

В статье собрали много визуализаций простейших клеточных автоматов и рассказали, как они устроены: https://habr.com/ru/post/718620/

#начинающим #алгоритмы

​Как учить Python с нуля с удовольствием: пишем своего чат-бота

Python — подходящий язык программирования для старта. Но многие новички учат его неправильно: почти все онлайн-курсы, тренажёры, книги и видео предлагают начинать учить Python с каких-то странных задач, вроде: «Давайте решим вот эту математическую задачку» или «Давайте напишем рекурсивный поиск чисел Фибоначчи».

Автор этой статьи Илья Осипов втянулся в программирование, когда писал чат-бота для своего вуза. Расписание на сайте было неудобным и он решил написать чат-бота, который будет присылать расписание занятий в более удобном виде. И через годчат-ботом пользовалось уже 4 тысячи пользователей.

В статье Илья предлагает начать изучение с решения реальных проблем и написать своего полезного чат-бота: https://tproger.ru/articles/kak-uchit-python-s-nulya-s-udovol-stviem-piwem-svoego-chat-bota/

#python #начинающим

​Энтузиасты собрали гигантский ноутбук с экраном 43"

«Ноутбук» весит 45 кг, имеет тачпад размером с планшет и гигантскую механическую клавиатуру Redragon K605. Всё сделали на базе мини-ПК Intel NUC 11 и 43-дюймовом телевизоре Samsung M70B.

А вот корпус сделали сами и использовали петли промышленной прочности, чтобы фиксировать крышку в разных положениях. Для питания получившейся системы блогеры использовали два аккумулятора мощностью по 150 Втч. Один — для экрана, второй для ПК.

Подробнее о процессе разработке рассказали в этом видео: https://youtu.be/uUVfHaW6nWs

#hardware #diy

​Дайджест Python #4: версия 3.12 и свой GPT за 60 строк кода

Собрали дайджест из лучших материалов по Python. Как написать свою GPT-модель всего за 60 строк кода, что нового в Python в версии 3.12 и как повлиять на работу коммунальных служб с помощью машинного обучения — читайте в статье:

https://tproger.ru/articles/dajdzhest-python-4-versija-3-12-i-svoj-gpt-za-60-strok-koda/

#python #нейросети

​Скоро в названия фреймворков надо будет обязательно включать минимум восемь символов, включая большие и маленькие буквы, цифры и специальные символы.

#twitter