🤖📝 Robots.txt — это файл, который есть в корневом каталоге почти каждого сайта. Он определяет правила, по которым роботы поисковых систем могут сканировать этот сайт. Владелец сайта может настроить правила по своему усмотрению. Например, указать, какие страницы нельзя индексировать, или совсем запретить ботам доступ.
Зачем это нужно?
Боты, индексирующие сайты, появились в 1990-х. Их использовали для каталогизации интернета, чтобы облегчить поиск нужных данных. Такое сканирование нравилось не всем, так как замедляло работу сайта.
Тогда программист Мартин Костер придумал протокол исключения роботов. Он представлял собой обычный текстовый файл, описывающий правила работы поисковых алгоритмов для конкретного сайта. Протокол не накладывал никаких юридических обязательств, но стал неким подобием общественного договора между владельцами сайтов и поисковиков.
Как это работает?
Сканирование роботами позволяет добавлять сайты в поисковую выдачу, поэтому большинство владельцев разрешает индексацию, чтобы привлечь трафик. Это выгодно всем: поисковики получают информацию, а сайты — новых посетителей. При этом у владельцев остаётся возможность спрятать от поисковых систем любую информацию на сайте.
Что изменилось сейчас?
С появлением нейросетей роботы стали собирать в интернете информацию для обучения алгоритмов. В конце 2023 года New York Times подала в суд на OpenAI, заявив, что для обучения языковых моделей были использованы миллионы защищённых авторским правом материалов. OpenAI в ответ заявила, что New York Times «взломала» ChatGPT и потратила десятки тысяч попыток, чтобы получить нужные результаты.
С этим можно что-то сделать?
В файле robots.txt можно прописать запрет на сбор информации роботами нейросетевых компаний, но их с каждым днём становится всё больше, и запретить всё очень сложно. Кроме того, правила индексации — это неформальная договорённость, а значит, их можно игнорировать, если компания не дорожит своей репутацией.
Подписывайтесь 👉 @techno_yandex
Не пропускайте новости Яндекса тут @yandex
Зачем это нужно?
Боты, индексирующие сайты, появились в 1990-х. Их использовали для каталогизации интернета, чтобы облегчить поиск нужных данных. Такое сканирование нравилось не всем, так как замедляло работу сайта.
Тогда программист Мартин Костер придумал протокол исключения роботов. Он представлял собой обычный текстовый файл, описывающий правила работы поисковых алгоритмов для конкретного сайта. Протокол не накладывал никаких юридических обязательств, но стал неким подобием общественного договора между владельцами сайтов и поисковиков.
Как это работает?
Сканирование роботами позволяет добавлять сайты в поисковую выдачу, поэтому большинство владельцев разрешает индексацию, чтобы привлечь трафик. Это выгодно всем: поисковики получают информацию, а сайты — новых посетителей. При этом у владельцев остаётся возможность спрятать от поисковых систем любую информацию на сайте.
Что изменилось сейчас?
С появлением нейросетей роботы стали собирать в интернете информацию для обучения алгоритмов. В конце 2023 года New York Times подала в суд на OpenAI, заявив, что для обучения языковых моделей были использованы миллионы защищённых авторским правом материалов. OpenAI в ответ заявила, что New York Times «взломала» ChatGPT и потратила десятки тысяч попыток, чтобы получить нужные результаты.
С этим можно что-то сделать?
В файле robots.txt можно прописать запрет на сбор информации роботами нейросетевых компаний, но их с каждым днём становится всё больше, и запретить всё очень сложно. Кроме того, правила индексации — это неформальная договорённость, а значит, их можно игнорировать, если компания не дорожит своей репутацией.
Подписывайтесь 👉 @techno_yandex
Не пропускайте новости Яндекса тут @yandex
This media is not supported in your browser
VIEW IN TELEGRAM
На этой неделе прошла MWC — одна из главных ежегодных выставок мобильных технологий. Рассказываем о самых интересных гаджетах с неё.
Прозрачный ноутбук от Lenovo. На месте привычного экрана в нём установлен прозрачный MicroLED-дисплей с диагональю 17,3 дюйма. А вместо обычной клавиатуры в ноутбуке плоская сенсорная панель: на неё можно вывести виртуальные клавиши, также её можно использовать вместе со стилусом как графический планшет.
«Смартфоночасы» от Motorola и Samsung. Компании показали похожие прототипы, которые сложно отнести к одному классу устройств. В обычном положении они оба выглядят как привычные смартфоны, разве что более вытянутые. Но дисплей в них гнётся сразу в нескольких местах, поэтому их можно обернуть вокруг руки и носить вместо умных часов: в прототипе от Samsung даже встроен датчик пульса на задней стороне.
Нейротелефон от Deutsche Telekom и Brain.ai. Компании привезли на MWC концепт смартфона, в котором нет приложений — все действия можно выполнить через нейросетевого помощника. Он сам выполняет в фоне промежуточные шаги, собирает информацию с разных сервисов и генерирует оптимальный интерфейс. По сути, это аналог Rabbit R1, показанного на CES 2024, но в привычном форм-факторе смартфона.
Прототип минималистичных AR-очков Oppo Air Glass 3. Они выглядят практически как обычные очки, но оснащены проекторами, которые выводят перед глазами информацию, например, уведомления или список дел. А ещё в них есть камера и доступ к мультимодальной нейросети, которую можно спрашивать об объектах перед собой.
Умные часы OnePlus Watch 2. Они стали первыми, использующими новую гибридную платформу Wear OS. В них есть два процессора и две ОС: каждая оптимизирована для фоновой или активной работы. В новой версии Wear OS разработчикам из Google и OnePlus удалось перенести многие задачи, в том числе уведомления, на энергоэффективную часть гаджета. Это позволяет ему работать до 100 часов.
Подписывайтесь 👉 @techno_yandex
Не пропускайте новости Яндекса тут @yandex
Please open Telegram to view this post
VIEW IN TELEGRAM
Подписывайтесь 👉 @techno_yandex
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
🎞🏠 Как представляли умный дом 100 лет назад?
Посмотрите отрывок комедии «Электрический дом», которую снял знаменитый американский комик Бастер Китон в 1922 году. В фильме Китон играет студента-ботаника, который, случайно взяв диплом друга-инженера, устраивается к миллионеру, желающему автоматизировать свой дом. Посмотреть 23-минутный фильм целиком можно тут (нам кажется, оно того стоит).
Подписывайтесь 👉 @techno_yandex
Посмотрите отрывок комедии «Электрический дом», которую снял знаменитый американский комик Бастер Китон в 1922 году. В фильме Китон играет студента-ботаника, который, случайно взяв диплом друга-инженера, устраивается к миллионеру, желающему автоматизировать свой дом. Посмотреть 23-минутный фильм целиком можно тут (нам кажется, оно того стоит).
Подписывайтесь 👉 @techno_yandex
Дикий опоссум, семейный портрет и аббревиатура Всемирной паутины — это три самых первых PNG в истории, опубликованные 13 марта 1995 года. Но предпосылки для создания формата появились за несколько лет до этого.
В конце 1980-х разработчик Стив Уилхайт из CompuServe, одного из первых в мире онлайн-провайдеров, придумал, как сжимать выводимые на экран изображения, экономя память. Так появился формат GIF, известный сегодня по зацикленным анимациям, хотя изначально его разрабатывали для статичных изображений. GIF стал по-настоящему революционным форматом, но к середине 1990-х компания Unisys, которой принадлежал патент на сам алгоритм сжатия в GIF, решила, что больше не будет предоставлять права на него бесплатно. Это было критично для разработчиков: теперь для использования GIF-алгоритма для программного обеспечения нужно было покупать лицензию.
Решить проблему мог бы новый — бесплатный и более продвинутый — формат. Эту задачу в январе 1995 года взяла на себя группа разработчиков во главе с Томасом Боутеллом. Всего через 3 месяца, в марте того же года, в интернете появился PNG-опоссум и PNG-портрет семьи Гленна Рендерса-Персона — программиста из группы Боутелла.
Главным преимуществом PNG стали новые алгоритмы сжатия (GIF сжимал лишь горизонтальные одноцветные области изображения). Благодаря различным стратегиям и способам фильтрации разработчикам удалось сохранить качество изображения при минимальном размере файла. Кроме того, уже самые первые PNG могли быть прозрачными. Эта уникальная для того момента особенность формата до сих пор помогает при создании сайтов.
История противостояния GIF и PNG на этом не закончилась. 5 ноября 1999 года состоялась массовая акция Burn All Gifs Day, во время которой разработчики в знак протеста удаляли все свои GIF-файлы. Судя по количеству гифок в интернете, протест ни к чему не привёл.
Подписывайтесь 👉 @techno_yandex
Не пропускайте новости Яндекса тут @yandex
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM