тлдр першого відео: відповідь будь-якого чат-бота формується на базі ресурсів, які не закрили доступ до своїх сторінок пошуковим роботам ЛЛМ.
наприклад, якщо ви шукаєте інфу в клоді/чатіджпт і суттєва частина потрібних матеріалів дослідження розміщена, скажімо, на JSTOR або academia, а вони в свою чергу закрили доступ клоду/чатуджпт через файл robots.txt, то ви піддаєтесь ризику втратити основні надійні джерела.

упд. в коментарях вірно підмітили, що все-таки йде мова про краулерів, які сканують сайти для тренувальних даних