В субботу вспоминала студенческие годы (а теперь заблокируйте, пожалуйста, эти воспоминания обратно) на OSINT mindset conference #2. Теперь кому-то, надеюсь, придётся мучиться меньше, чем мне при написании очередной paper.

Выкладываю презентацию с выступления и напоминаю: даже если диплом вам пишет ChatGPT (хочется подчеркнуть: "особенно если..."), без валидного списка материалов всё равно не обойтись. Как его собрать - узнаете здесь.

Лучший файлообменник - это Twitter*

Долго выбирала предлог, но в итоге сошлюсь на то, что для меня неделя пролетела как один день: только этим можно извинить то, что ещё в прошлую субботу я пообещала завтра выложить ещё пару способов обойти пейвол, за которым скрываются последние достижения науки (и это не гипербола: в конце концов, Sci-Hub и ряд подобных ему ресурсов действительно перестали обновляться в 2020 году, так что этот "рубеж последней надежды" больше не поможет, если нужны свежайшие исследования). Так вот, хотя бы с днём недели я угадала.

1. В Twitter (X) с 2011 года в ходу хэштег #ICanHazPDF (да, именно так, но встречается и едва ли более грамматически правильное #ICanHasPDF, в любом регистре; происхождением он, конечно, обязан, как и всё в Интернете, мемам с котами). Его постят в связке со ссылкой на искомый материал, например, на ResearchGate, и ждут, пока найдётся доброжелатель, у которого эта статья скачана "без купюр". Трудно посчитать, сколько запросов к коллективному разуму твиттерожителей остались без ответа (а сколько вопрошающих в итоге получили малварь под видом нужного файла), но частенько можно видеть и комментарии, мол, отправил, получите-распишитесь, так что способ вполне рабочий по сей день.

Особо сметливые на этом моменте, вероятно, уже придумали, как эксплуатировать этот метод в разведывательных целях. Действительно, пользуясь им, вы фактически расписываетесь в наличии интереса к той или иной теме. А вот от того, что это за тема, зависит уже появление интереса к лично к вам.

2. Расширения для браузеров, позволяющие передавать запросы в один клик, не покидая основной страницы, это удобно (напомню, что есть аддоны для Wayback Machine и Sci-Hub, хотя последний очень не любит Chrome, поэтому ссылка приведена для Firefox). Из тех же соображений появился бесплатный unpaywall, который после установки рисует зелёный замочек на странице со статьей, если для неё где-то есть доступная полная версия (и при нажатии на него сразу перекидывает на .пдф в режиме чтения), и серый - есть таковой не найдено. Но напомню, что даже в этом случае это не повод перестать искать.

3. В комментарии к посту выше @pwnai приводит внушительный список ресурсов, которые могут помочь с поиском научных публикаций и не только. Они мне большей частью не знакомы, поэтому комментировать по пунктам не возьмусь. Оговорюсь, что у меня есть предубеждение против ИИ, в частности поисковиков на его основе, но и более традиционные инструменты там тоже перечислены; полагаю, что китайские работают очень хорошо, особенно если искать изданные в Азии же материалы (c Baidu Academics и европейскими публикациями у меня получилось довольно бестолково: поисковик цеплялся на одно-два слово из заглавия статьи и на их основе уводил поиск вообще в другую степь, так вместо статей по этнографии уже во второй десятке выдачи появилось нечто околохимическое).

Однако хочу предостеречь от использования "слитых" кредов чисто с точки зрения этичности этого: именно использование авторизационных данных сомнительного происхождения ставили в вину Sci-Hub и LibGen, что и положило начало их несколько скандальной славе.

*Ресурс признан нарушающим закон РФ

Про анонимность Гугл-форм

Когда я ещё училась математике, то считала, что задачи проще, чем исследовать функцию на отрезке, трудно себе представить. Надо только помнить о значениях в крайних точках - они могут таить в себе сюрпризы. Я не стала тестировщиком, но с тех пор всегда думаю о них о границах Римской Империи: крайние положения, граничные точки, предельные значения - обо всех крайних случаях. Что, если автор задачи не продумал условие для них?

xeuledoc отлично "раскалывает" Гугл-документы (то есть определяет их владельцев), все их типы, перечисленные в описании. Кроме Гугл-форм - вопрос относительно них поднимается в "Issues" репозитория. Ответ - отрицательный. Что ж, кажется, разработчики знают об устройстве Форм больше, чем о возможностях своего инструмента. Или наоборот?..

Истина, как водится, где-то посередине. Да, большая часть Гугл-форм, которые вам встречается, имеет ID длиной 56 символов - это так называемый (здесь, однако человеком, не имеющим отношение к самому Google) "зашифрованный ID" - против 44 у нормального, "открытого" идентификатора большинства Гугл-документов. API-запрос к бэкенду Google, исполняемый xeuledoc, работает только со стандартными идентификаторами.

Но если наудачу поискать попавшие в открытый доступ Формы (напоминаю дорк),

site:docs.google.com/forms/

то быстро замечаешь, что все ссылки на них делятся на два типа: в одном случае они имеют вид

https://docs.google.com/forms/d/e/{ID}/...

а в другом

https://docs.google.com/forms/d/{ID}/...

Да, все дело в /d/ и /d/e/."е" - это, вероятно, "encrypted", ибо именно в таких ссылках фигурирует длинный "зашифрованный" идентификатор. Что же касается одинокого "d", то от такой Формы исследователю пользы больше, чем от витамина Д, поскольку - трам-парам-пам - она (прямо в ссылке) раскрывает стандартный ID документа, а значит, xeuledoc найдёт и владельца (не всегда, но это касается и всех остальных типов Гугл-доков: иногда по какой-то причине извлечь ничего не получается, xeuledoc пишет, что файл не существует(sic!) или не опубликован).

На этом хорошие новости всё, поскольку интернету неведом способ превращения /d/e/ в просто /d/ (очевидно, тупо отредактировать ссылку не получится). Ждём очередной утечки документов из Google?

Я заметила, что d-ссылки чаще всего ведут на Формы, к которым можно запросить совместный доступ, как, например, здесь:

https://docs.google.com/forms/d/1X7MdEJXffBHBGtrGVVWFP8qbvFMcQJlNgAGhL56dMl8/viewform?edit_requested=true

(эта Гугл-форма вообще смешная: по кнопке "Request edit access" без дополнительных запросов и проверок проваливаешься сразу в редактор, к тому же тебе становятся видны ответы - в норме такого не должно быть)

Но и это известно недостоверно: встречаются d-ссылки без параметра edit_requested. То есть их обнаружение - дело случая. Закономерность, скорее всего, существует, но в её тайну ещё предстоит проникнуть.

Формы же с "зашифрованным" ID пока остаются непробиваемыми, однако небольшая лазейка всё же остаётся: при создании к Гугл-форме привязывается Гугл-таблица для сохранения ответов, которая по дефолту называется так же, как форма, + "(Responses)". По её ID (44-значному) можно попробовать определить владельца - у таблицы и формы он будет общий. Ожидаемая ложка дёгтя заключается в том, что шанс на успех крайне мал: большая часть проиндексированных таблиц с ответами, что мне встречалась, создана 5-10 лет тому назад, то есть безнадёжна устарела. Гугл-формы продолжают хранить свои секреты.

Но дорк я, конечно, на всякий случай дам:

site:docs.google.com/spreadsheets intitle:"Responses"

Мамские каналы никогда ещё не были такими затягивающими. Кухня, дети... и церковь евангельских христиан-баптистов? ШТО

А ещё Pyrogram, Elasticsearch и NetworkX.

Тянула с выкладкой, потому что в первый раз удосужилась залить на Гитхаб самую первую версию скрипта, в которой даже Эластик ещё не фигурировал (а я им так гордилась, так гордилась...).
В общем, ссылка на обновленный код.