История одного приватного поисковика

Сейчас существует несколько приватных поисковых систем. Самые распространенные из них: DuckDuckGo, Qwant и StartPage. Но сегодня мы узнаем об еще одной — Findx, которая просуществовала ровно 3 года и была закрыта в конце 2018.

Приватная ПС это та, которая не собирает пользовательские данные, не гоняется с рекламой за пользователем, не продает/передает эти данные третьей стороне. Очень актуально в свете современных тенденций в области персональных данных. Но затрудняет монетизацию поиска.

DuckDuckGo (https://duckduckgo.com/) — один из популярных приватных поисковиков, так как встроен по умолчанию в браузер Tor. 20 млн. посетителей в сутки, около половины это США/Канада, остальной трафик размазан по Европе. Подтягивает данные из 400 источников, в том числе Bing, Yahoo и Яндекс. Монетизируется по партнерке с провайдерами поисковых данных.

StartPage (https://www.startpage.com/) — по сути тот же Google (данные берутся с него), но без логгирования/сохранения истории поиска. 3.5 млн. посетителей в сутки, сопоставимо с популярностью Яндекса в Турции, основной трафик это Германия, США, Франция и немного других европейских стран.

Qwant (https://www.qwant.com/) — разрабатывался как европейская альтернатива Google, но стал популярным только во Франции. 2 млн посетителей в сутки, отсутствие рекламы в принципе, наличие бесконечной прокрутки вместо пагинации. Сервис монетизируется за счет продажи своих технологий другим фирмам/сайтам, но это не точно. Некоторые источники утверждают, что Qwant это не поисковик, а просто прокси, так как результаты очень похожи на результаты Bing и Google.

Metager (https://metager.de/) — небольшой приватный немецкий поисковик. Кстати, на нем активно рекламится немецкий seo-сервис Sistrix. Неприбыльная организация, вместо рекламы использует партнерские ссылки и активно просит пользователей задонатить. Тянет данные с Bing и Scopia.

Findx (https://findx.com/) — задумывалась как опенсорсная приватная поисковая система, так и не вышла из беты, закрывшись в конце прошлого года. Ниже опыт создателя Findx для тех, кто думает организовать свой поисковик.

1/2

​Мечтой разработчиков Findx было создание альтернативы Google, независимого приватного поисковика. Ребята разработали сам движок, десктопный браузер и ряд расширений и мобильных приложений. Оглядываясь в прошлое, создатели полагают, что запустили проект слишком рано, люди только сейчас начали активно говорить о приватности.

Основные причины, которые не дали проекту развиваться:

— Между приватностью и удобством, люди предпочитают удобство. Очень сложно сражаться с монополией и удобством гугла.

— Большой проблемой Findx был выбор опенсорс-проекта Gigablast, который имел кучу багов и им управлял один человек, который постоянно исчезал.

— Собственный поисковик жрет много ресурсов, нужны дата-центры, умные краулеры, большие объемы дискового хранилища, умные алгоритмы ранжирования. И все это нужно уметь быстро масштабировать.

— Краулить интернет не так просто. Из-за багов в работе краулера Findx занесли в черные списки Project Honeypot, которые используются всеми популярными CDN-провайдерами. Робот не видел половину сайтов интернета, так как CDN-провайдеры блокировали доступ "плохому боту".

— Большие проекты типа LinkedIn, Quora, Yelp, Github, Facebook и пр. открывают доступ к сканированию своего контента только определенным ботам типа Google и Bing. Из-за этого Findx не мог давать пользователям всегда хорошие результаты поиска.

— Количество спама и вредоносных страниц в сети намного больше, чем вы думаете. И программно их определить сложно. В Google работают тысячи асессоров, чтобы решить эту проблему.

— Есть ряд технических сложностей в понимании поискового запроса и поиска релевантных ответов на разных языках, а в Европе языков очень много. Findx лучше всего работал с датским языком, так как сотрудничал с одним из датских лингвистов.

— Монетизировать приватный поиск сложно. Рекламодатели хотят знать инфу о пользователях, чтобы настраивать таргетинг. Были попытки сотрудничать с Bing и Yahoo, как делают другие приватные поисковики, но тем не интересны проекты без большого трафика. Это убило всю идею монетизации.

Все эти причины сделали Findx нежизнеспособным. Разработчик пожелал удачи Диме Герасименко в недавнем твиттер-треде.

2/2

​​Пока мы размышляли про создание поисковика, Яндекс выкатил обновку для справочника: теперь, при регистрации компании в Яндекс.Справочнике, не обязательно указывать фактический адрес.

Продвижение по регионам пойдет куда проще и продуктивнее. Спасибо, Яндекс (не думал, что когда-то так напишу)

И у Google бывают провалы. Я не говорю о закрытии Inbox и Google Plus.

154 закрытых продукта. Все что хотели сделать и не получилось.

Набрел случайно на ссылку https://killedbygoogle.com/

Там можно посмотреть весь список убитых Гуглом продуктов.

Осторожно! Можно залипнуть.

​Помните тот эксперимент с поведенческими факторами?

По запросу "seopro" продвигать украинский сайт в русском гугле - плохая затея, особенно, если по семантике видно, что людям нужны плагины.

Но, спустя 1 месяц, страница курса - 1 место! 🧐
— 25.02 - 19 позиция
— 26.02 - 18
— 28.02 - вылетело из топа до 20.03 из-за отрицательной функции перехода
— 20.03 - железно 1 позиция

Так что индуская стратегия с размещением скрина гугла с нужным запросом на билбордах вполне работает. 😃

P.S. Спасибо всем, кто принял участие в эксперименте. 👍🏻

Привет, Нижний Новгород! До встречи завтра на Digital Оттепели.

Смотреть чужие ТЗ для копирайтеров интересно, но вам мало чем поможет. Так как ТЗ это всего лишь способ коммуникации с копирайтером, который зависит от внутренних процессов в компании, от традиций и предпочтений. Чужие процессы внедрить у себя - не получится.

3 направления взаимодействия с копирайтерами:

1. Поиск специалиста
ТЗ на этом этапе не нужно. А нужны некие критерии, по которым вы отберете несколько человек. Возможно, это будет опыт работы в какой-то нише, профессия, рекомендации, расценки, примеры работ.

2. Проверка качества текста, который способен произвести выбранный вами специалист
Здесь нужно составить тестовое ТЗ для всех, в котором указать, куда вам нужен текст, кто целевая аудитория, какие ключевые слова необходимо использовать, какой объем и другие пожелания. На выходе получите ряд текстов, которые теперь можно сравнить методом "пристального взгляда" (или любым другим, если у вас есть особый метод проверки качества) и оставить нескольких копирайтеров из всех для дальнейшей работы.

3. Постоянное взаимодействие с выбранными копирайтерами
И вот на этом этапе нужно объяснить копирайтерам, договориться с ними, как вы будете взаимодействовать, что хотите получить и в каком формате. Тут полезно составить внутренние инструкции. А ТЗ будет уже включать просто необходимые начальные данные для работы. Например, в ТЗ вы можете указывать желаемый объем текста и список ключевых слов, нужные заголовки и структура материала, если он объемный.

Некоторые проверяют копирайтеров на живых проектах, что тоже хорошо. Каждому копирайтеру дается свой раздел и позже наблюдают, какой из разделов лучше развивается (по seo-метрикам). Но на этом этапе копирайтер уже должен быть ознакомлен с внутренними инструкциями. И, все-таки, без предварительного "отсева" по качеству такие живые тесты могут погубить проект.

Итак, вам понадобится 3 документа. Первый составляете один раз - это тестовое ТЗ для копирайтера, без лишней информации, просто чтобы проверить качество. Второй документ - внутренняя инструкция со всеми необходимыми подробностями, касающихся как текстов, так и источников данных, оформления, подбора изображений и других деталей, в зависимости от проекта и размера вашей команды. И третий документ это просто заявка на новый текст, которую ваш копирайтер уже знает как обработать. Смотреть чужие заявки на текст без знания других документов и особенностей проекта - плохая затея. Составляйте свои!

P.S. Больше подробностей по взаимодействию с копирайтерами есть в курсе о семантическом проектировании сайтов - semantica.devaka.ru

Правильное SEO это не о продвижении сайта по запросу, а о понимании, что хочет видеть пользователь и создание именно такого контента.

Моя презентация со вчерашнего выступления на Digital Оттепели про то, как подружить контент и SEO.

Секрет секретного ингридиента в SEO 😎

@devakatalk

Если у вас вчера выпадали страницы из индекса Google, то это был массовый баг. Их можно вернуть через Search Console, но возможно гугл просто откатит изменения. Пока что они не видят проблем на своей стороне и считают это "вихрями в пространственно-временном континууме поисковой индексации" :)

via @devakatalk

Друг занимается панорамной аэросъемкой. На днях взломали сайт и отформатировали полностью диск. Обычные боты подкладывают вирус, а тут чувствуется, что делали по заказу. Бекапов, конечно же, не было. Удалось восстановить 40% сайта, но впереди еще много работы, и не только по сайту, но и по пересозданию контента, в данном случае панорам. Неприятная история, клиенты через сайт только начали нормально идти.

Делайте аудит безопасности своих проектов, защищайте их и обязательно храните бекапы!

Приятно, когда студенты делятся результатами. Хорошее начало после окончания курса. Так всегда происходит у тех, кто активно работает над сайтом и над собой!

Антон — отличный специалист, смело могу рекомендовать.
https://fb.com/anton.sata

Если этот пост 👆🏻 наберет 100 лайков, то поделюсь еще одним результатом 😊

Борис тоже хорошо потрудился над сайтом. Результаты не заставили себя ждать. Отличная работа!

Кстати, закончил курс с отличием. Может вам нужен специалист? https://fb.com/1334150054

Выдержка из справки Facebook для всех, кто увидел на скриншотах выше надпись "Основатель группы" и подумал, что отзывы написали свои люди :) Метка дается всем участникам закрытых групп, кто начинает первым в нее писать.
Ай-яй-яй так думать о Деваке! ))

​Кайл Байерс опросил более 1000 блоггеров об их техниках и результатах, чтобы понять, что сейчас лучше работает. И на основе полученных данных опубликовал крутой пост https://growthbadger.com/blog-statistics/

Ответы делились на 2 группы: блоггеры, которые зарабатывают более $50 000 в год на своих блогах (напрямую или косвенно) и с меньшим доходом. Вот что получилось.

1. Блоггеры с доходом 50к в год больше внимания уделяют SEO. Первый источник трафика это Google, они в 4.3 раза больше внимания уделяют исследованию ключевых слов (прорабатывают семантику).

2. Более половины сказали, что из Facebook за последние 2 года стало намного сложней получать трафик. Только 1/5 часть ответила, что сложней стало получать из гугла.

3. Блоггеры с высоким доходом отметили важность соцсетей на 19% ниже, чем блоггеры с низким доходом.

4. 70% высокодоходных блоггеров отметили, что они активно рекламируют свой блог.

5. Качество контента это номер 1 из успешных факторов для всех опрошенных. Однако, высокодоходные блоггеры больше усилий вкладывают в распространение своего контента, чем низкодоходные.

6. Самая частая причина блоггинга - манимейкинг, у 2/3 это основная мотивация.

7. При этом, самый популярный способ монетизации это Google AdSense, который идет сразу за заработком на партнерках. Но высокодоходные блоггеры отметили AdSense лишь на 3 месте, они продают собственные продукты или услуги, зарабатывая на этом в 2.5 раза больше, чем на AdSense.

8. 45% блоггеров с доходом 50к в год продают свои собственные услуги или продукты, из низкодоходных блоггеров это делают лишь 8%.

9. Самая большая проблема для всех — это получение трафика.

10. По сравнению с низкодоходными блоггерами, высокодоходные:
— в 5.8 раз чаще публикуют кейсы
— в 5 раз чаще занимаются подкастами
— в 4.5 раза чаще публикуют видео
— в 3.7 раз чаще публикуют интервью

11. Крутые блоггеры в 2 раза чаще фокусируются на получение email-подписчиков. Используя разные методы сбора почты.

12. Успешные блоггеры хорошо знают свою аудиторию. 73% высокодоходных блоггеров нацеливают свой контент на интересы очень конкретных групп.

13. Блоггеры, которые зарабатывают 50к в год платят копирайтерам в 3.6 раз больше, чем низкодоходные блоггеры.

14. Длинные статьи коррелируют с успехом. Высокодоходные блоггеры отмечают, что самый популярный их пост состоит в среднем из 2424 слова. Это на 83% длиннее, чем у низкодоходных блоггеров.

В оригинале еще много интересных данных. На досуге почитайте. Если, конечно, тема блоггинга вам интересна.

​В последние дни как-то много глюков в Google. Но, с другой стороны, это хорошо. Есть возможность обойти серьезных конкурентов. Так как те, кто не работает над сайтом, теряют позиции. Может в этом и была цель? 😬

Не ждите, пока гугл что-то откатит, активно откатывайте изменения сами.

P.S. Скриншот от Броди Кларка.

​Макс Сайрек снова провел интересный эксперимент. На входе структура сайта из 1000 внутренних страниц с уникальным контентом, на выходе частота захода гуглбота и скорость индексации. Цель - определить оптимальную структуру (в плане полноты индексации).
https://searchengineland.com/ready-set-go-googlebot-race-314894

Какая структура была выбрана?
1. Одна страница с 1000 ссылок на внутренние.
2. 100 страниц пагинации и по 10 ссылок на каждой. Все страницы пагинации, кроме первой, были закрыты в noindex/follow.
3. SILO структура, где одна страница ссылалась на 50 рубрик, каждая из рубрик имела 2 страницы пагинации, где вторая была закрыта в noindex/follow. На каждой странице пагинации по 20 ссылок на внутренние.
4. Пагинация без ссылок, просто rel=prev/next (эксперимент делался еще до того, как гугл объявил, что давно их не учитывает). 100 страниц по 10 ссылок.
5. Такая же пагинация из 100 страниц по 10 ссылок, но связанная между собой, а также с rel=canonical на первую страницу пагинации со всех остальных.

Эксперимент длился месяц. Структура из 1000 ссылок на одной странице вполне хорошо сработала, за месяц гугл проиндексировал 880 страниц из 1000. Но самой оптимальной оказалась последняя структура, с классической пагинацией и rel=canonical на главную. Хотя сам Макс ожидал, что SILO структура сработает лучше.

Общий итог см. на прикрепленном изображении. Эксперимент также показал, что rel=prev/next не учитывается гуглом. А пагинация с noindex/follow дает заметно плохую индексацию. Некоторые страницы пагинации, несмотря на наличие canonical, все равно попадали в индекс.

Недостатки эксперимента:
- Не описано, откуда брался уникальный контент. Здесь нужно было сгенерировать 5000 страниц. И скорость индексации напрямую зависит от оригинальности контента.
- Не взята во внимание структура без закрытия страниц пагинации от индексации в noindex или canonical. На западе тоже привыкли все лишнее выкидывать.

Тем не менее, эксперимент весьма интересный. Даже гуглоиды его внимательно прочитали и заретвитили.

via @devakatalk

​Google перенес возможность выбирать дату проиндексированных документов из всплывающей формы в поисковые операторы before: и after:

Как и раньше, их можно комбинировать и получать нужные результаты, например:
[мстители финал before:2019]
[мстители финал after:2019-04-01]
[мстители финал after:2019-03-01 before:2019-03-05]

Сергей Людкевич уже успел провести тест:
https://mailchi.mp/searchengines/before-after-google

via @devakatalk

5 принципов продвинутого SEO от Яна Лури
https://www.portent.com/blog/seo/advanced-seo-principles.htm

Пост с претензиями не к гуглу, а к сеошникам. Так как мы часто ленивы и зависим от того, что говорит Google. Провинутое SEO это не про сканирование передач Google для вебмастеров.

Главное понять 5 принципов.

1. Рекомендации Google это не рекомендации по SEO
Применение рекомендаций поисковых систем сделает ваш сайт видимым. Но это не наша работа, любой норм разработчик может сделать сайт видимым. Работа сеошника в том, чтобы устойчиво конкурировать в органике с другими. Продвинутый сеошник знает, что Google не дает SEO-рекомендаций.

2. Всегда читайте мелкий шрифт
Многих беспокоит вопрос взаимодействия JavaScript и SEO. Поисковики уверяют, что они могут рендерить яваскрипт-сайты. Да, это так, но использование яваскрипта - рискованно. Рендеринг не значит ранжирование. Это один из примеров, есть и другие. Когда читаете ответы Google, обращайте внимание на слова "можем" или "делаем". Этот мелкий шрифт нужно заметить.

3. Избавляйтесь от проблем, не прячьте их
Поисковики дают нам средства, которые могут приходить и уходить. Сначала nofollow можно было использовать в перелинковке для манипулирования весом, потом уже нельзя. Сначала поддерживали rel=prev/next, потом нет. Эти средства меняются, что-то уже совсем не работает. Не оставляйте это, а фиксите!

4. Упрощайте конфигурацию
Не используйте дополнительные уровни между контентом и браузерами/ботом. Пререндеринг создает дополнительный уровень, редиректы дают доп. прыжки, избегайте их. Упрощайте конфигурацию, дайте гуглу прямой путь к контенту.

5. Изучайте инструменты
Вы можете быть продвинутым, даже если не знаете, как анализировать серверные логи или использовать обработку естественного языка. Но вы должны быть готовы это изучать. И под изучением не подразумевается чтение свежих статей в блогах, а означает полное погружение... в командную строку, игру с питон-кодом, изучение работы поисковых систем.

Имейте в виду, что продвинутое SEO не заменяет основы. А усиливает. Оно делает основные элементы SEO более эффективными. Уделяйте все желаемое время на изучение NLP или изоморфного JavaScript, но лучше потратить еще больше времени на улучшение тайтлов, внутренних ссылок и текстов страниц. Если вы пропустите базу, все супер-пупер техники бесполезны. Это как давать гуглу шоколадное печенье без печенья. Разозлит любого.

Продвинутое SEO это дать мне мое шоколадное печенье :)

via @devakatalk

​Как продавать SEO (Лайфхак)

1. Устраиватесь джуньором в Google (на любую работу)
2. Уходите через пару месяцев/дней
3. Открываете SEO агентство
4. Говорите всем, что вы экс-гуглер
5. Профит! 😎

Кстати, у западных специалистов вы частенько заметите в описании профиля, что он экс-гуглер. Этот статус хорошо повышает конверсию в клиентов. 👍🏻

P.S. Для Яндекса алгоритм еще проще из-за Яндекс.Такси, Яндекс.Еды или даже Толоки 🙄