Поисковик DuckDuckGo, или Как не оставлять цифровых следов

DuckDuckGo hidden features


Все слышали, что Google следит за нами, а не только помогает искать информацию в интернете. Есть ли альтернатива? Да – это DuckDuckGo, поисковый сервис со множеством интересных функций и без отслеживания действий пользователя.

Поиск – это всего лишь поиск... или нет?

Двадцать с лишком лет назад, когда Google был еще совсем маленьким, а на Земле царили динозавры вроде MSN Search (будущий Bing), Rambler и Yahoo!, искать информацию было очень просто: вводишь запрос в поисковую строку, жмешь соответствующую кнопочку, получаешь результат, в той или иной мере соответствующий искомой фразе или слову. Четко, лаконично, аскетично – в смысле, что ничего лишнего, просто поиск.


Шло время, интернет развивался, поисковики обрастали новыми функциями. Google уверенно выбивался в лидеры поискового сегмента и диктовал свои условия. Одного поиска внезапно показалось мало – к нему добавлялись почтовый сервер, лента новостей, онлайн-радио или прогноз погоды, доска объявлений или карта местности, электронная библиотека или форум. Бывшие поисковики превратились в полноценные информационно-развлекательные порталы, а сам механизм поиска усложнялся, вводились новые поисковые алгоритмы, учитывавшие те или иные факторы, которые влияют на выдачу результатов по запросу.


Простого точного соответствия уже оказалось недостаточно – появилось понятие “ранжирование” (PageRank в терминологии Google), то есть очередность показа страниц в результатах выдачи. Вместе с ними возникли и способы влияния на ранжирование. SEO-оптимизация захватила умы маркетологов. Если прежде поисковым системам для выдачи результатов, соответствующих запросу пользователя, хватало нескольких параметров – заголовка, ключевых слов в тексте и общего объема текста, то усложнение поисковых алгоритмов стало учитывать множество принципиально новых факторов: геолокация, возраст публикации, позднее добавились алгоритмы сбора и аналитики персональных данных пользователя.


DuckDuckGo vs Google


Коммерциализация поисковиков привела к расцвету контекстной рекламы, которая появляется неожиданно при запросе самых что ни на есть привычных предметов или услуг. Ныне мы пришли к тому, что поисковые системы обрабатывают не только сам наш запрос, но и наше местоположение, возраст, пол, расовую и национальную принадлежность, интересы, вкусы и предпочтения и массу другой информации, о которой мы даже понятия не имеем. Интеграция поисковиков с соцсетями, где мы прилежно и максимально подробно заполняем профайлы, делает поисковую выдачу все более и более персонализированной – благодаря оставляемому нами цифровому следу. Даже поставив в браузере режим инкогнито, мы не избавляемся от слежки со стороны поисковой системы, которая продолжает собирать о нас информацию.


Неудивительно, что теории заговора сейчас так популярны. Люди не хотят терять свою приватность., а поисковые системы оставляют все меньше и меньше шансов ее сохранить.

Новый герой? Или “утка”?

Итак, усложнив алгоритмы и добавив множество новых переменных к ним, разработчики поисковых механизмов добились достаточно высокой доли персонализации выдачи. Иногда это действительно полезно – вбивая в строку поиска Google запрос на покупку роутера в Нижнем Новгороде, вы не получите адрес магазина в Мумбаи, потому что ваше местонахождение поисковику известно, как и ваш род занятий, хобби и история поиска, что позволяет с высокой вероятностью прогнозировать, где именно вам понадобится роутер, для каких целей и даже в каком ценовом диапазоне. Всегда ли это хорошо?


Очевидно, что нет. Многих не устраивает режим скрытой тотальной слежки. И если есть действие, то по всем законам классической физики должно найтись противодействие. Конечно, оно нашлось.


25 августа 2008 года на свет появилась утка. Точнее, поисковый сервис DuckDuckGo. Отец-основатель нового ресурса – Гэбриел Вайнберг (Gabriel Weinberg), бизнесмен с дипломами бакалавра физики и магистра технологий знаменитого MTI – Массачусетского технологического института.



В мире без альтернатив жить тягостно. Поэтому Вайнберг придумал DuckDuckGo как альтернативу Google – без излишеств, без отслеживания действий пользователя, маршрутов его передвижения, мест, которые он посещает, без изучения профиля и личных подробностей. Просто поиск – не более того. По словам самого Вайнберга, он хотел  “создать  поисковик без спама, с небольшим количеством рекламы и при этом выдающий больше релевантных результатов”. И ему это удалось. Удивительно, но целых три года DuckDuckGo была проектом одного человека: Вайнберг в одиночку разработал и самостоятельно развивал свой поисковик.


В интервью Гэбриела часто спрашивают, почему он выбрал именно такое, довольно забавное, название для своего проекта. Правда, при чем тут утка? По словам самого Вайнберга, это название возникло у него случайно, инспирированное воспоминанием о детской игре “Утка, утка, гусь” (Duck Duck Goose). “Просто в голове крутилось”, – пояснил он. – Прямой связи никакой, это всего лишь метафора”.


По сути, DuckDuckGo как таковой – это гибридный поисковой движок: у него есть и собственный краулер и несколько API, собирающих результаты с других поисковиков и справочных ресурсов (среди них – Bing, Yahoo, Yandex, Yummly, Wikipedia, всего больше 400), – и то, и другое используется для повышения релевантности выдачи ответов на запрос.


Одной из ключевых “фишек” DDG являются так называемые мгновенные ответы (Instant Answers) – их цель состоит в том, чтобы дать единственный точный ответ на запрос пользователя вместо набора ссылок.


DuckDuckGo Instant Answers


Очевидно, что поисковик должен совершенно точно и однозначно трактовать запрос, поэтому в каталоге мгновенных ответов DDG их насчитывается чуть больше тысячи двухсот. Для определенных запросов используются специализированные ресурсы –  TechSpot, Yelp, Forecast.io или IMDB, например.  Очень хвалят instant answers программисты и веб-разработчики: выдача по таким запросам просто выше всяких похвал. Пока функция мгновенных ответов реализована только на английском языке, но со временем наверняка накопится масса релевантной информации и для выдачи ответов на других языках. И – да, для instant answers поисковик собирает информацию – только ту, что касается запроса и выбранного пользователем варианта ответа. Да, еще фактические запросы фиксируются в состоянии as is для того, чтобы бороться с грамматическими ошибками, заверяет Вайнберг. Никакого нарушения конфиденциальности, как и обещано!

Рай для техногиков и тех, кто на Темной стороне...

Стоит отметить, что за последние пару лет DDG заметно прокачал свое “владение” русским языком: если еще в 2014 году на форумах Рунета часто слышались нарекания по поводу ограниченных возможностей русскоязычного поиска, то в последнее время эти реплики сменились комплиментами в адрес развивающегося ресурса. Мол, делает успехи, развивается в верном, клиентоориентированном направлении.


Но все же стоит заметить, что “Уточка” годится далеко не всем и не для всяких целей. Сознательный отказ поисковика от использования “пузыря фильтров” у некоторых пользователей вызывает раздражение: им не хватает жесткой персонализации запросов и прогностического поведения поисковой системы, когда она выводит в результаты только то, что считает наиболее подходящим для определенного пользователя, анализируя его прошлые запросы, геолокацию, поведение в Сети и профили в соцсетях. Как правило, ограничение выдачи, основанное на предположениях самого поисковика, не смущает таких людей: даже если действительно полезные и релевантные запрос ссылки filter bubble отсечет, они не узнают об этом и будут пользоваться только предложенными системой вариантами. Что ж, это их право, их выбор.


Точно так же, как и выбор DDG бороться с отслеживанием, сбором информации о пользователях (которая зачастую становится предметом купли-продажи), навязчивым и зачастую нецелевым показом рекламы и всем остальным, что уже порядком бесит в популярных поисковиках.  


DuckDuckGo Features


Сохранение приватности и конфиденциальности – это краеугольный камень идеологии DuckDuckGo. В блоге поисковика на эту тему просто масса интересных материалов, читать которые можно часами. Поэтому не удивителен тот факт, что в анонимном браузере Tor, известным как врата в Даркнет, поисковик Duck Duck Go установлен по умолчанию. Публика Darknet воспринимается обычно как сборище маргиналов и криминальных элементов, и отчасти это правда; как правда и то, что большинство все-таки ходит туда за истинной свободой информации, которую провозглашали на заре Интернета его создатели как основную цель глобальной компьютерной сети. Видимо, Гэбриел Вайнберг принадлежит к той же породе романтиков Сети. Кстати, открытый исходный код системы – тоже одна из характерных черт “канонического” интернета, где программные продукты развиваются всем сообществом и каждый может внести свою лепту в прогресс.


В обзорах, посвященных DuckDuckGo, часто упоминают множество полезных функций и фич, которые делают поиск еще эффективнее. Кроме уже упомянутых моментальных ответов, есть, например, очень интересный оператор !bang, который перенаправляет поиск в выбранные пользователем системы. Иногда вы знаете, что хотите найти информацию на определенном сайте непосредственно, и эти команды сокращают вам путь. Так, набрав в строке поиска !yt перед собственно вашим запросом, вы сразу получите результаты с YouTube, если выберете !w – все релевантные запросу ответы с Википедии и так далее. Мелочь, но очень многие пользователи ценят ее. На сегодняшний день более 8 тысяч команд !Bangs распределены по восьми  категориям, и их явно будет со временем больше. Кстати, с их помощью можно искать и по многочисленным сервисам Google :)


Отдельно стоит выделить команды !bang, ориентированные на разработчиков софта – для них доступен поиск по документации почти к трем десяткам языков программирования, поиск в репозиториях Github, сотни технических сайтов, среди которых packagist.org, stackoverflow.com, php.net. Или – специально для любителей прекрасного: сокращаем или украшаем JavaScript-код с помощью команды !minify.js:


DuckDuckGo Minifier


Кстати, среди instant answers есть библиотеки чит-листов для разработчиков (linux cheat sheetjavascript cheat sheetvim cheat sheet и др.), которые вряд ли оценят люди, далекие от программирования. А вот тем, кто понимает, зачем это счастье и как с ним управляться, такие features облегчают жизнь.  


Еще один интересный функционал, называемый Goodies (“вкусняхи”). Это набор прямых команд, которые при вводе в строку DDG выдают незамедлительный ответ. Таким образом можно, например, мгновенно конвертировать валюту: [сумма]EUR in USD. Выбор валюты – из всех, что торгу на бирже. Курс берется среднерыночный по состоянию на текущее время запроса.  Или:

  • узнать время восхода/заката солнца в определённом городе;
  • выяснить, на какой день месяца приходится та или иная дата календаря (проверено: считает с 1000 года нашей эры и до конца 10 тысячелетия – заглядывать в будущее дальше 10001-го года “утенок” не рискнул)));
  • сгенерировать случайное число;
  • две функции, которые оценили бухгалтеры: узнать количество дней в промежутке между двумя датами и рассчитать проценты;
  • запустить таймер (очень кстати, когда стоишь в планке или запекаешь утку в кизиле с яблоками)))
  • специально для веб-разрабов и дизайнеров: легкий поиск HTML-кодов, кодов цвета и CSS.


Таких функций множество и перечислять их слишком долго. Но вывод ясен: для “айтишников” и даже для “вайтишников” эта поисковая система – кладезь полезных инструментов. Причем с соблюдением конфиденциальности и без отслеживания.

Приз зрительских симпатий за приватность

Начав свой путь почти одиннадцать лет назад как проект одиночки-программера, DuckDuckGo приобрел заслуженный авторитет у пользователей. Во многом это – заслуга последовательности в реализации изначальной концепции конфиденциальности и отказа от рекламного мусора. Да, с течением времени Вайнберг согласился с необходимостью поисковика зарабатывать на рекламе, однако и здесь поступил по-своему: в отличие от конкурентов, DDG показывает рекламу, основываясь на текстовых запросах пользователя, а не собирая и анализируя информацию о нем. “Утиные истории поиска” – это полное их отсутствие. И поэтому можно быть уверенным, что, спросив однажды у “Утки”: “Каковы симптомы сердечного приступа?” – вы не будете месяцами внезапно обнаруживать среди результатов поиска рекламу витаминов, кардиологических клиник и похоронных бюро. Всего лишь поиск – не больше. И глобальная статистика говорит сама за себя: седьмое место в мире среди поисковых систем, со средним числом уникальных посетителей в месяц около 150 млн – это очень неплохой результат.



Итак, DuckDuckGo не использует:

  • cookies для слежки за пользователем;
  • персональные данные пользователей, включая IP-адреса;
  • сохранение истории запросов.


Зато он обеспечивает безопасность передачи данных между клиентом и сервером при помощи  протокола HTTPS с использованием алгоритма шифрования AES и с 128-битным ключом. Еще немного технических подробностей, взятых из Википедии:

  • DDG написан на Perl;
  • использует веб-сервер Nginx;
  • операционная система – FreeBSD;
  • база данных – PostgreSQL;
  • кэш – Memcached и Solr.


Позиционируя себя как поиск, полезный, в первую очередь, гикам, DDG интегрируется в ресурсы, интересные именно для этой аудитории. О том, что в браузере “Тор” этот поиск стоит по умолчанию, мы уже упоминали. Кроме того, с ноября 2011 у DDG оформлены особые отношения и с линуксоидами: начиная с версии 12, DuckDuckGo является поисковой системой по умолчанию в Linux Mint.


На десерт упомянем еще ряд “фишек”, которыми стоит пользоваться программистам, разработчикам, дизайнерам и QA. Вдобавок к тем, о которых мы рассказали выше, “Утка” может:

  • генерировать пароли, кодовые фразы, хэши, QR-коды и даже баннеры из символов ASCII;
  • зашифровать данные с помощью алгоритма Base64
  • определять IP-адреса, URL, DNS-записи и валидировать почтовые адреса;
  • легко сократить или развернуть сокращенную ссылку;
  • решать сложные уравнения из высшей математики (интегральные, например);
  • написать сккрипт на Pyton, если потребуется;
  • расшифровать числовoе представление прав доступа UNIX-подобных операционок;
  • конвертировать строчные буквы в прописные и обратно
  • дать программисту поработать в полноценной командной строке, не выходя за пределы утиной территории.


И много-много других замечательных возможностей. Заметим: всё это – без перехода на другие сайты! То есть не теряем времени и не делаем лишних движений, все в одной строке!


Неудивительно, что аудитория поклонников поисковика растет. Особенно заметно выросли показатели посещаемости на волне многочисленных скандалов, связанных с конфиденциальностью и компрометацией персональных данных пользователей популярных интернет-ресурсов. Так, например, в 2011 году среднесуточное число запросов в DDG составляло около 200 тыс., а в 2012 году, когда Google ввел новую политику конфиденциальности, к “утиному поиску” стали обращаться чаще – 1,5 млн запросов в среднем за сутки. Когда в 2013 мировые СМИ разнесли информация о том, что Агентство национальной безопасности США (National Security Agency (NSA)) внедрено в корпоративную инфраструктуру Google, доверие пользователей к крупнейшему поисковику резко упало и приз зрительских пользовательских симпатий перешел к DuckDuckGo в виде 4 млн запросов в день.



Причины, по которым пользователи начинают “дружить” с Уткой, разные. Кому-то поисковик достается даже “в нагрузку” к стороннему софту, и юзеры просто не обращают внимания, какой дополнительный продукт ставят на свои машины. Одно время даже били тревогу, объявив DuckDuckGo вирусом, который проникает на компьютер и тормозит процессор. Справедливости ради стоит сказать, что все-таки виной этому – обычная невнимательность пользователей. Вот только честно: разве все мы тщательно читаем, что там пишется в окне мастера установки программ, особенно, если мы спешим? Всегда ли мы видим, какие чекбоксы стоят напротив дополнительных предложений? Антивирус McAffee, кстати, очень любит проделывать этот трюк. Да и китайский поисковик Baidu несколько лет назад довольно агрессивно внедрялся таким же образом в компьютеры юзеров из Европы (проверено личным опытом). Поэтому консультанты по антивирусной защите дают подробный алгоритм, как избавиться от DDG, если пользователь отказывается от этого поисковика.    


Хотя мы, SIM-Networks, против столь категоричного шага. Причины, по которым “утиный поиск” приносит пользу, описаны выше. И если брать в расчет огромное число дополнительных функций, фич и “вкусняшек”, которые предлагает щедрая Утка, а также тот факт, что ресурс развивается и стремится завоевывать новую аудиторию, изучая новые языки и интегрируясь с новыми международными и локальными ресурсами, мы настроены оптимистично. А идеология конфиденциальности, безопасности и защиты данных, которую исповедует DuckDuckGo, нам очень близка.


У любого элемента в IT-мире есть свои преимущества: у VDS, у сервера, у облачной IaaS. Есть они и у каждого поискового движка: у Google – свои, у WolframAlpha – свои, у DuckDuckGo – свои. И это замечательно, ведь в мире, где есть альтернативы и широкие возможности для выбора, жить всегда интересно!




Использованы материалы с ресурсов:

https://duckduckgo.com

https://www.techspot.com

http://www.ebizmba.com

https://ru.wikipedia.org

http://www.spy-soft.net

https://3dnews.ru

https://ktonanovenkogo.ru/

https://lifehacker.ru/

https://iland.ua/

https://www.iphones.ru/

http://tods-blog.com.ua/

https://cryptoworld.su/

https://ru.wikinews.org/



Автор: Алиса Кандеева

Понравилась статья? Поделитесь ею в социальных сетях!