Софт-Портал

Torsearch скачать

Рейтинг: 4.9/5.0 (1114 проголосовавших)

Описание

TorSearch: a search engine specifically for Tor pages - gHacks Tech News

TorSearch: a search engine specifically for Tor pages

The Tor technology has more to offer than making sure that you stay anonymous on the Internet or can connect to resources that are blocked in your country or network. So called .onion websites exist that can only be accessed through Tor. While they behave mostly like any other website that you come across, the core difference is that they are not indexed by regular search engines and that they can only be accessed if you are using Tor or a service that acts as a Tor proxy of sorts.

So how do you come across these sites if they are not indexed by Google, Bing or Startpage? There are two main methods: First, by word of mouth either through a link that was posted somewhere or by recommendation.

Second, by using a search engine that is specialized in indexing Tor onion websites.

TorSearch is not the only search engine for .onion websites, but it is certainly one of the larger search engines out there. The 128,000 pages it has indexed may pale in comparison to billions of pages that Google or Bing have indexed, but that does not make it less useful considering that there are fewer .onion websites out there than normal websites.

It works like any other search engine, and provides you with options to use it regularly, or while you are connected to the Tor network of sites.

Just type in the search term you are interested in and hit the Search Tor button afterwards. A list of up to ten results per page are displayed to you on the results page that you can go through.

The search engine uses the onion.to hidden service gateway to make Tor hidden services visible for Internet users who are not connected to the Tor network. This means that anyone can access the resources the search engine finds regardless of type of connection.

Non-Tor users won't benefit from the network's anonymity on the other hand, and it is highly suggested to connect to Tor first before the search engine is being used.

Next time you are connected to the Tor network, you may want to give this a try, provided that you want to find Tor network resources and don't just use the connection to stay anonymous on the Internet.

Please share this article

Torsearch скачать:

  • скачать
  • скачать
  • Другие статьи, обзоры программ, новости

    Onion сайты - Топ 10 - Портал о Tor сети

    Onion сайты - Топ 10

    Tor Browser хорош тем, что есть возможность без блокировок и всевозможных запретов посещать не только обычные, всем доступные сайты, а и так называемые «луковые», анонимные сайты Интернет-сети. Они размещаются в зоне onion и в общедоступной сети не открываются, поэтому зайти на onion сайты можно только через Tor .  Далее представлен список onion-сайтов. которые пользуются большой популярностью в сети, а некоторые их них обоязательно нужно посетить при первом знакомстве с сетью.

    Порядок сайтов в списке определяется вашими оценками в рейтинге onion ссылок. А еще на странице рейтинга вы можете проверить, какие из тор сайтов доступны в настоящую минуту.

    1. Hidden Answers - Сервис с отзывами обо всем в сети тор. Сомневаетесь в onion ссылке — задите сюда и поищите отзывы.
    2. BTDigg - Уникальный сервис поиска BitTorrent раздач в сети DHT, а это его зеркало доступное в tor-сети. Оно позволит найти и скачать нужную вам раздачу, даже если треккер заблокирован провайдером.
    3. CrypTor - сервис обмена временными сообщениями анонимно и бесплатно.
    4. Флибуста - Название знают многие – знаменитая электронная библиотека. Этот сайт – ее зеркало, только в «луковом» варианте. Язык – русский.
    5. not Evil - Аналог поиска от корпорации добра в сети тор. Никакой рекламы и отслеживания — просто поиск.
    6. Anthill - Рынок в сети тор. Проверьте, что скрывается за формой регистрации.
    7. Магазин у Люкса - Еще один магазин в тор сети с хорошими отзывами.
    8. Matrix Image Uploader - Анонимное хранилище картинок в тор сети.
    9. RAMP - торговая площадка. На сегодня в русскоязычной зоне Tor она самая крупная. Но нужно быть внимательным – много жалоб по поводу мошенников. Товаров много, но и цены кусаются.
    10. Tor Wiki - Перечень Tor-ссылок с пометками о надежности. Полезно заглянуть сюда перед заказом услуг на том или ином сайте. Ресурсы, отмеченные тегом [SCAM]. принадлежат мошенникам.

    Читайте также статью о 5-ти интересных веб-сервисах в onion сети.

    Если в списке нет ссылки, которую вы искали, напишите об этом в комментариях - постараемся добавить.

    Tor: Безопасность в интернете

    Безопасность в интернете

    Tor это аббревиатура от The Onion Router — свободное программное обеспечение для реализации второго поколения так называемой «луковой маршрутизации».

    Тор позволяет устанавливать анонимное сетевое соединение, данные передаются между серверами в зашифрованном виде.

    Луковая маршрутизация

    Луковая маршрутизация — технология анонимного обмена информацией через компьютерную сеть, информация шифруется и передается на сетевой узел, котрый в свою удаляет слой шифрования, чтобы открыть трассировочные инструкции, и отослать сообщения на следующий маршрутизатор, где все повторится, и как правио на третьем узле информация выходит уже в сеть интернет (с ip адресом выходящего узла).

    Аноноимность - миф и реальность

    Ни одна из ныне существующих анонимных сетей не в состоянии сама по себе обеспечить невозможность отслеживания вас если этой задачей займется скажем ЦРУ, АНБ, или аналогичная спецслужба имеющая или могущая получить доступ к магистральным каналам узлов через корыте проходит соединение. Существуют отработанные технологии котрые позволяют автоматизированно отслеживать и фиксировать весь маршрут такого соединения.

    Несмотря на это Тор обеспечить себе анонимность высокого уровня возможно, но только лишь при грамотном использовании тора как одного из сегментов информационной безопасности.

    Сам по себе Тор для простого обывателя может помочь только скрыть ваш реальный IP адрес и соответственно страну, от тех или иных вебсайтов и затруднить формирование вашего поведенческого профиля поисковыми системами и социальными сетями, но и тут только лишь одного тора мало.

    Советы по использованию tor

    Предположим что вы далеки от построения сети и вам достаточно просто чтобы ваш IP не видели и формирования о вас автоматического досье было усложнено. В этом случае Tor может помочь, однако кроме установки тора (о которой ниже), вам необходимо придерживатся ниже следующих правил (нарушение любого из них может привести к "деанонимизации"):

    В настройках браузера необходимо отключить:

    • javascript
    • Flash плагины
    • Adobe AIR плагин
    • Для большей аждежности желательно отключить все плагины вашего интернет браузера.

    javascript, Flash и ряд других плагинов (собсно любой разработчик котрого предусмотрел такую возможность) могут позволить получить информацию о Вашем компьютере, включая реальный ip адрес и mac адрес)

    Чтобы затруднить идентификацию вас и формирование поведенческого профиля также настоятельно рекомендуется отключить cookies либо задать в настройках браузера их очистку при его закрытии.

    Я бы еще добавил рекомендацию отключить сохранение истории браузером

    Внимание! Если вы используете TOR то везде где передаете конфиденциальную информацию используете подключение через https, иначе пользователь (им может быть кто угодно включая вас) включивший ретрансляцию в сети tor и находящийся на выходном узле, сможет с легкостью получить все передаваемые вами не зашифрованные посредством https данные (как и ваш интернет провайдер) ( кстати Гримуар по https доступен :) )

    Установка TOR

    Процесс установки Tor зависит от вашей операционной системы, рассмотрим здесь наиболее популярные.

    Установка TOR на Windows

    Прежде всего скажу что сама по себе Windows не лучшая идея в плане сохранения приватности, она сама по себе сливает о Вас очень много информации, но раз уж у вас установлена она, то попробуем хотябы скрыть ip при интернет сёрфинге.

    Для Windows существует готовый пакет TOR-браузер .

    После скачивания запуститье его и распакуйте (для большей приватности рекомендуется на внешний носитель - флешка например), перейдите в папку в которую его установили и запустите файл "Start Tor Browser.exe". После этого запустится центр управления вашим Tor клиентом а также tr-браузер (firefox с рекомендуемыми настройками).

    На этом можно и закончить, и вы уже можете пользоваться сетью tor посредством этого браузера, но если вам необходимо настроить работу через tor иным программам то читаем дальше.

    Установка TOR для os Debian (linux)

    Установка TORGnu/Linux

    Операционные симейства Linux позволяют настроить почти все на свете "под себя" но обратная сторона это медали необходимость более сложных дейтсвий.

    Однако не пугайтесь, ситуация сейчас уже не такая аховая, линуксоиды уже давно начали медленно но верно поворачиваться лицом к обычным пользователям, и некоторые дистрибутивы Gnu/Linux уже вполне пригодны для домашнего использования пользователем вообще не обладающим никакими знаниями в области настроек серверов и программировании на C+ во многом это благодаря усилиям на мой взгяляд в последнее время "скурвившейся" ОС Ubintu которая собрана на основе Debian и по сути является ее модифицированной более очеловеченной версии (ставить Ubintu настоятельно не рекомендую так как на уровне ОС ваша приватная информация отправляется на удаленый сервер и используется для показа вам рекламы внутри Ubintu, пользуйтесь Debian котрый в чем то даже лучше).

    Установка TOR на Debian / Ubintu

    После установки с пакетами "по умолчанию" в основном меню (Программы) -> Системные имеется программа Терминал, ее и запускаем

    Если нет то нажмите на клавиши ctr+alt+f1 и у вас откроется сессия терминала (в этом случае увы прийдется все набирать руками), чтобы с нее вернутся в нормальный вид нажмите ctr+alt+f7 или ctr+alt+f8.

    В терминал вставляем (скорее всего будут появлятся запросы root пароля, вводите его когда будет надо) вместо <VERSION_OS> вставьте название вашего дистрибутива, последний на момент публикации это wheezy

    TorSearch, an anonymous search engine launched

    TorSearch, an anonymous search engine launched

    October 12, 2013

    Tor, known for its anonymizing tool with the same name and Tor Browse r, has launched a new search engine. The search engine is called TorSearch. and it is all about letting people find for things without worrying about getting tracked. Unlike any of the other search engines. Google, Bing  and Yahoo, the search engine keeps all your interaction anonymous.

    Hopping over million users, Tor is a highly trust worthy tool which ensures anonymity. The founder of this TorSearch Chris MacNaughton said,

    “I want to be the Google of Tor.”. “Tor is an anonymizing network — for any traffic passing over it, you can’t correlate the start and end points, and websites can’t see who you are.”, he added.

    How TorSearch works

    When you ping a request, a connection between you and the source website server is established. Tor, on the other hand introduces proxy servers and relay services, which reroute your request through it. This way it makes it hard for anyone, especially, you know who, to intercept the packet (data).

    Interestingly, TorSearch too relies on Google spiders to crawl and index the web-pages. The founder explained,

    “I’m spidering a hidden wiki, and it links to other hidden services, and they each link out to a few more.”

    At the time of writing this post, about 128,250 pages had already been indexed by the search engine.

    The search engine has a plain look which definitely is inspired from Google’s. However, there are no separate sections for images, or videos, or blogs just yet.  The “Submit a Domain ” button at the right bottom can be used to submit your website’s URL, this will help TorSearch add it to their indexing library.

    Ever since the NSA stories surfaced, Tor has become extremely popular, and the founder says, there has been a significant spike in the number of users who use Tor. Will TorSearch be able to become the “darknet Google”, that we will leave to you to tell.

    The URL of the search engine is weird! You can check it out here.

    TorSearch Aims To Be The Google For The Deep Web

    TorSearch Aims To Be The Google For The Deep Web

    “The Deep Web” is very real, and anonymity networks like Tor enable you to explore it. TorSearch is a new anonymous search engine that its founder Chris MacNaughton wants to turn into the “Google of Tor”. The Tor network cannot be accessed by regular search engines like Google and Bing. Tor maintains its anonymity by routing web traffic through a series of open connections (onion routes) run by volunteers around the world, and encryption is added at various stages. The nature of Tor also makes it difficult to search and no Tor search engine has managed to give a smooth experience so far.

    The shutdown of Silk Road, the online marketplace, might have surfaced in the headlines, but that was an example of the Tor network being used for a disturbingly criminal purpose. Tor is used by outlawed sites, but also by professionals like journalists and activists who want to keep communication surveillance-proofed. TorSearch maintains this anonymity.

    TorSearch has indexed 130,000 Deep Web links so far. Its founder said:

    “No Tor hidden service will be crawled by Google, but I built TorSearch the same way Google works. I’m spidering a hidden wiki, and it links to other hidden services, and they each link out to a few more.”

    TorSearch uses the onion.to gateway as an entry point to the Tor network when you type in your search query. The search engine makes it easy for non-Tor users to locate resources. But as advised, to maintain anonymity, you have to use the Tor Browser Bundle to browse the hidden websites.

    TorSearch has a comparatively easier job of indexing webpages than Google, as the Tor network involves a much smaller numbers of onion websites. It could turn into a valued search engine because the Tor network has its good uses for those seeking privacy in light of the NSA revelations. Ultimately, TorSearch is a tool and its reputation will be made or broken by the intentions of its users.

    TorSearch: поисковик по сети Tor

    TorSearch: поисковик по сети Tor //12.10.2013 Версия для печати

    Новый поисковик TorSearch ищет по тысячам скрытых сайтов в сети Onion. Он индексирует страницы, которые невозможно найти ни через Google, ни через Bing, ни через DuckDuckGo.

    «Tor — это анонимная сеть для любого трафика, который проходит через нее, вы не можете связать точку входа и точку выхода, и веб-сайты не видят, кто вы такой, — говорит основатель новой поисковой системы Крис Макнаугтон (Chris MacNaughton). — Я хочу стать как Google в сети Tor».

    Конечно, до гугловских масштабов пока далеко: на данный момент поисковый индекс TorSearch содержит всего 128 250 страниц.

    Из-за специфики внутренней маршрутизации в сети Tor обычные поисковики не имеют доступа к внутренним ресурсам. Макнаугтон решил эту проблему: поисковый краулер TorSearch собирает ссылки из вики, ищет новые ссылки на каждом из ресурсов и ходит по сайтам, пользуясь стандартным клиентом Tor. В принципе, он работает как стандартный поисковик, но внутри скрытой сети.

    TorSearch открыт для широкой публики уже несколько месяцев, но в последние три недели его посещаемость удвоилась. Судя по всему, многие пользователи только сейчас обнаружили новый сервис.

    Search engine

    search engine Ahmia search after GSoC development

    Posted September 7th, 2014 by juha

    The Google Summer of Code (GSoC) was an excellent opportunity to improve on the Ahmia search engine. With Google's stipend and friendly mentoring from The Tor Project, I was able to concentrate on development of my search engine project. Thank you all!

    GSoC 2014 is over, but I am sticking around to continue developing and maintaining Ahmia.

    Here is the current status of ahmia after GSoC development:

    Introduction

    Ahmia is open-source search engine software for Tor hidden service websites. You can test the running search engine at ahmia.fi .

    Building a search engine for anonymous web sites running inside the Tor network is an interesting problem. Tor enables web servers to hide their location and Tor users can connect to these authenticated hidden services while the server and the user both stay anonymous. However, finding web content is hard without a good search engine and therefore a search engine is needed for the Tor network.

    Web search engines are needed to navigate and search the web. There were no search engines for searching hidden service web content, so I decided to build a search engine specially for Tor. I registered ahmia.fi and started development on it as a side project in 2010.

    This development involved programming and testing web crawlers, thinking of ways to find hidden service addresses (since the protocol does not allow enumeration), learning about the Tor community, and implementing a filtering policy. Moreover, I implemented an API that empowers other Tor services that publish content to integrate with Ahmia.

    As a result, Ahmia is a working search engine that indexes, searches and catalogs content published on Tor Hidden Services. Furthermore, it is an environment to share meaningful statistics, insights and news about the Tor network itself.

    Interesting Summer of Code

    One of my best memories from the summer is the Tor Project's Summer 2014 Developers meeting that was hosted by Mozilla in Paris, France. I have always admired the people who are working on the Tor Project.

    I also loved the coding itself. Finally I had time to improve the Ahmia search engine and its many features. I did a lot of work and liked it.

    Some journalist were very interested in my work: Carola Frediani asked if I could analyze the content of hidden services. I coded a script that fetches every front page's HTML, I gathered all the keywords, headers and description texts and made a simple word cloud visualization.

    It is a simple way to glance what is published on the hidden websites.

    Carola found this data useful and used it in her presentation at www.sotn.it on June 11th.

    Technical design of ahmia

    The Ahmia web service is written using the Django web framework. As a result, the server-side language is Python. On the client-side, most of the pages are plain HTML. There are some pages that require JavaScript, but the search itself works without client-side JavaScript.

    The components of Ahmia are:

    • Django front-end site
    • PostgreSQL database for the site
    • Custom scripts to download data about hidden services
    • Django-Haystack connection to Solr database
    • Apache Solr for the crawled data
    • OnionBot crawler that gathers data to Solr database

    The full-text search is implemented using Django-Haystack. The search is using crawled website data that is saved to Apache Solr.

    OnionDir is a list of known online hidden service addresses. A separate script gathers this list and fetches information fields from the HTML (title, keywords, description etc.). Furthermore, users can freely edit these fields.

    We've also started a convention where hidden service admins can add a file to their website, called description.json. to offer an official description of their site in Ahmia.

    As a result, this information is shown in the OnionDir page and over 80 domains are already using this method.

    Statistics

    We are gathering statistics from hidden services. As a result, we can represent and share meaningful data about hidden services and visualize it .

    We are gathering three types of popularity data:

    1. Tor2web nodes share their visiting statistics to Ahmia
    2. Number of public WWW backlinks to hidden services
    3. Number of clicks in the search results

    The click counter tells the total number of clicks on a search result in ahmia.fi

    We have decided to filter any sites related to child porn from our search results. Ahmia is removing everything related to these websites. These websites may not be actual child porn sites. They are rather sites where users can post content (forums, file and image uploads etc.) and as the result there have been, momentarily at least, some suspicious content that has not been moderated in a reasonable period of time. Ahmia.fi does not have the time to monitor these sites carefully and we are banning sites from our public index if we see any evidence of child abuse. Of course, the ban is removed if the site itself contacts us and we review the website to be OK.

    In practice, Ahmia calculates the MD5 sums of the banned domains for use as a filtering policy. Moreover, we are sharing this list and Tor2web nodes can use the list to filter out pages.

    At the moment, there seems to be 1228 hidden website domains online and 7 of them has been filtered because they are possibly sharing child porn content.

    OnionBot is a crawler for hidden service websites based on the Scrapy framework. It crawls the Tor network and passes data to the search database. OnionBot requires the Tor software (using Tor2web mode) and Polipo. The results are saved to Apache Solr.

    Apache Solr

    Apache Solr is a popular, open source enterprise search platform. Its major features include powerful full-text search, hit highlighting, faceted search, and near real-time indexing.

    The schema.xml file contains all of the details about which fields your documents can contain, and how those fields should be dealt with when adding documents to the index, or when querying those fields.

    Security measures for privacy

    In the software

    • We do not log any IP addresses, see Apache configuration
    • We are gathering real-time clicks, however, this data is not shown accurately

    In the host ahmia.fi

    • Backend servers are run separately and they do not have any knowledge about the end-users
    • All servers are hosted in countries with strong privacy laws. For example, Finland and the Netherlands
    • Communication between servers is encrypted
    • Only a few trustworthy people know the locations of the back-end servers and are able to access them
    Future work

    GSoC 2014 was fun and productive!

    There is a lot more to do. However, I do not have time to do everything myself. Of course, I am coding when I have time and maintaining the search engine.

    In addition, I am going to write a scientific article about the implementation.

    Is there anyone who would be interested in developing Ahmia.fi?

    Is anyone familiar with Solr and would know how to tweak it for full text search?

    Furthermore, any kind of help would be most welcome. There are always Linux admin duties, HTML/CSS design, bug fixing, Django development, etc.

    For further information, please don't hesitate to contact me by e-mail: juha.nurmi@ahmia.fi

    Поисковик для глубокой паутины

    Onion.city – поисковик для глубокой паутины

    Многие SEOшники и вебмастера знают о глубокой паутине. но до последнего времени извлечь пользу из этих знаний было проблематично. Ведь за данным термином стоит совокупность сайтов и веб-страниц, которые не индексируются обычными поисковыми системами вроде Google, Baidu и Яндекса. Отсутствие индексации обычными поисковиками – отсутствие работы для SEOшников. Но в последнее время ситуация начала меняться. В сети все чаще мелькает информация о "необычных" поисковиках, заточенных именно под глубокую паутину.

    Год назад мы рассказывали о поисковике для глубокой паутины Memex. разрабатываемом при поддержке Агентствf передовых оборонных исследовательских проектов DARPA (Defense Advanced Research Projects Agency) при Минобороны США. Недавно проект выстрелил, удостоившись внимания со стороны огромного множества Западных СМИ. Тем не менее, воспользоваться Memex простые смертные пока не могут. Этой прерогативой обладают лишь немногочисленные правоохранительные органы США.

    Но поисковик для глубокой паутины, которым могут воспользоваться обычные люди вроде нас с вами, все же существует. Называется он Onion City. Этот сервис был анонсирован на прошлой неделе. Он предназначается для анонимной сети Tor и умеет индексировать / находить контент .onion-сайтов, делая их доступными обычным пользователям World Wide Web.

    До сих пор лучшим способом поиска .onion-сайтов было подключение к сети Tor, используя что-то вроде одноименного браузера. Но Onion City умеет справляться с этой задачей, не заставляя пользователя покидать любимый браузер. По сути это прокси Tor2web. Сервис выступает в качестве Tor-клиента внутри анонимной сети Tor и превращает обнаруживаемые в ответ на запрос пользователя .onion-сайты в обычные веб-страницы, используя поддомены .onion.city.