Дело в том, что (как уже отмечалось в недостатках бесплатных proxy)
бесплатные прокси серверы рано или поздно перестают быть таковыми. Они либо
становятся платными, либо прекращают свою работу. А поскольку многие списки
бесплатных прокси серверов в Internet не являются постоянно (и часто!)
обновляемыми, то в результате большинство таких списков вообще не содержат
работающих прокси серверов. Списки же, которые обновляются время от времени,
нерегулярно, содержат только около 10% работающих proxy. Примером постоянно
обновляемого списка proxy серверов является сервер
www.checker.freeproxy.ru.
Прежде всего, Вам необходимо составить список веб-страниц, содержащих
списки прокси серверов. Для их составления можно воспользоваться данными
ресурсами:
http://www.freeproxy.ru/ru/links.htm
http://www.freeproxy.ru/ru/free_proxy/get.htm
Найденные ссылки на страницы со списками прокси серверов достаточно
скопировать с Блокнот, подготовив их тем самым для следующего этапа.
Как второй вариант поиска страниц со списками прокси серверов можно
предложить воспользоваться поиском на
http://www.google.com .
В данном случае можно сделать вот что: выбираем произвольный (желательно
достаточно свежий, но НЕ самый свежий, а лучше где-то 2-3-дневной или даже
недельной давности) прокси сервер и указываем его в строке поиска в кавычках
и с номером порта через двоеточие, например:
“1.1.1.1:1080”
Результатом поиска будут страницы, содержащие не только данный прокси
сервер, но и целую массу других, что собственно и нужно. Далее остается
только скопировать ссылки на найденные страницы в Блокнот.
Почему прокси должен быть не самый свежий? Потому что поисковые системы
переиндексируют сайты не каждый день, а где-то раз в неделю - раз в месяц.
Если Вы не желаете использовать программы – менеджеры закачек, то Вам
достаточно сохранить страницы с прокси серверами на диск, иначе сразу
переходим к этапу III.
Вручную можно сохранять страницы так: открываете с помощью любого браузера
поочередно каждую страницу (ссылка из Блокнота) и сохраняете на диск
открывшуюся страницу в формате HTML.
Далее пропускаем этап III и переходим сразу на этап
IV.
Если Вы все же желаете скачать сразу все ссылки, ускорив процесс, Вы
можете воспользоваться одним из менеджеров закачек (download managers).
Достаточно выделить все ссылки в Блокноте и скопировать их в окно Менеджера
закачек. Давайте рассмотрим, как это сделать на примере нескольких разных
программ.
- Используем Flashget
Сохраняем в Блокноте ссылки в файл (Save As -> выбираем Type of files –
All Files –> указываем имя файла, например proxies.lst Расширение файла
должно быть обязательно «.lst»). Открываем окно Flashget и выбираем в
меню «Файл -> Импортировать список…» («File -> Import list…»). Выбираем
наш сохраненный ранее proxies.lst. Нажимаем Open. Появится новое окно со
свойствами закачки первой ссылки. Укажите «Старт -> Немедленно» («Start
-> Immediately») если хотите сразу начать закачку страницы. Обратите
внимание на каталог, в который Вы будете загружать файлы. Нажмите кнопку
OK. Появится дополнительный запрос «Использовать те же установки для
других файлов?» («Use the same setting for other files?»). Выберите «Да»
(«Yes»). После этого начнется процесс загрузки страниц. В указанном для
сохранения каталоге Вы найдете все скаченные страницы.
- Используем GetRight
Сохраняем в Блокноте ссылки в файл (Save As -> выбираем Type of files –
All Files –> указываем имя файла, например proxies.lst Расширение файла
должно быть обязательно «.lst»). Открываем окно GetRight и выбираем в
меню «Файл -> Импорт списка запросов...» («File -> Import Download
List…») -> Выбираем Files of type: URL Lists и выбираем наш сохраненный
ранее proxies.lst. Нажимаем Open. Ссылки из сохраненного файла добавятся
в окно закачки.
Для избежания появления лишних окон с различными опциями рекомендуется
сразу отключить одну из них. Выбираем в меню «Инструменты -> Настройка
GetRight -> Прочее -> Разное»(«Tools -> GetRight Configuration ->
Advanced -> Miscellaneous»). Отключаем опцию «Включать GetRight броузер
после загрузки веб-страниц» («Prompt for GetRight Browser or Login Page
if downloaded a web page»). Там же в конфигурации «Инструменты ->
Настройка GetRight -> Общие -> Сохранить в» («Tools -> GetRight
Configuration -> General -> Save To») указываем опцию «Одна папка для
всех загрузок» («One default directory for all downloads») и выбираем
каталог для сохранения файлов. Нажимаем OK для сохранения данных
настроек.
Выбираем в меню «Правка -> Выбрать все» («Edit -> Select All») для
выбора всех файлов в окне закачки. Нажимаем Enter (Меню «Запросы ->
Продолжить» («Downloads -> Resume»)) для старта загрузки. Если появится
окно с вопросом «Автоматически будет приниматься N файлов одновременно и
следующий запрос начнет обрабатываться, когда выполнится один из
предыдущих запросов» («Do you wish to start Automatic Downloading
instead?»), то укажите опцию «Не показывать потом» («Do not show this
message again») и нажмите «Нет» («No»). Все файлы будут закачены
одновременно в указанный в настройках GetRight каталог.
- Используем Mass Downloader
Сохраняем в Блокноте ссылки в файл (Save As -> указываем имя файла,
например proxies.txt). Открываем окно Mass Downloader и выбираем в меню
«Файл -> Импорт -> Ссылки из файла...» («File -> Import -> URLs from
file…») -> Выбираем наш сохраненный ранее proxies.txt. Нажимаем Open.
Если появляется окно с просьбой указать базовый адрес для файла («…type
the Web URL for the file…»), то нажимаем кнопку OK. Появится окно со
ссылками из нашего файла. Выделяем все ссылки (например, по CTRL+A или
через кнопку в этом окне) и нажимаем кнопку «Загрузить» («Download»).
Появится новое окно со свойствами закачки первой ссылки. Выберите
каталог, в который Вы будете загружать файлы. Нажмите кнопку OK.
Появится дополнительный запрос «Использовать такие же параметры для
остальных проектов?» («Use the same properties for adding the rest of
projects?»). Выберите «Да» («Yes»). Ссылки из сохраненного файла
добавятся в окно закачки. После этого начнется процесс загрузки страниц.
В указанном для сохранения каталоге Вы найдете все скаченные страницы.
- Используем ReGet Deluxe
Сохраняем в Блокноте ссылки в файл (Save As -> указываем имя файла,
например proxies.txt).
Открываем окно Reget Deluxe. Для избежания появления лишних окон с
различными опциями рекомендуется сразу отключить одну из них. Выбираем в
меню «Настройки -> Настройки программы -> включить галочку «Показывать
расширенные настройки» -> таб «Все настройки» -> Свойства закачки по
умолчанию –> «Если файл уже существует» -> выбрать опцию
«Переименовать»» («Options -> Program Options -> enable checkbox «Show
advanced properties» -> tab «All Properties» -> Default Download
Settings -> «If the file already exist» -> select option «Rename»»).
Открываем окно Reget Deluxe и выбираем в меню «Файл -> Импортировать
очередь...» («File -> Import queue…») -> Выбираем Files of type: Plain
URL Lists и выбираем наш сохраненный ранее proxies.txt. Нажимаем Open.
Ссылки из сохраненного файла добавятся в окно закачки и начнется процесс
загрузки страниц. В указанном при инсталляции каталоге для сохранения
файлов Вы найдете все скаченные страницы.
После того как мы сохранили несколько HTML-файлов со списками прокси
серверов, мы должны объединить их в один для того, чтобы все прокси сервера
фильтровались и проверялись на работоспособность с помощью программы Proxy
Checker. Дело в том, что данная программа может работать только с одним
входным файлом (для программы SOCKS Proxy Checker версии 1.3 и выше этот
этап можно пропустить)
Итак, давайте объединим несколько файлов в один большой. Для этого есть
несколько вариантов. Для приведения примера будем считать, что файлы для
объединения носят наименования соответствующие маске file?.html
Здесь возможны 2 варианта:
- Copy /b file1.html + file2.html + fileN.html proxylst.html
- For %a in (file?.html) do type %a >> proxylst.html
В случае (a) file1.html, file2.html, ... fileN.html - это имена файлов со
списками прокси (они могут иметь расширение не только HTML)
В случае (b) Вам нужно иметь в текущем каталоге файлы file1.html,
file2.html, ... fileN.html и из этого же каталога выполнить указанную
команду.
Необходимо помнить, что данные варианты копирования файлов в один
необходимо видоизменить перед использованием, ввиду того, что сохраненные
файлы будут иметь другие наименования.
Теперь Вам понадобится программа - Proxy Checker (в случае http proxy)
или SOCKS proxy checker (в случае SOCKS proxy). Скачать эти программы Вы
можете здесь.
На закладке Main выбираем в качестве Source file наш
большой объединенный файл proxylst.html (либо нажав кнопку Add...
добавляем все нужные нам файлы со списками прокси) и в Destination file
указываем новый файл, в который будут сохраняться результаты проверки.
Нажимаем кнопку Run и после завершения проверки
просматриваем новый файл с только что успешно проверенными на
работоспособность прокси серверами.
