Скачать можно здесь: HttpAnswer

Ну, собственно как и обещал, раз блог сделал, стало быть надо его вести. На сегодняшнюю запись решил долго не придумывать ничего нового, а так — полез на винт и посмотрел что из программ ранее не выкладывалось, и что можно без жалости отдать в паблик. Кстати программ, скриптов и других проектов на винте оказалось почти 400. Эт я типа горжусь :) . Итак:

Что это такое: Еще одна десктопная утилита. Получает ответы от сервера апача и раскладывает список URL в соответствующие файлики. Часто бывает что-нить напарсил, и перед передачей результатов в какую-нибудь сложную программу обработки (спамилку например) удобно быстренько пробежаться по списку, и те что не отвечают — сразу выкинуть.

Что умеет:

  • Задаем имя файла с исходными URL. Оптимизировано под большие размеры файлов, хоть 100 гигов.
  • Нажимаем кнопку старт/пауза. Проверяет страницы из файла-списка, и раскладывает по файликам-типам ответов. Работает на голых сокетах,  устойчивая и шустрая. Я проверял около 10 лямов URL без проблем.
  • Количество потоков выставляется в файлике settings.ini

Если вдруг кто не знает что какие ответы значат:

  • 2xx — все ОК, сервер отдает страничку (xx — любые цифры)
  • 3xx — страница перемещена, сервер отдает новый адрес
  • 4xx — страница недоступна — не существует, нет прав на просмотр, т.п.
  • 5xx — различные ошибки сервера

Внимание! По умолчанию операционная система Windows XP не позволяет держать большое количество одновременных соединений. Если у Вас XP и Вы не пропатчили систему, то производительность программы будет низкая, и при большом количестве потоков будут ноормальные странички отправляться в «Нет ответа». Как пропатчить — расскажу в следующем посте (завтра, седня влом).

>>> UPD. Вот, как и обещал: http://solutionfix.org/other/connection-limit-fix/

Скриншот. Да, вот, пожалуйста.

httpanswer

Бесплатная. Текущая версия 1.01 (она же единственная).

Скачать можно здесь: HttpAnswer



  • panteam комментирует:

    А можно все ваши програмули скачать одним архивом как вы вылажили в дубликаторах. А может поделитесь чем и из того что жаль вылаживать в паблик? ;) (как ввеху поста и написано что есть что вылаживать) может на емейл (для личного пользования)?

  • Дмитрий комментирует:

    А как можно сделать в виде php скрипта, что бы работал на хостинге. Очень надо.

  • Хатабыч комментирует:

    Подскажите пожалуйста,почему после обработки около миллиона программа подвисает,и комп начинает глючить?Как с этим боротся?

  • SolutionFix комментирует:

    Да, такое вполне возможно. В некоторых версиях ОС Windows происходит небольшая, но постоянная утечка памяти при работе с сокетами. Это легко проверить: вызовите диспетчер задач windows (Ctrl + Shift + Esc), запомните, сколько свободной памяти в системе, и проверьте через часика два работы. Если существенно уменьшается — это оно.
    В рамках данной программы я не знаю, как такое побороть (программа написана на голых сокетах, дело именно в системной dll). Ну разве что бить файл с адресами на несколько.
    Однако могу предложить два коммерческих варианта — это соответствующий скрипт на пхп — $50, или программа для Windows с внешним использованием curl (будет работать медленней чем та что счас) — $80.

  • Евгений комментирует:

    Вот спасибо за софт!
    Искал, чем бы ЖЖ прочекать, нифига, ни единой проги…
    Хорошо мысля пришла прочекать ответы сервера, и вот, спасибо тебе Админ http://solutionfix.org/, такая шустрая маленькая чекалка.

  • Слава комментирует:

    Скажите, пож-ста, сколько потоков лучше ставить, чтобы как можно точнее определяло ответы которые отдают сайты при большом количестве ссылок?

  • SolutionFix комментирует:

    Количество потоков — смотреть по загрузке канала и проца/памяти. Нажимаем Ctrl + Shift + Esc — попадаем в Диспетчер задач — там соответствующие вкладки.
    Если канала хватает — то точность определения от количества потоков зависеть не будет.
    Ну и конечно если XP то смотреть количество полуоткрытых соединений, я писал об этом вот здесь:
    http://solutionfix.org/other/connection-limit-fix/

  • Слава комментирует:

    А если канала хватает, то может ответы неправильно давать? При проверке на ответ который дает ресурс, используется ли ПС или что-либо что может банить или обрабатывать некорректно?

  • Евгений комментирует:

    ПС при проверке не используется, только ответы сервера.
    Бан возможен, если определенным образом настроен сервер и ваша скорость запросов будет похожа на ддос атаку.
    В обычных условиях едвали такое возможно.

Оставить комментарий: