Скачать можно здесь: HttpAnswer
Ну, собственно как и обещал, раз блог сделал, стало быть надо его вести. На сегодняшнюю запись решил долго не придумывать ничего нового, а так — полез на винт и посмотрел что из программ ранее не выкладывалось, и что можно без жалости отдать в паблик. Кстати программ, скриптов и других проектов на винте оказалось почти 400. Эт я типа горжусь 
. Итак:
Что это такое: Еще одна десктопная утилита. Получает ответы от сервера апача и раскладывает список URL в соответствующие файлики. Часто бывает что-нить напарсил, и перед передачей результатов в какую-нибудь сложную программу обработки (спамилку например) удобно быстренько пробежаться по списку, и те что не отвечают — сразу выкинуть.
Что умеет:
- Задаем имя файла с исходными URL. Оптимизировано под большие размеры файлов, хоть 100 гигов.
- Нажимаем кнопку старт/пауза. Проверяет страницы из файла-списка, и раскладывает по файликам-типам ответов. Работает на голых сокетах, устойчивая и шустрая. Я проверял около 10 лямов URL без проблем.
- Количество потоков выставляется в файлике settings.ini
Если вдруг кто не знает что какие ответы значат:
- 2xx — все ОК, сервер отдает страничку (xx — любые цифры)
- 3xx — страница перемещена, сервер отдает новый адрес
- 4xx — страница недоступна — не существует, нет прав на просмотр, т.п.
- 5xx — различные ошибки сервера
Внимание! По умолчанию операционная система Windows XP не позволяет держать большое количество одновременных соединений. Если у Вас XP и Вы не пропатчили систему, то производительность программы будет низкая, и при большом количестве потоков будут ноормальные странички отправляться в «Нет ответа». Как пропатчить — расскажу в следующем посте (завтра, седня влом).
>>> UPD. Вот, как и обещал: http://solutionfix.org/other/connection-limit-fix/
Скриншот. Да, вот, пожалуйста.
Бесплатная. Текущая версия 1.01 (она же единственная).
Скачать можно здесь: HttpAnswer
Ноябрь 5th, 2009 at 02:07
А можно все ваши програмули скачать одним архивом как вы вылажили в дубликаторах. А может поделитесь чем и из того что жаль вылаживать в паблик?
(как ввеху поста и написано что есть что вылаживать) может на емейл (для личного пользования)?
Январь 5th, 2010 at 16:11
А как можно сделать в виде php скрипта, что бы работал на хостинге. Очень надо.
Март 30th, 2010 at 09:16
Подскажите пожалуйста,почему после обработки около миллиона программа подвисает,и комп начинает глючить?Как с этим боротся?
Март 30th, 2010 at 10:43
Да, такое вполне возможно. В некоторых версиях ОС Windows происходит небольшая, но постоянная утечка памяти при работе с сокетами. Это легко проверить: вызовите диспетчер задач windows (Ctrl + Shift + Esc), запомните, сколько свободной памяти в системе, и проверьте через часика два работы. Если существенно уменьшается — это оно.
В рамках данной программы я не знаю, как такое побороть (программа написана на голых сокетах, дело именно в системной dll). Ну разве что бить файл с адресами на несколько.
Однако могу предложить два коммерческих варианта — это соответствующий скрипт на пхп — $50, или программа для Windows с внешним использованием curl (будет работать медленней чем та что счас) — $80.
Сентябрь 30th, 2010 at 13:12
Вот спасибо за софт!
Искал, чем бы ЖЖ прочекать, нифига, ни единой проги…
Хорошо мысля пришла прочекать ответы сервера, и вот, спасибо тебе Админ http://solutionfix.org/, такая шустрая маленькая чекалка.
Ноябрь 23rd, 2010 at 17:41
Скажите, пож-ста, сколько потоков лучше ставить, чтобы как можно точнее определяло ответы которые отдают сайты при большом количестве ссылок?
Ноябрь 23rd, 2010 at 22:21
Количество потоков — смотреть по загрузке канала и проца/памяти. Нажимаем Ctrl + Shift + Esc — попадаем в Диспетчер задач — там соответствующие вкладки.
Если канала хватает — то точность определения от количества потоков зависеть не будет.
Ну и конечно если XP то смотреть количество полуоткрытых соединений, я писал об этом вот здесь:
http://solutionfix.org/other/connection-limit-fix/
Ноябрь 24th, 2010 at 19:45
А если канала хватает, то может ответы неправильно давать? При проверке на ответ который дает ресурс, используется ли ПС или что-либо что может банить или обрабатывать некорректно?
Декабрь 4th, 2010 at 06:49
ПС при проверке не используется, только ответы сервера.
Бан возможен, если определенным образом настроен сервер и ваша скорость запросов будет похожа на ддос атаку.
В обычных условиях едвали такое возможно.