Загрузить весь веб сайт

Sergey___K · Post by **Sergey___K** » 03 Apr 2004 23:07

Какие есть умные, удобные и "просто хорошие во всех отношениях" программы для закачки веб сайта целиком с целью его неспешного оффлайнового чтения?

Слiн · Post by **Слiн** » 03 Apr 2004 23:31

Teleport Pro

JustMax · Post by **JustMax** » 04 Apr 2004 00:14

wget

blanko27 · Post by **blanko27** » 04 Apr 2004 22:54

Я раньше пользовался Offline Explorer, теперь - нет.

Andrewsha · Post by **Andrewsha** » 05 Apr 2004 07:36

WebCopier

Sergey___K · Post by **Sergey___K** » 05 Apr 2004 16:54

Попробовал, все, кроме WebCopier. Хотел закачать lib.ru. Пока, что вышел большой облом. Этот сайт периодически "уходит в себя", сводя на нет все мои "нечеловеческие" усилия. У них есть ftp? Кто-нибудь занималься этим?

A. Fig Lee · Post by **A. Fig Lee** » 05 Apr 2004 19:54

Sergey___K wrote:Попробовал, все, кроме WebCopier. Хотел закачать lib.ru. Пока, что вышел большой облом. Этот сайт периодически "уходит в себя", сводя на нет все мои "нечеловеческие" усилия. У них есть ftp? Кто-нибудь занималься этим?

Может, паук неправильный? Почитайте рекомендации к роботам.
Должны быть перерывы между запросами, а не качать весь сайт сразу.

katit · Post by **katit** » 05 Apr 2004 20:05

Sergey___K wrote:Этот сайт периодически "уходит в себя"

Думаю т.к.они как раз и не хотят чтобы вы все скачивали. Как правило это напрасно потраченный трафик и вы все это не будете читать.

Sergey___K · Post by **Sergey___K** » 05 Apr 2004 20:31

Да они вроде особо не против. Я бы так не нахальничал.
http://www.lib.ru/WEBMASTER/LIB/faq.txt #6 или #7

И еще, как понять вот это
" Все файлы библиотеки лежат на anonymous ftp в
/pub/moshkow/.library/ в заархивированном виде" ?
(та часть, где про "заархивированном виде" мне понятна.

)

f_evgeny · Post by **f_evgeny** » 05 Apr 2004 20:40

Sergey___K wrote:Да они вроде особо не против. Я бы так не нахальничал.
http://www.lib.ru/WEBMASTER/LIB/faq.txt #6 или #7

И еще, как понять вот это
" Все файлы библиотеки лежат на anonymous ftp в
/pub/moshkow/.library/ в заархивированном виде" ?
(та часть, где про "заархивированном виде" мне понятна. )

Наверное так:

ftp://lib.ru/pub/moshkow/.library/

Sergey___K · Post by **Sergey___K** » 05 Apr 2004 20:51

О, блин, а я ftp.lib.ru ... пробовал.
Спасибо!

Sergey___K · Post by **Sergey___K** » 05 Apr 2004 21:24

Опять о вечном.

Скачал я файл на пробу, развернул архив в еще один файл и что мне дальше с ним делать?
Неужили мне придется вникать во все в это

Чтобы раскрутить все это безобразие - иметь Unix-машину в
любым httpd сервером и программами perl, gzip, glimpse,
лежащими в каталоге /usr/bin или /usr/local/bin
Патч для кирилизации glimpse лежит в
http://lib.ru/WEBMASTER/locale.c
(иметь отпатченный под KOI8 glimpse необязательно -
просто без него не будет работать search. )

Инсталляция библиотеки

1. Создать usera

moshkow UID=555 HOME=/home/moshkow

2. Вскрыть в его HOME архив

cd ~moshkow
cat li20040123.cgz | gunzip | cpio -idmv
cat li??????.r?? li??????.r??? | gunzip | cpio -idmv

все содержимое библиотеки должно упасть в каталог
~moshkow/public_html/
все тексты лежат в ~moshkow/public_html/book/
суммарный "тоннаж" (на январь 2004-го) примерно 4700 Mb

3. Встать в каталог, где у сервера лежат cgi-bin скрипты, и
закинуть в него CGI скрипт html-KOI

http://www.lib.ru/DOWNLOAD/mirroring.txt

Sergey___K · Post by **Sergey___K** » 05 Apr 2004 21:50

Пришлось разбираться. Блин, ну почему нельзя просто, взять и распаковать, нет, нужно сразу и cat и cpio и gzip ...