|
Внимание, важное сообщение: Дорогие Друзья!
В ноябре далекого 2001 года мы решили создать сайт и форум, которые смогут помочь как начинающим, так и продвинутым пользователям разобраться в операционных системах. В 2004-2006г наш проект был одним из самых крупных ИТ ресурсов в рунете, на пике нас посещало более 300 000 человек в день! Наша документация по службам Windows и автоматической установке помогла огромному количеству пользователей и сисадминов. Мы с уверенностью можем сказать, что внесли большой вклад в развитие ИТ сообщества рунета. Но... время меняются, приоритеты тоже. И, к сожалению, пришло время сказать До встречи! После долгих дискуссий было принято решение закрыть наш проект. 1 августа форум переводится в режим Только чтение, а в начале сентября мы переведем рубильник в положение Выключен Огромное спасибо за эти 24 года, это было незабываемое приключение. Сказать спасибо и поделиться своей историей можно в данной теме. С уважением, ваш призрачный админ, BigMac... |
|
| Компьютерный форум OSzone.net » Компьютеры + Интернет » Вебмастеру » Как скачать данные с сайта? |
|
|
Как скачать данные с сайта?
|
|
Новый участник Сообщения: 1 |
Привет, проблема такая. Дано задание - скачать с одного сайта довольно большой объём информации и забить его в таблицу.
Информации очень много и в ручную это сделать проблематично. Структура сайта - ссылки на карточки с подробной информацией которую и надо скачать. Есть ли программы для автоматизации такого процесса? |
|
|
Отправлено: 23:12, 18-05-2010 |
|
Старожил Сообщения: 175
|
Профиль | Отправить PM | Цитировать как вариант - взять ХТМЛ сайта и прогнать его через JS где на выходе создается необходимая таблица. затем импорт данных в ексель, если надо. ну, скрипт придется писать самому...
алгоритм что-то типо: elements = element.getElementsByTagName(tagName); for (i=0;i<elements.length;i++) { if (elements[i].id=="filter") { ну и тут закидывать подходящие по фильтру ссылки в массив, после чего посещать каждую из них через XMLHttpRequest и обрабатывать полученные response по такому же принципу как отбирали ссылки } } |
|
Отправлено: 23:48, 18-05-2010 | #2 |
|
Ветеран Сообщения: 5624
|
Профиль | Отправить PM | Цитировать А можно использовать Teleport Pro и скачать все требуемые данные с сохранением структуры сайта, если это необходимо.
|
|
------- Отправлено: 01:23, 19-05-2010 | #3 |
|
Пользователь Сообщения: 54
|
Профиль | Отправить PM | Цитировать Как сделать на PHP скрипт чтоб дела такое получил урл - получил хтмл код страницы - перебрал текст выбрал слова на букву а - записал в базу - получил урл и тд. Список урлов известен, записать в базу сам могу, а вот заполучить в переменную код страницы вот это не знаю.
уже сам нашел $lines = file('http://mysite.ru'); |
|
Последний раз редактировалось enikei, 21-05-2010 в 15:27. Отправлено: 18:49, 20-05-2010 | #4 |
|
Новый участник Сообщения: 5
|
Профиль | Отправить PM | Цитировать Добрый день,
Если не сложно, поделитесь пожалуйста примером. Нужно посетить n-ное количество ссылок (известно), найти там нужный текст (в таблице) и скопировать его в строку таблицы в excel либо другой табличный или текстовый формат. |
|
|
Отправлено: 08:39, 23-11-2012 | #5 |
|
|
Участник сейчас на форуме |
|
Участник вне форума |
![]() |
Автор темы |
![]() |
Сообщение прикреплено |
| |||||
| Название темы | Автор | Информация о форуме | Ответов | Последнее сообщение | |
| Как скачать видео с сайта? | RooTC | Видео и аудио: обработка и кодирование | 1 | 20-02-2010 16:54 | |
| Можно ли скачать панораму с сайта? | mailfannah | Хочу все знать | 9 | 16-07-2009 15:39 | |
| Доступ - как скачать флеш-ролик с сайта | illusionmgs | Microsoft Windows 2000/XP | 1 | 04-06-2008 00:10 | |
| Как скачать файл с сайта, если есть только POP3? | Yewgeniy | Хочу все знать | 17 | 16-11-2006 22:51 | |
|