Рабочий, проверено, но, требует небольшой доработки напильником.
Скрытый контент.
- Возможность задать максимальное кол-во слов в поисковых запросах;
- Поддержка шаблонов;
- Поддержка макросов;
- Категории и пользовательские страницы;
- Возможность включения и отключения использования PHP в шаблонах;
- Свои кеи (из файла keywords.txt), по которым дор может получать новые страницы;
- Возможность подключения своего txt-файла, из которого рандомно будут выбираться строки. Это могут быть комменты, ники, ссылки на другие доры и тд. Есть возможность использования макросов в txt-файлах, которые подключаете;
- Возможность подключения нескольких ПС, с которых будет парсится контент (чем больше, тем лучше).
При парсинге, ПС выбираются в случайном порядке. Это так же относится и к парсерам картинок, и к видео-парсерам.
Можно подключать свои парсеры; - Различные фильтры, которые удалят ненужные сниппеты по определенным словам, чтобы исключить попадания в дор ненужного контента (например, насило, детск, малолет и тд.);
Стоп-слова (можно использовать регулярные выражения);
Выбор нужных сниппетов — чтобы при парсинге оставались только релевантные запросу сниппеты; - Возможность парсинга сайтов по текущему запросу: на выходе получаем либо целые статьи, либо «мешанку» из предложений из нескольких сайтов сразу;
- Если на странице парсится, например, только контент, то парсеры картинок и видео не участвуют в процессе, чтобы не создавать лишнюю нагрузку;
- При использовании одинаковых Q_, R_ и D_-макросов контент не повторяется;
- Включение и отключение кеша;
- Настройка времени кеша для главной и категорий;
- Возможность использование «резервуара». При ошибке парсинга (например, нет результатов или бан) на странице будут показаны данные из «резервуара» — это файлы, в которых записаны результаты прошлых удачных парсингов. Если функция включена, то у страниц будет второй шанс;
- Возможность задать максимальное кол-во файлов в папках для кеша;
- Возможность включения и отключения создания новых папок для кеша при превышении лимита на создание файлов. Например, выше вы задали лимит на 900 файлов кеша и она уже заполнилась. Тогда скрипт создаст папку 2, в которой тоже можно будет сохранить не более 900 файлов и тд. — 1, 2, 3…100500… Если отключена эта опция, то новые файлы кеша будут заменять старые при достижении лимита;
- Возможность включения и отключения кеша для спарсенных картинок, с указанием максимального кол-ва картинок в кеше;
- Управление кешем через интерфейс;
- и т.д.
- тем не менее советую купить лицензию =)
Скрытый контент:
Для просмотра содержимого необходимо 10 очков
P.S. Тему товарищ слил с нуледа
Скрытый контент:
Сообщение отредактировал mne: 15 Сентябрь 2014 - 22:32
