Ако дадеш малко повече подробности за идеята ти няма да е лошо.

Задачата е интересна, но не е ясно какво точно искаш да направиш. Crawler, който периодично обикаля някакви страници и записва мета информация от тях? На какъв принцип ще прави търсенето на документи? Има доста неясни неща, за които е добре да помислиш и да отговориш преди да почнеш да се занимаваш.