Hola como estás?
Soy un desarrollador web con muchos años de experiencia. He trabajado con crawling en mas de una oportunidad
La verdad es que para un uso mas general el crawler puede tener otra complejidad Si lo que vos necesitas es tomar datos de uno o dos sitios puntuales, lo mejor es enfocarse a estudiar dichos sitios para obtener la info. Yo te puedo ayudar con crawlings directos apuntando a cada sitio en particular de forma dedicada.
Cualquier cosa enviame un mensaje, y si todo va bien y nos entendemos podés aprobarme la propuesta. SI el trabajo pinta sencillo te puedo bajar el presupuesto y la cantidad de días.
Puedo comenzar hoy mismo
Saludos,
Marcos