Find Jobs
Hire Freelancers

Insertion of 10+ billion records into an AWS DB (RDS)

$30-250 USD

En curso
Publicado hace más de 9 años

$30-250 USD

Pagado a la entrega
15 Billion records have to be inserted into a DB from Text Files. (Each record about 100byte) There are about 250 zip-files (2-3GB compressed and 8-15GB uncompressed). The task of inserting the data in the DB should be done on AWS (Amazon Web Service). The files will be available on S3. The processing should happen on EC2 with an instance that is capable to deal with the task. The project is to write some software that process the files automatically, i.e. from S3 to uncrompression, into the DB. The task should also be done in parallel e.g. on 10 or more EC2 instances in parallel, so that it is done in a few (4 or 5) days. As DB, RDS should be used .. A MS-SQL DB model with trigger for a View is already available. However, I would be open for suggestions on other ways to import the data to the DB (e.g. LINQ or [login to view URL] etc.). The goal is also to have a rough cost estimation on how much it will cost to do this task with respect to AWS's EC2 and RDS storage costs. More details will be provided to qualified candidates (someone who has had experience with extremely large databases and GB-sized files before)
ID del proyecto: 6900390

Información sobre el proyecto

11 propuestas
Proyecto remoto
Activo hace 9 años

¿Buscas ganar dinero?

Beneficios de presentar ofertas en Freelancer

Fija tu plazo y presupuesto
Cobra por tu trabajo
Describe tu propuesta
Es gratis registrarse y presentar ofertas en los trabajos

Sobre este cliente

Bandera de UNITED STATES
Las Vegas, United States
5,0
75
Forma de pago verificada
Miembro desde nov 8, 2007

Verificación del cliente

¡Gracias! Te hemos enviado un enlace para reclamar tu crédito gratuito.
Algo salió mal al enviar tu correo electrónico. Por favor, intenta de nuevo.
Usuarios registrados Total de empleos publicados
Freelancer ® is a registered Trademark of Freelancer Technology Pty Limited (ACN 142 189 759)
Copyright © 2024 Freelancer Technology Pty Limited (ACN 142 189 759)
Cargando visualización previa
Permiso concedido para Geolocalización.
Tu sesión de acceso ha expirado y has sido desconectado. Por favor, inica sesión nuevamente.