python script to automize data file upload to existing table appending the data

  • Tình trạng: Closed
  • Giải thưởng: $200
  • Các bài thi đã nhận: 3
  • Người chiến thắng: mauricio27gonzal

Tóm tắt cuộc thi

Python developer to automize extracting file from ftp loading into Big Query
Basically looking for an ETL pipeline where you automize the complete ETL on a weekly basis

Extract : Data from FTP server (get data file)(csv,Excel....)

Transform : append Data to existing table in BigQuery. Make sure no duplicates, clean data,do not overwite

Load : Load it to Big Query Table

you can create a small summy sample csv file to use.

Các kĩ năng yêu cầu

Những bài dự thi tốt nhất dự cuộc thi này

Xem thêm bài dự thi

Bảng thông báo công khai

  • ashikmohann
    ashikmohann
    • cách đây 3 năm

    hi, the script should be scheduled to run weekly?

    • cách đây 3 năm
    1. viral15
      Chủ cuộc thi
      • cách đây 3 năm

      Yes

      • cách đây 3 năm
  • AVKor
    AVKor
    • cách đây 3 năm

    Hi, #extended please and upload a samples of your files (what you are going to get from your FTP server and your database schema).

    • cách đây 3 năm
    1. AVKor
      AVKor
      • cách đây 3 năm

      In this case it will be useless to you since the structure, data types, database schema and so on will be not the same as you have and could not be used for your dataset. But if you are going to rewrite the script yourself for your own needs that's OK.

      • cách đây 3 năm
    2. viral15
      Chủ cuộc thi
      • cách đây 3 năm

      Yes I will edit all the schemas and additional details
      We are looking to see who can provide python script that would extract - load the files to BigQuery
      You can use a very simple csv file with few columns...
      Just looking to see how the logic is created to automize the process

      Thank you

      • cách đây 3 năm
  • viral15
    Chủ cuộc thi
    • cách đây 3 năm

    Please not I am specifically looking for a python script

    • cách đây 3 năm
  • samiul92
    samiul92
    • cách đây 3 năm

    Hi, I am creating a program for you. So I need to know that from which source of FTP(Any Database like Oracle Database/MS SQL/MySQL or Just like Excel Sheet) to extract data and Load into which Database?

    • cách đây 3 năm
    1. viral15
      Chủ cuộc thi
      • cách đây 3 năm

      Load into Big Query SQL

      • cách đây 3 năm
    2. samiul92
      samiul92
      • cách đây 3 năm

      Ok, Thanks for answer

      • cách đây 3 năm

Xem thêm bình luận

Làm thế nào để bắt đầu với cuộc thi

  • Đăng cuộc thi của bạn

    Đăng cuộc thi của bạn Nhanh chóng và dễ dàng

  • Nhận được vô số bài dự thi

    Nhận được vô số Bài dự thi Từ khắp nơi trên thế giới

  • Trao giải cho bài thi xuất sắc nhất

    Trao giải cho bài thi xuất sắc nhất Download File - Đơn giản!

Đăng cuộc thi ngay hoặc tham gia với chúng tôi ngay hôm nay!