Skrypt zbierające dane

Đã Đóng Đã đăng vào Aug 12, 2014 Thanh toán khi bàn giao
Đã Đóng Thanh toán khi bàn giao

Zlecę napisanie skryptu.

Skrypt działający na serwerze (wywoływany z CRON) zbierający dane ze stron:

[url removed, login to view]

[url removed, login to view]

[url removed, login to view]

+możliwe inne

Wszystkie dane gromadzone muszą być ze względu na sporą ilość danych - docelowo kilkaset tysięcy rekordów - w bazie danych o wysokiej wydajności.

Program powinien działać w sposób ciągły ze sporą wydajnością - kilka wątków jednocześnie - kilka wywołań CRON ?

Program powinien zbierać dane ze wszystkich baz w tym samym czasie - osobne CRON dla każdej ze stron.

Program musi pobierać dane ze stron przy użyciu proxy.

Będą to darmowe proxy, które często nie działają lub mają spore opóźnienia, dlatego program powinien testować proxy przed jego użyciem.

Większość stron, z których pobierane będą dane posiada captche - konieczna integracja z api [url removed, login to view]

Dane z bazie muszą być unikalne - primary key np. no NIPie firmy

Druga część programu to mechanizm umożliwiający pobieranie danych z tworzonej bazy danych wg zadanych kryteriów - np. firmy z branży A znajdujące się w woj. Mazowieckim.

Dodatkowo:

- możliwość sprawdzenia ilości rekordów w bazie wg zadanych kryteriów

- możliwość pobrania wpisów wg zadanych kryteriów + dodanie informacji do bazy danych kiedy i kto pobrał dane - tak aby dane o jednej firmie nie były pobierane kilkukrotnie w ciągu krótkiego okresu czasu.

Tutaj konieczna będzie druga tabela w bazie danych

W bazie musi być informacja kto i kiedy pobierał dane - pełna historia, choć najbardziej istotna będzie data ostatniego pobrania danych.

Dodatkowe możliwe filtry:

- pobranie rekordów, które posiadają telefon a nie posiadają emaila lub odwrotnie

- pobranie wszystkich rekordów, które posiadają adres strony a nie posiadają emaila i telefonu itp.

PHP

ID dự án: #6312407

Về dự án

2 đề xuất Dự án từ xa Sep 18, 2014 đang mở

2 freelancer chào giá trung bìnhzł783 cho công việc này

zahariash

Witam, Jestem zainteresowany zleceniem. Wykonanie w PHP + mySQL + UI w Boostrap. Logowanie kto i kiedy pobrał które dane. Bez blokowania pobierania danych, tylko logowanie. Po napisaniu skryptu udostępnię demo do Thêm

zł777 PLN trong 14 ngày
(6 Nhận xét)
4.0