Avko 03.04.2024 08:33
Predmet:Stavljanje velikih podataka u tablu greska 504

Dobar dan

Imam tablu u koju zelim staviti vecu kolicinu podataka iz txt datoteke.
Javlja mi gresku

Link na txt.zip file >>KLIKNI OVDJE<<

Za kreirati tablu :

PreuzmiIzvorni kôd (SQL):
  1. CREATE TABLE `stop_times` (
  2.   `trip_id` text CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NOT NULL,
  3.   `arrival_time` text CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL,
  4.   `departure_time` text CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NOT NULL,
  5.   `stop_id` text CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL,
  6.   `stop_sequence` INT(11) NOT NULL,
  7.   `stop_headsign` text CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NOT NULL,
  8.   `pickup_type` text CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NOT NULL,
  9.   `drop_off_type` text CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL,
  10.   `shape_dist_traveled` text CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NOT NULL
  11. ) ENGINE=InnoDB DEFAULT CHARSET=latin1 COLLATE=latin1_swedish_ci;

Nakon nekog vremena javi mi gresku, sto bi vi ucinili?
Prilozi:
504gateway.png (Velicina datoteke:12.42 KB)

zxz 03.04.2024 19:28
Predmet:Re:Stavljanje velikih podataka u tablu greska 504

vjerovatno imas limit na serveru.
Ili promijeni limit ili podijeli fajl na vise manjih pa imporij jedan po jedan.

Avko 04.04.2024 11:04
Predmet:Re:Stavljanje velikih podataka u tablu greska 504

Txt datoteku sam otvorio u notepadu++
pokazalo mi je da imam 1 280 402 redova, dakle vise od miliona.
Notepad++ ima mogucnost snimanja makronaredbe. Snimio sam postupak izdvajanja 150 000 redova i snimanja u drugu datoteku.
Znaci, glavnu datoteku stops_times od preko milion redova (1280402) sam podijelio u 9 manjih od po 150000 redova datoteke su stops_times(1)...stops_times(9)
Uvoz tih datoteka traje malo duze ali se uvezu. Mozda bi se moglo uvesti i 200000 redova ali nisam probao.
Probao sam datoteku komprimirati ali postupak isto dugo traje, nema razlike u vremenu izmedu uvoza komprimirane i nekomprimirane datoteke.

to je to, hvala zxz.
sada idem na mysql upite. Imam malo problema u upitu za 3 table, ali potrazit cu prvo rijesenje na internetu