Dmitry Kuzmenko informował już o różnych testach serwera Firebird. Ostatnio przeprowadził test działania serwera Firebird w przypadku dużych baz danych. Opisał go w tym artykule. W podsumowaniu artykułu autor podkreśla dwa wnioski:
- Firebird niewątpliwie potrafi obsługiwać wielkie bazy danych. Na odpowiednim sprzęcie jest możliwe utworzenie bazy o wielkości 32 TB. Firebird obsługuje taką bazą z taką samą wydajnością jak mniejsze bazy danych (np. 1 TB lub mniejsze).
- Firebird wykazuje się dobrą skalowalnością i małym obciążeniem systemu. Baza o rozmiarze jednego terabajta została utworzona na zwykłym komputerze biurkowym. Taki komputer ma wystarczającą moc do wykonywania ogólnych zapytań na takiej bazie danych. Jeżeli nie pobieramy milionów rekordów, to czas realizacji zapytań jest taki sam jak dla znacznie mniejszych baz danych (10 do 15 GB).
Przy okazji autor wymienia kilka firm, w których używany jest serwer Firebird, a bazy danych mają obecnie rozmiar od 200 do ponad 450 GB.
witajcie
OdpowiedzUsuńmam baze w pliku .txt
ponad 10 mln linijek (interesuje mnie tylko jedna kolumna)
średnia długość każdej to 20 znaków
chciałbym przenieść to do firebirda sql bądź innej bazy i pozbyć się przy okazji duplikatów :) jak tego dokonać, aby się nie zestarzeć przy tym ?
To zależy, jaką budowę ma ten plik tekstowy oraz czy to jest zadanie jednorazowe - do wykonania przez ciebie, czy ma być wykonywane wielokrotnie - wykonywane przez użytkownika jakiegoś programu. Każdy z tych czynników ma znaczenie.
OdpowiedzUsuńNajprościej byłoby, gdyby w tym pliku każdy rekord był zapisany w oddzielnym wierszu, a pola w każdym wierszu miały taką samą szerokość. Wtedy taki plik można w Firebird zdefiniować jako EXTERNAL TABLE i „zaimportować” wybrane pola przy pomocy jednej instrukcji SQL.
Zupełnie inaczej trzeba by podejść do problemu, jeżeli to jest plik o strukturze CSV lub XML, lub jeszcze innej.