Llama » Пт дек 01, 2006 7:41 pm
$this->bbcode_second_pass_quote('Fallman', '')МХО надо RAID мутить. Т.к. скорость линейного чтения у современных винтов от 35 до 75 МБ/с. Тут мы имеем случайный доступ, что уменьшает скорость в разы. Если распределить нагрузку на механику на разные девайсы (замутить RAID), то может и прокатит.
Исправлено: Fallman 19 октября 2006 года, 13:08
Ой ка не факт...
RAID естественно повышает скорость линейного чтения, но какой в этом смысл, если там 100 потоков. Действительно, основное время будет уходить на "мотание" голов по диску.
Посему:
1) Диски и контроллер поддерживать NCQ/TCQ должны. Это факт.
2) Время доступа гораздо важнее линейной скорости. Это тоже факт.
3) Оптимизация ПО диска под многопоточную запись желательна. Наличи оной - см. тесты разного рода, в которых фигурируеют измерения производительности при многопоточном тестировании.
Варианты:
0) А не поместятся ли все эти файлы в память? Может просто сделать ramdisk на 2-3 Gb и работать с ними там, копируя до и перед работай на диск?
1) N дисков SATA с NCQ и минимальным временем доступа (читай - Hitachi) + контроллер с поддержкой NCQ, если встроеный на матринсокй плате не поддерживает (двадцатибаксовые контроллеры на основе sil3112/3114 NCQ не умеют). На каждом из дисков лежит часть файлов, никакого RAID.
2) п.2, только диски WD Raptor на 150Gb (более мелкие не поддеживают NCQ)
3) Полноценные SCSI которые и так имеют 10-15 kRPM, очереди команд и т.п. - это будет наиболее поизводительный вариант.