Shrink logs

[recoilme]

Дима, привет!

Уже год юзаем твой движок в https://github.com/recoilme/okdb - все прекрасно, но хотелось бы еще и место экономить чуть чуть если возможно.
Когда база суммарно превышает примерно 70 гиг процедура упаковки начинает запускаться реже чтоли
Вот примерно такие размеры:
13G db
126G log
138G total

самый старый лог - -rw-r--r-- 1 pudge pudge 489834960 Jan 5 16:47 00000000000000008652.log - 5 гиг

Если я верно понимаю в логах новые записи для кот еще не пришло время упаковки
Нет ли возможности как то форсировать это процесс или каких то параметров для уменьшения количества лог файлов?

[recoilme]

красненький - это рост базы (мы ее грохаем периодически - как место кончается)

[pmwkaa]

Привет! Очень приятно это слышать :)

Возможно вам стоит покрутить db.compaction.cache. Переменная сейчас расчитывается из ожидаемого размера хранилища, скорости записи данных в базу и скорости диска. Можно взять типичное значение отсюда http://sophia.systems/v2.2/admin/memory_requirements.html

Можно самостоятельно включить compaction позвав функцию db.name.compaction.compact, например так как это делается в тестах: https://github.com/pmwkaa/sophia/blob/master/test/compaction/compact.test.c#L46

[recoilme]

@pmwkaa а в какую сторону крутить чтобы логи почаще компактились? ))
Сейчас стоит 400мб, если я правильно выставил https://github.com/recoilme/okdb/blob/master/okdb.c#L939
Может быть вообще отключить лог, раз она не падает, или это не совсем то?
http://sophia.systems/v2.2/conf/log.html

[pmwkaa]

400 мб кажется очень мало, это будет вынуждать компактить постоянно и не эффективно с ростом базы. cache это размер памяти, которую мы можем выделить для хранилища. чем она выше, тем будет эффективнее работа в плане io. Типовой размер cache, расчитаный от макс. объема данных и скорости диска можно выбрать из этой таблички: можно выбрать http://sophia.systems/v2.2/admin/memory_requirements.html

Если отключить лог, тогда потеряются все данные, которые не успели скомпактится. Те база будет работать как in-memory хранилище больше. По простому сейчас решается компактится ли нода если 'размер данных в памяти ноды > cache / колво_нод'.

Я могу для вас вернуть checkpoint. Если его вызвать, он сможет все скомпактить все без условий.

[recoilme]

Спасибо большое за ответы!
Я правильно понял что сейчас если просто дергать функцию - db.name.compaction.compact - она не скомпактит всё если по время компактится еще не пришло? Если так, то checkpoint был бы идеальным решением в нашем случае

[catroot]

+1 за принудительный компакт

[pmwkaa]

Года еще не прошло, но я добавил checkpoint :) 2ecfe01

Позвать можно вызвав db.name.compaction.checkpoint (как в тесте compaction/checkoint.test.c). db.name.scheduler.checkpoint скажет, что он активен в текущий момент.