Memory leak in the server / CPU Training with low batch size

[jindrahelcl]

During the run of the server, its memory consumption should be constant. Now, it seems to be growing with the amount of the received data.

[kocmitom]

Narazil jsem na tenhle problem mnohokrat, naposledy kdyz jsem si hral s velikosti batche tim padem se provadelo logovani a validace casteji. Netusim v cem je problem ani si nepamatuju vsechny doby kdy to padalo.

Napadlo me, ze by to mohlo byt i zapricenene rostoucim logem z qsub, ale to mohu vyvratit, protoze u jobu co mi spadnul naposled mel 12MB.

Osobne podezrivam validaci. Ale nemam k tomu zadne podklady.

[jindrahelcl]

Logem z qsub to rozhodně není, protože tu paměť to žere ať to pouštíš kde chceš.

[jindrahelcl]

Musí se někde ukládat mezivýsledky, který se nemažou. Nevím, jestli je v naší moci to opravit, nebo jestli je to bug v tensorflow.

[jlibovicky]

Probably cased by summaries: tensorflow/tensorflow#8265