issue with learner.py

[SunWuChoi]

Hello Kim, I'm a fellow Korean trying to learn from your tutorial, I got a supervised model from the run supervised learning and I am now trying to run the learner to get a reinforcement learning model but I am getting this error

Traceback (most recent call last):
File "C:/minerl/learner.py", line 392, in
coord.join(thread_data)
File "C:\Users\sund0\anaconda3\envs\minerl_env\lib\site-packages\tensorflow\python\training\coordinator.py", line 357, in join
threads = self._registered_threads.union(set(threads))

where line 391 and 392 is
for thread_data in thread_data_list:
coord.join(thread_data)

by the way, I wrapped the learner with an if name == "main": so that in windows the minerl doesn't freeze

any help with the above would be appreciated! thank you for a great tutorial!

my env has these installed
minerl 0.3.7
tensorflow 2.4.1
tensorboard 2.4.1
tensorboard-plugin-wit 1.8.1
tensorflow-estimator 2.4.0
tf probability 0.11.0

[kimbring2]

@SunWuChoi 안녕하세요, 선우님. 한국분이시니 한글로 설명 드리겠습니다. 말씀하신 에러는 무시하고 진행하셔도 됩니다. 저도 같은 에러가 나는데 좀만 기다리시면 학습이 시작되더라구요.

말씀하신 에러는 다른 사람들을 위해 README에 추가하도록 하겠습니다. Main 부분 처리하는 것은 말씀하신대로 한번 해봐야겠네요. Freeze 된다는건 MineRL 렌더링 화면이 멈춘다는 말씀인가요?

피드백 감사드립니다 (:

[SunWuChoi]

빠른 답변 감사드립니다, 에러는 무시하고 진행하겠습니다
Freeze 는 minerl 쪽에서 env 만들때 나오는 윈도우쪽 오류같은데 minerl 공식 문헌에 해결 방법이 있더라구요
https://minerl.io/docs/notes/windows.html
env 만드는 라인을 if name main 이걸로 감싸주면 이 에러가 안나오더라구요

[SunWuChoi]

또 궁금한게 learner 쪽 보면 CUDA 는 안쓰게끔 되어있던데 따로 이유가 있나요?
그리고 supervised learning range 보면 2000000 정도로 엄청 크던데 그냥 크게 잡아놓고 나중에 종료하려고 하신건가요?
readme 에 loss 그래프 보면 14k 정도 하셨던데 이게 training episode 인가요? 즉 mp4 파일 14000개 정도 학습해야 loss 가 0.2 정도 되는건가요? 지금 제가 1300 정도 하고 평균 loss 1.2 에서 멈춰있는데 얼마나 더 해야 0.2까지 가나 혹시 궁금해서요 ㅎㅎ

[kimbring2]

@SunWuChoi 저 같은 경우 CPU가 최신이라 마인크래프트의 경우와 같이 모델 크기가 크기 않은 경우 CPU만으로도 충분해서 아마 주석 처리가 되어 있나보군요. 수정을 좀 해야할 것 같네요.

Supervised Learning의 경우 Tensorboard X 축은 Dataset에서 한번 tracjectory를 불러올때마다 하나씩 증가하니까 파일 갯수로 보는게 맞네요.

저 같은 경우 TreeChop 데이터셋 학습할때 이틀 남짓 걸렸습니다. 다른 간단한 환경에 비해서는 꽤 오래 걸리는 것 같아요.

[SunWuChoi]

혹시 learner 에서 위에 말한 오류가 나오고나서 얼마나 지나야 학습이 시작되는지 아시나요? gpu False 로 해놓고 기다려보았는데 30분 정도 기다렸는데 큰 변화가 없네요, 혹시 다른 조치를 할게 있을까요? 그리고 reference 로 혹시 readme 에서 나온 모델을 보내주실수 있나요? 한번 evaluation 에 넣어서 얼마나 잘 학습했는지 직접 보고싶네요 !
[email protected] 입니다!

ps.
다시 돌려보고있습니다, update 안에 print("update") 넣어서 들어가는지 보고있는데 일단 뭔가 일어나고있네요! 좀더 기다려보고 tree rl model 생성되는지 확인해봐야겠습니다 !

[kimbring2]

@SunWuChoi learner.py하고 actor.py가 같이 돌아가야 학습이 진행되니까 Tmux에서 CTRL + H 눌러서 actor 쪽도 한번 가서 에러가 없는지 봐야할 것 같네요. 제 TreeChop 학습 모델은 메일로 보내드리겠습니다.

[SunWuChoi]

와 너무 감사드립니다 !! 적용하고 다시 해보겠습니다 actor 를 안켰네요

[kimbring2]

@SunWuChoi 네, 둘다 켜고 한번 돌려보세요. 안되시면 이야기 해주시고요.

[SunWuChoi]

파일 잘 받았습니다 !! 감사합니다
tree_supervised_model_15800 이 supervised learning 모델인가요? 아니면 reinforced learning 학습까지 된건가요? 전자가 맞는거겠죠?