Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

在IRControlNet的基础上能否叠加LoRA控制？ #123

Open
JFrankLee opened this issue Jun 14, 2024 · 13 comments
Open

在IRControlNet的基础上能否叠加LoRA控制？ #123

JFrankLee opened this issue Jun 14, 2024 · 13 comments

Comments

@JFrankLee
Copy link

通过IRControlNet可以通过LQ对生成图像进行限制，在此基础上，能否再叠加上lora对生成的图像进行略微的控制呢？lora与ircontrolnet会不会有所冲突？
@rainsoulsrx
Copy link

通过IRControlNet可以通过LQ对生成图像进行限制，在此基础上，能否再叠加上lora对生成的图像进行略微的控制呢？lora与ircontrolnet会不会有所冲突？

同问，请问你有做实验看了吗

@JFrankLee
Copy link
Author

通过IRControlNet可以通过LQ对生成图像进行限制，在此基础上，能否再叠加上lora对生成的图像进行略微的控制呢？lora与ircontrolnet会不会有所冲突？

同问，请问你有做实验看了吗

还在实验中呢，可以加wx交流一下

@rainsoulsrx
Copy link

通过IRControlNet可以通过LQ对生成图像进行限制，在此基础上，能否再叠加上lora对生成的图像进行略微的控制呢？lora与ircontrolnet会不会有所冲突？

同问，请问你有做实验看了吗

还在实验中呢，可以加wx交流一下

两者会有冲突吗

@JFrankLee
Copy link
Author

通过IRControlNet可以通过LQ对生成图像进行限制，在此基础上，能否再叠加上lora对生成的图像进行略微的控制呢？lora与ircontrolnet会不会有所冲突？

同问，请问你有做实验看了吗

还在实验中呢，可以加wx交流一下

两者会有冲突吗

貌似有略微的冲突，但我还不确定是冲突的原因还是我训练的lora本身不够鲁棒

@rainsoulsrx
Copy link

通过IRControlNet可以通过LQ对生成图像进行限制，在此基础上，能否再叠加上lora对生成的图像进行略微的控制呢？lora与ircontrolnet会不会有所冲突？

同问，请问你有做实验看了吗

还在实验中呢，可以加wx交流一下

两者会有冲突吗

貌似有略微的冲突，但我还不确定是冲突的原因还是我训练的lora本身不够鲁棒

你可以试试那些下载量大的开源lora

@JFrankLee
Copy link
Author

通过IRControlNet可以通过LQ对生成图像进行限制，在此基础上，能否再叠加上lora对生成的图像进行略微的控制呢？lora与ircontrolnet会不会有所冲突？

同问，请问你有做实验看了吗

还在实验中呢，可以加wx交流一下

两者会有冲突吗

貌似有略微的冲突，但我还不确定是冲突的原因还是我训练的lora本身不够鲁棒

你可以试试那些下载量大的开源lora

diffbir用的sd2.1，这个版本的lora太少了...

@rainsoulsrx
Copy link

通过IRControlNet可以通过LQ对生成图像进行限制，在此基础上，能否再叠加上lora对生成的图像进行略微的控制呢？lora与ircontrolnet会不会有所冲突？

同问，请问你有做实验看了吗

还在实验中呢，可以加wx交流一下

两者会有冲突吗

貌似有略微的冲突，但我还不确定是冲突的原因还是我训练的lora本身不够鲁棒

你可以试试那些下载量大的开源lora

diffbir用的sd2.1，这个版本的lora太少了...

阿这，确实是，，，忘了这茬了。。。或者可以看看supir。。

@JFrankLee
Copy link
Author

通过IRControlNet可以通过LQ对生成图像进行限制，在此基础上，能否再叠加上lora对生成的图像进行略微的控制呢？lora与ircontrolnet会不会有所冲突？

同问，请问你有做实验看了吗

还在实验中呢，可以加wx交流一下

两者会有冲突吗

貌似有略微的冲突，但我还不确定是冲突的原因还是我训练的lora本身不够鲁棒

你可以试试那些下载量大的开源lora

diffbir用的sd2.1，这个版本的lora太少了...

阿这，确实是，，，忘了这茬了。。。或者可以看看supir。。

是的，，我现在已经基本放弃IRcontrolnet了，supir基于sdxl的效果会好得多。不知道为啥IRcontrolnet要选2.1这么冷门的版本，bug还多。1.5的生态都要好得多

@rainsoulsrx
Copy link

通过IRControlNet可以通过LQ对生成图像进行限制，在此基础上，能否再叠加上lora对生成的图像进行略微的控制呢？lora与ircontrolnet会不会有所冲突？

同问，请问你有做实验看了吗

还在实验中呢，可以加wx交流一下

两者会有冲突吗

貌似有略微的冲突，但我还不确定是冲突的原因还是我训练的lora本身不够鲁棒

你可以试试那些下载量大的开源lora

diffbir用的sd2.1，这个版本的lora太少了...

阿这，确实是，，，忘了这茬了。。。或者可以看看supir。。

是的，，我现在已经基本放弃IRcontrolnet了，supir基于sdxl的效果会好得多。不知道为啥IRcontrolnet要选2.1这么冷门的版本，bug还多。1.5的生态都要好得多

所以你在supir上面试过吗，能不能叠加lora呢

@JFrankLee
Copy link
Author

通过IRControlNet可以通过LQ对生成图像进行限制，在此基础上，能否再叠加上lora对生成的图像进行略微的控制呢？lora与ircontrolnet会不会有所冲突？

同问，请问你有做实验看了吗

还在实验中呢，可以加wx交流一下

两者会有冲突吗

貌似有略微的冲突，但我还不确定是冲突的原因还是我训练的lora本身不够鲁棒

你可以试试那些下载量大的开源lora

diffbir用的sd2.1，这个版本的lora太少了...

阿这，确实是，，，忘了这茬了。。。或者可以看看supir。。

是的，，我现在已经基本放弃IRcontrolnet了，supir基于sdxl的效果会好得多。不知道为啥IRcontrolnet要选2.1这么冷门的版本，bug还多。1.5的生态都要好得多

所以你在supir上面试过吗，能不能叠加lora呢

也是还在实验中，目前看起来影响不是很大

@rainsoulsrx
Copy link

通过IRControlNet可以通过LQ对生成图像进行限制，在此基础上，能否再叠加上lora对生成的图像进行略微的控制呢？lora与ircontrolnet会不会有所冲突？

同问，请问你有做实验看了吗

还在实验中呢，可以加wx交流一下

两者会有冲突吗

貌似有略微的冲突，但我还不确定是冲突的原因还是我训练的lora本身不够鲁棒

你可以试试那些下载量大的开源lora

diffbir用的sd2.1，这个版本的lora太少了...

阿这，确实是，，，忘了这茬了。。。或者可以看看supir。。

是的，，我现在已经基本放弃IRcontrolnet了，supir基于sdxl的效果会好得多。不知道为啥IRcontrolnet要选2.1这么冷门的版本，bug还多。1.5的生态都要好得多

所以你在supir上面试过吗，能不能叠加lora呢

也是还在实验中，目前看起来影响不是很大

我这边也是这个发现，感觉大部分都是被controlnet控制住了

@JFrankLee
Copy link
Author

通过IRControlNet可以通过LQ对生成图像进行限制，在此基础上，能否再叠加上lora对生成的图像进行略微的控制呢？lora与ircontrolnet会不会有所冲突？

同问，请问你有做实验看了吗

还在实验中呢，可以加wx交流一下

两者会有冲突吗

貌似有略微的冲突，但我还不确定是冲突的原因还是我训练的lora本身不够鲁棒

你可以试试那些下载量大的开源lora

diffbir用的sd2.1，这个版本的lora太少了...

阿这，确实是，，，忘了这茬了。。。或者可以看看supir。。

是的，，我现在已经基本放弃IRcontrolnet了，supir基于sdxl的效果会好得多。不知道为啥IRcontrolnet要选2.1这么冷门的版本，bug还多。1.5的生态都要好得多

所以你在supir上面试过吗，能不能叠加lora呢

也是还在实验中，目前看起来影响不是很大

我这边也是这个发现，感觉大部分都是被controlnet控制住了

你加的是什么lora呢

@rainsoulsrx
Copy link

通过IRControlNet可以通过LQ对生成图像进行限制，在此基础上，能否再叠加上lora对生成的图像进行略微的控制呢？lora与ircontrolnet会不会有所冲突？

同问，请问你有做实验看了吗

还在实验中呢，可以加wx交流一下

两者会有冲突吗

貌似有略微的冲突，但我还不确定是冲突的原因还是我训练的lora本身不够鲁棒

你可以试试那些下载量大的开源lora

diffbir用的sd2.1，这个版本的lora太少了...

阿这，确实是，，，忘了这茬了。。。或者可以看看supir。。

是的，，我现在已经基本放弃IRcontrolnet了，supir基于sdxl的效果会好得多。不知道为啥IRcontrolnet要选2.1这么冷门的版本，bug还多。1.5的生态都要好得多

所以你在supir上面试过吗，能不能叠加lora呢

也是还在实验中，目前看起来影响不是很大

我这边也是这个发现，感觉大部分都是被controlnet控制住了

你加的是什么lora呢

https://civitai.com/models/141969?modelVersionId=157393

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
2 participants
@rainsoulsrx @JFrankLee