Я тут тоже решил попробовать локальные нейросетки...
С LLM оказалось все просто: LM Studio и в нем в 2 клика загружаешь нужную модель. Но тут похоже надо пробовать другие интерфейсы - в LM Studio ограничения местами еще больше, чем в облачных LLM - не больше 5 файлов прикреплять можно и не больше 30 Мб...

С графическими моделями все чуток сложнее... Ну точнее на зеленых видеокартах все нормально, а вот с AMD до сих пор нужны танцы с бубном... Но вроде тут все решаемо: или форк stable-diffusion-webui-amdgpu с DirectML, или форк ComfyUI с Zluda, или на Линуксе через ROCm (но тут мне лень - у меня в Mint не хватит места на диске для моделей)

А вот с подключением в LLM нужных мне плагинов на Питоне похоже облом... Кое что железно требует PyTorch + CUDA.