Report of slow responsiveness in the latest local version of RisuAI (146.1)

[SY1447]

I am writing to report a significant slowdown in the response speed of the ChatGPT-4o-lasted and GPT-4O models after updating from Risu local version 131.2 to the latest local version 146.1.

The issue seems to occur only with local 14x versions. I tested this on two personal PCs and observed the same slowdown on version 143. In contrast, when using the same model, prompt, and response streaming on the latest web version (via Google Chrome) during the same time, I did not notice any slowdown. Furthermore, downgrading to version 131.2 resolved the response speed issue entirely.

Additionally, when enabling the automatic translation option (Google Translate), the translation process seems to have become slower, possibly due to a change in the translation method. This overlap exacerbates the delay in responses. When switching to another bot's dialog with automatic translation enabled, the translation often fails to load in time, causing the original bot's dialog to momentarily overlap with the new bot's dialog. This slowdown in translation speed is also noticeable in the latest web version.

I am unsure of the exact cause and have been hesitant to post about it in the developer space. However, I would like to confirm whether others are experiencing the same issue on their PCs or if this is a natural consequence of the program becoming heavier due to new features and updates. Additionally, I’d like to know if this slowdown is something that can be improved.

Additional Report: On version 146.1, disabling the Response Streaming feature seems to prevent the slowdown.

---

안녕하세요.

Risu 로컬 131.2버전을 사용하다 최신 버전인 로컬 146.1버전으로 업데이트를 한 뒤, ChatGPT-4o-lasted 및 GPT-4O 모델의 응답 속도가 기존 대비 크게 느려져 제보를 위해 글을 작성합니다.

증상은 로컬 14x대 버전에서만 발생하는 것 같습니다. 확인한 것은 개인 PC 두 대로, 143버전에서도 응답 속도가 느려진 것을 확인했습니다. 동일한 시각, 동일 모델과 프롬프트, 리스폰스 스트리밍을 켰을 때 최신 웹 버전(구글 크롬)에서는 속도 저하를 느끼지 못했습니다. 다운그레이드한 131.2 버전에서는 응답속도 저하 문제가 발생하지 않습니다.

또한 자동 번역 옵션(구글 번역)을 켰을 때 번역 방식이 바뀐 것인지 번역 속도가 느려졌고, 상기의 문제와 겹쳐져 더욱 응답이 지연되는 문제가 있습니다. 자동 번역을 킨 상태로 다른 봇의 대화창으로 전환할 경우에도 번역을 다 불러오지 못해 기존 봇의 대화창이 나중 봇의 대화창에 순간 겹쳐지는 문제도 있었습니다. 번역 속도 저하는 최신 웹 버전에서도 느낄 수 있었습니다.

명확한 원인을 몰라서 개발자 공간에 글을 써도 되는지 고민했습니다만 동일한 증상이 다른 PC에서도 발생하고 있는지, 또는 버전이 올라가며 프로그램 기능이 다수 추가되어 소위 프로그램 자체가 무거워져서 발생하는 자연스러운 일인지, 개선이 가능한 부분인지 확인하고 싶습니다.

추가) 146.1 버전 기준 Responce Streaming 기능을 끄면 속도 저하가 발생하지 않는 것 같습니다.

감사합니다.

[Asherathe]

I haven't noticed a slowdown, but I only run local models that are much smaller than GPT. Versions since 137.1.0 or so do feel like they use a bit more memory, though.