본격 LLM 활용기 (1)

안녕하세요.

 

간단하게 LLM을 배웠으니 이제 실전입니다.

 

첫 번째 구조 

먼저 간단하게 구조만 짚고 넘어가 보자면,

 

챗봇의 구조

Flutter로 제작된 Frontend를 위한 서버가 하나 제작합니다. 

이후 Python으로 제작한 곳에서는 AI와 관련된 연산을 담당합니다. 

 

앞으로 무언가가 추가될 수 있지만, 간단한 구조로 생성하려고 합니다.

 

두 번째  통신

마지막으로 채팅의 핵심 기능은 통신 

 

통신은 HTTP vs WebSocket으로 고민을 했습니다.  

단순히 챗봇만을 생각한다면, HTTP가 맞습니다. 비 연결성이기도 하고 내가 요구하면, 응답만 하면 되는 것입니다.

 

하나의 화면에서 채팅을 하려는 걸 생각하면 WebSocket이 맞습니다. 

한번 채팅을 치면 HTTP를 사용하면, 새로고침 때문에 깜빡이는 건 나쁜 경험을 제공합니다. 

상담원이 껴서 메시지를 전달해야 하는 경우라면 HTTP로는 구현시  실시간 채팅이 불가능합니다. 

 

따라서 Frontend Server에서는 WebSocket을 이용하여 구현이 되어있습니다.  

 

 

 

 

 

 

[환경]

IDE :  Visucal Code , Android Studio 2024.3.1 Patch 1

Python version:  3.12

Flutter : 3.19.4

 

 

[도움]

 

1. 응원 댓글은 글 쓰는데 힘이 됩니다.

2. 공감도 글 쓰는데 힘이 됩니다. 

3. 광고 한번 클릭해주시면 힘은 두 배가 됩니다. 

4. 혹시라도 부족한 부분이 있다면 덧글로 남겨주세요. 남기시면, 더 나은 글을 쓸 재료가 됩니다.

 

 

[reference]