Today, I will

Chat GPT 등의 text 생성형 AI 서비스를 사용하다보면, 사용자는 전체 text resonse가 완성된 이후 응답을 받는 대신에 실시간으로 생성되는 답변의 조각들을 받아볼 수 있다. open ai api에서는 이런 스트리밍 기법을 사용할 수 있도록 스트리밍 api를 제공해주고 있다.  가령 아래와 같은 예시 코드를 LLM 스트리밍 API를 통해 실시간 출력으로 바꾸어보도록 한다.  🔹 기존 코드 (stream=False, 응답을 한 번에 받음)import openaiimport osres = openai.chat.completions.create( model=os.getenv("OPENAI_DEFAULT_MODEL"), messages=[{"role": "user", "content..

Completion mode, 지시와 명령을 하나의 prompt로 전달# Completion mode, 지시와 명령을 하나의 prompt로 전달import osimport openaiopenai.api_key = os.getenv("OPENAI_API_KEY")# 텍스트 생성 요청을 보냅니다.response = openai.completions.create( model=“gpt-3.5-turbo-instruct", prompt="다음을 일본어로 번역하세요: 안녕하세요? 오늘 날씨가 참 좋군요!", max_tokens=256, # 생성된 텍스트의 최대 길이를 설정합니다.)# 생성된 텍스트를 출력합니다.print(response.choices[0].text) Chat modeChat mode# 표준적인 Ch..