gpt-3.5-turbo-instruct 이 새로 나왔다는 메일이 왔습니다.

1.성능차이

우선 발표한내용에 따르면 전반적으로 성능이 좋다고 합니다.

아래 비교해 놓은 그림을 한 번 보세요.

InstructGPT의 독성, 진실성, 적절성을 평가합니다. 점수가 낮을수록 독성 및 환각에 더 좋고, 점수가 높을수록 TruthfulQA 및 적절성에 더 좋습니다. 환각과 적절성은 API 프롬프트 배포를 통해 측정됩니다. 결과는 모델 크기 전반에 걸쳐 결합됩니다.

2. 사용방법

사용방법은 기존 chatgpt-turbo와 약간다릅니다.

그냥 모델만 바꾸면될줄 알고 했더니 오류가 나서 공식문서를 찾아보니 코드가 좀 다르더군요.

위와 같은 구조로 코드를 입력해야 합니다.

max_tokens를 넣지 않으면 짧은 답변이 나오거나 아예 생성되지 않는 걸로 봐서 필수로 넣어야 하는 듯합니다.

근데 input과 함께 4097 토큰이라 입력값의 토큰을 대충 예상하고 작성하셔야 할듯 합니다.

3. 실제 결과 비교

turbo와 instruct를 함께 동일 프롬프트에 템퍼레처를 0으로 주고 돌려보았습니다.

"중력을 6살 아이에게 설명하는 글을 작성해줘."

라고 모두에게 부탁했습니다.

3-1. gpt-3.5-turbo

중력은 지구의 무게를 느낄 수 있게 해주는 힘입니다. 이 힘은 모든 물체에 작용하며, 지구의 중심에서 바깥으로 향하는 방향으로 작용합니다.

6살 아이들이 중력을 이해하는 것은 어려울 수 있지만, 간단한 예시를 통해 설명해보겠습니다. 너무나 가볍고 작은 깃발을 손에 들고 있다고 상상해봅시다. 그리고 그 깃발을 놓아버린다면 어떻게 될까요? 깃발은 땅으로 떨어지게 될 것입니다. 이것은 중력이 작용하기 때문입니다.

중력은 모든 물체에 작용하기 때문에, 우리도 중력을 느낄 수 있습니다. 예를 들어, 우리가 뛰어오르면 다시 땅으로 내려오게 됩니다. 이것은 중력이 우리를 땅으로 끌어당기기 때문입니다.

중력은 또한 우리가 걷거나 물건을 들어올릴 때도 작용합니다. 만약 우리가 무거운 가방을 들어올리려고 한다면, 중력은 그 가방을 땅으로 당기려고 할 것입니다. 그래서 우리는 무거운 물체를 들어올리기 위해서는 더 많은 힘을 사용해야 합니다.

중력은 우리 생활에서 매우 중요한 역할을 합니다. 그것이 없다면 우리는 땅에서 떨어져서 떠다니게 될 것입니다. 그래서 중력은 우리가 안전하게 지구에 서있을 수 있도록 도와주는 것이라고 할 수 있습니다.

이렇게 중력은 지구의 무게를 느낄 수 있게 해주는 힘이며, 모든 물체에 작용하는 힘이라고 설명할 수 있습니다. 6살 아이들에게는 이해하기 어려울 수 있지만, 예시와 함께 이야기해주면 조금 더 이해하기 쉬울 것입니다.

3-2.gpt-3.5-turbo-instruct

안녕, 6살의 너에게 중력에 대해 알려줄게!

중력은 지구의 무게를 느끼게 해주는 힘이야. 지구는 너와 나, 그리고 모든 것들이 있는 곳이야. 그래서 지구의 무게를 느끼게 되는거야.

너는 아마 놀이터에서 미끄럼틀을 타거나 공을 던지면서 중력을 느끼게 될 거야. 미끄럼틀을 타면서 내려오는 것도 중력 때문이야. 중력은 땅으로 떨어지게 만드는 힘이라고 생각하면 쉬울 거야.

그리고 중력은 모든 물체에 작용해. 예를 들어, 너가 높은 곳에서 공을 던지면 공은 땅으로 떨어지게 될 거야. 이것도 중력 때문이야.

중력은 우리가 살아가는 데에도 중요한 역할을 해. 우리가 걷거나 뛰면 중력이 우리를 땅에 붙잡아주기 때문에 넘어지지 않고 잘 움직일 수 있어.

그리고 중력은 우리가 살아가는 데에도 중요한 역할을 해. 우리가 걷거나 뛰면 중력이 우리를 땅에 붙잡아주기 때문에 넘어지지 않고 잘 움직일 수 있어.

그래서 중력은 우리 생활에서 꼭 필요한 힘이야. 이제 너도 중력에 대해 조금 더 알게 되었지? 그리고 중력이 우리를 지구에 붙잡아주기 때문에 우리는 안전하게 살 수 있어. 재미있는 놀이를 하면서 중력을 느껴보는 것도 좋은 방법이야. 앞으로도 계속 중력에 대해 관심을 갖고 배워보는 건 어때? 

3-3. 결론

비교되시나요? 좀 더 의도를 잘 파악하는 것 같습니다. 좀 더 테스트 해봐야겠지만 재미있는 결과물을 내놓아 흥미롭게 사용해볼 수 있을 듯합니다.