DEVOCEAN

이미지 + GPT로 여러가지를 시도해보던 중, 겪었던 어려움을 공유드립니다 :)

그림에서 보듯이, GPT는 큰 글자나 명확한 글자도 인식하는 데 어려움을 겪을 수 있습니다.

"덖음"이라는 조리법에 해당하는 단어를 "더움"으로 완전히 오판하고있죠.

이번 글에서는 왜 이런 현상이 나타나는지에 대해 포스팅 해보려 합니다. (w/ GPT)

혹시 틀린 내용이 있다면, 댓글 부탁드립니다 :)

1. GPT는 무엇을 "읽는다"고 하는가?

GPT는 AI 언어 모델로, 실제로 이미지를 보고 "읽는" 능력은 제한적입니다. 여기서 "읽는다" 는 것은 사람이 글을 읽는 것과는 다른 방식입니다.

GPT는 OCR을 이용하기도 하지만, 사람처럼 글자를 시각적으로 읽는 것이 아니라 텍스트를 확률적 패턴과 기계 학습을 기반으로 "예측" 합니다.

즉, 주어진 텍스트 나 이미지를 보고 가능한 단어의 조합을 예측하는 방식인거죠. 따라서, 사람이 인지하는 '읽는다'와는 다릅니다.

그래서 학습할때 잘 나오지 않은 단어이거나 (학습 편향) 화면상에서 텍스트가 잘린 경우 등에는 특히 잘못 읽을 수 있습니다.

2. GPT가 인식하지 못하는 UI의 문제들

GPT는 텍스트 오버플로우(텍스트 잘림)와 같은 시각적 문제를 잘 인식하지 못합니다.

텍스트가 화면에서 잘리거나 일부만 표시되는 상황을 사람은 쉽게 인 식하지만, GPT는 이를 텍스트의 완전한 형태로 인식할 수도 있는거죠.

아래는 그 예시 화면입니다.

저는 GPT에게 글자가 잘린 결함을 식별해보라고 시켰습니다.

파란 박스를 보시면, [전체글]의 "글", [공지사항]의 "사항"이 잘려 보입니다.

이것을 GPT는 어떻게 판단했을까요?

[전체글]의 "글"은 반만 잘렸으니 인식한걸수도 있다 치더라도, [공지사항]의 "항"은 어디에서도 찾아볼 수 없는 글자입니다.

하지만 GPT는 이미지 안에 "공지사항"이라는 글자가 있다고 인식을 했습니다.

글자가 잘린 걸 확인하고 싶었던건데, GPT는 없는 글자를 만들어서 읽어버린거죠.

또 다른 예시로 첫번째 사진이었던, [덖음]으로 돌아가봅니다.

사람이 보기에는 명백히 덖음으로 읽혀야 하지만, GPT는 이를 "더운"으로 잘못 읽는 경우가 생겼었죠?

GPT에게 물어보니 이유는 다음과 같습니다.

이런 이유로, GPT는 단어를 문자 그대로 읽지 못하고, 오히려 자주 접한 패턴을 기반으로 잘못된 결과를 반환할 수도 있습니다.

GPT의 강점인 맥락의 이해가, 이런 형태의 아쉬움이 될 수도 있겠네요.

3. 해결을 위해 시도해 본 것

예시로 드린 두 가지의 문제에 대하여, 원하는 수준에 달성하기 위해 여러가지로 시도를 해보고 있습니다.

• 자음+ 모음을 별도로 인식 후 조합

• 글자가 잘렸다는 가정하에 GPT에게 질의

• OCR 활용

OCR을 활용하는 방법이 그나마 정확도가 높았으나, 세 방법 모두 완전히 원하는 수준에 Meet하지는 못했습니다.

계속 방법을 찾고 있는 중입니다 ^^;

결론

현재 GPT와 같은 AI 언어 모델은 텍스트 인식과 해석에서 몇 가지 중요한 한계를 가지고 있습니다.

예를 들어, "덕음"을 더움"으로 잘못 읽는 사례처럼 AI는 단순히 글자를 문자 그대로 읽지 않고, 패턴과 확률 기반으로 판단하는 경향이 있습니다.

또한, 텍스트 오버플로우나 시각적 왜곡과 같은 UI 문제를 감지하고 정확히 이해하는 데에도 한계가 있습니다.

이런 현상은 AI가 사람처럼 시각적 문맥과 디테일을 해석하지 못하기 때문입니다.

혹시 구성원 여러분들 중 덖음을 AI가 "덖음"으로 읽고, 잘린 글자는 잘렸다고 정확하게 읽게 만드는 해결책을 찾으신다면, 부디 저와 공유 부탁드립니다 :)

또, 저와 비슷한 고민을 하고 계시는 분이 계시다면 여러분의 경험과 해결책을 공유 부탁드립니다.