DEVOCEAN

from PIL import Image
import requests
from transformers import CLIPProcessor, CLIPModel
import torch

# 1. CLIP 모델 및 프로세스 불러오기
model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

# 2. 이미지 불러오기
url = "https://images.pexels.com/photos/248547/pexels-photo-248547.jpeg?auto=compress&cs=tinysrgb&w=800"
image = Image.open(requests.get(url, stream=True).raw)

# 3. 텍스트 리스트 정의하기
texts = ["고양이", "강아지", "자전거 타는 사람"]

# 4. 모델을 사용하기 위한 입력 준비
inputs = processor(text=texts, images=image, return_tensors="pt", padding=True)

# 5. 모델 추론 및 유사도 계산
with torch.no_grad():
  outputs = model(**inputs)
  logits_per_image = outputs.logits_per_image  # (1, N_texts)
  probs = logits_per_image.softmax(dim=1)      # (1, N_texts)

# 6. 유사도 추출
logits_per_image = outputs.logits_per_image  # shape: [1, number_of_texts]
for text, prob in zip(texts, probs[0]):
    print(f"{text}: {prob.item():.2f}")

max_idx = probs.argmax().item()
print(f"이 이미지는 '{texts[max_idx]}'와 가장 유사합니다. (확률: {probs[0][max_idx].item():.2f})")

# 7. 확률 계산
probs = logits_per_image.softmax(dim=1)

print("확률 :", probs)

# 8. 이미지 출력
thumb_size = (400, 500)
image.thumbnail(thumb_size)  # 종횡비 유지하며 thumb_size 이내로 축소

display(image)

from PIL import Image
import requests
import torch
from transformers import BlipProcessor, BlipForConditionalGeneration
from sentence_transformers import SentenceTransformer, util

# 1. BLIP 모델 및 프로세서 불러오기 (캡셔닝용)
blip_model = BlipForConditionalGeneration.from_pretrained("Salesforce/blip-image-captioning-base")
blip_processor = BlipProcessor.from_pretrained("Salesforce/blip-image-captioning-base")

# 2. 이미지 불러오기
url = "https://images.pexels.com/photos/248547/pexels-photo-248547.jpeg?auto=compress&cs=tinysrgb&w=800"
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")

# 3. 이미지 캡션 생성
inputs = blip_processor(images=image, return_tensors="pt")
with torch.no_grad():
    output_ids = blip_model.generate(**inputs, max_length=20)
caption = blip_processor.decode(output_ids[0], skip_special_tokens=True)
print(f"BLIP 생성 캡션: {caption}")

# 4. 비교할 텍스트 리스트 정의
texts = ["고양이", "강아지", "자전거 타는 사람"]

# 5. 텍스트 임베딩 모델 로드 (문장 유사도 계산용)
embedder = SentenceTransformer("sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2")

# 6. 생성된 캡션과 후보 텍스트의 유사도 계산
caption_emb = embedder.encode(caption, convert_to_tensor=True)
texts_emb = embedder.encode(texts, convert_to_tensor=True)

cos_scores = util.pytorch_cos_sim(caption_emb, texts_emb)[0]

# 7. 결과 출력
for text, score in zip(texts, cos_scores):
    print(f"{text}: {score.item():.2f}")

max_idx = torch.argmax(cos_scores).item()
print(f"이미지(캡션: '{caption}')는 '{texts[max_idx]}'와 가장 유사합니다. (유사도: {cos_scores[max_idx].item():.2f})")

# 8. 이미지 출력
thumb_size = (400, 500)
image.thumbnail(thumb_size)
display(image)