이미지 생성 벤치마크
자체 구성한 텍스트-이미지 생성 평가 7건에 이어, 고정된 원본 이미지와 프롬프트를 사용한 이미지 편집 평가 7건을 소개합니다.
01
테스트 케이스
주요 요청사항: 파란색 라마를 뛰어넘는 유리 거북 네 마리의 오른쪽에 있는 빨간색 트롬본 여섯 개. 스타일/매체: 깔끔하고 가독성이 높은 스튜디오 일러스트레이션 구도/프레이밍: 하나의 일관된 정사각형 장면; 모든 물체를 완벽하게 표시; 오른쪽 및 뛰어넘는 관계를 명확하게 표현 제약 조건: 정확히 빨간색 트롬본 6개, 정확히 투명한 유리 거북 4마리, 정확히 파란색 라마 1마리; 추가 물체 없음; 텍스트, 숫자, 라벨, 테두리, 패널, 워터마크 없음.
Gemini > ChatGPT > Muse
Gemini는 정확히 6개의 트롬본을 그린 유일한 모델입니다. ChatGPT는 6개의 트롬본을 그렸지만 거북이 5마리를 잘못 보여주었으며, Muse는 8개의 트롬본과 5마리의 거북이를 그렸습니다.
Gemini는 요청된 수량을 가장 잘 준수하는 모습을 보여줍니다.
02
테스트 케이스
콜라주가 되지 않으면서 친숙한 역할을 뒤바꾼 하나의 넓은 시네마틱 농장 장면을 생성합니다. 중앙에서 완전한 흰색 우주복을 입은 우주비행사가 손과 무릎으로 기어가고 있으며, 정확히 한 마리의 밤색 말이 우주비행사의 생명 유지 배낭 위에 걸터앉아 우주비행사를 타고 있는 모습이 명확히 보여야 합니다. 우주비행사가 말을 타는 모습을 보여주지 마십시오. 왼쪽에서는 작은 파란 새가 짚으로 만든 허수아비를 공격적으로 놀라게 하고 있으며, 허수아비는 팔을 들고 뒤로 기울어져 있습니다. 오른쪽에서는 밝은 분홍색 기린이 낮은 울타리 뒤에서 바라보고 있습니다. 모든 대상이 완전히 보이고, 해부학적으로 식별 가능하며, 공간적으로 분리되도록 유지하십시오. 텍스트나 워터마크가 없어야 합니다.
ChatGPT ≥ Gemini > Muse
ChatGPT는 파란 새가 허수아비를 적극적으로 겁주는 모습을 보여주는 유일한 모델입니다. 다른 이미지에서는 허수아비가 쓰러지는 방향이 새가 접근하는 방향과 일치하지 않습니다.
Muse는 공간 분리가 미흡하여 Gemini에 뒤처집니다. 설득력 있는 깊이감을 전달하는 이미지는 Gemini뿐입니다.
03
테스트 케이스
거울의 기하학적 구조와 손을 테스트하기 위해 설계된 사실적인 정사각형 화장대 장면을 생성합니다. 한 여성이 대형 세로 거울을 향해 서서 실제 왼손을 들고 손바닥을 유리 쪽으로 향하고 있습니다. 그 반사상은 거울 오른쪽에 나타나야 하며 동일한 손바닥을 보여주어야 합니다. 그녀의 실제 왼손에는 정확히 세 개의 반지(검지에는 빨간 보석, 중지에는 민자 골드, 약지에는 파란 보석)를 끼고 있으며, 실제 오른쪽 손목에만 은팔찌를 차고 있습니다. 거울 왼쪽에 초록색 컵을, 오른쪽에 빨간색 컵을 놓으십시오. 반사된 위치는 반대로 뒤집혀야 합니다. 실제 손에는 총 10개의 자연스러운 손가락을 보여주고, 반사된 손의 일관성을 유지하며, 추가 보석, 텍스트 또는 워터마크가 없어야 합니다.
Muse > Gemini > ChatGPT
Muse는 양손에 대한 지시 사항을 정확하게 따릅니다.
Gemini는 왼손을 들지 않으며, 모든 장신구를 오른손에 배치합니다.
ChatGPT는 오른쪽에 손이 하나 더 있어서 부자연스럽고 무섭습니다.
04
테스트 케이스
하나의 연속된 빨간 벽돌 담장에 그려진 사실적인 스트리트 아트 사진을 생성합니다. 상단 중앙 전체에 대문자 문장 “BE EXCELLENT TO EACH OTHER”를 대형 흰색 블록체로 완벽한 철자로 한 번만 칠하십시오. 그 아래의 명확하게 곡선을 이루는 터키색 기준선 위에 두 개의 악센트, 엠 대시, 소문자, 느낌표를 그대로 유지하여 정확히 “Crème brûlée — déjà vu!”라고 쓰십시오. 오른쪽에는 검은색 턱시도와 빨간색 나비넥타이를 매고 있는 초록색 외계인 1명의 그래피티를 포함하십시오. 전경의 왼쪽 인도에는 노란색 소화전 1개를 놓되, 맨 오른쪽의 작은 포스터에는 정확히 “eXit 7½”라고 적혀 있어야 합니다. 읽을 수 있는 다른 텍스트, 중복된 글자, 워터마크 또는 콜라주 패널이 없어야 합니다.
ChatGPT > Muse > Gemini
ChatGPT는 요구 사항을 정확하게 따릅니다.
Muse는 잘못된 악센트 기호를 사용하여 “brûlée”를 “û”로 씁니다.
Gemini는 왼쪽에 거리, 오른쪽에 벽 모퉁이를 지어내어 하나의 연속된 벽을 요청한 조건에 위배됩니다.
05
테스트 케이스
전문적인 스테인리스 스틸 주방 내부를 촬영한 심도 깊은 시네마틱 사진을 생성합니다. 중앙 전경에서 셰프가 오른손에 검은색 집게를 들고 정확히 두 개의 스테이크가 담긴 팬 위에 두고 있으며, 왼손은 팬 손잡이를 잡고 있습니다. 왼쪽에서는 수셰프가 유리 볼에 빨간 토마토, 초록 잎채소, 노란 피망을 버무리고 있습니다. 배경에서는 정확히 세 명의 작업자가 각각 재료를 썰고, 음식을 담고, 오븐을 열고 있습니다. 그들 위로 구리 팬 네 개를 걸어두되, 왼쪽에서 오른쪽으로 갈수록 크기가 줄어들게 하십시오. 주문서 전달대 위의 주문 티켓에는 정확히 “TABLE 7”이라고 적혀 있습니다. 올바른 손 모양을 보여주고 여분의 직원이나 텍스트가 없어야 합니다.
Gemini > Muse > ChatGPT
Gemini는 공간적 깊이감을 가장 잘 표현하고 주문표를 합리적인 위치에 배치합니다.
Muse는 비현실적인 3차원 공간을 생성하며, 오븐을 열고 있는 작업자가 전경에 있는 셰프와 합쳐진 것처럼 보입니다.
ChatGPT는 가장 비현실적인 3D 공간을 보여줍니다. 팬은 셰프와 동일한 거리에 있는 것처럼 보이지만 일반적인 팬보다 훨씬 작습니다. 이미지의 왼쪽과 오른쪽은 서로 다른 깊이를 보여줍니다(3명의 작업자는 왼쪽이 시사하는 것보다 훨씬 더 뒤에 있습니다).
06
테스트 케이스
매트한 회색 바닥 위에 물리적으로 그럴듯한 스튜디오 정물화를 생성합니다. 광택이 나는 빨간색 구 뒤쪽이면서 노란색 원뿔 앞쪽에 투명한 유리 정육면체를 놓으십시오. 구는 정육면체를 부분적으로 가리고, 정육면체는 원뿔을 부분적으로 가리되 모든 실루엣은 식별 가능해야 합니다. 정육면체 내부에 정확히 두 개의 파란색 구슬을 수직으로 띄워 놓으십시오. 맨 왼쪽에는 세 개의 작은 은색 피라미드를 앞뒤로 일렬로 배치하십시오. 맨 오른쪽에는 네 개의 초록색 고리를 병합되지 않게 사슬처럼 겹쳐 놓으십시오. 모든 그림자가 오른쪽 아래로 떨어지도록 왼쪽 상단에서 전체에 빛을 비추십시오. 텍스트나 추가 형태가 없어야 합니다.
Muse = ChatGPT > Gemini
Muse는 괜찮은 작업을 수행하지만, 빨간색 구체의 양쪽에 반사광이 나타나 오른쪽에도 두 번째 광원이 있음을 잘못 암시합니다.
ChatGPT도 비슷한 문제가 있지만 두 번째 광원 문제는 덜 두드러집니다. 반면에 정육면체는 더 왜곡되어 있습니다.
Gemini에는 고리가 세 개만 포함되어 있으며, 유리 큐브 안의 구슬에는 비현실적인 반사가 비칩니다.
07
테스트 케이스
왼쪽에서 오른쪽으로 세 개의 가판대가 있는 하나의 연속된 사진처럼 사실적인 야시장 장면을 생성하세요. 파란색 서점 가판대의 흰색 표지판에는 “LIBROS”라고 적혀 있고, 빨간색 찻집 가판대의 크림색 표지판에는 “茶”라고 적혀 있으며, 초록색 빵집 가판대의 검은색 표지판에는 “خبز”라고 적혀 있습니다. 정확히 다섯 개의 빨간 등불을 가운데 가판대 위에만 걸어 두세요. 왼손잡이 상인이 왼손에 든 은색 주전자에서 파란색, 흰색, 노란색 순서로 놓인 컵에 차를 따르고 있습니다. 앞쪽에는 왼쪽에 있는 점박이 개와 오른쪽에 있는 줄무늬 고양이 사이에 보라색 코트를 입은 아이를 배치하세요. 모든 문자, 개수, 색상 및 대응 관계를 유지하세요. 다른 읽을 수 있는 텍스트는 없어야 합니다.
ChatGPT = Muse = Gemini
모든 모델이 야시장의 분주하고 사실적인 분위기를 잘 포착합니다.
Gemini는 등을 중앙 가판대 위에 정확히 배치하는 반면, Muse와 ChatGPT는 가판대 안에 배치합니다.
However, Gemini also introduces readable words on the right, contrary to the instruction.
이미지 편집
08
이미지 A를 기본 사진으로 사용하여 편집합니다. 중앙 전경을 차지하고 있는 큰 검은색 자전거(은색 핸들바, 검은색 안장, 검은색 체인 가드, 밝은 은색 앞 펜더가 있는 자전거)만 제거하세요. 자전거에 가려진 부분인 뒤쪽의 초록색 자전거, 칠해진 벽돌 벽, 몰타르 선, 그래피티 자국, 연석, 보도 블록을 연속적이고 물리적으로 자연스럽게 보이도록 복원하세요. 다른 모든 자전거, 남아 있는 모든 그래피티 자국, 크롭, 카메라 위치, 햇빛, 그림자, 질감 및 사진 입자를 변경 없이 유지하세요. 개체, 텍스트, 흐림 효과, 반복되는 바퀴살 또는 눈에 띄는 보정 흔적을 추가하지 마세요. 이미지 A와 동일한 가로 구도와 종횡비로 결과를 만드세요.
Muse > ChatGPT > Gemini
Muse는 남아 있는 중앙 자전거의 앞바퀴가 은색이어야 함을 정확하게 추론하여 ChatGPT를 근소하게 앞섰습니다.
ChatGPT 역시 그래피티 하단을 따라 부자연스러운 단절을 남깁니다.
Gemini는 자전거를 전혀 제거하지 못합니다.
09
이미지 A를 기본 사진으로 사용하여 편집합니다. 차문, 앞 펜더, 후드 가장자리, 리어 쿼터 패널, 루프라인 위의 작은 빨간색 돌출 바디 패널을 포함하여 차량의 노출된 빨간색 도장 외장 금속 패널만 짙은 브리티시 레이싱 그린 메탈릭 페인트로 변경하세요. 새 페인트는 기존 패널의 이음새, 하이라이트 및 나무 반사를 유지해야 합니다. 갈색 비닐 루프, 크롬 트림, 미러, 유리, 검은색 고무, 도어 핸들, 자물쇠, 안테나, 배지, 인테리어, 운전자, 부케 또는 배경의 색상을 변경하거나 재디자인하지 마세요. 차량 모델이나 형상을 변경하지 마세요. 원본 크롭, 피사계 심도, 조명 및 종횡비를 유지하고 텍스트, 로고 또는 개체를 추가하지 마세요.
Muse = Gemini > ChatGPT
Muse는 Ranchero 배지에 원치 않는 선명화를 적용하지만, 풀밭의 반사는 원본 이미지에 더 충실합니다.
Gemini는 잔디 그림자를 선명하게 하지만 배지는 변경하지 않은 상태로 둡니다.
ChatGPT는 Ranchero 배지를 선명하게 하고 그림자에 과도한 선명화를 적용하여 최하위를 기록했습니다.
10
이미지 A를 기본 사진으로 사용하여 편집합니다. 흐린 낮 장면을 비가 내린 직후의 사실적인 블루 아워로 변경하세요. 하늘을 맑고 짙은 코발트 블루빛 일몰로 만들고, 따뜻한 실내 조명과 캐노피 아래 조명을 켜세요. 그 따뜻한 조명과 기존의 보라색 스테이션 밴드가 이미 젖어 있는 보도 블록에 은은하게 반사되도록 하세요. 동일한 카메라 위치, 광각 시점, 건물 형상, 캐노피, 기둥, 출입구, 보도 블록 레이아웃, 보라색 밴드 및 읽을 수 있는 흰색 단어 "Woolwich"를 정확하게 유지하세요. 기존의 모든 사람, 볼라드, 포스터 및 표지판을 원래 위치에 두고 아무것도 추가하거나 제거하지 마세요. 텍스트를 재작성, 번역 또는 지어내지 마세요. 네온 판타지 느낌이 아닌 사실적인 다이내믹 레인지를 유지하고 동일한 가로 구도와 종횡비로 결과를 만드세요.
Gemini > Muse > ChatGPT
세 모델 모두 독특한 카메라 각도, 원근감 및 텍스트를 적절히 유지하면서 젖은 바닥을 생성합니다.
Gemini는 올바른 조명을 사용한 유일한 모델입니다. Muse와 ChatGPT 모두 원본 이미지에 없던 조명을 지어냈기 때문입니다.
ChatGPT 램프는 위치가 어색하고 왼쪽에 있는 나무에 추가 램프를 생성하므로 최하위를 기록했습니다.
11
이미지 A를 기본 방으로 사용하고 이미지 B는 가구 참조용으로만 사용하세요. 이미지 A에서 밝은 뒷창문 두 개 사이에 위치하고 파란색 소파 뒤에 부분적으로 가려진 중앙 뒤쪽의 좁은 연두색 천을 씌운 암체어만 이미지 B의 파란색과 금색 암체어로 교체하세요. 이미지 B 특유의 사각형 파란색 등받이와 좌석, 금박을 입힌 조각 목재 프레임, 개방형 암레스트, 태슬 술장식, 날렵한 다리를 유지하세요. 원래 의자의 바닥 위치와 시야각에 현실적인 방 크기에 맞추고, 따뜻한 창문 빛, 바닥 접촉 그림자, 원근감 및 자연스러운 가장자리 가림을 일치시키세요. 파란색 소파, 커피 테이블, 러그, 빌트인 창가 좌석, 조명, 창문, 샹들리에, 목재 벽 또는 이미지 A의 다른 부분을 변경하지 마세요. 이미지 B의 회색 박물관 배경을 유지하지 마세요. 이미지 A의 원래 가로 구도와 종횡비를 유지하세요. 추가 가구, 텍스트 또는 콜라주 테두리는 금지됩니다.
Muse > Gemini = ChatGPT
Muse는 수정된 의자를 원래 방향대로 배치한 유일한 모델이며, 다른 두 모델은 의자를 오른쪽으로 너무 멀리 돌렸습니다.
12
세 가지 참조 이미지를 모두 사용하되 각각의 역할을 엄격히 지켜 하나의 정사각형 실사풍 에디토리얼 스튜디오 인물 사진을 만드세요. 이미지 A에 나온 것과 동일한 줄무늬 회색 고양이가 이미지 B에 나온 것과 정확히 동일한 윙체어 위에 똑바로 앉아 약간 왼쪽을 바라보도록 배치하세요. 고양이의 얼굴, 연두색 눈, 이마의 어두운 줄무늬, 회색 빛깔의 털, 귀 모양, 고리 모양 무늬가 있는 긴 꼬리를 그대로 유지하세요. 이미지 B의 높은 윙 백, 말려 있는 암레스트, 넓은 시트, 곡선형 앞다리, 어두운 하부 가로대를 유지하되, 덮개 패브릭만 이미지 C의 정확한 '딸기 도둑(Strawberry Thief)' 직물로 교체하세요. 이 직물은 네이비 바탕, 대칭을 이루는 지빠귀, 빨간 딸기, 파란 잎, 분홍색 꽃으로 구성되어 있으며, 의자 전반에 걸쳐 최소 두 마리의 완전한 새가 보일 정도의 스케일이어야 합니다. 매끄러운 따뜻한 회색 스튜디오 배경과 일관된 접촉 그림자가 생성되도록 좌측 상단에서 비추는 부드러운 조명을 사용하세요. 이미지 A의 나뭇잎이나 바닥, 이미지 B의 아카이브 배경, 이미지 C의 직사각형 원단 샘플을 복사하지 마세요. 목걸이, 의상, 추가 동물, 추가 가구, 텍스트, 테두리 또는 콜라주 패널은 없어야 합니다.
ChatGPT > Muse > Gemini
ChatGPT는 프롬프트에 가장 충실한 응답을 생성합니다.
ChatGPT 결과물의 의자는 원래 의자의 먼지가 쌓이고 낡은 외관을 그대로 유지합니다.
Muse는 의자의 방향과 세부 사항을 완벽하게 보존하지만 색상이 너무 밝습니다.
Gemini는 동일하게 지나치게 밝은 색상을 띠고 있으며, 의자를 카메라 방향으로 잘못 돌려놓아 최하위를 기록했습니다.
13
이미지 B를 기본 목적지 사진으로 사용하고 이미지 A는 제 딸의 인물 참조용으로만 사용하세요. 이미지 A의 동일한 어린 소녀를 이미지 B의 눈 덮인 스키 슬로프에 배치하여 설득력 있는 가족 여행 사진을 만드세요. 홋카이도의 요테이산, 지평선, 스키 코스, 파란 겨울 하늘은 정확히 유지해야 합니다. 왼쪽 전경에 소녀의 전신이 보이게 하고, 카메라를 향해 자연스럽게 웃는 모습으로, 연령에 맞는 빨간색 스키 점퍼, 네이비색 스노우 팬츠, 검은색 장갑, 하얀색 스키 부츠, 얼굴이 완전히 보이는 크림색 니트 모자를 착용하게 하세요. 부츠 아래에는 아동용 스키 두 개를 평행하게 놓고 양손에 스키 폴을 하나씩 쥐어주세요. 산의 빛, 카메라 높이, 크기감, 선명하고 차가운 공기, 눈 접촉 그림자, 반사된 파란 빛을 맞추세요. 소녀의 나이, 얼굴, 눈동자 색, 헤어라인, 알아볼 수 있는 표정을 유지하고, 성인처럼 보이게 하거나 미화하지 마세요. 산의 실루엣을 변경하거나, 건물을 추가하거나, 텍스트를 만들거나, 사람을 복제하거나, 콜라주를 만들지 마세요. 이미지 B의 가로 구도와 종횡비를 유지하세요.
ChatGPT > Gemini > Muse
세 모델 모두 설득력 있는 스키 사진을 생성하고 소녀임을 알아볼 수 있는 모습을 유지합니다. 그러나 모두 부츠와 스키를 정확하게 표현하는 데 어려움을 겪습니다.
깔끔하게 묘사된 스키와 소녀의 얼굴에 드리운 자연스러운 그림자 덕분에 ChatGPT가 승리했습니다. 비록 스키의 뒷부분이 확실히 너무 짧긴 하지만요.
Gemini는 스키 뒷부분을 표현하는 데 어려움을 겪고 있으며, 오른쪽 폴이 왼쪽 폴보다 훨씬 깁니다.
Muse는 스키를 표현하는 데 어려움을 겪을 뿐만 아니라 소녀의 얼굴 주변 그림자도 부자연스럽습니다
14
이미지 A를 기본 사진으로 사용하세요. 스쿠터에 탄 남성 뒤에 앉아 있는 성인 여성만 이미지 B의 성인 여성으로 교체하세요. 새 여성의 알아볼 수 있는 얼굴, 눈, 코, 입, 피부색, 긴 어두운 머리를 유지하되, 기존 승객의 앉은 자세, 비율, 시선에 자연스럽게 맞추세요. 의상은 기존 승객의 크림색 가디건과 베이지색 스커트를 입어야 하며, 동일한 이안반사 카메라를 그럴듯한 손 모양으로 동일한 위치에 들고 있어야 합니다. 이미지 B의 원뿔형 모자, 빨간 스카프, 깃발, 거리 또는 배경은 가져오지 마세요. 남성의 얼굴, 머리 모양, 파란 스트라이프 셔츠, 손, 운전 자세를 포함하여 남성을 완전히 변경하지 않고 유지하며, 이미지 A의 스쿠터, 크롬 랙, 돌길, 랜드마크 건물, 게이트, 식물, 표지판, 그림자, 크롭 및 피사계 심도를 그대로 유지하세요. 기존의 한낮 햇빛과 접촉 그림자를 맞춰 편집되지 않은 하나의 여행 사진처럼 보이게 하세요. 다른 사람이나 사물을 변경하거나, 장신구나 텍스트를 추가하거나, 사지를 복제하거나, 얼굴을 흐리게 하거나, 콜라주를 만들지 마세요. 이미지 A와 같은 가로 방향 종횡비를 유지하세요.
Gemini > ChatGPT > Muse
Gemini와 ChatGPT 모두 얼굴 교체를 적절하게 수행합니다. 두 사진 모두 피부 톤이 부자연스럽습니다. 소녀가 아래를 향하고 있어 원래 포즈에 더 가깝기 때문에 Gemini가 더 낫습니다.
Muse는 두 번째 인물 사진의 얼굴을 교체하는 데 완전히 실패하여 확실한 불합격입니다.
최종 집계
단순하게 계산하기 위해 1위를 할 때마다 3점(동점이면 나누어 부여), 2위에는 1점을 부여합니다.
텍스트-이미지 생성 부문 우승
ChatGPT Images 2.5가 9.5점으로 생성 부문 1위를 차지했으며, 9점의 Gemini Nano Banana 2와 7.5점의 Muse Image 1.0이 그 뒤를 이었습니다.
이미지 편집 부문 우승자
Muse Image 1.0과 Gemini Nano Banana 2가 각각 9.5점으로 편집 부문 공동 1위를 차지했으며, 9점을 기록한 ChatGPT Images 2.5를 근소한 차이로 앞섰습니다.
종합 우승자
ChatGPT Images 2.5와 Gemini Nano Banana 2가 각각 18.5점으로 공동 종합 우승을 차지했습니다. Muse Image 1.0은 17점으로 그 뒤를 바짝 쫓으며 마감했습니다.
직접 시도해 보세요
이러한 이미지 모델을 더욱 쉽게 사용할 수 있도록 프롬프트 모음을 엄선했습니다. 확인해 보세요.