J Korean Soc Cosmetol > Volume 31(6); 2025 > Article
딥러닝 기반 화장품 피부 적합도 평가 시스템 개발

Abstract

This study develops and validates an automated skin compatibility assessment system for cosmetic products using deep learning-based image recognition technology. The system employs the Gemini 2.5 model designed to perform expert-level analysis, integrating users’ skin type, skin concerns, sensitivity level, and ingredients to avoid with automatically recognized ingredient label images to evaluate product compatibility. The system generates comprehensive reports including numerical scores on a 0-100 scale and detailed ingredient-level assessments. Users can intuitively determine product suitability and clearly understand ingredient-specific effects aligned with their individual skin characteristics without professional consultation. System validation was conducted with 20 university students, revealing no statistically significant difference between system-generated scores and participants’ subjective evaluations, confirming high consistency. This demonstrates that the system achieves reliable compatibility prediction aligned with actual user perception. This research establishes a quantitative framework for skin compatibility assessment through integration of automated ingredient label image recognition and personalized skin data analysis. By utilizing prompt engineering to deliver expert-level judgment in visual and descriptive formats, this study demonstrates the feasibility of AI-driven decision-support systems that democratize access to professional-grade cosmetic analysis.

I. 서 론

현대사회에서 화장품은 미용의 도구뿐 아니라 개인의 건강관리나 자아표현을 수단으로 인식되면서 그 기능이 다양해지고 있다. 특히 4차 산업혁명 시대의 디지털화는 초개인화 시대를 가속화시키고 있으며 이러한 흐름은 화장품 산업에서도 기술 혁신과 소비 패턴의 변화를 일으키고 있다. 최근 화장품 기업들은 AI 기반 맞춤형 화장품 조제 기술의 발전과 더불어 맞춤형 서비스를 도입하고 플랫폼 참여를 유도하기 위한 적극적인 홍보 전략을 함께 전개하고 있다(Yoo & Lee, 2024). 소비자들 또한 단순히 유명 브랜드나 유행에 의존하기보다 자신의 피부 상태와 특성에 적합한 제품을 과학적이고 합리적인 기준에 따라 선택하려는 경향을 보이고 있다. Mintel(2022)의 글로벌 소비자 조사 결과에 따르면, 소비자 개개인에 맞춘 뷰티 서비스는 소비자 만족도에 영향을 미치는 주요 요인으로 간주되고 있으며, 성분 신뢰도, 피부 분석, 데이터 기반 추천이 중요한 기준으로 작용하고 있다고 하였다. 이러한 결과는 소비자의 만족도를 높이고 구매과정에서 효율성을 높이기 위하여 뷰티 산업이 개인의 피부 특성과 데이터 분석을 기반으로 한 맞춤형 서비스를 강화해야 함을 시사한다.
최근 화장품 산업은 뷰티테크와 AI 기술을 접목하여 개인 맞춤형 서비스를 강화하고 있으며, 이는 소비자의 피부 상태와 요구에 기반한 제품 추천으로 이어지고 있다. 예를 들어, 아모레퍼시픽은 1:1 맞춤형 화장품 브랜드인 ‘커스텀미(Costom.me)’를 통해 모바일 기반의 피부 분석 서비스와 이를 바탕으로 한 제품 제조 시스템을 운영하고 있다. 라로슈포제의 ‘마이 스킨 트랙 UV’는 자외선, 습도 등 외부 환경 정보를 측정하여 피부에 미치는 영향을 진단하고, 뉴트로지나의 ‘스킨360’은 AI 분석을 통해 모공 크기, 주름, 수분 등을 측정하여 맞춤형 제품을 제안한다(Ki et al., 2025). 이러한 기술은 피부 상태에 적합한 화장품을 선택하는 데 실질적인 도움을 줄 수 있으나, 측정 환경에 따른 오차, 기술 접근성의 제한, 추천 제품이 특정 브랜드에 국한된다는 점 등에서 소비자 활용에 한계를 보이기도 한다. 한편, 전 성분 표시제가 정착되면서 소비자의 화장품 성분에 대한 관심도 증가하고 있으나, 성분표는 대부분 전문 화학 용어로 구성되어 있어 일반 소비자가 직접 해석하고 피부 적합성을 판단하기에는 여전히 어려운 구조를 지닌다. Bok(2022)은 화장품을 구매하는 여성들의 화장품 성분에 대한 관심은 높았지만 실제 구매 시 절반 이상의 여성이 성분을 확인하지 않는다고 하여, 성분을 보다 용이하게 확인할 수 있는 대안이 필요하다고 하였다.
딥러닝(Deep Learning)은 다층 신경망을 기반으로 데이터 내 패턴을 학습하고 예측·분류를 수행하는 인공지능 기술로, 특히 이미지 분석과 같은 비정형 데이터 처리에 강점을 보인다(LeCun et al., 2015). 이러한 기술은 화장품 산업에서도 ‘뷰티테크(Beauty-Tech)’의 핵심 요소로 주목받고 있으며, 피부 상태 분석, 개인 맞춤형 제품 추천, 성분 분석 등에 적용되고 있다. 딥러닝 기반 이미지 인식 기술은 화장품 용기에 표시된 성분 정보를 자동으로 인식하여 데이터화하고, 소비자의 피부 유형과 성분 정보를 매칭해 적합성을 판단하는 데 활용될 수 있다. 이러한 기술은 소비자가 화장품 성분표의 복잡한 화학 용어를 직접 해석해야 하는 번거로움을 줄이고, 객관적이고 과학적인 데이터 기반으로 제품을 선택할 수 있도록 돕는다. Mintel(2022)의 조사 결과처럼, 소비자들이 성분 신뢰도와 데이터 기반 추천을 중요하게 생각하는 경향에 부응하여, 딥러닝 기술은 소비자의 만족도를 높이고 합리적인 구매를 유도하는 핵심적인 역할을 수행할 수 있다.
최근 미용분야에서도 AI 피부 분석 시스템의 소비자 만족도(Kim & Park, 2021), 뷰티테크 산업의 기술 동향(Ki et al., 2026; Park & Song, 2022), 머신러닝 기법을 활용한 피부 유형 판단(Kim, 2018), 가상헤어스타일 피팅 서비스 시스템(Jo, 2021), 얼굴 메이크업을 위한 머신러닝의 지도학습 방법(Choi, 2021) 등 관련 연구들이 활발히 이루어지고 있다. 그러나 피부미용 분야에서 실제로 활용 가능한 딥러닝 기반 시스템을 설계하고 구현한 실증적 연구는 아직 부족한 실정이다.
따라서 이 연구는 딥러닝의 이미지 인식 기술을 활용하여 화장품에 표시된 성분 정보를 자동 인식하고, 이를 기반으로 개인의 피부 특성과 매칭하는 시스템을 실증적으로 구현함으로써 딥러닝 기술의 실질적 적용 가능성을 탐색하고 소비자의 합리적이고 효율적인 화장품 선택에 도움을 주고자 한다.

II. 이론적 배경

1. 화장품의 선택과 피부적합도

화장품의 피부와의 적합성은 소비자가 화장품을 선택할 때 중요하게 고려하는 요소 중 하나로 선행연구에서, Kim & Kim(2017)은 기초화장품 선택 시 피부적합도에 대한 중요도가 가장 높고 효능·효과, 부작용, 발림성 등의 순이라고 하였으며 Chon(2024)은 소비자가 자신의 주관적 피부상태 인식에 따라 화장품을 선택, 구매하고 관리방법과 행동을 결정한다고 하였다.
피부 적합도는 특정 화장품이 개인의 피부에 얼마나 잘 맞는지를 평가하는 개념이라 할 수 있는데, 개인의 피부 유형, 특정 성분에 피부 반응, 민감도 및 안전성 등이 영향을 미친다(Kim & Yun, 2023; Kim, 2018; Draelos, 2012). 피부 유형은 1910년대 Helena Rubinstein이 중성, 건성, 복합성, 민감성으로 구분한 것을 시작으로 Leslie Baumann이 유분, 민감도, 색소, 탄력을 기준으로 16가지 유형으로 세분화한 체계를 제시하여(Baumann, 2006) 현재까지 널리 활용되고 있으나 동양인에게 다소 한계가 있다는 지적도 제기된다. 한편, 한국화장품 전문가 협회는 피부의 모공크기를 기반으로 유전적 피부 유형을 분류한 후 문제성 피부 요소(표피수분부족, 예민성, 여드름, 과색소침착, 노화)를 추가적으로 고려하는 체계를 제안하고 있다(Kim & Yun, 2023). 특정성분에 대한 피부 반응(알레르기)과 관련하여 SCCS(Scientific Committee on Consumer Safety), NACDG(North American Contact Dermatitis Group) 등의 단체에서 화장품의 화학물질에 대한 알레르기 유발 리스트를 제공하고 있으며 화장품 성분에 대한 민감도나 안전성과 관련하여 미국의 환경시민단체 EWG(Environmental Working Group)는 피부자극, 알레르기 유발성, 독성 등을 기준으로 EWG(2024) 등급을 제공하고 있다.
최근 화장품 선택에 도움을 주는 다양한 모바일앱이 등장하여 피부 진단과 성분 정보를 통해 기초화장품을 구매하는 사례가 늘고 있다. 대표적으로 ‘화해’ 앱은 화장품 성분의 피부민감도 및 후기를 제공하고 있으며, ‘스킨파인더’ 앱은 소비자가 설문조사와 피부사진을 제출하면 적합한 화장품을 추천하는 서비스를 제공하고 있다(Kim et al., 2025).

2. 딥러닝 기술의 개념 및 응용

생성형 인공지능(Generative AI)은 인간의 지능적 활동을 컴퓨터와 기계가 모방하여 수행하는 기술로, 다양한 산업 분야에서 핵심 기술로 부상하고 있다. 그중에서도 머신러닝(Machine Learning)은 방대한 데이터를 분석하여 패턴을 인식하고 예측 모델을 생성하는 기술로, 산업 전반에 걸쳐 활용도가 증가하고 있다. 머신러닝은 알고리즘 기반으로 데이터로부터 자동으로 학습하여 성능을 개선하며, 그 하위 분야인 딥러닝(Deep Learning)은 다층 신경망(Deep Neural Network, DNN)을 통해 보다 정교하고 추상적인 수준의 데이터 표현을 학습하도록 발전된 형태이다(LeCun et al., 2015). 딥러닝은 비정형 데이터인 이미지, 텍스트, 음성 등을 처리하는 데 특히 강점을 보이며, 이는 기존 머신러닝 기술의 한계를 극복하는 데 기여했다.
딥러닝의 대표적인 모델로는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), GAN(Generative Adversarial Network) 등이 있다. CNN(Convolutional Neural Network)는 이미지 인식 분야에 특화된 모델로, 이미지의 특징을 효과적으로 추출하고 분류하는 데 탁월하다. 층을 여러 번 거치며 이미지의 다양한 특징(윤곽선, 질감 등)을 학습하여 높은 정확도를 보장한다. 이러한 특성 때문에 피부 상태 분석, 화장품 성분 라벨 인식 등 이미지 기반의 문제 해결에 매우 적합하다(Simonyan & Zisserman, 2014). RNN(Recurrent Neural Network)는 시계열 데이터나 텍스트와 같이 순서가 있는 데이터를 처리하는 데 유용한 모델이다. 이전 단계의 정보를 기억하고 다음 단계의 예측에 활용하는 구조로, 자연어 처리(NLP) 분야에서 주로 사용된다. 화장품 성분명의 의미를 파악하거나 성분 간의 관계를 분석하는 데 응용될 수 있다(Sutskever et al., 2014). GAN(Generative Adversarial Network)은 서로 경쟁하는 두 개의 신경망(생성자, 판별자)을 통해 새로운 데이터를 생성하는 모델이다. 가상 메이크업 시뮬레이션, 가상 헤어스타일 피팅 등 실제와 유사한 이미지를 생성하는 뷰티테크 분야에 활용될 수 있다(Goodfellow et al., 2014).

III. 내용 및 방법

1. 분석데이터

딥러닝 기반 화장품 피부 적합도 판단 시스템을 개발하기 위하여 화장품 성분표 이미지 데이터와 모델 분석 결과를 주요 연구자료로 활용하였다. 데이터베이스를 별도로 구축하는 과정 없이, 공개된 상용 기초화장품 및 클렌징 제품의 성분표 이미지를 분석 대상으로 설정하였다. 입력된 성분표 이미지는 Google Cloud Platform의 Vertex AI 환경에서 Gemini 2.5 모델을 통해 자동 처리되었다. Gemini 2.5 모델은 딥러닝 기반의 거대 언어 모델(LLM)로서, 사전 학습된 방대한 화장품 성분 지식과 이미지 인식 능력을 활용하여 성분표에서 전성분을 자동으로 추출하고, 개인화된 분석 프롬프트 규칙에 따라 피부 적합도를 직접 판단하였다.

2. 피부적합도 평가기준

피부 적합도 평가는 ①피부 유형, ②알레르기·트러블 유발 성분 여부, ③민감도(안전성) 요소를 기준으로 설정하였다<Table 1>. 먼저 한국화장품전문가 협회(Yang, 2025)의 기준에 따라 피부 유형을 분류하였는데, 피부 유형은 모공의 크기를 기준으로 4가지 분류(건성, 정상, 지성, 복합성)를 먼저 선택하고 문제성 피부 유형(수분 부족, 예인, 여드름, 기미, 노화)을 복수 선택하도록 하였다. 그리고 알레르기/트러블(SCCS, NACDG 기준) 유발 가능 성분에 대한 회피 여부를 확인하기 위해, 예시 성분 목록에서 선택하거나 사용자가 직접 성분을 입력할 수 있도록 하였다. 마지막으로 민감도(안전성) 평가와 관련된 3개 문항을 제시하고 5점 리커트척도로 평가하도록 하였다(0점: 전혀 아니다, 5점:매우 그렇다).

3. 피부적합도 분석과정

사용자의 피부 정보와 화장품 이미지를 바탕으로 Gemini 2.5기반 딥러닝 모델이 프롬프트 기반으로 제품 성분을 분석하는 과정을 설계하였다. 이 과정은 AI의 역할 정의, 분석 목표 설정, 점수 산정 규칙, 변수 구성, 입력 데이터, 출력 형식의 여섯 가지 구성요소로 이루어졌다<Table 2>. 딥러닝 모델은 ‘페르소나(Persona)’ 설정을 통해 화장품 분석 전문가로 인식되도록 구성하였으며, ‘작업 목표(Task Goal)’를 통해 사용자 정보(피부 유형, 고민, 민감도, 기피 성분 등)를 바탕으로 제품의 주요 성분을 탐지하고 적합도를 정량화하도록 하였다. 적합도 분석은 종합 점수와 개별 성분 평가의 두 단계로 구성되었다. 종합 점수는 100점 만점을 기준으로 피부 유형(50점), 피부 고민(20점), 피부 민감도(15점), 기피 성분(15점)을 합산하여 산출하였으며, 각 항목은 차등 가중치가 적용되었다. 개별 성분 점수는 피부 유형 궁합, 민감도 유발 가능성, 기피 성분 포함 여부, 효능 발현 가능성을 반영한 가중 함수로 산출되었다. 산출식은 ‘점수=(피부 유형 적합도×0.5)+(민감도×0.15)+(기피 성분 여부×-0.1)+(기본 효능 점수×0.2)’이다. 평가 결과 80점 이상은 ‘적합’, 60~79점은 ‘보통’, 59점 이하는 ‘주의 필요’로 분류되었다.

4. 개발 시스템의 테스트 및 사용자의 적합도 평가

개발된 시스템의 테스트는 검색사이트(구글)에서 피부 유형별로 적합하다고 제시한 제품 중 판매 랭킹(화해 앱 참고)이 상위인 제품을 대상으로 하였다. 건성용 제품으로 에뛰드 순정 2X베리어 인텐시브 크림(이후 에뛰드 순정 크림), 지성용은 Dot&Key 시카 카밍 오일프리 모이스처라이저(이후 Dot&Key 모이스처라이저), 정상용은 코스알엑스 어드벤스드 스네일 92 올인원 크림(코스알엑스 크림), 복합성용은 토리든 다이브인 저분자 히알루론산 세럼(이후 토리든 세럼)을 대상으로 하였다. 그리고 시스템에서 제시한 적합도 값과 실제 사용자가 판단한 적합도 값을 비교하기 위하여 2025년 10월 25일부터 11월 2일까지 대학생 20명에게 위의 4가지 제품을 제시하고 본인이 사용해 본 경험이 있는 제품에 대한 적합도 점수를 기입하게 하였다. 점수는 100점 만점으로, 시스템에 반영한 구간별 점수 기준을 제시하였다. 그리고 사용자가 기입한 피부 정보 데이터를 바탕으로 시스템의 적합도 점수를 산출하였고 이 값과 사용자가 생각한 접합도 점수를 jamovi 통계 프로그램을 사용하여 대응표본 t-test로 비교하였다.

5. 연구절차

연구절차는 Table 3과 같이 다섯 단계로 구성되었다. 먼저, 사용자는 회원가입 시 피부 유형 설문을 통해 건성, 복합성, 지성 등으로 분류되며, 해당 데이터는 데이터베이스에 저장된다. 이후 사용자는 화장품 이미지를 실시간 촬영하거나 기존 이미지를 업로드하고, 텍스트 질의를 입력할 수 있으며, 시스템은 JSP 기반의 동적 웹 페이지로 구현되었다. 이때 화장품을 판독하는 이미지는 성분표가 아니라 제품의 어느 부분을 촬영하더라도 인식할 수 있도록 하였다. 클라이언트에서 입력된 데이터는 웹 서버를 통해 Gemini 2.5 API 호출 형식으로 변환되고, AI 분석 결과는 구조화된 형태로 재구성되어 클라이언트에 반환된다. AI 분석 서버에서는 멀티모달 입력을 결합한 최적화 프롬프트를 사용하여 피부 적합도를 종합적으로 분석하였다. 최종적으로 모든 과정은 JSP-웹 서버-AI 분석 서버 간 데이터 흐름을 통해 통합 처리되어, 제품별, 피부 유형별 적합도 결과와 분석 설명이 사용자에게 제공되었다.

IV. 결과 및 고찰

1. 제품의 적합도(궁합점수) 구현 결과

본 연구에서는 사용자의 피부 특성과 입력 데이터에 따라 화장품의 개인 맞춤 적합도를 산출하는 시스템을 구축하고 그 성능을 검증하였다. 이 시스템은 사전에 입력된 피부 유형, 주요 고민, 기피 성분, 민감도 지수 등의 주요 변수를 기반으로, Gemini 2.5딥러닝 모델이 화장품 성분표를 자동 분석하여 적합도 점수를 제시하였다.
본 연구에서 개발한 시스템은 사용자가 입력한 피부 정보와 제품 성분 데이터를 기반으로, 화장품의 개인 맞춤 적합도를 평가하고 그 결과를 웹 화면으로 제공하였다. 분석 결과 화면에서 첫 번째는 제품 종합 점수 및 결과 요약 영역으로 입력된 피부 정보에 따라 제품의 전반적인 적합도를 100점 만점 기준으로 산출하였다. 시스템에는 ‘궁합 점수’라는 표현으로 쉽게 표기하였다. 구현 테스트에서 건성 피부 유형과 수분 부족, 노화/탄력 저하, 인공향료, 에탄올에 대한 알레르기 성분 기피, 민감성 지수 3.6점인 데이터(이하 샘플데이터)를 입력하고 건성 피부에 적합한 것으로 알려진 ‘에뛰드 순정 크림’ 제품의 이미지를 입력하자 99점의 높은 적합도를 표시하였다. 제품에 대한 성분을 근거로 적합도에 대한 설명을 “주요 성분 중 판테놀 시어버터가 수분 부족, 노화/탄력 저하 개선에 도움이 된다. 특별히 주의해야할 성분, 사용자가 기피하는 성분을 포함되지 않았다” 등으로 표시하였다. 반면 지성 피부 유형의 추천 제품인 ‘Dot&Key 모이스처라이저’에 대해서는 50점의 궁합점수를 표시하였고 정상피부용 ‘코스알엑스 크림’은 98점, 복합성 피부용 ‘토리든 세럼’은 89점으로 표시하였다.

2. 제품의 성분에 대한 정보 제공 구현 결과

분석 결과 화면에서 두 번째는 성분 분석, 알레르기 주의 성분, 기타 추천 제품에 대한 영역으로, 먼저 성분 분석에서는 제품 내 주요 성분의 장점과 단점이 각각 제시되었는데 각 성분의 점수와 역할을 분석하여 사용자에게 이해하기 쉬운 형태로 설명하였다. 예를 들어 샘플데이터의 경우 지성용 제품인 ‘Dot&Key 모이스처라이저’에 대해 장점 성분으로 ‘세라마이드엔피’를 90점으로 제시하고 ‘피부 장벽을 구성하는 핵심 지질 성분으로 건조한 피부의 수분 증발을 막음’이라고 표시하였다. 단점 성분으로는 ‘티트리잎 추출물’을 13점으로 제시하고 “건성 피부에는 다소 건조함을 유발할 수 있고 민감한 피부에 자극”이라고 하였다.
알레르기 주의 성분 안내 영역에서는 국제 기준(SCCS/NACDG)에 따라 잠재적으로 알레르기를 유발할 가능성이 있는 성분에 대한 정보를 제공하였다. 테스트 결과, 리모넨, 리날롤, 등이 알레르기 주의 성분으로 표시되었다. 이와 같이 시스템은 단순한 적합도 판단을 넘어, 사용자의 안전한 화장품 선택을 지원하는 기능을 수행하였다.
마지막으로, 추천 제품 항목에서는 분석된 피부 유형 및 고민 정보를 토대로 실제 시중 제품 중 적합한 대체 제품을 제안하였다. 예를 들어 샘플데이터에 대해 추천제품으로 ‘라운드랩 1025 독도 토너’를 제시하였다. 이러한 추천 결과는 단순 점수 평가를 넘어, 사용자의 피부 특성과 화장품 효능 간의 연관성을 바탕으로 도출된 것이다.
최근 개인의 피부 정보를 기반으로 한 화장품 추천 시스템에 관한 연구가 활발히 이루어지고 있으며, Park et al.(2022)의 연구에서도 피부 유형, 피부 고민, 민감도 등의 정보를 활용하였다는 점에서 본 연구와 공통점을 가진다. 그러나 기존 연구가 가중치 기반 연산과 협업 필터링 기법을 중심으로 이루어진 반면, 본 연구는 최근 발전한 이미지 인식 및 딥러닝 기술을 적용하여 AI가 성분 정보를 직접 분석하고 실시간으로 적합도를 예측할 수 있는 구조로 발전시켰다는 점에서 차별성을 지닌다.

3. 개발 시스템과 사용자의 적합도 평가 비교

개발된 시스템에서 제시한 적합도(궁합) 점수와 사용자 본인이 판단한 적합도 점수를 비교한 결과는 Table 6과 같다. 테스트 대상자는 모두 20명으로 피부 유형은 복합성 9명(45.0%), 건성 8명(40.0%), 지성 3명(15.0%)이었고, 알레르기 등으로 기피하는 화장품 성분은 특별히 없는 경우가 16명(80.0%)으로 가장 많았다. 현재 가장 고민되는 피부문제는 수분 부족이 10명(22.5%)으로 가장 많았고 여드름이 8명(22.8%), 예민/민감성이 8명(22.8%)이었다. 피부 민감도(안전성)는 3항목 평균이 3.32점(5점 리커트척도, 5점일 경우 매우 민감)이었다.
시스템 평가자 20명이 모두 사용해본 경험이 있는 ‘Dot&Key 모이스처라이저’ 제품에 대해 시스템이 제시한 적합도(100점 기준)와 시스템 평가자 본인이 생각한 적합도 점수를 대응표본 t-검정으로 비교한 결과(Table 8), 시스템 적합도는 88.4점(±11.3), 본인 적합도는 83.8점(±10.6)으로 유의수준 0.05를 기준으로 통계적으로 차이가 없었다. 따라서 본 연구에서 개발한 딥러닝 기반 시스템이 산출한 피부 적합도 점수는 사용자가 실제로 느끼는 화장품의 적합도와 통계적으로 유사한 수준의 평가를 제공하고 있음을 확인할 수 있다.

V. 결 론

본 연구는 딥러닝 기반의 이미지 인식 기술을 활용하여 화장품 이미지를 자동 인식하고, 이를 개인의 피부 특성과 매칭하여 화장품의 피부 적합도를 평가할 수 있는 시스템을 개발하는 것을 목적으로 하였다. 이를 위하여 Gemini 2.5 모델을 기반으로 프롬프트 규칙을 설계하고, 사용자로부터 입력된 피부 유형, 피부 고민, 민감도, 기피 성분 등의 정보를 분석 변수로 활용하였다.
연구 결과, 본 시스템은 사용자가 입력한 피부 정보와 화장품 성분표 이미지를 통합 분석하여, 제품의 적합도를 0~100점의 수치와 상세 설명을 웹화면 형태로 제시하였다. 적합도 점수를 통해 사용자는 제품의 적합 여부를 직관적으로 판단할 수 있었으며, 성분별 세부 평가 결과를 통해 자신의 피부 특성에 맞는 제품 선택 기준을 보다 명확하게 인식할 수 있었다. 이러한 결과는 사용자 개인이 자신의 피부에 맞는 제품을 쉽게 판단할 수 있는 실질적 맞춤형 화장품 분석 도구로서의 가능성을 입증하였다.
또한 시스템이 제시한 적합도 점수와 사용자가 실제로 평가한 적합도 점수를 비교한 결과, 통계적으로 유의한 차이가 나타나지 않아, 시스템의 분석 결과가 사용자의 체감 평가와 높은 일치도를 보이는 것으로 확인되었다. 이는 본 연구에서 제안한 시스템이 실질적으로 사용자의 인식과 부합하는 수준의 신뢰성 있는 피부 적합도 예측 기능을 구현하였음을 의미한다.
본 연구의 의의는 화장품 성분표 이미지의 자동 인식과 피부 데이터의 통합 분석을 통해 피부 적합도 평가의 정량화 체계를 구현하였다는 점이다. 또한 Gemini 2.5 기반의 프롬프트 설계를 활용하여, 모델이 화장품 분석 전문가 역할을 수행하도록 유도함으로써 AI의 전문적 판단 과정을 시각적, 설명형 결과로 제시하였다.
향후 연구에서는 보다 다양한 연령층과 피부 특성을 반영한 대규모 사용자 데이터를 수집하여 시스템의 평가 성능을 향상시킬 필요가 있다. 또한 제품 이미지 이외에 텍스트 라벨, 사용 후기, 환경 요인 등의 비정형 데이터를 통합함으로써, 피부 반응 예측의 정밀도를 높이는 방향으로 발전시킬 수 있을 것이다.

Table 1
Skin Compatibility Components
Components Description Question type
Skin Type(Step 1) □ Dry □ Normal □ Oily □ Combination Single choice
Skin Type(Step 2) □ None □ Lack of Moisture □ Sensitive/Delicate □ Acne □ Hyperpigmentation
□ Aging/Loss of Elasticity
Multiple choice
Allergy/Irritant Ingredients □ None □ Paraben (Preservative) □ Artificial Fragrance
□ Ethanol □ Others (User Input)
Multiple choice
Skin Sensitivity(Safety) Evaluation 1. Experience of irritation such as itching, stinging, or redness after using cosmetics. 5-point
Likert scale
2. Caution when trying new cosmetic products due to fear of irritation.
3. Sensitivity to environmental changes (e.g., weather, seasons).
Table 2
Prompt Process for Personalized Cosmetic Ingredient Analysis
Component Purpose Key content
Persona Defines AI role AI acts as a cosmetic ingredient expert analyzing products based on user data and rules.
Task Goal Sets analysis objective Identify ingredients from product data and evaluate their suitability for the user.
Analysis Rules Determines scoring logic Overall score=Skin Type+Concerns+Sensitivity+ Avoided Ingredients; Ingredient score reflects suitability, reaction, and function.
Variables Explains scoring factors Factors include skin type match, irritation risk, avoided ingredients, and functional relevance.
Input Data Provides analysis data User info(skin type, concerns, sensitivity)+product image.
Output Describes result format Text report with total score, ingredient summary, allergen notes, and product recommendations.
Table 3
System Process
Step Description
Step 1.
Client Interaction
Users entered skin type survey data(Dry, Combination, Oily), uploaded ingredient images, and submitted text queries via a JSP-based web interface.
Step 2.
Web Server Processing
The web server received and reformatted input data for Gemini 2.5 API calls, performed image encoding, and restructured analysis results for client delivery.
Step 3.
AI Analysis Server
Gemini 2.5 processed multimodal inputs(skin data, text, images) to recognize ingredients and evaluate efficacy, safety, and allergenicity.
Step 4.
Suitability Scoring
Ingredient suitability was rated on a 5-point scale with weighted averages; allergenic and high-toxicity ingredients were penalized; final score expressed as 0-100%.
Step 5.
Result Delivery
The processed results were transmitted back through the web server and displayed on the client interface with product- and skin-type-specific suitability explanations.
Table 4
Output of Skin Compatibility Evaluation(Combination Skin Data Input)
Product Name Image(Source: Google) Score Final Evaluation Summary Web Results
Etude SoonJung Intensive Cream
(Dry)
JKSC-2025-31-6-1608f1.jpg 99/100 Overall, this product was evaluated as suitable considering dry skin, moisture deficiency, and concerns related to aging and loss of elasticity... ... JKSC-2025-31-6-1608f2.jpg
Dot & Key Cica Calming Oil-Free Moisturizer
(Oily)
JKSC-2025-31-6-1608f3.jpg 98/100 This product was evaluated as a caution level considering dry skin, moisture deficiency, and concerns related to aging and loss of elasticity... ... JKSC-2025-31-6-1608f4.jpg
COSRX Advanced Snail 92 All In One Cream
(Normal)
JKSC-2025-31-6-1608f5.jpg 89/100 Overall, this product was evaluated as suitable considering dry skin, moisture deficiency, and concerns related to aging and loss of elasticity... ... JKSC-2025-31-6-1608f6.jpg
DIVE-IN Low Molecular Hyaluronic Acid Serum
(Combination)
JKSC-2025-31-6-1608f7.jpg 89/100 Overall, this product was evaluated as suitable considering dry skin, moisture deficiency, and concerns related to aging and loss of elasticity... ... JKSC-2025-31-6-1608f8.jpg
Table 5
Results of Ingredient Information Module Implementation
Category Ingredient Analysis Allergy Caution Ingredients Recommend Products
Main content Beneficial Ingredients (Top 2): Include ingredient name, score, and explanation of suitability.
Disadvantageous Ingredients (Bottom 2): Include ingredient name, score, and cautionary notes.
Provide source reference, ingredient name, and its impact on the skin Recommended Products: List commercially available products with explanations for the recommendation. Include product types such as toner, serum, and moisturizer.
Example Beneficial ingredient: Ceramide NP: Score 90 /Suitable. Helps prevent moisture loss in dry skin.
Disadvantageous ingredient: Tea Tree Leaf Extract: Score 13 /Caution. May cause dryness in dry skin
Allergy-prone ingredient (based on SCCS/NACDG standards)
Limonene: a citrus-scented fragrance compound commonly used in perfumes, known to cause skin irritation or allergic reactions
Recommended product: The following products help improve dryness.
Round Lab 1025 Dokdo Toner: Free from fragrance and ethanol, and contains moisturizing ingredients such as allantoin.
Table 6
Skin Characteristics of System Evaluators
Characteristic Division Frequency(N) Percent(%)
Skin Type Combination 9 45.0
Dry 8 40.0
Oily 3 15.0
Ingredients Avoided in Cosmetics None in particular 16 80.0
Artificial fragrance 3 15.0
Paraben 1 5.0
Skin Concerns (Multiple responses, N=35) Lack of moisture 10 22.5
Acne 8 22.8
Sensitivity/delicate skin 8 22.8
Hyperpigmentation 4 11.4
Aging/loss of elasticity 3 8.5
None 2 5.7
Characteristic Division Mean S.D
Sensitivity (Safety) Evaluation Experienced irritation after using cosmetics 3.20 0.79
Cautious when using new cosmetics 3.30 1.66
Sensitive to external environment 3.45 1.23
Overall Average 3.32 0.12
Table 7
Comparison of Compatibility Evaluation between the System and Users
Scale Group Mean S.D t p-value
Suitability Evaluation (Based on 100-Point Scale) System Suitability 88.4 11.3 1.26 0.225
Personal Suitability 83.8 10.6

References

Baumann, L. (2005). The skin type solution: A new way to determine your skin type for healthier skin. Dermatologic Therapy, 18(3), 208-213.
Bok, J. E. (2022). A Study On the Perception and Use of Cosmetics Safety. Journal of the Korean Society of Cosmetics and Cosmetology, 12(3), 295-304.
Choi, J. E. (2021). Supervised Machine Learning Method for Face Make-up: Focusing on semi-permanent eyebrow make-up. Society for Culture of HAN-BOK, 24(3), 165-177.
crossref
Chon, H. J. (2024). Subjective Skin Condition and Beauty Therapy Preference of Female College Students. Asian Journal of Beauty and Cosmetology, 22(2), 345-355.
crossref pdf
Draelos, Z. D. (2012). Cosmetics, categories, and the future. Dermatologic Therapy, 25(3), 223-228.
crossref pmid
Environmental Working Group. (2024). Skin Deep Cosmetics Database, Retrieved from https://www.ewg.org/skindeep/. 2025.9.5.
Goodfellow, I. J., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., & Bengio, Y. (2014). Generative Adversarial Nets. Advances in neural information processing systems, 27.
Jo, J. (2021). A Study on Development of the Virtual Hair Style Fitting Service System applying Machine Learning and Augmented Reality Technology in the Beauty Industry. Journal of Beauty Arts Management, 15(2), 113-127.
Ki, J. S., Jung, I. H., Jeong, Y. M., & Kim, H. E. (2025). Analysis of AI Beauty Tech Patent Trends by Cosmetic Type. Journal of the Korean Society of Cosmetology, 31(1), 154-164.
crossref pdf
Kim, E. H., & Yun, C. S. (2023). Development of Scale Factors for Skin Type Classification. Journal of the Korean Society of Cosmetology, 29(2), 306-315.
crossref pdf
Kim, H. J., & Kim, M. W. (2017). An Analysis of Men’s Cosmetic Selection Property by the IPA Matrix. The Journal of Korean Society of Design Culture, 23(1), 177-184.
crossref
Kim, K. Y. (2018). A Study on Model of Skin Type Judgment Tool Using Machine Learning Technique. Treatise on the Plastic Media, 21(4), 115-121.
Kim, R., Kim, J. Y., & Han, J. (2025). Effects of Beauty Applications on the Repurchasing of Basic Skincare Products and Cosmetic Preferences. Journal of Korean Physical Beauty and Art, 26(2), 123-135.
crossref
LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436-444, https://doi.org/10.1038/nature14539
crossref pmid
Park, H., Lim, Y., & Rim, B. (2022). Product Recommendation Using Survey and Skin Type. The Journal of the Convergence on Culture Technology, 8(3), 435-439, https://doi.org/10.17703/JCCT.2022.8.3.435
crossref
Simonyan, K., & Zisserman, A. (2014). Very Deep Convolutional Networks for Large-Scale Image Recognition. arXiv preprint arXiv:1409.1556.
Sutskever, I., Vinyals, O., & Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. Advances in neural information processing systems, 27.
Yoo, H. R., & Lee, J. N. (2024). The Effects of Opinions on AI-based Customized Cosmetic Preparation Managers on Potential Demand Values and Development Directions. Journal of the Korean Society of Cosmetology, 30(2), 323-333.
crossref pdf


ABOUT
BROWSE ARTICLES
EDITORIAL POLICY
FOR CONTRIBUTORS
Editorial Office
69 Gwangju Yeodae-gil, Gwangsan-gu, Gwangju, 62396, Korea
Tel: +82-10-2825-6735   Fex: +82-62-950-3797    E-mail: beauty2007@hanmail.net                

Copyright © 2026 by Korean Society of Cosmetology.

Developed in M2PI

Close layer
prev next