iron-min 님의 블로그

최종 프로젝트 데이터 전처리 최종

1. 이전 데이터 병합 과정 요약 2. 이상치 제거이상치 제거전 데이터 분포 확인 데이터 분포에서 차이가 많이 나는 데이터들은 센서에서 이상이 발생했을 확률이 높기 때문에 제거를 해줘야 합니다.(주의할것은 이 이상치에 대한 센서 패턴도 이유가 있을 경우가 있기 때문에 한번 확인해 보는게 좋습니다.) ① 금형온도 이상치 제거1. 특정 컬럼에서 데이터가 많이 차이나는 값 확인 (ex 금형온도의 경우 400이상 되는 데이터들을 확인해줍니다)2. 금형온도의 경우에는 도메인 기반으로 사출성형기의 온도가 500이상 올라갈 수 없기 때문인 것을 확인하고 제거해줍니다. ② Cycle Time, 최소쿠션, 사출시간1. 이 경우에도 데이터가 차이나는 것들을 우선으로 바줘야합니다.2. ① 과 다른점은 도메인 기반 제거..

멀티모달 딥러닝을 활용한 이미지.센서 기반 불량 검출 및 위험도 예측_4회차

1. 컴퓨터 비전 이미지셋 분류MS COCO마이크로소프트에서 생성한 이미지 데이터셋(2014)32만장, 80개의 클래스 보유ImageNet의 Iconic한 문제를 해결하기 위해 제안된 복잡한 이미지: → Iconic 함: 이미지 내 객체 수가 적고, 크고, 중앙에 위치함Bounding Box와 함께, 인스턴스 세그멘테이션(Mask), 키포인트(Keypoints) 등 다양한 라벨 지원 Pascal VOC영국 서리 대학교(University of Surrey)가 개최한 Visual Object Classes (VOC) 챌린지에서 시작 (2007~2012)약 1~2만 장 이미지, 20개 클래스 보유xml 형식, 바운딩 박스가 최상단 좌표, 최하단 좌표로 구성 (MS COCO와 차이점)ImageNet스탠포드 대..

이미지 분류: 이미지가 어떤 객체인가?Object Detection: 어디에 어떤 객체가 있는가?Object Detection 특징전처리 (Pre-processing)특징 추출 (Feature Extraction)분류 (Classifier) R-CNN 계열(2-stage) vs YOLO(1-stage) 비교1) R-CNN 계열 주요 아이디어이미지를 영역 제안(Region Proposal) 을 통해 여러 개의 작은 후보로 나눈다.후보 각각을 CNN에 입력해 특징을 추출한다.추출된 특징 벡터를 분류기(SVM)에 입력해 객체를 분류한다.Bounding Box Regression을 통해 위치를 보정한다. 2) YOLO 주요 아이디어이미지 입력 및 CNN 처리하여 특징 추출 및 정보 생성한다.Bounding B..

컴퓨터 비전 분야 종류 → Image Classification 에 대한 내용 정리 전이학습이미 학습된 모델의 지식을 새로운 문제에 적용하여 성능을 향상시키는 기법기본 개념대규모 데이터로 사전 학습된 모델(예: ImageNet 같은 데이터셋으로 학습된 모델)의 가중치를 그대로 가져와서 새로운 문제에 적용사전 학습된 모델의 지식을 새로운 문제에 전이시켜 초기 학습 시간을 단축하고, 더 좋은 성능을 이끌어내는 것이 목표장점처음부터 모든 데이터를 학습하는 것보다 훨씬 적은 시간과 자원으로 높은 성능 달성 가능사전 학습된 모델의 **특징 추출(feature extraction)**을 활용하므로, 새로운 데이터에서도 일반화된 표현 학습 가능주요 기법Feature Extraction: 사전 학습된 모델의 마지..

데이터 병합 요약 그림 전처리 과정을 그림을통해 대략적으로 표현하였습니다... serial_ng = pd.read_csv(r"C:\최종프로젝트\avi_serial_ng_data.csv")사출설비 = pd.read_csv(r"C:\최종프로젝트\사출설비.csv")serial_scan = pd.read_csv(r"C:\최종프로젝트\제품_serial_scan.csv")저희가 받은 데이터는 플라스틱 사출성형 데이터로① 불량 데이터 : 111만개② 장비 데이터 : 355만개③ scan 데이터 : 1349만개로 이루어 져있습니다. 그리고 각 데이터는 다음과 같은 컬럼으로 이루어져 있습니다. ① 불량 데이터ID : 데이터베이스 내의 고유 레코드 식별자UnloadTrayNo : 제품이 검사 장비에 들어올 때 담겨 있던 ..

1. 머신러닝 vs 딥러닝1) 머신러닝 vs 딥러닝 차이점사람의 개입 여부머신러닝: 주어진 데이터를 인간이 처리합니다. 사람이 먼저 컴퓨터에 특정 패턴을 추출하는 방법을 지시하고, 그 이후 컴퓨터가 스스로 데이터의 특징을 분석하고 축적합니다.딥러닝: 컴퓨터가 스스로 데이터를 기반으로 학습할 수 있도록 정해진 신경망을 컴퓨터에게 주고, 경험 중심으로 학습을 수행합니다. 입력층(Input Layer)입력층은 신경망에 데이터를 제공하는 첫 번째 층이다. 이 층은 외부로부터 데이터를 받아 신경망의 내부로 전달하는 역할을 한다. 예를들어, X값이 3개면 입력층 노드는 3개이다.은닉층 (Hidden Layer)은닉층은 데이터의 패턴이나 특징을 학습하는 층이다. 각 은닉층은 이전 층으로부터의 입력값을 받아 처리하고 ..

1. 신뢰성 개발 프로세스3단계 순서1단계 : 목표설정고객조건 및 데이터 분석, 고장 정의 및 메커니즘 규명(과거 데이터가 없는 경우 -> FMEA)2단계 : 시험 및 개선안 도출고장 재현, 가속 스트레스 시험, 개선안 도출3단계 : 필드 모니터링실제 운용 데이터 기록, 피드백 반영 및 제품 진화 2. 신뢰성 개발에서의 데이터 분석 역할① 주요 목표고장률 최소화수명 최적화운영 비용 절감② 데이터 분석의 필요성단순히 물리적 고장 원인 파악만으로는 부족시험 데이터 + 필드 데이터 분석을 통한 개선 검증 필요가속시험 정합성 검증 및 수명 예측 가능③ 데이터 출처실제 필드 데이터 (현장에서 수집)실험 데이터 (시험/가속시험에서 획득)④ 분석 활용고장률 분석수명 예측신뢰성 모델링⑤ 활용되는 통계 기법수명분석(W..

1. AWS RCF① RCF개념데이터를 랜덤하게 잘라 나누는 과정(Random Cut)에서 '이상치는 정상보다 더 빨리 분리된다' 는 아이디어로 작동한다.정상 데이터서로 밀집분리하려면 여러 번 잘라야 함 → 깊은 트리 → 정상이상 데이터멀리 떨어져 있음금방 고립됨 → 얕은 트리 → 이상트리 깊이가 얕을수록 = 고립 쉬움 = Anomaly Score ↑ ② RCF를 이용한 패턴 분석 ✔ Shingling (데이터 묶음화)점 하나씩 보지 않고→ [xₜ , xₜ₊₁ , xₜ₊₂ …] 형태로 연속 구간 단위로 묶음효과“값”뿐 아니라 Shape(모양, 흐름) 을 학습상승/하강 패턴 깨짐을 감지 가능OpenSearch 설정: shingle_size ③ RCF Forest의 업데이트 및 탐지 설정 개념대표 샘플들을..

1. 이상 탐지(Anomaly Detection)란?데이터에서 ‘정상(normal) 패턴’과 크게 다른 행위를 보이는 특이한 패턴(이상, anomaly)을 찾는 기법ex) 정상 거래 내역과 비교했을 때 매우 높은 금액을 단숨에 인출하는 거래, 센서 신호가 갑자기 급등 또는 급락하는 경우 등 제조업 사례)생산 라인이나 기계 설비에서 발생하는 고장을 사전에 예측하여 유지보수 비용 절감, 다운타임 최소화 이상치 탐지와의 차이이상치 탐지(Outlier Detection)는 단순히 통계적으로 극단값(Outlier)을 찾는 데 초점을 둔다. 예를 들어 평균에서 크게 벗어난 데이터 포인트를 찾는 방식이상 탐지(Anomaly Detection)는 단순 극단값 뿐 아니라, 맥락(Context)이나 시계열 상의 패턴을 함..

1. 차원 축소가 필요한 이유고차원 데이터란?데이터의 피처(변수)가 매우 많은 상태를 말합니다. 예컨대 이미지 데이터의 경우, 한 장의 이미지를 구성하는 픽셀 수만큼의 피처가 있을 수 있습니다.어떤 문제가 생길까?모델 학습 시 연산 복잡도가 급증하여 시간이 오래 걸림많은 피처들 중 일부는 실제로 중요한 정보를 주지 못하는 노이즈(잡음)일 수 있음차원이 너무 높아지면 데이터를 시각화하기가 어려워 패턴 파악이 힘듬차원 축소의 장점노이즈 제거로 모델 성능 및 일반화 능력을 개선할 수 있음2차원이나 3차원으로 축소하면 시각적으로 직관적인 분석을 할 수 있음데이터의 핵심 구조나 패턴을 더 쉽게 발견할 수 있음 2. 차원 축소의 기본 개념선형 차원 축소데이터를 특정 선형 변환(ex : 행렬 곱)으로 투영하여 차원을..