메델_project

LG Aimers란? LG Aimers는 LG그룹의 AI 교육프로그램으로 LG의 여러 계열사가 보유한 다양한 산업의 현장 Data를 직접 다루고 문제를 해결하는 AI해커톤를 참여할 수 있는 프로그램이다. 참여기간 2024.01.02 ~ 2024.02.26 Phase2 온라인 해커톤(2024.02.1 ~ 02.26) 온라인 해커톤 참여 이전에 나는 4학년 때 빅데이터 수업을 들어 Pandas와 Numpy 등등을 학습하여 간단하게 그래프 정도는 그릴 수 있는 상태였으며 졸업 프로젝트 팀원들과 유데미에서 Tensorflow2와 Keras를 이용한 Deep Learning 부트캠프 강좌를 들은 경험이 있다. 하지만 MQL 데이터를 활용하여 영업 기회 전환을 예측하는 AI 모델을 혼자 개발하기에는 많이 부족한 실..

Part1. B2B 시장에 대한 이해 B2B Markets B2C Markets Fewer customers Many customers Large-value transactions Smaller-value transactions Customized products Mass-produced products Negotiated price Fixed price Lengthy, complex selling process Brief, retail-focused selling process Usage determines value Multiple facors influence value Multiple buying decision-makers (집단 의사 결정) individual buying deccision-m..

Part2. Bias and Variance 기계학습의 일반화 기계학습 알고리즘의 능력 기계학습 알고리즘이 학습한 Data에 대해서 잘되는 것보다 학습 과정 동안에 보지 못한 새로운 Data에 대해서 잘하는 것이 중요 실제로 수행하는 것과 기대하는 것이 완전히 다름 True distribution Data x 와 Label y와의 모든 상관관계를 다 표현하고 있는 분포 모든 상관관계를 다 표현하고 있는 분포 관측 불가능 Training set, Test Set 이라는 것은 결국 True distribution에서 Generate/ Sampling 된거임 IID 가정 IID(Independent and Identically Distribution) independent = Data 하나, 하나를 얻는 과정..

Part1. Introduction to ML 기계학습 정의 인공 지능의 한 분야 컴퓨터 알고리즘을 다루는데 수 많은 경험 혹은 경험으로부터 얻은 Data로부터 기계학습 알고리즘이 스스로 좋아지는 상황 잘 정의된 인공지능 알고리즘이란 세가지가 완벽하게 정의되어 있어야함 T : classification, regression, detection P: error rate, accuracy, likelihood, margin E: data 목표 알고리즘을 설계하는데 실험적으로 얻은 Data로부터 점점 개선되도록 할 수 있는 알고리즘 설계하고 개발하는 분야 일반 기계학습을 하는 이유 Generalization 특정 사례들의 공통적인 특징을 일반적인 개념이나 주장으로 추상화하는 형태 많은 별개의 객체들로부터 유사..

Part3. Recent Progress of Large Language Models GPT-3 OpenAI 사의 third-generation Generative Pretained Transformer 처음 생성 당시 1750억 Parameter로 이루어진 Model → 초거대 언어모델 GPT-3 이전에는 모든 연구 결과를 공개하였으나 GPT-3부터는 Source Code를 공개하지 않음 InstructGPT GPT-3와 InstructGPT의 가장 큰 차이점은 모델에게 직접적으로 지시할 수 있냐 없냐 GPT-3에서 InstructGPT로 재학습 GPT-3 모델은 InstructGPT 모델로 만들기 위해 RLHF(reinforcement learning with human feedback) 적용 지시문..

Part3. 세계적인 데이터 과학자가 되는 방법 이종 데이터의 결합은 혁신을 가져옴 미래의 식량문제 유엔기구 글로벌 펄스 협업을 통해 섬나라 인도네이사의 주요 생필품, 소고기, 닭고기, 양파, 고추 등 가격을 실시간 예측하는 알고리즘 개발 기존 통계 대비 10일 빠른 나우캐스팅 알고리즘과 프로토타입 기술을 무상 제공 가짜뉴스 탐지 인공지능 빅데이터 기반의 가짜뉴스 탐지기술을 선보인 세계적인 선도 연구 가짜와 진짜의 구분법 점조직 형태의 네트워크 연결 구조 짧은 주기성을 가지는 시간적 패턴 회피성 언어, 부정의 언어 사용 코로나19 인포데믹 방지 캠페인 허위정보로 다양한 공중보건, 사회/경제/정치적 문제가 발생 과학자가 중심이 된 '루머를 앞서는 팩트' 캠페인으로 21개 언어 접근, 151개국 50,000..

Part2. 인공지능 알고리즘과 윤리 이슈 AI가 인간의 고유 영역인 창작을 할 수 있는가? 질의 응답 시스템에서 AI가 인간의 성능을 추월 일본 AI 프로그램이 '호시 신이치' 문학상 SF부문에 1차 예선 통과 IBM의 토론자 2019년 대학생 수준에 왔지만 여저히 인간에게 패배 AI Art in Action AI 예술 작품은 학습 데이터 기반인데 창작성이 있는가? 학습 데이터, 프로그래머, 기획자 사이의 저작권 이슈 존재 AI가 만드는 작품들은 NFT와 관련되어 비싸게 거래 AI 저작권 이슈 학습에 사용된 데이터를 제공한 사람에게도 혜택이 돌아가기 어려움 창작자인 AI는 법적 권리를 제공할 수 있는 법적 제도가 없음 현존하는 예술가의 스타일을 따라 예술 작품을 만들 경우 상업적 피해를 준다 창작된 작..

Part1. 데이터 분석과 AI학습에서 유의할 점 상관관계랑 인과관계를 혼용하지 말기 데이터 전처리와 분석 방법 Error bar 추가하기 적합한 통계 테스트 찾기 아웃라이어 제거하기 데이터 표준화하기 EDA(exploratory data analysis) 충분한 시간 보내기 학습에 쓰이는 데이터가 충분한가? 우리가 찾는 모델은 Under-fitting, Over-fitting이 아닌 중간에 있는 적절하게, 잘 학습하는 모델을 찾고자 함 데이터 학습의 결과가 적절한 수준인지에 대한 인식이 있어야 한다. 학습 데이터와 테스트 데이터는 달라야 한다. Black box algorithm AI 모델의 결정에 설명력 더하기 AI 기반 학습 알고리즘은 설명 가능하지 않고 블랙박스 형태라는 단점이 존재 High ri..