본문 바로가기

Big Data94

[pandas] columns.difference columns.difference는 pandas 라이브러리에서 데이터프레임의 열을 비교하여 차이점을 반환하는 메서드입니다. 이를 사용하여 특정 열을 인덱싱하는 방법은 다음과 같습니다. 먼저, columns.difference 메서드를 사용하여 원하는 열을 제외한 나머지 열들의 이름을 가져옵니다. 그런 다음 이를 사용하여 데이터프레임의 열을 선택합니다. 아래는 이 과정을 단계별로 설명한 예시입니다. 가정하자면 다음과 같은 데이터프레임이 있다고 가정해보겠습니다. import pandas as pd data = { 'A': [1, 2, 3], 'B': [4, 5, 6], 'C': [7, 8, 9] } df = pd.DataFrame(data) 이제 columns.difference를 사용하여 'B' 열을 제외.. 2023. 8. 28.
Matplotlib GridSpec GridSpec는 Matplotlib 라이브러리에서 제공하는 도구로, 서로 다른 크기와 비율로 레이아웃된 여러 개의 서브플롯(subplot)을 생성하는 데 사용됩니다. 이를 통해 복잡한 그래프 레이아웃을 만들거나 여러 그래프를 서로 다른 비율로 배열할 수 있습니다. # GridSpec 설정 gs = gridspec.GridSpec(1, 2, width_ratios=[2, 1]) # 1행 2열, 첫 번째 그래프 폭을 두 번째 그래프 폭의 2배로 지정 ax1 = fig.add_subplot(gs[0]) ax2 = fig.add_subplot(gs[1]) 위의 코드 샘플은 GridSpec를 사용하여 하나의 행에 두 개의 서브플롯을 생성하고, 첫 번째 서브플롯의 폭을 두 번째 서브플롯의 2배로 지정한 예시입니다.. 2023. 8. 25.
데이터 스케일러(StandardScaler, MinMaxScaler) StandardScaler와 MinMaxScaler는 데이터 전처리 기술로, 머신러닝 모델을 훈련하기 전에 데이터의 스케일을 조정하는 데 사용됩니다. 이를 통해 모델이 데이터의 특성을 더 정확하게 학습할 수 있도록 도와줍니다. StandardScaler StandardScaler는 데이터의 평균을 0으로, 표준편차를 1로 만들어줍니다. 이는 데이터를 표준 정규분포(평균 0, 표준편차 1)로 변환하는 것과 비슷한 효과를 줍니다. 이 방법은 주로 선형 회귀, 로지스틱 회귀, SVM 등과 같은 모델에서 사용됩니다. from sklearn.preprocessing import StandardScaler # 예시 데이터 data = [[1.0, 2.0], [2.0, 3.0], [3.0, 4.0], [4.0, 5... 2023. 8. 25.
sns.heatmap() 알파값 조정 아래의 코드는 sns.heatmap()를 사용하여 히트맵을 그리고, 그 히트맵의 알파값을 조정하여 투명도를 설정하는 방법을 보여줍니다. import numpy as np import pandas as pd import seaborn as sns import matplotlib.pyplot as plt # Sample scaled data (replace this with your data) scaled_data = np.random.randn(5, 5) scaled_df = pd.DataFrame(scaled_data) plt.figure(figsize=(8, 6)) # Create the heatmap using sns.heatmap() heatmap = sns.heatmap(scaled_df, ann.. 2023. 8. 25.
MySQL UPDATE 쿼리를 이용한 특정 필드 값의 개행 문자와 캐리지 리턴 제거 소개 MySQL에서 데이터베이스 레코드를 업데이트하고 필드 값을 수정하는 작업은 매우 일반적입니다. 이 문서는 MySQL의 UPDATE 쿼리를 사용하여 특정 필드 값에서 개행 문자와 캐리지 리턴을 제거하는 방법을 설명합니다. 이를 위해 REPLACE 함수를 활용하여 필드 값을 변경하고 일관된 형식으로 데이터를 유지하는 방법을 안내합니다. 문제 특정 MySQL 데이터베이스 테이블의 특정 필드에는 개행 문자(\n)와 캐리지 리턴(\r)이 포함되어 있습니다. 이러한 문자들을 제거하여 필드 값을 정리하고자 합니다. 해결책 아래의 단계를 따라 필드 값에서 개행 문자와 캐리지 리턴을 제거하는 쿼리를 작성할 수 있습니다. 단계 1: UPDATE 쿼리 작성 아래의 UPDATE 쿼리를 사용하여 필드 값을 변경합니다. U.. 2023. 8. 19.
Dash Plotly의 Dash는 웹 기반 대시보드를 구축하기 위한 파이썬 프레임워크입니다. Dash를 사용하면 파이썬으로 데이터 시각화 및 대시보드를 만들고, 웹 브라우저에서 이를 보여줄 수 있습니다. Dash는 Plotly 그래프와 컴포넌트들을 결합하여 상호작용성 있는 대시보드를 생성할 수 있는 강력한 도구입니다. 아래는 Dash의 주요 특징과 작동 방식에 대한 간단한 설명입니다: 컴포넌트 기반 구성: Dash 대시보드는 HTML, CSS, JavaScript를 사용하지 않고 파이썬만으로 작성됩니다. 컴포넌트들은 대시보드 내에서 다양한 역할을 하며, 그래프, 표, 입력 필드 등 다양한 유형의 컴포넌트를 조합하여 대시보드 레이아웃을 만들 수 있습니다. Plotly 그래프 통합: Dash는 Plotly 그래프를 .. 2023. 8. 17.
Plotly Plotly는 인터랙티브한 데이터 시각화를 제공하는 파이썬 라이브러리입니다. 데이터 시각화를 위한 다양한 유형의 그래프와 차트를 만들고, 웹 기반의 인터페이스를 통해 이를 상호작용적으로 탐색할 수 있게 해줍니다. Plotly는 데이터 과학자, 엔지니어, 비즈니스 전문가 등 다양한 분야에서 사용되며, 데이터의 패턴과 관계를 시각화하여 효과적으로 이해하고 전달하는 데 도움을 줍니다. 주요한 특징과 기능은 다음과 같습니다: 다양한 그래프와 차트: Plotly는 막대 그래프, 선 그래프, 산점도, 히트맵, 등고선 플롯, 3D 차트 등 다양한 종류의 시각화를 지원합니다. 인터랙티브한 기능: 생성한 그래프와 차트는 웹 환경에서 상호작용적으로 조작할 수 있습니다. 이동, 확대, 축소, 마우스 호버 등의 기능을 통해 .. 2023. 8. 17.
Apriori 알고리즘 Apriori 알고리즘 Apriori는 연관규칙 분석을 위한 클래식한 알고리즘으로, 데이터 내에서 아이템 간의 연관성을 찾아내는 데 사용됩니다. 이 알고리즘은 빈발 아이템 집합을 탐색하여 연관규칙을 생성하는 데 특히 유용합니다. Apriori 알고리즘의 핵심 개념은 "아프라이어리 속성 (Apriori Property)"입니다. 이 속성에 따라서 어떤 아이템 집합이 빈발(frequent)하다면, 그 집합의 모든 부분 집합도 빈발하다는 것입니다. 이 아프라이어리 속성을 활용하여 알고리즘이 아이템 집합을 증가시키면서 연관규칙을 생성합니다. Apriori 알고리즘의 동작 과정은 다음과 같습니다: 단일 아이템 집합의 생성: 먼저, 각각의 아이템을 개별 아이템 집합으로 간주합니다. 1-아이템 집합의 지지도 계산: .. 2023. 8. 16.
연관 규칙 분석 연관규칙 분석 연관규칙 분석은 데이터 내에서 아이템 간의 관계를 찾아내는 데이터 마이닝 기법 중 하나입니다. 이를 통해 어떤 아이템이 다른 아이템과 함께 얼마나 자주 발생하는지, 그리고 이 아이템들 간의 규칙이 얼마나 신뢰할 수 있는지를 평가할 수 있습니다. 이때 사용되는 주요 지표로는 "지지도 (Support)"와 "신뢰도 (Confidence)"가 있습니다. 지지도 (Support) 지지도는 특정 아이템 또는 아이템 집합이 전체 데이터 집합에서 얼마나 자주 나타나는지를 나타내는 지표입니다. 지지도는 다음과 같은 식으로 계산됩니다: 지지도(A -> B) = (A와 B가 동시에 나타나는 거래 수) / (전체 거래 수) 여기서 A는 규칙의 선행절 (antecedent)이며, B는 규칙의 후행절 (conse.. 2023. 8. 16.

티스토리툴바