驱虫市场电商分析案例👻

1.基本分析逻辑

逐步缩进， 先看总的，再看每一类目

1.1分析流程

1.2产品结构 - 波士顿矩阵

1.3市场类别

评判市场和品牌的发展趋势和增长情况,从宏观到微观,从大市场到细分市场:

1. 互联网产品由关注用户增量到用户存量,判断产品或市场是用户增量还是存量,只需要判断有新的需求出现即可:增量市场:从无到有,以前关注哪些需求没有被满足,快速迭代抢占市场,考虑最多的不是用户体验.
   流量=新增客户.例如:智能手机潮开始时的市场.小米面对的是增量.
   存量市场:从有到优,现在关注如何更好的满足需求,考虑更多的是用户体验.
   产品价值=新体验-旧体验-替换成本,新体验没有突破性大幅增加,产品价值很难实现.
   流量=用户时间(停留时间越久,利益价值越大).
   例如:现在人手一台智能手机,小米面对存量市场,如何让需要换手机的用户换成小米,从有到优.
2. 创新:想要用产品价值撬动一个用户,同纬度竞争别家的先发优势门槛太高,如果别家体量很大,基本可以放弃;
   创新可能就是剩下的活路,而面对互联网的高速发展,线下需求基本都被互联网化,切入点可能就转移到细分市
   场.
   例如:微信QQ是社交领域的霸主,陌陌探探在陌生人社交上也分了一杯羹,这些已存在的需求,没有被充分实现,也
   算增量市场

1.4产品生命周期

1.5处理项目需求的基本思路

1. 了解项目公司的背景和对接人员情况
   公司的产品结构,市场环境,对接人的角色和权利等级等
2. 沟通明确实际的项目需求
   团队内部理解项目需求
   和业务方沟通需求:从业务的角度理解需求可能的解决方案
   优化项目需求
   和业务核对项目需求
3. 根据项目需求梳理分析思路:每一步分析的目标,需要的数据支持,反复优化
4. 确定分析工具和人员配置,进行数据分析
5. 撰写分析结论和方案

1.6 项目需求例子

问题:销售额下降,怎么办?(这个问题太大,方法也很多:优化老客户,扩大流量,提升转化率)

1. 了解涉及项目相关的所有的业务部门的需求,逻辑,问题点
2. 拆分:销售额=流量转化率客单价
3. 待沟通部门:营销部门(活动),推广部门(流量),客服,售后,供应链
   营销:精准营销(找到高价值客户),客户行为分析(响应效果),组合营销(购物篮)推广:竞价排名,买广告位,点击付费(需要很强的经验)
   退款和评论分析:优化产品,优化服务质量
4. 沟通之前出想法,沟通之后优化,确认项目需求
5. 数据收集:确认每一步需求的数据(可能用到爬虫)

2.项目背景及产品架构、数据说明

• 客户介绍:拜耳官方旗舰店(拜耳公司,总部位于德国的勒沃库森,在六大洲的200个地
  点建有750家生产厂;拥有120,000名员工及350家分支机构,几乎遍布世界各国.高分
  子,医药保健,化工以及农业是公司的四大支柱产业.公司的产品种类超过10000种)

• 客户需求:拜耳官方旗舰店

• 寻求市场增长点

• 产品架构:
  

• 数据说明：
  

3.驱虫市场潜力分析

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline 

import os

3.1导入所有数据

categroy_df = pd.DataFrame()
wormer_path = './data/驱虫剂市场/'
for file in os.listdir(wormer_path):
    if '三年交易额' in file:
        file_path = os.path.join(wormer_path, file)
        df = pd.read_excel(file_path)
        df.set_index('时间', inplace=True)
        name = file.split('市场')[0]
        df.columns = [name]
        categroy_df = pd.concat((categroy_df, df), axis=1)

categroy_df

3.1.1总体增长情况

# 时间类型做index，可以使用resample做重采样
# 重采样就是根据时间分组聚合，可以指定按月M、年Y、日D..
categroy_df.sum(axis=1).resample('Y').sum()

时间
2015-12-31    6.852011e+07
2016-12-31    9.179661e+08
2017-12-31    1.395873e+09
2018-12-31    1.612226e+09
Freq: A-DEC, dtype: float64

3.1.2月度GMV分析

每年每月销售额的条形图

gmv = pd.DataFrame(categroy_df.sum(axis=1))
gmv.columns = ['GMV']

### 查看每一年的每个月的销售额的条形图
gmv['month'] = gmv.index.month
gmv['year'] = gmv.index.year

sns.set()
plt.rcParams['font.sans-serif'] = 'SimHei'
plt.rcParams['axes.unicode_minus'] = False

for year in [2015, 2016, 2017, 2018]:
    gmv2018 = gmv.loc[gmv.year == year]
    plt.bar(gmv2018.month, gmv2018.GMV)
    plt.xticks(gmv2018.month, [f'{x}月' for x in gmv2018.month.values])
    plt.ylabel('GMV')
    plt.title(f'{year}年月度GMV分析') 
    plt.show()

​

​

3.1.3连续三年的销售额变化

两种方式
1.  从第一年的11月到第二年的10月份
2.  补全18年的数据   预测  -  - 同期均值
        回归算法填充空值 均值/众数
    
回归算法： 决策树 knn  Linear

X,  y  

X     y  销量  


选择一：
用18年的前10个月的时间作为X 销售额作y,， 给出2018-11， 预测第11个月的y

选择二：
用15，16，17的11月时间做X，销售额做y，  18的11做预测， 得到18年11月的y

categroy_df.head()

categroy_df['month'] = categroy_df.index.month

构造训练集

month11 = categroy_df[categroy_df.month == 11]
X1 = month11.index
Y1 = month11.iloc[:,:-1].values

from sklearn.linear_model import Ridge

分析过程： 使用Timestamp类型也可以，但是太复杂，所以考虑使用更简洁的数据形式
观察发现，唯一不同的就是年 ，所以直接提取出年的信息，作为训练数据即可

timestamp = X1[0]
timestamp

Timestamp('2017-11-01 00:00:00')

timestamp.strftime('%Y-%m-%d')

'2017-11-01'

由于转换为文本类型仍然不可以建模，时间类型太复杂，所以只提取出年，进行计算

X1 = month11.index.year.values

更新数据集

X1 = X1.reshape((-1,1))

Y1

array([[58382172.96,    94993.76,  1581530.2 ,   168141.79,  4257593.87,
          617094.94,  5447184.43],
       [47806248.76,   106291.23,  1473418.2 ,    82835.82,  2758827.44,
          512990.23,  4975519.21],
       [33038726.31,   185094.22,  1197791.27,    86889.91,  1579795.72,
          325744.43,  3364112.14]])

ridge = Ridge()
ridge.fit(X1, Y1)

Ridge()

保存预测结果

# 保存预测结果
result11 = pd.DataFrame(data=ridge.predict([[2018]]), columns=month11.columns[:-1])
result11.index = [pd.Timestamp('2018-11-01')]

同理预测12

month12 = categroy_df[categroy_df.month==12]
X2 = month12.index.year.values.reshape((-1,1))
Y2 = month12.iloc[:,:-1].values

ridge2 = Ridge()
ridge2.fit(X2, Y2)

Ridge()

# 保存预测结果
result12 = pd.DataFrame(data=ridge2.predict([[2018]]), columns=month12.columns[:-1])
result12.index = [pd.Timestamp('2018-12-01')]

汇总数据

category_total = pd.concat((result12, result11, categroy_df), sort=True)

补全月份信息

category_total.month = category_total.index.month

要看连续三年的销售额（gmv）的变化趋势，所以先把每个月的各类别的销售数据进行汇总

GMV_MOMTH = category_total.iloc[:,1:].sum(axis=1)

# resample 就是按照Y（年）来分组 ，前提是必须用时间类型做索引
# 计算每一年的GMV总额
GMV_YEAR = GMV_MOMTH.resample('Y').sum()

由于15年的数据不全，所以删除

GMV_YEAR_DATA = GMV_YEAR.iloc[1:]
plt.figure(figsize=(12, 6))

plt.bar(GMV_YEAR_DATA.index, GMV_YEAR_DATA.values, width=100.0, color='lightgreen')
plt.plot(GMV_YEAR_DATA.index, GMV_YEAR_DATA.values, color='green', marker='*', markersize=20)

plt.xticks(GMV_YEAR_DATA.index, GMV_YEAR_DATA.index.year)
plt.title('2016-2018连续三年销售趋势')
plt.xlabel('年份')
plt.ylabel('销售额（GMV）')

Text(0, 0.5, '销售额（GMV）')

​

​

连续三年销售额呈增长状态，且17-18涨幅有所降低

GMV_YEAR_DATA.index.year

Int64Index([2016, 2017, 2018], dtype='int64')

GMV_YEAR_DATA.values

array([9.17966080e+08, 1.39587273e+09, 1.74288594e+09])

3.2每年各品类销售额占比分析

#月份暂时没有用，删除

category_total.drop(labels=['month'], inplace=True, axis=1)

#计算每一年个类别的销售总额
category_year = category_total.resample('Y').sum()

# 删除15年数据

category_year = category_year.iloc[1:]
category_year.plot()

<AxesSubplot:>

​
​

由上图可以看出，灭鼠杀虫剂和蚊香液是核心市场

3.2.1各市场占比

category_year

category_year.loc['2016'].values[0]

array([6.08047077e+08, 7.66657212e+06, 4.78528539e+07, 5.90520471e+06,
       1.70490531e+08, 2.79808395e+07, 5.00230019e+07])

plt.figure(figsize=(18,4))
loc=1
for year in ['2016','2017','2018']:
    plt.subplot(1,3, loc)
    loc += 1
    plt.pie(category_year.loc[year].values[0], labels=category_year.columns, autopct='%.2f%%')   
    _ = plt.axis('equal')
    _ = plt.title(year + '年')

​

​

使用堆叠柱状图，不但可以表达占比， 还能表示出每年的销售总额

#测试数据
data1 = np.array([1,2,3,4])
data2 = np.array([4,3,2,1])
data3 = np.array([2,3,1,5])
plt.bar(np.arange(4), data1)
plt.bar(np.arange(4), data2, bottom=data1)
plt.bar(np.arange(4), data3, bottom=data1+data2)

<BarContainer object of 4 artists>

​

​

plt.figure(figsize=(12, 6))
data_sum = 0
for col_index in range(category_year.columns.size):
    # 读取每一列数据（3年各子类市场的销售数据）
    data = category_year.iloc[:,col_index]
    # 计算3年各子类市场的销售额占比
    pct = data/category_year.sum(axis=1)
    # 绘制堆叠柱状图
    plt.bar(np.arange(3), data, bottom=data_sum,label=data.name)
    
    # 判断某一个子类市场的销售额占比，如果有一年超过了50%， 就把占比的数据绘制进来
    if (pct > 0.5).any():
        y_locs = data/2 + data_sum
        for x, y in zip(np.arange(3), y_locs):
            plt.text(x=x-0.15, y=y, s=f'占比{np.round(pct[x]*100, 2)}%', fontdict={
                'size':14,
                'color':'white'
            })
    # 更新堆叠柱状图的bottom
    data_sum += data
    
plt.legend()
plt.xticks(np.arange(3), [2016, 2017, 2018])
plt.xlabel('年份')
plt.ylabel('子类市场累计销量')
plt.title('三年各子类市场销量及占比分析', fontsize=18)
plt.show()

np.round(1.231314,2)

1.23

category_year.sum(axis=1)

2016-12-31    9.179661e+08
2017-12-31    1.395873e+09
2018-12-31    1.742886e+09
Freq: A-DEC, dtype: float64

category_year.iloc[:,0]/2

2016-12-31    3.040235e+08
2017-12-31    4.238870e+08
2018-12-31    5.616902e+08
Freq: A-DEC, Name: 灭鼠杀虫剂, dtype: float64

3.2.2计算三年的增长率

category_year.index = category_year.index.year

category_incraserate = category_year.T

for last, current in zip(category_incraserate.columns[:2], category_incraserate.columns[1:]):
    col_name = f'{last}-{current}'
    category_incraserate[col_name] = (category_incraserate[current] - category_incraserate[last])/category_incraserate[last]

plt.figure(figsize=(12, 5))
for index_name in category_incraserate.index:
    row_data = category_incraserate.loc[index_name]
    data = row_data.iloc[-2:]
    plt.plot(data, label=index_name)
plt.legend()
plt.title('连续两年各子类市场的增长率分析')
plt.xlabel('年份')
plt.ylabel('增长率')
plt.show()

category_incraserate.loc['电蚊香套装'].iloc[-2:]

2016-2017    0.223171
2017-2018   -0.511541
Name: 电蚊香套装, dtype: float64

灭鼠杀虫市场：
不论是销售额占比、销售增长率都具备明显产品的潜质

另外蚊香液市场也具备相应的增长潜质，但是稍逊于灭鼠杀虫市场

市场机会点可以从这两个子类市场中查找

3.3灭鼠市场的进一步分析

增长率高

竞争度低

竞品市场的市场占有率

s1 == s2

1-s1 == s2

s1 s2

def HHI(x): ## 行业j集中率
    return x**2 + (1-x)**2 

x = np.linspace(0, 1, 100)

sns.set()
plt.rcParams['font.sans-serif'] = 'SimHei'
plt.rcParams['axes.unicode_minus'] = False

# 两家公司的竞争度， 当两家公司的份额相同时，竞争度最低
plt.plot(x, HHI(x))
plt.xlabel('市场份额')
plt.ylabel('竞争度')
# plt.legend()

Text(0, 0.5, '竞争度')

​
​

3.3.1HHI指标（垄断评估）

top100 = pd.read_excel('./data/驱虫剂市场/top100品牌数据.xlsx')
top100

# 计算各品牌的市场占有率
top100['s'] = top100['交易指数']/top100['交易指数'].sum()

HHI = (top100['s']**2).sum()
HHI

0.013546334007208918

范围:
[1/N,‘高度竞争行业’,0.01],
(0.01,‘不集中的行业’,0.15],
(0.15,‘中等集中’,0.25],
(0.25,‘高度集中’,1]

杀虫剂市场的HHI值处于（0.01，0.15]范围，不集中行业，可以进一步挖掘业务增长机会点

产品类别–>细分价格段–>属性

品牌 地域 店铺...

import os
root_path = './data/灭鼠杀虫剂细分市场'

kill_mouse = pd.DataFrame()

for file in os.listdir(root_path):
    file_path = os.path.join(root_path, file)
    df = pd.read_excel(file_path)
    kill_mouse = pd.concat((kill_mouse, df), ignore_index=True, sort=False)

# 需要的字段
features = ['类别','宝贝标题','宝贝ID','销量（人数）','售价','预估销售额','类目','地域','店铺类型','型号','净含量','物理形态']

kill_mouse.head(3)

kill_mouse['类别'].value_counts()

杀虫    2000
蟑螂    1743
灭鼠    1523
螨      853
虱      437
Name: 类别, dtype: int64

# 读取灭鼠市场的数据
mouse_data = kill_mouse.loc[kill_mouse['类别'] =='灭鼠', features].copy()

mouse_data.isnull().mean()

类别        0.000000
宝贝标题      0.000000
宝贝ID      0.000000
销量（人数）    0.000000
售价        0.000000
预估销售额     0.012475
类目        0.000000
地域        0.466842
店铺类型      0.000000
型号        0.351937
净含量       0.692712
物理形态      0.201576
dtype: float64

查看某一个类别是否有增长的机会，就是看两点：

1. 市场份额 低 可以投入
2. 相对竞争度 越低， 说明这个类别下可以投入

分析逻辑：

产品类别–>细分价格段–>属性 （）

增长机会点： 产品的【各种属性】进行更细一步的拆解

分析属性时要注意：
属性是否是方便整合的 如果字段在录入时就不统一，应该先统一再处理

mouse_data.head()

import warnings
warnings.filterwarnings('ignore')

sns.distplot(mouse_data['售价'])

<AxesSubplot:xlabel='售价', ylabel='Density'>

​

​

bins = np.arange(0, 350, 50)
bins = np.concatenate((bins, [float('inf')]))
bins

array([  0.,  50., 100., 150., 200., 250., 300.,  inf])

# 根据bins生成标签的方法
def creat_label(bins):
    res = []
    for i in range(bins.size-1):
        pre = bins[i]
        current = bins[i+1]
        label = '%.0f-%.0f'%(pre, current)
        if current == float('inf'):
            label = '%.0f以上'%(pre)
        res.append(label)
    return res
creat_label(bins)

['0-10',
 '10-20',
 '20-30',
 '30-40',
 '40-50',
 '50-60',
 '60-70',
 '70-80',
 '80-90',
 '90-100']

# 计算相对竞争度的函数
def map_compatitive(x):
    return 1 - (x - x.min())/(x.max() - x.min())

# 分组逻辑
mouse_data['价格区间'] = pd.cut(mouse_data['售价'], bins=bins, labels=create_label(bins))

# mouse_data: 是一个以‘价格区间’ 作为分组字段的dataFrame
def create_compatitive_table(mouse_data):
    # 计算预估销售额（价格区间内）
    预估销售额 = pd.DataFrame(mouse_data.groupby('价格区间')['预估销售额'].sum())
    # 计算预估销售额占比
    预估销售额占比 = 预估销售额/预估销售额.sum()
    预估销售额占比.columns = ['预估销售额占比']

    # 计算宝贝数量 （宝贝种类）
    # 交叉表 特殊的透视表  count  两组数据的交叉关系
    cross_table = pd.crosstab(index=mouse_data['价格区间'], columns=mouse_data['宝贝ID'])
    宝贝数 = (cross_table > 0).sum(axis=1)
    宝贝数 = pd.DataFrame(宝贝数, columns=['宝贝数'])

    # 单宝贝销售额
    单宝贝平均销售额 = 预估销售额['预估销售额'] / 宝贝数['宝贝数']
    单宝贝平均销售额.name = '单宝贝平均销售额'
    单宝贝平均销售额 = pd.DataFrame(单宝贝平均销售额)

    # 相对竞争度
    相对竞争度 = map_compatitive(单宝贝平均销售额)
    相对竞争度.columns = ['相对竞争度']

    return pd.concat((预估销售额,预估销售额占比,宝贝数,单宝贝平均销售额,相对竞争度), axis=1)

create_compatitive_table(mouse_data)

## 把0-100之间的数据拆分成10组
mouse_data100 = mouse_data.loc[mouse_data['售价'] <= 100].copy()
bins = np.arange(0, 110, step=10)
labels = creat_label(bins)
mouse_data100['价格区间'] = pd.cut(mouse_data100['售价'], bins=bins, labels=labels)
create_compatitive_table(mouse_data100)

# 把拆分的过程进行封装
def create_price_table(bins, mouse_data):
    ## 把0-100之间的数据拆分成10组
    high = bins[-1]
    mouse_data100 = mouse_data.loc[mouse_data['售价'] <= high].copy()
    labels = creat_label(bins)
    mouse_data100['价格区间'] = pd.cut(mouse_data100['售价'], bins=bins, labels=labels)
    return create_compatitive_table(mouse_data100)

bins = np.arange(0, 110, 10)
create_price_table(bins, mouse_data)

bins = np.arange(0, 350, 50)
bins = np.concatenate((bins, [float('inf')]))
price_table = create_price_table(bins, mouse_data)
price_table

plt.figure(figsize=(12, 5))
price_table['预估销售额占比'].plot(kind='bar')
price_table['相对竞争度'].plot(kind='line')
plt.legend()

<matplotlib.legend.Legend at 0x15b011d2700>

​

​

200-250价格区间时相对竞争度最低的，所以可以作为高端市场的机会点

0-50市场份额高，相对竞争度也高， 但是由于市场份额很高，所以可以进一步的挖掘更细致价格区间

bins = np.arange(0, 60, 10)

price_table_50 = create_price_table(bins=bins, mouse_data=mouse_data)

def show_compatitive(price_table):
    plt.figure(figsize=(12, 5))
    price_table['预估销售额占比'].plot(kind='bar')
    price_table['相对竞争度'].plot(kind='line')
    plt.legend()
    plt.show()

show_compatitive(price_table_50)

​

​

10-20元的细分市场，市场份额很高，相对竞争度很低

20-30元的区间，仅次于10-20元的市场，也可以考虑

3.3.2 灭鼠杀虫市场的进一步分析

查看哪个2级类目有更高的市场占有率和增长率

kill_mouse = kill_mouse[features].copy()

kill_mouse.groupby('类别')['预估销售额'].sum().plot(kind='pie', autopct='%.2f%%')
plt.axis('equal')
plt.show()

​

​

除灭鼠市场外，蟑螂市场也有较高的占有率，所以可以进一步的挖掘机会点

3.3.3继续挖掘其他属性

kill_mouse

# mouse_data: 是一个以‘价格区间’ 作为分组字段的dataFrame
def create_compatitive_table_by(mouse_data, by):
    # 计算预估销售额（价格区间内）
    预估销售额 = pd.DataFrame(mouse_data.groupby(by)['预估销售额'].sum())
    # 计算预估销售额占比
    预估销售额占比 = 预估销售额/预估销售额.sum()
    预估销售额占比.columns = ['预估销售额占比']

    # 计算宝贝数量 （宝贝种类）
    # 交叉表 特殊的透视表  count  两组数据的交叉关系
    cross_table = pd.crosstab(index=mouse_data[by], columns=mouse_data['宝贝ID'])
    宝贝数 = (cross_table > 0).sum(axis=1)
    宝贝数 = pd.DataFrame(宝贝数, columns=['宝贝数'])

    # 单宝贝销售额
    单宝贝平均销售额 = 预估销售额['预估销售额'] / 宝贝数['宝贝数']
    单宝贝平均销售额.name = '单宝贝平均销售额'
    单宝贝平均销售额 = pd.DataFrame(单宝贝平均销售额)

    # 相对竞争度
    相对竞争度 = map_compatitive(单宝贝平均销售额)
    相对竞争度.columns = ['相对竞争度']

    return pd.concat((预估销售额,预估销售额占比,宝贝数,单宝贝平均销售额,相对竞争度), axis=1)

create_compatitive_table_by(mouse_data, '店铺类型')

mouse_data.head()

### 对产品型号的top10分析
type_top10 = create_compatitive_table_by(mouse_data, '型号').sort_values('预估销售额', ascending=False)[:10]
type_top10

show_compatitive(type_top10)

​

​

SK600 JF-807时两款相对竞争度很低的产品型号，可以进一步关注

但是由于产品型号差异太大，500多种，所以参考价值较低，可以进一步和市场人员沟通

mouse_data['地域'].unique()

array(['广东 韶关', '广东 深圳', nan, '河南 南阳', '浙江 金华', '上海', '广东 广州', '广东 东莞',
       '浙江 宁波', '福建省 泉州市', '江苏 无锡', '山东省 青岛市', '上海 上海市', '北京', '山东 青岛',
       '江苏 宿迁', '河北 唐山', '江苏 盐城', '广东 佛山', '江苏 常州', '浙江省 温州市', '山东 济宁',
       '上海 上海', '北京 北京', '江苏省 常州市', '安徽 蚌埠', '广东省 珠海市', '四川 成都', '浙江 杭州',
       '河南 郑州', '广东 中山', '浙江省 衢州市', '辽宁 沈阳', '湖南 长沙', '北京 北京市', '江苏 苏州',
       '湖北 武汉', '河北 石家庄', '四川省 成都市', '福建 厦门', '广东 汕头', '山东 菏泽', '广东省 广州市',
       '海南 海口', '浙江省 杭州市', '广东 惠州', '江苏 南京', '广东省 东莞市', '重庆 重庆', '广东 茂名',
       '山东 济南', '辽宁 锦州', '浙江 温州', '福建省 厦门市', '浙江 嘉兴', '河北 邯郸', '广东 珠海',
       '河南 新乡', '天津', '江西 吉安', '辽宁省 大连市', '广东省 深圳市', '山东 枣庄', '广东省 佛山市',
       '福建 泉州', '浙江省 金华市', '山东 潍坊', '福建 福州', '安徽省 滁州市', ' 苏州市', '湖南省 长沙市',
       '辽宁 大连', '河北 廊坊', '浙江 绍兴', '天津 天津', '安徽 安庆', '安徽 合肥', '山东 聊城',
       ' 沈阳市', '山东省 聊城市', '湖北省 武汉市', '河北 秦皇岛', '江苏 镇江', '浙江 台州', '河北 沧州'],
      dtype=object)

city_moust_data = mouse_data.loc[mouse_data['地域'].notnull()].copy()

def split_province_city(x):
    infomation = x.split(' ')
    if len(infomation) <= 1:
        return np.array([infomation[0], infomation[0]])
    else:
        return np.array(infomation)

split_province_city('广东 深圳')

array(['广东', '深圳'], dtype='<U2')

city_infos = city_moust_data['地域'].map(split_province_city).values

city_info_list = []
for info in city_infos:
    city_info_list.append([info[0], info[1]])

city_info_df = pd.DataFrame(city_info_list, columns=['省份','城市'])

# 重置索引
city_moust_data.index = np.arange(city_moust_data.shape[0])

city_mouse_data = pd.concat((city_moust_data, city_info_df), axis=1)

由于省份信息不统一，把省份统一处理

city_mouse_data['省份'].unique()

array(['广东', '河南', '浙江', '上海', '福建省', '江苏', '山东省', '北京', '山东', '河北',
       '浙江省', '江苏省', '安徽', '广东省', '四川', '辽宁', '湖南', '湖北', '四川省', '福建',
       '海南', '重庆', '天津', '江西', '辽宁省', '安徽省', '', '湖南省', '湖北省'],
      dtype=object)

def process_province(x):
    return x.split('省')[0]

city_mouse_data.loc[:,'省份'] = city_mouse_data['省份'].map(process_province)

检查省份数据

city_mouse_data['省份'].unique()

array(['广东', '河南', '浙江', '上海', '福建', '江苏', '山东', '北京', '河北', '安徽', '四川',
       '辽宁', '湖南', '湖北', '海南', '重庆', '天津', '江西', ''], dtype=object)

city_info_table = create_compatitive_table_by(city_mouse_data, '省份')

show_compatitive(city_info_table)

​

​

上海、四川、广东、海南都是竞争度较低的省份，可以扩大规模

physical_form_table = create_compatitive_table_by(mouse_data, '物理形态')

physical_form_table

show_compatitive(physical_form_table)

​

​

8波段驱鼠器、胶水相对竞争度较低， 可以作为机会增长点做进一步扩大

其他形式、其他子类市场，都可以做类似的筛选，再总结即可

4.竞品分析

root_path = './data/竞争数据/商品销售数据/'

sales_data = pd.DataFrame()
for file in os.listdir(root_path):
    file_path = os.path.join(root_path, file)
    df = pd.read_excel(file_path)
    sales_data = pd.concat((sales_data, df), sort=False, ignore_index=True)

sales_data.columns

Index(['序号', '店铺名称', '商品名称', '商品ID', '主图链接', '商品链接', '商品原价', '商品售价', '30天销售量',
       '总销量', '类目', '适用对象', '30天销售额', '物理形态', '型号', '净含量'],
      dtype='object')

features = ['店铺名称','商品ID','总销量','30天销售额','类目']
sales_data_features = sales_data[features]
sales_data_features

category_sales = pd.pivot_table(data=sales_data_features, 
               index='店铺名称', columns='类目', 
               values='30天销售额', aggfunc='sum')
category_sales

sns.set()
plt.rcParams['font.sans-serif'] = 'SimHei'
plt.rcParams['axes.unicode_minus'] = False

plt.figure(figsize=(12, 4))
for i in range(category_sales.shape[0]):
    ax = plt.subplot(1,3,i+1)
    category_sales.iloc[i].plot(kind='pie', ax=ax)
    plt.axis('equal')
plt.suptitle('主要竞品的销售额占比分析')

Text(0.5, 0.98, '主要竞品的销售额占比分析')

​

​

category_sales1 = pd.pivot_table(data=sales_data_features, 
               index='店铺名称', columns='类目', 
               values='总销量', aggfunc='sum')

plt.figure(figsize=(12, 4))
for i in range(category_sales1.shape[0]):
    ax = plt.subplot(1,3,i+1)
    category_sales.iloc[i].plot(kind='pie', ax=ax)
    plt.axis('equal')
plt.suptitle('主要竞品的销售量占比分析')

Text(0.5, 0.98, '主要竞品的销售量占比分析')

​

​

三家竞品的产品组合基本一致

4.1 BCG矩阵 查看产品结构是否健康

以拜尔官方旗舰店为例： 分析BCG结构

baier = pd.read_excel('data/竞争数据/商品交易数据/拜耳全店商品交易数据.xlsx')
baier

# 计算各商品的销售总额
sales_sum = baier.groupby('商品')['交易金额'].sum()
sales_sum

商品
17年德国拜耳进口蚂蚁药拜灭易灭蚁饵剂粉除杀蚂蚁杀虫剂全窝端            42340.55
德国原装进口拜耳蟑螂药全窝端拜灭士5g+12g杀蟑胶饵剂粉屋捕捉器        197377.17
德国拜耳 除敌跳蚤杀虫剂家用灭蟑螂药虱子杀潮虫臭虫除虫剂喷雾          1394780.59
德国拜耳丁香医生限量款拜灭士加量家用蟑螂全窝端蟑螂药3支装             26742.75
德国拜耳上门除灭鼠灭白蚁蟑螂蚊子跳蚤苍蝇上海地区灭虫按件拍下            28969.28
德国拜耳拜灭士5g+拜灭易12g进口杀蟑螂蚂蚁药蟑螂克星家用全窝端        251225.58
德国拜耳拜灭士5g+除敌5ml*4支进口蟑螂药家用全窝端杀蟑螂套装       1484952.41
德国拜耳拜灭士蟑螂药一窝端杀蟑胶饵灭蟑螂屋无毒克星家用全窝端         40103850.97
德国拜耳拜灭士蟑螂药一窝端进口全窝端家用灭除杀蟑胶饵5g包邮           236386.32
德国拜耳拜灭易12g+除敌5ml*4支 进口蚂蚁药全窝端家用杀虫剂组合       89566.01
德国拜耳拜灭易灭蚁饵剂粉除杀防蚂蚁药杀虫剂全窝端家用室内花园          1520126.15
德国拜耳拜灭易进口蚂蚁药一窝端灭蚁饵剂清除蚂蚁粉家用全窝端             32246.39
德国拜耳白蚁药杀虫剂全窝端家用除杀防治灭飞蚂蚁特密得预防装修            55113.41
德国拜耳蟑螂药拜灭士杀蟑胶饵蟑螂克星全窝端家用灭蟑加量装12g           68699.06
德国拜耳跳蚤杀虫剂家用潮虫灭蛾蚋虱子臭虫药除蟑螂5ml*4            318059.43
德国拜耳进口白蚁药除灭防杀白蚁杀虫剂全窝端家用特傚触杀型粉药           564169.77
德国拜耳进口蚂蚁药家用拜灭易灭蚁饵剂杀蚂蚁杀虫剂室内全窝端蚁           214998.61
德国拜耳进口蚂蚁药拜灭易灭蚁饵剂除杀蚂蚁无毒家用室内全窝端             93400.98
德国拜耳进口蚂蚁药拜灭易灭蚁饵剂除杀蚂蚁杀虫剂家用室内全窝端          6130488.42
德国拜耳除敌杀虫剂灭蚊蟑螂蚂蚁药跳蚤苍蝇臭虫除螨虱子家用             393582.71
德国拜耳除敌杀虫剂灭蟑螂药跳蚤苍蝇臭虫除螨虱子喷雾5ml*8           983199.69
德国进口拜耳蟑螂药拜灭士杀灭除蟑胶饵剂粉屋家用全窝端12g*2盒          28605.01
德国进口拜耳蟑螂药拜灭士杀蟑胶饵5g两盒套装全窝端杀灭蟑螂剂屋          189376.20
必抢 德国进口拜耳蟑螂克星家用小强全窝端蟑螂药杀蟑胶饵灭蟑17g         561689.93
拜灭士蟑螂药蟑螂克星家用无毒强力灭蟑清德国拜耳杀蟑饵剂全窝端           140032.47
拜耳拜灭士 蟑螂药家用全窝端 强力灭除厨房蟑螂屋克星杀德国进口          413902.42
拜耳灭蚂蚁药家用一窝端室内室外用杀小黄红蚂蚁药神器胶饵拜灭易            22553.62
拜耳蟑螂药一窝端家用拜灭士杀蟑胶饵德国小强药粉灭蟑螂厨房克星           695372.27
电子猫超声波驱鼠器家用大功率灭鼠防鼠赶老鼠夹药捕鼠干扰粘鼠板            41046.03
蟑螂药30克拜灭士德国拜耳进口安全灭蟑螂杀蟑胶饵颗粒剂传染传毒          221081.46
蟑螂药一窝端德国拜耳拜灭士除蟑灭杀蟑螂克星全窝端家用杀蟑胶           2976922.63
蟑螂药德国拜耳拜灭士强力除杀蟑螂克星胶饵屋家用捕捉器贴全窝端          1198694.67
蟑螂药拜耳拜灭士杀蟑胶饵强力灭蟑清贴捕捉器蟑螂克星家用全窝端            55395.16
蟑螂药进口德国拜耳拜灭士家用除杀蟑螂屋胶饵捕捉器强力清全窝端           101079.33
进口拜耳蚂蚁药家用花园灭蚁饵剂拜灭易除杀蚂蚁杀虫剂室内全窝端           108487.45
进口蚂蚁药德国拜耳拜灭易杀蚁胶饵灭蚁饵剂红黑黄蚂蚁全窝端家用            33514.83
进口蟑螂药 德国拜耳拜灭士家用杀蟑螂胶饵捕捉器蟑螂屋粉全窝端           582636.66
进口蟑螂药 德国拜耳拜灭士杀蟑胶饵灭蟑螂屋贴捕捉器全窝端家用           185691.26
进口蟑螂药 德国拜耳拜灭士杀蟑螂胶饵剂33克灭蟑螂药全窝端家用          143883.32
进口蟑螂药一窝端德国拜耳拜灭士强力杀蟑胶饵蟑螂屋克星家用全窝         13617307.87
进口蟑螂药一窝端德国拜耳拜灭士杀蟑胶饵诱防蟑螂屋全窝端5+12g          67043.14
进口蟑螂药德国拜耳拜灭士杀蟑胶饵蟑螂克星全窝端家用灭蟑屋12g         1650681.34
进口蟑螂药德国拜耳拜灭士灭杀蟑胶饵剂粉屋克星全窝端12g家用          3589799.54
预售德国拜耳进口蟑螂药进口蚂蚁药组合装5g+12g                 85546.09
Name: 交易金额, dtype: float64

# 计算各商品的销售总额占比
sales_pct = sales_sum/sales_sum.sum()
sales_pct

商品
17年德国拜耳进口蚂蚁药拜灭易灭蚁饵剂粉除杀蚂蚁杀虫剂全窝端         0.000523
德国原装进口拜耳蟑螂药全窝端拜灭士5g+12g杀蟑胶饵剂粉屋捕捉器      0.002439
德国拜耳 除敌跳蚤杀虫剂家用灭蟑螂药虱子杀潮虫臭虫除虫剂喷雾         0.017232
德国拜耳丁香医生限量款拜灭士加量家用蟑螂全窝端蟑螂药3支装          0.000330
德国拜耳上门除灭鼠灭白蚁蟑螂蚊子跳蚤苍蝇上海地区灭虫按件拍下         0.000358
德国拜耳拜灭士5g+拜灭易12g进口杀蟑螂蚂蚁药蟑螂克星家用全窝端      0.003104
德国拜耳拜灭士5g+除敌5ml*4支进口蟑螂药家用全窝端杀蟑螂套装      0.018346
德国拜耳拜灭士蟑螂药一窝端杀蟑胶饵灭蟑螂屋无毒克星家用全窝端         0.495473
德国拜耳拜灭士蟑螂药一窝端进口全窝端家用灭除杀蟑胶饵5g包邮         0.002920
德国拜耳拜灭易12g+除敌5ml*4支 进口蚂蚁药全窝端家用杀虫剂组合    0.001107
德国拜耳拜灭易灭蚁饵剂粉除杀防蚂蚁药杀虫剂全窝端家用室内花园         0.018781
德国拜耳拜灭易进口蚂蚁药一窝端灭蚁饵剂清除蚂蚁粉家用全窝端          0.000398
德国拜耳白蚁药杀虫剂全窝端家用除杀防治灭飞蚂蚁特密得预防装修         0.000681
德国拜耳蟑螂药拜灭士杀蟑胶饵蟑螂克星全窝端家用灭蟑加量装12g        0.000849
德国拜耳跳蚤杀虫剂家用潮虫灭蛾蚋虱子臭虫药除蟑螂5ml*4          0.003930
德国拜耳进口白蚁药除灭防杀白蚁杀虫剂全窝端家用特傚触杀型粉药         0.006970
德国拜耳进口蚂蚁药家用拜灭易灭蚁饵剂杀蚂蚁杀虫剂室内全窝端蚁         0.002656
德国拜耳进口蚂蚁药拜灭易灭蚁饵剂除杀蚂蚁无毒家用室内全窝端          0.001154
德国拜耳进口蚂蚁药拜灭易灭蚁饵剂除杀蚂蚁杀虫剂家用室内全窝端         0.075741
德国拜耳除敌杀虫剂灭蚊蟑螂蚂蚁药跳蚤苍蝇臭虫除螨虱子家用           0.004863
德国拜耳除敌杀虫剂灭蟑螂药跳蚤苍蝇臭虫除螨虱子喷雾5ml*8         0.012147
德国进口拜耳蟑螂药拜灭士杀灭除蟑胶饵剂粉屋家用全窝端12g*2盒       0.000353
德国进口拜耳蟑螂药拜灭士杀蟑胶饵5g两盒套装全窝端杀灭蟑螂剂屋        0.002340
必抢 德国进口拜耳蟑螂克星家用小强全窝端蟑螂药杀蟑胶饵灭蟑17g       0.006940
拜灭士蟑螂药蟑螂克星家用无毒强力灭蟑清德国拜耳杀蟑饵剂全窝端         0.001730
拜耳拜灭士 蟑螂药家用全窝端 强力灭除厨房蟑螂屋克星杀德国进口        0.005114
拜耳灭蚂蚁药家用一窝端室内室外用杀小黄红蚂蚁药神器胶饵拜灭易         0.000279
拜耳蟑螂药一窝端家用拜灭士杀蟑胶饵德国小强药粉灭蟑螂厨房克星         0.008591
电子猫超声波驱鼠器家用大功率灭鼠防鼠赶老鼠夹药捕鼠干扰粘鼠板         0.000507
蟑螂药30克拜灭士德国拜耳进口安全灭蟑螂杀蟑胶饵颗粒剂传染传毒        0.002731
蟑螂药一窝端德国拜耳拜灭士除蟑灭杀蟑螂克星全窝端家用杀蟑胶          0.036779
蟑螂药德国拜耳拜灭士强力除杀蟑螂克星胶饵屋家用捕捉器贴全窝端         0.014810
蟑螂药拜耳拜灭士杀蟑胶饵强力灭蟑清贴捕捉器蟑螂克星家用全窝端         0.000684
蟑螂药进口德国拜耳拜灭士家用除杀蟑螂屋胶饵捕捉器强力清全窝端         0.001249
进口拜耳蚂蚁药家用花园灭蚁饵剂拜灭易除杀蚂蚁杀虫剂室内全窝端         0.001340
进口蚂蚁药德国拜耳拜灭易杀蚁胶饵灭蚁饵剂红黑黄蚂蚁全窝端家用         0.000414
进口蟑螂药 德国拜耳拜灭士家用杀蟑螂胶饵捕捉器蟑螂屋粉全窝端         0.007198
进口蟑螂药 德国拜耳拜灭士杀蟑胶饵灭蟑螂屋贴捕捉器全窝端家用         0.002294
进口蟑螂药 德国拜耳拜灭士杀蟑螂胶饵剂33克灭蟑螂药全窝端家用        0.001778
进口蟑螂药一窝端德国拜耳拜灭士强力杀蟑胶饵蟑螂屋克星家用全窝         0.168238
进口蟑螂药一窝端德国拜耳拜灭士杀蟑胶饵诱防蟑螂屋全窝端5+12g       0.000828
进口蟑螂药德国拜耳拜灭士杀蟑胶饵蟑螂克星全窝端家用灭蟑屋12g        0.020394
进口蟑螂药德国拜耳拜灭士灭杀蟑胶饵剂粉屋克星全窝端12g家用         0.044351
预售德国拜耳进口蟑螂药进口蚂蚁药组合装5g+12g              0.001057
Name: 交易金额, dtype: float64

4.2 平均增长率公式

n 是期数

ai 第i期的增长幅

baier.sort_values(['商品','交易增长幅度'])

temp = baier.loc[baier['商品'] == '德国原装进口拜耳蟑螂药全窝端拜灭士5g+12g杀蟑胶饵剂粉屋捕捉器']

n = temp['交易增长幅度'].size

prod = 1
for a in temp['交易增长幅度'].values:
    prod *= (1+a)
    
increatment_rate = np.power(prod, 1/n) - 1
increatment_rate

-0.15420938866622647

temp['交易增长幅度']

19   -0.3665
41    0.2273
76   -0.2218
Name: 交易增长幅度, dtype: float64

# 计算平均增长率的函数
def increatment_rate(x):
    prod = 1
    for a in x.values:
        prod *= (1+a)
    return np.power(prod, 1/x.size) - 1

def test_function(x):
    print(x)
    print('------------------------------------------')

avg_increate_rate = baier.groupby('商品')['交易增长幅度'].apply(increatment_rate)

avg_increate_rate.size,sales_pct.size,sales_sum.size

(44, 44, 44)

整理

result = pd.concat((sales_sum, sales_pct, avg_increate_rate), axis=1)
result.columns = ['交易金额','交易额占比','平均增长率']
result

import warnings
warnings.filterwarnings('ignore')

for col in result.columns:
    col_data = result[col]
    sns.distplot(col_data)
    plt.show()

​

​

result.loc[result['平均增长率'] < 25].plot(kind='scatter', x='交易额占比', y='平均增长率')

*c* argument looks like a single numeric RGB or RGBA sequence, which should be avoided as value-mapping will have precedence in case its length matches with *x* & *y*.  Please use the *color* keyword-argument or provide a 2-D array with a single row if you intend to specify the same RGB or RGBA value for all points.





<AxesSubplot:xlabel='交易额占比', ylabel='平均增长率'>

​

​

result['交易额占比'].median()*10

0.025473970013420555

(result.query("平均增长率 < 25 & 交易额占比 < 0.4")*10).plot(kind='scatter', x='交易额占比', y='平均增长率', s=100, color=np.random.random(size=(40, 3)))
plt.xlim([-1 ,2])
plt.ylim([-5, 8])

# 绘制分割线
plt.plot(np.linspace(-1, 2, 100), [1]*100)
plt.plot([result['交易额占比'].median()*10]*100, np.linspace(-5, 8, 100))

[<matplotlib.lines.Line2D at 0x15b06bbea90>]

​

​

plt.scatter(result['交易额占比'], result['平均增长率'])

<matplotlib.collections.PathCollection at 0x15b055b0b50>

​

​

5.流量分析

flow_data = pd.DataFrame()

for file in os.listdir('data/竞争数据/流量渠道数据'):
    file_path = os.path.join('data/竞争数据/流量渠道数据',file)
    df = pd.read_excel(file_path)
    brank = file.split('旗舰店')[0]
    df['brank'] = brank
    flow_data = pd.concat((flow_data, df), sort=False, ignore_index=True)

del flow_data['Unnamed: 2']

flow_data

ansu['交易指数'].sum()

958694

ansu_top10['交易指数']

0      119751
206    104136
1       86389
210     83819
207     82687
208     68529
2       62653
211     55229
213     50425
5       34921
Name: 交易指数, dtype: int64

def test_func(x):
    rate = ((x)*(ansu_top10['交易指数'].sum()))/(ansu['交易指数'].sum())
    return f'{np.round(rate,2)}%'

ansu = flow_data.loc[flow_data.brank == '安速家居']
ansu_top10 = ansu.sort_values('交易指数', ascending=False)[:10]
# plt.pie(x=ansu_top10['交易指数'],autopct='%.2f%%',colors=sns.color_palette('husl'))
plt.pie(x=ansu_top10['交易指数'],autopct=test_func,colors=sns.color_palette('husl'))
plt.axis('equal')
plt.title('安速家居')
plt.show()

​

​

ansu_top10['流量来源'].values

array(['淘内免费', '自主访问', '手淘搜索', '付费流量', '购物车', '我的淘宝', '淘内免费其他', '直通车',
       '品销宝-搜索产品', '猫客搜索'], dtype=object)

plt.figure(figsize=(12, 4))
loc = 1
for brank in flow_data.brank.unique():
    plt.subplot(1,3,loc)
    loc += 1
    brank_data = flow_data.loc[flow_data.brank == brank]
    brank_top10 = ansu.sort_values('交易指数', ascending=False)[:10]
    
    def test_func(x):
        # x就是每个扇形区的占比
        rate = ((x)*(brank_top10['交易指数'].sum()))/(brank_data['交易指数'].sum())
        return f'{np.round(rate,2)}%'
    
    plt.pie(x=brank_top10['交易指数'], autopct=test_func, 
            colors=sns.color_palette('husl'), labels=brank_top10['流量来源'].values)
    plt.axis('equal')
    plt.title(brank)
plt.show()

​

​

6.舆情分析

root = 'data/竞争数据/评论舆情数据/'

comment_df = pd.DataFrame()
for file in os.listdir(root):
    file_path = os.path.join(root, file)
    df = pd.read_excel(file_path, sheet_name='初步筛选')
    comment_df = pd.concat((comment_df, df), sort=False, ignore_index=True)

comment_data = comment_df[['产品名称', '评论']].copy()

brank_map = {
    '日本安速小强恢恢蟑螂屋纸盒子捕捉器药灭杀强力家用贴克星全窝端':'安速', 
    '德国拜耳拜灭士蟑螂药一窝端杀蟑胶饵灭蟑螂屋无毒克星家用全窝端':'拜耳',
    '蟑螂药一窝端蟑螂屋胶饵灭蟑螂无毒厨房家用强力杀蟑螂克星全窝端':'科凌'
}

comment_data['产品名称'].unique()

array(['日本安速小强恢恢蟑螂屋纸盒子捕捉器药灭杀强力家用贴克星全窝端', '德国拜耳拜灭士蟑螂药一窝端杀蟑胶饵灭蟑螂屋无毒克星家用全窝端',
       '蟑螂药一窝端蟑螂屋胶饵灭蟑螂无毒厨房家用强力杀蟑螂克星全窝端'], dtype=object)

comment_data['产品名称'] = comment_data['产品名称'].map(brank_map)

comment_data

6.1加载停用词

stop_words = pd.read_table('data/百度停用词表.txt', header=None)[0].values

6.2品牌数据提取

import wordcloud
import jieba
from sklearn.feature_extraction.text import CountVectorizer


# 封装展示一个品牌数据的方法
def show_brank_words(brank_name):
    # 品牌数据提取
    ansu = comment_data.loc[comment_data['产品名称'] == brank_name, '评论']
    comment = ' '.join(ansu.values)

#     ## 计算出词的个数
    comment_words = ""
    for word in jieba.cut(comment):
        if word not in stop_words:
            comment_words = comment_words + ' ' + word


    cv = CountVectorizer()
    matrix = cv.fit_transform([comment_words])

    words = cv.get_feature_names()
    count = matrix.toarray()[0]
    words_count = pd.Series(data=count, index=words)
    words_top200 = words_count.sort_values(ascending=False)[:200]



    plt.figure(figsize=(12, 8))
    wc_image = wordcloud.WordCloud(font_path='data/SimHei.ttf',width=800, height=400,background_color='white',
                                   colormap=plt.cm.summer)

    wc_image.generate_from_frequencies(words_top200)
    
    plt.imshow(wc_image)
    plt.title(brank_name)
    plt.show

for brank_name in comment_data['产品名称'].unique():
    show_brank_words(brank_name)

​

​