I’m on the last step of finishing my table, but my count is returning NaN. I’m trying to create a column target_days which groups by each value in ‘month_start_date’ and returns the value of the count of workday if True.
For example, each date that has a month_start_date of 2018-08-01 should return a value of 23 because there are 23 workdays in that month. Any help is appreciated!
JavaScript
x
31
31
1
import pandas as pd2
import numpy as np3
import datetime as dt4
from pandas.tseries.holiday import USFederalHolidayCalendar as holidaylist5
6
datelist = pd.date_range(start='2018-08-01', end=dt.datetime.today())7
weekdaylist = pd.date_range(start='2018-08-01', end=dt.datetime.today(), freq='B')8
mstartlist = (datelist + dt.timedelta(1)) + pd.tseries.offsets.MonthBegin(n=-1)9
10
hl = holidaylist()11
holidays = hl.holidays(start=datelist.min(), end=datelist.max())12
13
df = pd.DataFrame(datelist, columns = ['date'])14
15
df['weekday'] = df.date.isin(weekdaylist)16
17
df['holiday'] = df.date.isin(holidays)18
19
df['workday'] = np.where((df.weekday == False) | (df.holiday == True), False, True)20
21
df['month_start_date'] = mstartlist22
23
df['target_days'] = df.groupby('month_start_date')['workday'].apply(lambda x: x[x == True].count())24
25
date weekday holiday workday month_start_date target_days26
0 2018-08-01 True False True 2018-08-01 NaN27
1 2018-08-02 True False True 2018-08-01 NaN28
2 2018-08-03 True False True 2018-08-01 NaN29
3 2018-08-04 False False False 2018-08-01 NaN30
4 2018-08-05 False False False 2018-08-01 NaN31
Advertisement
Answer
Solution with groupby() and .transform(). Based on the response in this thread,
JavaScript
1
5
1
"As a general rule when using groupby(), if you use the .transform() 2
function pandas will return a table with the same length as your 3
original. When you use other functions like .sum() or .first() then 4
pandas will return a table where each row is a group."5
With that as a way to move forward, I was able to get the right solution.
JavaScript
1
2
1
df['target_days'] = df.groupby('month_start_date')['workday'].transform('sum')2
The output of this is correct. The sample for month 2021-01-01 shows:
JavaScript
1
15
15
1
date weekday holiday workday month_start_date target_days2
884 2021-01-01 True True False 2021-01-01 83
885 2021-01-02 False False False 2021-01-01 84
886 2021-01-03 False False False 2021-01-01 85
887 2021-01-04 True False True 2021-01-01 86
888 2021-01-05 True False True 2021-01-01 87
889 2021-01-06 True False True 2021-01-01 88
890 2021-01-07 True False True 2021-01-01 89
891 2021-01-08 True False True 2021-01-01 810
892 2021-01-09 False False False 2021-01-01 811
893 2021-01-10 False False False 2021-01-01 812
894 2021-01-11 True False True 2021-01-01 813
895 2021-01-12 True False True 2021-01-01 814
896 2021-01-13 True False True 2021-01-01 815
The first 100 rows have correct value count for holiday = True:
JavaScript
1
94
94
1
date weekday holiday workday month_start_date target_days2
0 2018-08-01 True False True 2018-08-01 233
1 2018-08-02 True False True 2018-08-01 234
2 2018-08-03 True False True 2018-08-01 235
3 2018-08-04 False False False 2018-08-01 236
4 2018-08-05 False False False 2018-08-01 237
5 2018-08-06 True False True 2018-08-01 238
6 2018-08-07 True False True 2018-08-01 239
7 2018-08-08 True False True 2018-08-01 2310
8 2018-08-09 True False True 2018-08-01 2311
9 2018-08-10 True False True 2018-08-01 2312
10 2018-08-11 False False False 2018-08-01 2313
11 2018-08-12 False False False 2018-08-01 2314
12 2018-08-13 True False True 2018-08-01 2315
13 2018-08-14 True False True 2018-08-01 2316
14 2018-08-15 True False True 2018-08-01 2317
15 2018-08-16 True False True 2018-08-01 2318
16 2018-08-17 True False True 2018-08-01 2319
17 2018-08-18 False False False 2018-08-01 2320
18 2018-08-19 False False False 2018-08-01 2321
19 2018-08-20 True False True 2018-08-01 2322
20 2018-08-21 True False True 2018-08-01 2323
21 2018-08-22 True False True 2018-08-01 2324
22 2018-08-23 True False True 2018-08-01 2325
23 2018-08-24 True False True 2018-08-01 2326
24 2018-08-25 False False False 2018-08-01 2327
25 2018-08-26 False False False 2018-08-01 2328
26 2018-08-27 True False True 2018-08-01 2329
27 2018-08-28 True False True 2018-08-01 2330
28 2018-08-29 True False True 2018-08-01 2331
29 2018-08-30 True False True 2018-08-01 2332
30 2018-08-31 True False True 2018-08-01 2333
31 2018-09-01 False False False 2018-09-01 1934
32 2018-09-02 False False False 2018-09-01 1935
33 2018-09-03 True True False 2018-09-01 1936
34 2018-09-04 True False True 2018-09-01 1937
35 2018-09-05 True False True 2018-09-01 1938
36 2018-09-06 True False True 2018-09-01 1939
37 2018-09-07 True False True 2018-09-01 1940
38 2018-09-08 False False False 2018-09-01 1941
39 2018-09-09 False False False 2018-09-01 1942
40 2018-09-10 True False True 2018-09-01 1943
41 2018-09-11 True False True 2018-09-01 1944
42 2018-09-12 True False True 2018-09-01 1945
43 2018-09-13 True False True 2018-09-01 1946
44 2018-09-14 True False True 2018-09-01 1947
45 2018-09-15 False False False 2018-09-01 1948
46 2018-09-16 False False False 2018-09-01 1949
47 2018-09-17 True False True 2018-09-01 1950
48 2018-09-18 True False True 2018-09-01 1951
49 2018-09-19 True False True 2018-09-01 1952
50 2018-09-20 True False True 2018-09-01 1953
51 2018-09-21 True False True 2018-09-01 1954
52 2018-09-22 False False False 2018-09-01 1955
53 2018-09-23 False False False 2018-09-01 1956
54 2018-09-24 True False True 2018-09-01 1957
55 2018-09-25 True False True 2018-09-01 1958
56 2018-09-26 True False True 2018-09-01 1959
57 2018-09-27 True False True 2018-09-01 1960
58 2018-09-28 True False True 2018-09-01 1961
59 2018-09-29 False False False 2018-09-01 1962
60 2018-09-30 False False False 2018-09-01 1963
61 2018-10-01 True False True 2018-10-01 2264
62 2018-10-02 True False True 2018-10-01 2265
63 2018-10-03 True False True 2018-10-01 2266
64 2018-10-04 True False True 2018-10-01 2267
65 2018-10-05 True False True 2018-10-01 2268
66 2018-10-06 False False False 2018-10-01 2269
67 2018-10-07 False False False 2018-10-01 2270
68 2018-10-08 True True False 2018-10-01 2271
69 2018-10-09 True False True 2018-10-01 2272
70 2018-10-10 True False True 2018-10-01 2273
71 2018-10-11 True False True 2018-10-01 2274
72 2018-10-12 True False True 2018-10-01 2275
73 2018-10-13 False False False 2018-10-01 2276
74 2018-10-14 False False False 2018-10-01 2277
75 2018-10-15 True False True 2018-10-01 2278
76 2018-10-16 True False True 2018-10-01 2279
77 2018-10-17 True False True 2018-10-01 2280
78 2018-10-18 True False True 2018-10-01 2281
79 2018-10-19 True False True 2018-10-01 2282
80 2018-10-20 False False False 2018-10-01 2283
81 2018-10-21 False False False 2018-10-01 2284
82 2018-10-22 True False True 2018-10-01 2285
83 2018-10-23 True False True 2018-10-01 2286
84 2018-10-24 True False True 2018-10-01 2287
85 2018-10-25 True False True 2018-10-01 2288
86 2018-10-26 True False True 2018-10-01 2289
87 2018-10-27 False False False 2018-10-01 2290
88 2018-10-28 False False False 2018-10-01 2291
89 2018-10-29 True False True 2018-10-01 2292
90 2018-10-30 True False True 2018-10-01 2293
91 2018-10-31 True False True 2018-10-01 2294