Working with text in Python

텍스트 관련 기본 내장 함수

text = " Ethics are built into the ideals of the UN here. \n지금 시각은 3 시 30분이다. "
text
' Ethics are built into the ideals of the UN here. \n지금 시각은 3 시 30분이다. '

1. String Operations

len(text) #문자열의 길이를 반환한다.
69
text_list = text.split(' ') # 문자열을 ' '로 나눈 단어들의 리스트를 반환한다.
text_list
['',
 'Ethics',
 'are',
 'built',
 'into',
 'the',
 'ideals',
 'of',
 'the',
 'UN',
 'here.',
 '\n지금',
 '시각은',
 '3',
 '시',
 '30분이다.',
 '']
' '.join(text_list) # 문자열들을 ' '을 사이에 끼고 연결한다.
' Ethics are built into the ideals of the UN here. \n지금 시각은 3 시 30분이다. '
text.lower() #change all characters to lower
' ethics are built into the ideals of the un here. \n지금 시각은 3 시 30분이다. '
text.upper() #모두 다 대문자로 바꾼다.
' ETHICS ARE BUILT INTO THE IDEALS OF THE UN HERE. \n지금 시각은 3 시 30분이다. '
text.splitlines() # \n을 기준으로 나눈 문장들의 리스트를 반환한다.
[' Ethics are built into the ideals of the UN here. ', '지금 시각은 3 시 30분이다. ']
text.strip() # 문장 맨 앞과 맨 뒤에 있는 빈 공간을 모두 없앤다.
'Ethics are built into the ideals of the UN here. \n지금 시각은 3 시 30분이다.'
text.rstrip() # 문장 맨 뒤에 있는 빈 공간을 없앤다.
' Ethics are built into the ideals of the UN here. \n지금 시각은 3 시 30분이다.'
text.find('the') # 문자열에 있는 'the' 중 가장 앞에 있는 것의 인덱스를 반환한다.
23
text.rfind('the') #문자열에 있는 'the' 중 가장 뒤에 있는 것의 인덱스를 반환한다.
37
text.replace(' ', '빈칸') #문자열에 있는 모든 ' '를 '빈칸'으로 바꾼 문자열을 반환한다.
'빈칸Ethics빈칸are빈칸built빈칸into빈칸the빈칸ideals빈칸of빈칸the빈칸UN빈칸here.빈칸\n지금빈칸시각은빈칸3빈칸시빈칸30분이다.빈칸'

2. True / False를 반환하는 내장 함수

[w for w in text_list if w.startswith('i')] #'i'로 시작하는 단어들의 리스트를 반환한다.
['into', 'ideals']
[w for w in text_list if w.endswith('t')] #'t'로 끝나는 단어들의 리스트를 반환한다.
['built']
[w for w in text_list if w.istitle()] #맨 앞 글자만 대문자인 단어들의 리스트를 반환한다.
['Ethics']
[w for w in text_list if w.isupper()] #대문자로 이루어진 단어들의 리스트를 반환한다.
['UN']
[w for w in text_list if w.islower()] #소문자로 이루어진 단어들의 리스트를 반환한다.
['are', 'built', 'into', 'the', 'ideals', 'of', 'the', 'here.']
[w for w in text_list if w.isalpha()] #숫자가 아닌 글자로 이루어진 단어들의 리스트를 반환한다.
['Ethics',
 'are',
 'built',
 'into',
 'the',
 'ideals',
 'of',
 'the',
 'UN',
 '시각은',
 '시']
[w for w in text_list if w.isdigit()] #숫자로 이루어진 단어들의 리스트를 반환한다.
['3']
[w for w in text_list if w.isalnum()] #특수문자를 제외한 숫자와 글자로 이루어진 단어들의 리스트를 반환한다.
['Ethics',
 'are',
 'built',
 'into',
 'the',
 'ideals',
 'of',
 'the',
 'UN',
 '시각은',
 '3',
 '시']

3. 텍스트 파일 읽기

f = open('1.txt', 'r') # 파일을 열어 작업할 준비를 한다.
f.readline() # 파일의 첫 번째 줄을 읽는다. 현재 커서는 두 번째 줄 맨 앞에 있다.
'안녕하세요.\n'
f.seek(0) # 커서를 첫 번째 줄 맨 앞에 놓는다.
f.read() # 파일의 모든 줄을 읽는다.
'안녕하세요.\n123456\n?!@#가나다'
f.seek(0)
f.read(3) # 3번째 글자까지 읽는다.
'안녕하'
f.close() # 파일을 닫는다.

pandas로 텍스트 처리하기

import pandas as pd

time_sentences = ["Monday: The doctor's appointment is at 2:45pm.",
                  "Tuesday: The dentist's appointment is at 11:30 am.",
                  "Wednesday: At 7:00pm, there is a basketball game!",
                  "Thursday: Be back home by 11:15 pm at the latest.",
                  "Friday: Take the train at 08:10 am, arrive at 09:00am."]

df = pd.DataFrame(time_sentences, columns=['text'])
df
text
0 Monday: The doctor's appointment is at 2:45pm.
1 Tuesday: The dentist's appointment is at 11:30...
2 Wednesday: At 7:00pm, there is a basketball game!
3 Thursday: Be back home by 11:15 pm at the latest.
4 Friday: Take the train at 08:10 am, arrive at ...
# df['text']의 각 문자열의 길이의 리스트를 반환한다.
# Series.str.function()은 시리즈의 각 문자열에 function()을 적용한 결과를 반환한다.
df['text'].str.len()
0    46
1    50
2    49
3    49
4    54
Name: text, dtype: int64
# df['text']의 각 문자열의 단어 개수의 리스트를 반환한다.
df['text'].str.split().str.len()
0     7
1     8
2     8
3    10
4    10
Name: text, dtype: int64
# 특정 단어를 포함하고 있는지의 여부를 반환한다.
df['text'].str.contains('appointment')
0     True
1     True
2    False
3    False
4    False
Name: text, dtype: bool
# 각 문자열의 숫자 개수를 반환한다.
#r은 'regular expression', 즉 정규표현식으로 찾겠다는 뜻이고, '\d'는 숫자를 의미하는 정규표현식이다.
df['text'].str.count(r'\d')
0    3
1    4
2    3
3    4
4    8
Name: text, dtype: int64
# 각 문자열에서 정규표현식을 만족하는 부분 중 정규표현식에서 괄호 안에 있는 부분을 반환한다.
# 여기서는 시각과 분을 반환한다.
df['text'].str.findall(r'(\d?\d):(\d\d)')
0               [(2, 45)]
1              [(11, 30)]
2               [(7, 00)]
3              [(11, 15)]
4    [(08, 10), (09, 00)]
Name: text, dtype: object
# 각 문자열에서 요일을 3 글자 축약형으로 바꾼다.
df['text'].str.replace(r'(\w+day\b)', lambda x: x.group()[:3])
0          Mon: The doctor's appointment is at 2:45pm.
1       Tue: The dentist's appointment is at 11:30 am.
2          Wed: At 7:00pm, there is a basketball game!
3         Thu: Be back home by 11:15 pm at the latest.
4    Fri: Take the train at 08:10 am, arrive at 09:...
Name: text, dtype: object
# ?P<time>은 해당 부분의 열 이름을 'time'으로 하겠다는 것이다.
# 정규표현식을 만족하는 부분 중 정규표현식에서 괄호 안에 있는 부분을 반환한다.
# 한 문장에 두 부분이 정규표현식을 만족시킬 수 있으므로, match라는 두 번째 index가 만들어진다.
df['text'].str.extractall(r'(?P<time>(?P<hour>\d?\d):(?P<minute>\d\d) ?(?P<period>[ap]m))')
time hour minute period
match
0 0 2:45pm 2 45 pm
1 0 11:30 am 11 30 am
2 0 7:00pm 7 00 pm
3 0 11:15 pm 11 15 pm
4 0 08:10 am 08 10 am
1 09:00am 09 00 am

Leave a Comment