PandasでCSVファイルを読み込む方法

この記事では、
PandasでCSVファイルを読み込む方法
について書いていきます。

また、この記事ではJupyter labを使用します。
インストールをしてあることを前提に始めていきます。

##CSVファイルとは？
comma-separated values（略称：CSV）は、テキストデータをいくつかのフィールド（項目）に分け、区切り文字であるカンマ「,」で区切ったデータ形式。拡張子は .csv、MIMEタイプは text/csv。
Comma-Separated Values – Wikipedia

##やり方
1, Pandasをインポートする
2, csvファイルを読み込む

###1, Pandasをインポートする
まずはPandasをインポートします。
pandasでは慣習的に、’pd’という名前で使用されるそうです。
‘as’で指定していきます。

“`python
import pandas as pd
“`

###2,

sort, sorted の違い（備忘録）

#sortとsortedの違い
初めまして。
これからエンジニアを目指す１９歳です。
今回は、練習問題を解いている時にふと疑問に思ったので、備忘録として

sortとsortedの違い

について記していこうと思います。どなたかの解決の一助になれば幸いです。
初心者なので見づらいと思いますが、ご容赦下さい。

以下の順で書いていきたいと思います。

ー　sortメソッドとは何か、またどう使うのか
ー　sorted関数とは何か、またどう使うのか
ー　どこが違うのか

###sortメソッドとは何か、またどう使うのか
TechAcademyマガジンによるとsortメソッドについて、以下のように書かれていました。
『sort関数とは、リストの並び替えを行うための関数です。数値や文字列のリストを昇順もしくは降順に並び替えることができます。』
また使い方については、
『sort関数は、「リスト名.sort()」という形で使うことができます。また、reverseという引数を任意で設定することもできます。reverseはデフォルトではFalseになっているので、re

Python3.10の新機能 (まとめ)

##はじめに

Python 3.5から What’s Newの内容をまとめる記事を投稿してきました。

* [Python3.5の新機能](http://qiita.com/ksato9700/items/9a0aef07d90d00e67525)
* [Python3.6の新機能](https://qiita.com/ksato9700/items/ed839a6db6a671fd31e6)
* [Python3.7の新機能](https://qiita.com/ksato9700/items/35a0bdc04693b3b09757)
* [Python3.8の新機能（まとめ）](https://qiita.com/ksato9700/items/3846e8db573a07c71c33)
* [Python3.9の新機能（まとめ）](https://qiita.com/ksato9700/items/d5df9d36147796c86c77)

リリースサイクルが1年になり、この前3.9が出たばかりと思ったらもう3.10のa2が出ていました（汗）。[ここ](https://qi

Azure Storageへのファイルアップロード（Python）

## Azure Storageへのファイルアップロードの手順
Azure Storageへのファイルアップロード方法を以下に記載します。

# 前提条件
以下の環境にて、構築しております。

OS: Windows10
言語：Python 3.8.6

Azure環境があること
Azureの”ストレージアカウント”サービスにて、新規アカウントを作成していること

# アップロード手順
①Python用のAzure Storageパッケージをインストールする。
$ py -m pip install azure-storage-blob == 12.5.0

② Azure ポータルにて、”ストレージアカウント”サービスから、Blob service → コンテナーを選択する。
その後、接続文字列を確認する。

③ 以下のプログラムが記載された”sample_upload.py”を実行する。
なお、実行位置に”Hello World.txt”(中身は自由)を配置しておくこと。

$ py sample_upload.py

※ファイル内の以下の箇所を自身の環境に合わせ

Python3のソケットモジュールとソケット通信の流れ

### ソケットの分類

この分類は異なる使われ方のソケットを便宜的に分けたものであくまでこういう使われ方をするソケットをこういう名前で呼んでおく。というものである。しかし、listening socketが接続要求を**送る**ことはできない(`Error: Transport endpoint is already connected`)ことは確かであるから違う状態であることは明らか(つまりPassive mode)。

| | サーバー側 | クライアント側 | 説明 |
| ———————— | ————————————————– | ———

Pythonのデコレータに固定引数を渡す別名をつける

# モチベーション

Python の変数付きデコレータの変数を固定させて別名を与えたいことがある。
今回は以下のような汎用デコレータ `tag` を対象にする。

“`python:main.py–tagデコレータの実装と利用例
import functools

def tag(*tags):
def _tag(f):
@functools.wraps(f)
def _wrapper(*args, **kwargs):
res = f(*args, **kwargs)
begins = ”.join([f’<{e}>‘ for e in tags])
ends = ”.join(reversed([f’‘ for e in tags]))
return f'{begins}{res}{ends}’
return _wrapper
return _tag

@tag()
def test1():

Pythonで時刻同期（Windows）する

#使用する技術
– ctypes
–
– PythonでC/C++の共有ライブラリを使用することができるライブラリ。

#必要条件
– 管理者権限での実行

#サンプルソース
“`Sample.py
# coding: Shift_JIS
from ctypes import Structure, windll, pointer
from ctypes.wintypes import WORD

# 時刻同期関数に渡してあげるための構造体を作成する。
class SYSTEMTIME(Structure):
_fields_ = [
(‘wYear’, WORD),
(‘wMonth’, WORD),
(‘wDayOfWeek’, WORD),
(‘wDay’, WORD),
(‘wHour’, WORD),
(‘wMinute’, WORD),
(‘wSecond’,

プログラミング始めて2ヶ月の初心者が日本の実質GDPをSARIMAモデルで時系列分析してみた

#[さいしょに]
　貴重な時間を割いて、記事を読んでくださってありがとうございます！！

　まず自己紹介からさせていただきます！私は隙間時間にPythonの学習を楽しんでいる社会人

です。

プログラミングどころかPCについてもチンプンカンプンだった私は先月の9月1日からPythonの勉強を

Progate,PyQ,Aidemyで始めて今に至るので、プログラミングをしだして約2ヶ月経ったことになります。

Aidemyのデータ分析コースを一通り学んできたのでアウトプットしたいと思い、この記事を書くことにしました。

###誰に読んでもらうことを想定した記事か？
仕事をしながら、学校に行きながらなど、大量にはプログラミング学習に時間を確保できないけれども、プログラ

ミング学習をしたいと考えているプログラミング初心者の方です。上に書いた自己紹介の通り、私もプログラミン

グ初心者です。そのため読者様が約2ヶ月で、どれくらいのことが出来るかのサンプルの一つにでもしてくだされ

ば嬉しいです。

###環境
Python3
MacBookAir
Jupyter Notebook

#[

【Udemy Python3入門+応用】　 69. 絶対パスと相対パスのImport

**※この記事はUdemyの
「[現役シリコンバレーエンジニアが教えるPython3入門+応用+アメリカのシリコンバレー流コードスタイル](https://www.udemy.com/course/python-beginner/ “現役シリコンバレーエンジニアが教えるPython3入門+応用+アメリカのシリコンバレー流コードスタイル”)」
の講座を受講した上での、自分用の授業ノートです。
講師の[酒井潤](https://twitter.com/sakaijun “酒井潤”)さんから許可をいただいた上で公開しています。**

## ■フォルダの中のものをimportする
こんな風にディレクトリとファイルを用意する。

“`
lesson_package
└ talk
├ __init__.py
└ human.py
lesson.py
“`

“`python:human.py
def sing():
return ‘sing’

def cry():
return ‘cry’
“`

“`python:lesson.py
from lesso

【Linux】管理者権限なしでPython3をインストールする

学校のサーバーでPythonのモジュールインストールしようとしたら出来なかったので、ローカルにPythonごとインストールしました。

1．ホームディレクトリにディレクトリ（ここでは src ）を作成、移動。
　 [ cd /ホームディレクトリ/src ]

2．wgetコマンドでPythonをダウンロード。
　[ wget https://www.python.org/ftp/python/3.6.3/Python-3.6.3.tgz ]

3．解凍。
　 [ tar xvzf Python-3.6.3.tgz ]

4．makeする。
　configure でインストール場所を指定（ここでは /ホームディレクトリ/local/）。
　 [ cd Python-3.6.3 ]
　[ ./configure –prefix=/ホームディレクトリ/local/python ]
　[ make ]
　[ make install]

5．パスを通す。
　[ vi ~/.bash_profile ]

　 以下の文を追記。
　[ export PATH=$PATH:/ホームデ

pipのパッケージを一括アップデート

– アップデート

“`bash
python3 -m pip list -o | tail -n +3 | awk ‘{ print $1 }’ | xargs python3 -m pip install -U
“`
– アップデートによって壊れた依存関係を修復

“`bash
python3 -m pip check | tail -n +1 | awk ‘{ print $1 }’ | xargs -I{} sh -c ‘if [ {} != “No” ]; then python3 -m pip install -U {}; else exit; fi’
“`

Numpy1.19.4のエラー RuntimeError: The current Numpy installation fails to pass a sanity check due to a bug in the windows runtime.

Numpyを使おうとしたら見慣れないエラーに遭遇しました．意外とあっさり解決できましたが，遭遇する方が多そうなので一応残しておきます．

# 環境
– Windows10
– Python 3.8.2
– Numpy 1.19.4

# エラー

“`sh
RuntimeError: The current Numpy installation (‘C:\\Users\\ … \\venv\\lib\\site-packages\\numpy\\__init__.py’) fails to pass a sanity check due to a bug in the windows runtime. See this issue for more information: https://tinyurl.com/y3dm3h86
“`

# 解決法

調べてみるとStackOverFlowに[同じエラーについての質問](https://stackoverflow.com/questions/64654805/how-do-you-fix-runtimeerror-packag

[翻譯] 構造化された並行処理に関するメモ..というかgo文は有害と思われる

– 著者 [Nathaniel J. Smith](https://vorpus.org/)
– 原文 [Notes on structured concurrency, or: Go statement considered harmful](https://vorpus.org/blog/notes-on-structured-concurrency-or-go-statement-considered-harmful/)
– 原文の投稿日時 2018年04月25日

# 本文

並行処理のAPIには当然コードを並行して走らせる手段がある。以下に様々なAPIの例を載せるので見て欲しい。

“`
go myfunc(); // Go言語

pthread_create(&thread_id, NULL, &myfunc); /* C言語 と POSIX threads */

spawn(modulename, myfuncname, []) % Erlang

threading.Thread(t

Python 3.8.6をpyenvを使ってmacOS BigSur にインストールする

# 問題
* macOS BigSur 11.0 beta
* Xcode 12.2 beta 3
* Command Line Tools for Xcode 12 beta 3

上記の環境で`pyenv install 3.8.6`を実行すると、下記のようにビルドに失敗する

“`:$
..
BUILD FAILED (OS X 11.0 using python-build 20180424)
..
“`

# 解決策

## Step1: コマンドラインツールの設定
1. `Xcode-beta.app` を開く
2. Preference > Locations
3. Command Line Tools を 目的のバージョンに変更

## Step2: インストール
シェルで下記を実行

“`:$
LDFLAGS=”-L

zsh環境のAnacondaをアンインストールする

# やること

以前`Jupyter Notebook`学習用にインストールした `Anaconda`環境がいらなくなったので、
アンインストールしていきます。

今後しばらくはPython環境を`pyenv`と`pipenv`で管理するようにするので、その前提のお片付けです。

zsh環境といってもやることはbashと一緒です。

# 手順
Step1: `anaconda-clean`をインストール
Step2: `anaconda-clean`を実行
Step3: ライブラリの実体をフォルダごと削除
Step4: zsh, bashに通っていたパスを削除

## Step1: `anaconda-clean`をインストール
condaのライブラリが生成したデータファイルを自動で削除を行うパッケージをインストールします。

“`:$
conda install anaconda-clean
“`

途中インストールしてもいいか確認がでるので `y`
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazona

Youtube Data API使って動画検索してみた（初心者）

# はじめに
データ分析の勉強はインプットも大事だけど実践が1番ってことで、練習になるいいデータはないかなーと思っていました。Youtubeのデータがいいものなのかは、正直今の僕には判断ができません。でも、よくYoutube見るし、興味のある分野なので**「Youtube Data API」**を使って分析用のデータ抽出ができるようになることを目標に使い方をまとめてボチボチまとめて行こうかと思います。APIの学習には以下のページ（APIリファレンス）を利用しました。
[https://developers.google.com/youtube/v3/docs?hl=ja](https://developers.google.com/youtube/v3/docs?hl=ja)

# 検索処理
今回は手始めに以下の条件で動画を検索し、結果をcsvファイルに出力します。

– 指定したキーワードで動画を検索（キーワードは第1引数で指定）
– 検索結果は再生回数で降順に表示

また、検索結果の動画がどのチャンネルのものかを度数分布化し、csvファイルに出力します。

# ソースコード
ソース

DNA配列を相補鎖にするpythonコード どのやり方が速いのだろう？

#はじめに
pythonでDNAを相補配列に変換する関数を作ってみます。4通り作ってみてどれが早いか比較してみます。

#相補鎖にするということ
AはTに、CはGに、GはCに、TはAに変換します。その上で並び方を逆にします。
ACGTTTTTの相補配列はAAAAACGTです。
#ACGT以外もある
RはAまたはGのことです。YはCまたはTのことです。DはC以外(つまりAかGかT)。大文字と小文字もあります。

DNA配列の長さは例えば10 Mb(1000万塩基)などです。

#辞書
置き換え方法を指定する辞書を作ります。

“`py
compDic = {“R”:”Y”,”M”:”K”,”W”:”W”,”S”:”S”,”Y”:”R”,”K”:”M”,”H”:”D”,”B”:”V”,”D”:”H”,”V”:”B”,”N”:”N”,”A”:”T”,”C”:”G”,”G”:”C”,”T”:”A”,”r”:”y”,”m”:”k”,”w”:”w”,”s”:”s”,”y”:”r”,”k”:”m”,”h”:”d”,”b”:”v”,”d”:”h”,”v”:”b”,”n”:”n”,”a”:”t”,”c

GCPのCloud Shell EditorでPythonの開発環境ぐちゃって詰んだので更地にして再構築したらなんとかなった件

# 概要

2019年末くらいからGCPのCloud Shell上でPython開発してCloud Functionにデプロイする作業してました。
ある程度開発終わって数ヶ月放置した後、最近新しい開発案件が発生したのでちょろっといじってデプロイしてテストするかーと思ったらデプロイ時に色々エラーを吐き始めてしまいます。
エラー見つつ対処進めたけどまあうまくいかず、最終的に環境リセットしたらうまく行ったのでまとめます。

Pythonとpipのアップデートとバージョン切り替えが一番手詰まりポイントでした

# 手順

1. バックアップをとる
2. 公式の手順にしたがって環境をリセットする
3. Pythonをpyenvでアップデートする
4. pipをpip3に切り替えてアップデートする
5. 公式の手順にしたがってgcloudをアップデートする
6. 作業ファイルを復元する
7. requirements.txtから更新する
8. あとはdeployして適宜バグを潰す

## 1. バックアップをとる
`pip freeze > requirements.txt`でインストール済みパッ