Python関連のことを調べてみた2020年08月07日

Django　非ログインユーザはlogin.htmlへ遷移させたい時

#クラスの場合　LoginRequiredMixin　を使う

“`.py
from django.contrib.auth.mixins import LoginRequiredMixin
# 略

class Top(LoginRequiredMixin, generic.TemplateView):
template_name = ‘hogehogeapp/index.html’　　　☛☛☛hogehogeappの部分はアプリケーション名を入力する
“`

#関数の場合　login_requiredデコレータを使う

“`.py
from django.contrib.auth.decorators import login_required

@login_required
def hogehoge(request, pk):
hogehoge
“`

Rotrics DexArmを使ってみた

仕事で[Rotrics DexArm](https://rotrics.com)を触る機会があったのでメモ。素人丸出しなところだらけですので、ご指摘頂けると嬉しいです m(_ _)m

まずは、Macに[Rotrics Studio](https://www.rotrics.com/pages/download)をダウンロードして使おうとしたのですが、どうしてもUSB接続した本体を認識しません。[VCPドライバ](https://www.silabs.com/products/development-tools/software/usb-to-uart-bridge-vcp-drivers)が必要なのかも？と思ってインストールしてみましたが、これも有効化できず断念（私のMacBook Proの問題）。Linux版のStudioはまだ無さそうです。[SDK](https://manual.rotrics.com/api-and-sdk/untitled)もどうもまだ開発中のようで何も無い…。

付属のコントローラからは動かせるので、一応遊べるのですが、これではタダの高価なラジコン…。

Amazon CloudWatchロググループ保持期間をAWS Lambdaで管理しよう

こんにちは、stremapackのrisakoです。
長い梅雨が明けて夏がやってきましたね:sunny:
コロナに気をつけながら、マスクで熱中症にならないようにもっと注意が必要ですね:mask:
今年の夏は体調管理に気をつけて過ごそうと思います。
#今回したいこと
今回のテーマは「Amazon CloudWatchロググループ保持期間をAWS Lambdaで管理しよう」です！
Amazon ECSやAWS Lambda（以下Lambda）を使っていると、Amazon CloudWatch(以下CoudWatch)にログが溜まり続けてしまいます。
しかも、CloudWatch LogGroupの保持期間はデフォルトで「失効しない」に設定されるため、永遠にログが残り続けてしまい金額も増えてしまいます。今回は、金額を少しでも抑えるために、新規作成されたロググループの保持期間を自動で「１ヶ月」に変更する仕組みをLambdaで入れてみたいと思います！

#今回のアイテム
– IAM role
– IAM policy
– Amazon CloudWatch LogGroup
– AWS Lam

Codeforces Round #659 (Div. 2) バチャ復習(8/5)

#今回の成績

#今回の感想

B問題を粘って一気に二問分を獲得しようとしたのですが、惜しいところで解けませんでした。解けていたら200位台も夢ではなかったので非常に悔しいです。いつかこのレベルの問題をコンテスト中に通せるように日々精進します。

また、先週解いたエデュフォのバチャの問題の復習を後回しにして問題を忘れてしまったので、今後このようなことがないよう解いたら**次の日までには確実に復習をする**ようにしたいです。

#[A問題](https://codeforces.com/contest/1384/problem/A)

**最長共通接頭辞を最長共通部分文字列と見間違い**をし、DPかと早とちりしそうになり危なかったです。

最長

Excelファイルを右クリックして、各シート毎のファイルに分割するツールをPythonで作ってみた

#背景・目的
Excelファイルにある各シート別ファイルとして分割したいという依頼を受けました。本来はVBA案件かと思うのですが、Excelファイルをわざわざ開いてマクロを起動するのも面倒。というか、そもそもVBAが書きたくない。
というわけで、Excelファイルを右クリックして、各シート毎のファイルに分割するツールをPythonで作ってみたいと思います。

#外部ライブラリのインストール
Excelを操作するためのライブラリと、ファイルのパス作成のためのライブラリが必要になります。標準では無いので、事前にインストールしておきます。

“`PowerShell
$ pip install win32com.client
$ pip install pathlib
$ pip install openpyxl
“`

#コード
“`excel_split.py
import os
import glob
import win32com.client
import pathlib
import openpyxl
import sys

excel_dir = pathlib.Path

PythonファイルをEXE化してみた(Recursion error対応済)

# 外部ライブラリのインストール
PyファイルをEXE化するためにはライブラリが必要です。
以下のコマンドでインストールします。

“`PowerShell
$ pip install pyinstaller
“`

exe化するには以下のように入力します。
-–onefile とつけると１つのファイルになり、
-–noconsole はコンソールが表示されなくなります。
オプションを付ける場合は以下のようにコマンド入力します。

“`PowerShell
$ pyinstaller pythonファイル名 –onefile –noconsole
“`

成功するとdistというフォルダが新規に作成され、
EXEファイルが保存されます。

これですんなりEXE化出来ればいいのですが、
以下のようなエラーが表示され、失敗することがあります。

“`PowerShell
Recursion error : maximum recursion depth exceeded
“`

上記エラーが表示された場合は、以下の手段でリトライします。

まず、「ファイル名.spec」とい

これってシステムトレードなの？

# 前回までのあらすじ

本記事は単独で話が完結するように心がけてはおりますが、以下の拙作記事をご一読いただくと、話の流れがより明確になります。

+ NIKKEI225の翌日の値幅（引値－寄り値）がプラスかマイナスかを60%の精度で予測できれば、1570 NF日経レバレッジと1357 NF日経ダブルインバースの売買を繰り返すことにより、年率46%で稼げるとの戯言を吐いた。

+ これを検証すべく、代表市場のインデックスの過去３日の引値を、翌日の日経平均の値幅の符号を教師ラベルとして機械学習させた予測器を構築したが、目標精度6

初心者のためのseaborn基礎④ペアプロット（pairplot）

#seabornとは
Pythonのグラフ描画のためのライブラリです。。最も有名なライブラであるmatplotlibのラッパー関数(内包プログラム)という位置づけ。簡単に見た目綺麗なグラフの描画が出来る他、一括での処理などの機能もある程度充実しています。細かく指定して描画するならmatplotlib、簡単に綺麗にならseabornのです。

#ペアプロット（jointplot）
今回のテーマはペアプロットです。seabornで一番有名な機能ではないでしょうか。作成には`.pairplot`を使用します。データの相関をつかむ際に活用します。

#準備
まずは、pipで`seaborn`のライブラリをインストールして下さい。pip?って方は[こちら](‘https://qiita.com/Yanagawa_Yoshihisa/items/35e6f70a8411277282ce’)。

ライブラリをインポートします。`seaborn`に`sns`という名前をつけて`import`します。

“`python:
import seaborn as sns
“`
サンプルはタイタニックのデ

pygameで簡単なFlappyBird(フラッピーバード)というゲームを作る方法

#0.最初に

今回作るものがどういう感じで動くのか見てみたい方は、[こちら](https://youtu.be/NrM8jigWwZk)(youtubeの動画)でどうぞ。

#1.実装
“`flappy_bird.py
import pygame
import random

win = pygame.display.set_mode((400,600))
clock = pygame.time.Clock()

class Bird:
def __init__(self,win):
self.win = win
self.y = 300
self.x = 25
self.gravity = 1
self.velocity = 0
self.lift = -2
self.air = 0

def show(self):
pygame.draw.circle(self.win,(255,255,255),(self.x,self.y),16)

【Python】pipの新しい書き方を覚えておこう

`pip list`みたいにpipコマンドをそのまま使うと、以下の警告が表示されてドキッとする。この書き方は古いようだ。

“`
WARNING: pip is being invoked by an old script wrapper. This will fail in a future version of pip.
Please see https://github.com/pypa/pip/issues/5599 for advice on fixing the underlying issue.
To avoid this problem you can invoke Python with ‘-m pip’ instead of running pip directly.
“`

## 単独のpipを使用するのは非推奨

以下のようにPython付属のpipを使用する事をを推奨している。

“`shell
$ python3 -m pip [pipコマンド]
“`

Python付属のpipを使用することで何が変わるわけではないが、僕的によく使うpipコマンドの

PythonとFlaskで類似画像を検索できるアプリを作ってみようPart2

# PythonとFlaskで類似画像を検索できるアプリを作ってみようPart2

## 概要
[前回](https://qiita.com/pop-ketle/items/0a107d89eeae8456a8b5)
せっかくなのでgithubリポジトリ作りました 星ください(乞食)
[SSAM-SimilaritySearchAppwithMNIST](https://github.com/pop-ketle/SSAM-SimilaritySearchAppwithMNIST)

タイトルの通りです。今回は簡単にデータが手に入ってかつデータサイズも小さいご存知MNISTに対してMNISTの画像を入れると似たMNISTの画像を見つけてくれる、そんなアプリを作ることで近似近傍探索についての話とFlaskを使ったアプリ作りについての話を自分のメモもかねて書いていきます。
今回はいよいよFlaskについて少しづつ触れていきます。

## Flask
最初に言っておくと僕はFlaskについてはそんなに詳しくないです。
比較的気軽にwebアプリケーションが作れてデモ用にいいという程度の気持ち

Skyline Problem　の解決方法

# The Skyline Problem by using an iterative method
1. sorts the elements of a given array in ascending order.
2. Set the initial value of sum to 0.
3. Then use iterative methods：
**_3.1 Find the smallest value array[0] in the array Because it has to be painted at least array[0] times.
3.2 now sum += array[0]
3.3 Set a new empty array
3.4 Then, starting with the second element array[1] and ending with the last　element array[len(array)] in the array, insert the differe

Computer Vision : Semantic Segmentation Part2 – Real-Time Semantic Segmentation

#目標
Microsoft Cognitive Toolkit (CNTK) を用いたセマンティックセグメンテーションの続きです。

Part2 では、Part1 で準備した事前学習モデルを用いてセマンティックセグメンテーションを行います。
NVIDIA GPU CUDA がインストールされていること、500GB以上の容量の SSD が用意されていることを前提としています。

#導入
[Computer Vision : Semantic Segmentation Part1 – ImageNet pretraining VoVNet]() では、ImageNet から収集した画像を用いて CNN 事前学習モデルを訓練しました。

Part2 では、ニューラルネットワークによるセマンティックセグメンテーションモデルを作成して訓練します。

##ADEChallengeData2016
セマンティックセグメンテーションのデータセットとして ADEChallengeDate2016 [[1]](#参考) を使用します。以下のリンクから zip ファイルをダウンロードして解凍します。AD

pythonの基礎: 辞書

# 辞書型
ハッシュとも呼ばれる方法
キーとバリューのワンセットになってます。

{}を使用するのが注意点です。

“`python
city = {“キー1”: “バリュー1”, “キー2”: “バリュー2”}
“`

## 辞書の取り出し
キーの指定で呼び出します。

“`python
dic ={“book”: “kokugo”, “name”: “yamada”}
print(dic[“book”])
# 出力: kokugo
“`

## 上書きと追加

“`python:上書き
dic ={“book”: “kokugo”, “name”: “yamada”}
dic[“book”] = “sugaku”
print(dic)

# 出力:　{“book”: “suugaku”, “name”: “yamada”}
“`

“`python:追加
dic ={“book”: “kokugo”, “name”: “yamada”}
dic[“seibetu”] = “men”

print(dic)
# 出力: {“book”: “kokugo”,

python: scikit-learnの使用基礎①

今回は機械学習の肝となる
scikit-learnについて投稿します。

# scikit-learnの概要
サイキットラーンと読みます。
Pythonの機械学習ライブラリです。

#チートシート

自分が行いたい分析（分類・回帰など）について
簡単にモデルを選択できるチートシートです。


## 分類（classification）
どのクラスに属するかを判別します。

### SGD（stochastic gradient descent）
10万件以上のデータ向け
線形のクラス分類手法

### カーネル近似
10万件以上のデータ向け
SGDで上手く行かない場合
非線形クラス分類手法

### Linear SVC
10万件未満用
線形のクラス分類手法

### k近傍法
10万件未満用
Linear SVCで上手く行かない場合
非線形なク

MastodonのアーカイブをPythonでいじる2　リプライとふぁぼの相手を数える

##はじめに
　マストドンのアーカイブについては[前記事[Python]Mastodonのアーカイブで投稿日時散布図…](https://qiita.com/onekodate/items/0a0049c1684611c74af4)を参照することを推奨。特にjsonファイルから読み込んでトゥート内容をobjectsに格納するところまでは今回は割愛します。

# リプライの宛先を数える
### リプライ先のIDを集める
“`python
at = []
for object in objects:
if ‘@’ in object:
at.append(object)
name = []
others = []
for a in at:
while ‘@’ in a:
if ‘ ‘ in a:
name.append(a[1:a.index(‘ ‘)])
a=a[a.index(‘ ‘)+1:]
else:
others.append(a)

【Python】macOSでpipを使えるようにする

ラズパイだと`apt-get`でpipがインストールできますが、macOSでpipをインストールしたく、そこで詰まってしまったのでその備忘録です。
Homebrewで一発とか思ってたのですが、`brew install pip`ではインストールできません。[^1]

[^1]: ※筆者はHomeBrewが大好きです。

## 公式ページのインストール方法に従う

[公式のやり方](https://pip.pypa.io/en/stable/installing/)に従って、以下のcurlコマンドで `get-pip`というPythonファイルがダウンロードします。

“`shell
curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
“`

ダウンロードした`get-pip.py`を実行するとpipがインストールされます。

“`shell
$ python3 get-pip.py
“`

## インストール完了

whichコマンドを叩いてパスが表示されるので、インストール自体は完了です。

“`shell
$ w

PythonでEDINET・TDNETから有価証券報告書・四半期報告書・決算短信のXBRLをダウンロードする

タイトルがクソ長い．．
金融界隈で定量的な分析やデータサイエンスをやっている9uantです．
[twitter](https://twitter.com/9uant9)もやってるので，興味ある方はぜひフォローしていただけると！

タイトルの通り，決算書類のXBRLを手早くダウンロードするためのコードを共有する．
解説も追々書いていきたい．
以下の2ステップをとる．

– XBRLへのリンクをDataFrame化する
– DataFrameからXBRLのzipファイルをダウンロードする

“`python
import os
import glob
import shutil
import re
import time
from datetime import date, timedelta, datetime
from dateutil.relativedelta import relativedelta

import requests
from bs4 import BeautifulSoup
import urllib3
from urllib3.exceptions impo

Computer Vision : Semantic Segmentation Part1 – ImageNet pretraining VoVNet

#目標
Microsoft Cognitive Toolkit (CNTK) を用いたセマンティックセグメンテーションについてまとめました。

Part1 では、セマンティックセグメンテーションのためのバックボーンに使用する CNN の事前学習を行います。
CNN の事前学習には 1,000カテゴリーの ImageNet の画像を使用します。

以下の順で紹介します。

1. ImageNet からのダウンロードと準備
2. VoVNet : One-Shot Aggregation module
3. 訓練における諸設定

#導入

##ImageNet からのダウンロードと準備
[ImageNet](http://image-net.org/) [[1]](#参考) は 1.4億枚以上の画像が登録されている大規模な画像データベースです。2017年までは画像認識のコンペティション ILSVCR に使われていました。

今回は ImageNet が管理している画像の URL を使ってダウンロードする方法で 1,000カテゴリーの訓練データを収集しました。ただし、850番目の ted

3．PythonによるAIプログラミング

# はじめに
いきなりこのページに来られた方は、[`親ページ`](https://qiita.com/kenT100/items/41c349add25384f8d804)から参照をお願いいたします。

# ここの目的
pycharmを使用して、python言語でAIをコーディングします。コードはコピペでOKです。
ソースコード内の意味が分からなくても実行できます。

# 開発環境の立ち上げ

– Pythonプログラムを作成するためにpycharm(PyCharm Community Edition)を起動します。前回作ったPJが表示されるので「`mnist`」をクリック

– pycharm起動画面 (mnistプロジェクトが起動されました)
![Pycharm021.png](https://qiita-image-store.s