- 1. Python環境構築法 for Windows10
- 2. GPUを活用した機械学習ツールNVIDIA RAPIDSをArch Linux + CUDA11.4 でビルドし、Cupy にも組み込んだ(Ver21.10版) (3) CUgraph
- 3. GraphCMSとHugoを連携してGithub Pagesで公開する(番外編)〜国際化対応
- 4. 相互作用特徴量
- 5. 【深層学習】活性化関数ReLUについて
- 6. 【AtCoder】ABC222をPython3で解説(ABCD)
- 7. Docker + VSCode上に機械学習/深層学習 + Pythonの環境構築する方法(コード整形, lint, 補完あり / Jupyter Notebookのプロセスなし)
- 8. 【Python/networkx】にじさんじライバー間のコラボ関係のネットワーク分析
- 9. データ分析で株価
- 10. 【プログラミング勉強_開始1日目】学びの共有_Python
- 11. Educational Codeforces Round 115 B. Groups
- 12. pythonで”””を実行しました。
- 13. VM(VirtualBOX+Vagrant)上でchalice localを動かす
- 14. ABC188 C – ABC Tournament を解いた
- 15. 【Python】退屈な Zoom / Meet を自動退出するデスクトップアプリを開発してみた
- 16. DeepL API の使用方法
- 17. OOFの予測値でConfident Learning (cleanlab) を使おう!
- 18. 【Python】 開始終了、pipインストールメモ
- 19. 自然言語処理API
- 20. [Python] __repr__メソッドをカスタマイズする
Python環境構築法 for Windows10
新しいPCが届き,Anacondaを使わずにPython環境の構築を1からやり直したので,整理も兼ねて投稿します.
## 対象者
– Microsoft StoreからPythonをインストールしたくない人.**(ここ重要)**
– Anacondaを使いたくない人.
– Pathを通す作業をなるべくしたくない人.
– pyenvとpipで開発したい人.——————————————
## 事前準備
– chocolateyがインストールされていること.
– chocolateyのパスが通っており,動作を確認済み.——————————————
## やり方#### pyenvのインストール
“`shell
cinst pyenv-win
“`
で`pyenv`をインストールできます.**何か聞かれた時はこれを参照**
“`sh:何か聞かれた時
Do you want to run theGPUを活用した機械学習ツールNVIDIA RAPIDSをArch Linux + CUDA11.4 でビルドし、Cupy にも組み込んだ(Ver21.10版) (3) CUgraph
# やったこと=RAPIDS のビルド
データ処理、機械学習のフレームワーク[RAPIDS](https://rapids.ai/)を [Arch Linux](https://www.archlinux.org/) でビルドした。ただし、ビルドまでにエライ手間がかかったので、皆さんへの共有も兼ねて
0. **基本構成その0** ・・・ Cupyのビルド方法については[こちらの記事](https://qiita.com/daisuzu_/items/971ff080bb8e16d7c815)で紹介してます。
1. **基本構成その1** ・・・ [こちら](https://qiita.com/daisuzu_/items/6b2564450c75f25cc882)。RMM, cuDFというRAPIDS の基本コンポーネントの一部のビルド手順。
2. **基本構成その2** ・・・ [こちら](https://qiita.com/daisuzu_/items/032db63947604b960f8d)。CUMLというRAPIDS の基本コンポーネントの一部のビルド手順。ついでに、cGraphCMSとHugoを連携してGithub Pagesで公開する(番外編)〜国際化対応
# 概要
前回まででHugoとGraphCMSを連携させてGithu Pagesで公開する方法を解説した。
今回、番外編として国際化対応の実装を行う。## 国際化対応
ウェブ制作の案件として国際化対応についてはどれほど需要があるかわからないが、HugoもGraphCMSもi18nを簡単に導入できるので説明に加えることにした。
### GraphCMSの設定
GraphCMSはフリープランでは二カ国語まで対応している。
デフォルトが`en`なのでまず日本語の`ja`を加える。#### ロケールの追加設定
ダッシュボード>`Settings`>`Locales`を開く。
`Dispyal name`に`Japanese`を選び`Add`をクリック。![FireShot Capture 139 – GraphCMS – app.graphcms.com1.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/691494/bc39eb8c-a1e9-5856-eebd-7d8b599aa36b.
相互作用特徴量
# この記事の狙い・目的
機械学習を取り入れたAIシステムの構築は、
①データセット作成(前処理)→ ②モデルの構築 → ③モデルの適用
というプロセスで行っていきます。
その際「データセット作成(前処理)」の段階では、正しくモデル構築できるよう、事前にデータを整備しておくことが求めらます。
このブログでは、その際用いられることのある「**相互作用特徴量**」の生成方法について解説していきます。# プログラムの実行環境
Python3
MacBook pro(端末)
PyCharm(IDE)
Jupyter Notebook(Chrome)
Google スライド(Chrome)# 相互作用特徴量
相互作用特徴量の生成方法について、解説したいと思います。
相互作用特徴量とは、二つ以上の変数をかけ合わせた新しい変数を作る方法のことです。
特に、二つの特徴量の積で表された特徴量を「**ペアワイズ交互作用特徴量**」と言います。**メリット**
二つ以上の特徴量の組み合わせにより、目的変数をうまく表現できる場合、単一の特徴量よりモデルの精度が高まる場合があります。**デメリッ
【深層学習】活性化関数ReLUについて
深層学習モデルを構築する時、うまく活性化関数を選ぶのは大事ですね。
その中で、よく使われてる活性化関数ReLUについて話したいと思います。## ReLUとは?
ReLUはRectified Linear Unitの頭文字から取ってきたものです。
数式を書くと“`math
f(x) = max(x, 0)
“`数式を読んだら、$x$が負数の場合であれば、
$f(x)$は$0$のままということがわかります。Pythonで書いてみると
“`python
def relu(x) :
return max(x, 0)
“`## ReLUの微分
– $x$が正数の場合であれば:
“`math
\frac{\mathrm{d} f(x)}{\mathrm{d} x}=\frac{\mathrm{d} x}{\mathrm{d} x}=1
“`– $x$が$0$以下の場合であれば:
“`math
\frac{\m【AtCoder】ABC222をPython3で解説(ABCD)
ABC222のA-D問題の解説。
https://atcoder.jp/contests/abc222
## 目次
[A – Four Digits](#a—four-digits)
[B – Failing Grade](#b—failing-grade)
[C – Swiss-System Tournament](#c—swiss-system-tournament)
[D – Between Two Arrays](#d—between-two-arrays)## A – Four Digits
https://atcoder.jp/contests/abc222/tasks/abc222_a
### 必要な知識
– zfill()
– f文字列### 解説
与えられた整数を4桁になるように、0を加える問題。
Pythonでは、指定した桁数を0で埋めてくれる`zfill()`というものがあるので、こちらを使うとかんたんに`AC`できる。
### コード1
“`python
def main():
n = input()
pDocker + VSCode上に機械学習/深層学習 + Pythonの環境構築する方法(コード整形, lint, 補完あり / Jupyter Notebookのプロセスなし)
ネット上の記事を探していても以下のことを達成する環境構築に触れている記事がなかったのでメモとして残しておきます。
– **VSCode = Docker** の動作環境にしたい
– 逆にVSCode以外にリソースを割きたくない
– Jupyter LabやJupyter Notebookのプロセスを**立ち上げたくない**
– VSCodeのコード実行機能を使いたい
– **Pythonの補完**を最大限使いたい
– Jupyter Notebookブラウザで使うと補完弱すぎて泣きそうになるので
– Pythonの**静的型チェックやlinter, formatter**を良い感じに使いたい
– Pythonのコード汚くなりがちなので
– Docker Imageで使える機械学習/深層学習ライブラリを選択したい
– sklearn用のimageやtensorflow用のimageなど# TL;DR
以下のGitHub repositoryをCloneしてVSCodeで開けばOKです。
(余計なファイルも `sample.py` しか入ってま【Python/networkx】にじさんじライバー間のコラボ関係のネットワーク分析
# はじめに
この1ヵ月程度,大学院での研究のために複雑ネットワークの勉強しており,実際のデータを用いてネットワーク分析で遊んでみたいなと思いました.どのようなデータを用いてネットワーク分析を行おうか考えていたとき@fufufukakakaさんの[記事](https://qiita.com/fufufukakaka/items/9f73389e0ea0ba95307c)を見つけ,自分がにじさんじのライバーさんの配信をよく視聴することもあり,同じようなネットワーク分析がしてみたいなと思い立ちました.
しかし,元の記事のような高度なスクレイピングを応用するには自身の技術が足りないので,今回はもっと簡単に,[にじさんじ非公式wiki](https://wikiwiki.jp/nijisanji/%E3%82%B3%E3%83%A9%E3%83%9C%E4%B8%80%E8%A6%A7%E8%A1%A8)から有志の方によってまとめられたにじさんじライバー間のコラボ一覧表をお借りして,**にじさんじライバーのコラボ関係ネットワーク**を作成しそれを分析してみることにしました.
# 目標
データ分析で株価
## 序論
株価の分析を自分の手でしてみたいな思って、本プロダクトを作りました。普通に株価のチャートとどのくらい似たものができるのか、世間一般の株価分析ツールがどうなっているのか気にしながら作っていきたいと思います。#内容
###流れ
具体的にどのようなことをやっていくかというと、
1.データを収集する
・ライブラリ=Pandas_datareade pandas2.データを整形する
・sort、rest_index
・Columnsを再命名
3.基本統計量を出してみる
・describe()→(参考)
・変化率
・グラフ書いてみる
・終値の変化
・ボラティリティ4。将来を予想してみる
・prophet
・グラフ →見方、拡大方法
・グラフトレンド→これいらないなという流れで作っていきます。
###(使用するライブラリ)
・mathplotlib→グラフを書く
・pandas,numpy→データ整形用
・pystan→分析用
・fbporphet→機械学習用
・pandas_datareader→株価取得用
・datetim【プログラミング勉強_開始1日目】学びの共有_Python
## 学んだことの共有
– Pytyonの基本構造が「順次実行」「条件分岐」「繰り返し」であること
– Progateで何となく全てやってきていたが、基本構造として認識できていなかった
– やはり色んなルートで学習すると色んな角度でインプットできていいと思った
– Python等のプログラミング言語はエディターを通して使うことを知った
– 環境を色々整えて初めてまともに使える
– ソースコードの保存とかファイル分けとかどうやるんだろうと思っていたけど、何となく見えた– 「for 変数名 in 辞書:」というfor文(繰り返し処理)
*for fruit_key in fruits:*
*print(fruit_key + ‘は’ + fruits[fruit_key] + ‘です’)*– 変数名(furit_key:慣例では単数形)が先で、辞書名が後(fruits:関連では複数形)
– 要素を出力する際は辞書名[変数名]という書き方で、[変数名]を削除して実行してみたらエラーになった
– 「:」をを忘れないEducational Codeforces Round 115 B. Groups
https://codeforces.com/contest/1598/problem/B
# 題意
– あなたは異なる曜日(月曜から金曜の5日間)の2日に授業をすることにします。
– $2n$人の生徒がいます。それぞれの生徒は授業を受けられる日を1, 出られない日を0としてスケジュールを全員が提出しました。
– あなたは各授業がn人ぴったりであるように授業のクラスを分けたいです。
– 各生徒は2つ授業両方には参加できません。# こう考えた
総当たりをします。各曜日を総当たりするには、
“`Python
for i in range(5):
for j in range(i+1, 5):
# i と jの2つの曜日を選んだ
“`
とすればよいです。さて、i,jを定めたとき、以下を求めることができます。
“`
numboth: iもjも出席できるの学生
numi: iだけに参加できる学生
numj: jだけに参加できる学生
numng: 両方参加できない学生
“`この時、次のように順に考えます。
– まず、合計の人数が$2n$で$n$人に分けたいのだか
pythonで”””を実行しました。
公式サイトを探しています。
オリジナル
https://qiita.com/mrrclb48z/items/54afad5683f7aaa4c73f
# “””について
Qiitaだと、薄い青色でした。(上記より)
pycharmだと、ソースコード内で薄い緑色でした。
live.sympyだと “””素敵。“””
Matrix([[3, 8], [15, 24]])
“””# live.sympyでpprintを実行してみました。
“`
>>> pprint(Matrix([[3, 8], [15, 24]]))
…
[3 8 ]
[ ]
[15 24]
“`以上、簡単にメモしました。
VM(VirtualBOX+Vagrant)上でchalice localを動かす
業務でchaliceを扱うことになりそうなので、動かせる環境を作ってみました。
# バージョン
ソフト | バージョン
–|–
VirtualBOX | 6.1.222
Vagrant | 2.2.16# VM構築
`Vagrantfile`に以下を指定してVM立ち上げ
“`Vagrantfile
Vagrant.configure(“2”) do |config|
config.vm.box = “centos/7”
config.vm.network “private_network”, ip: “192.168.33.10”
config.vm.network :forwarded_port, guest: 8000, host: 8000
end
“`※`chalice local`のデフォルトポートが8000なので、ポートフォワーディングしておきます
IP指定(192.168.33.10:8000)でアクセスできまが、これ追記しておくとlocalhost:8000でアクセスできるようになります“`bash
$ vagrant upABC188 C – ABC Tournament を解いた
https://atcoder.jp/contests/abc188/tasks/abc188_c
![abc188_1.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/737344/40230403-1b0f-9b3f-2810-511d0221538e.png)
![abc188_2.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/737344/c9ea5a31-a57c-6324-950a-85397fdce24c.png)
![abc188_3.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/737344/c0d76e23-610b-cf82-89a1-10ba21793c91.png)
![abc188_4.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/【Python】退屈な Zoom / Meet を自動退出するデスクトップアプリを開発してみた
#はじめに
新型コロナウイルスの影響で、昨年度から学校・企業にオンライン授業・会議が普及し始めました。
感染リスクを減らせるというメリットがある一方、
**「なかなか集中できず眠くなってしまう」**
という意見も……。私もずっと同じ悩みを抱えていたので、上手くオンライン講義をサボれる方法を模索していました。
そこで思い付いたのが、オンライン会議の**「自動退出」**です!|第1弾(設計~テスト実行)|第2弾(アプリ化・配布~使用上の注意)|
|—|—|
|OOFの予測値でConfident Learning (cleanlab) を使おう!
# はじめに
Confident Learningという手法を使うことで、分類タスクにおける、データセットの中の間違ったラベル(noisy label)のサンプルを検出することができる。[詳しい解説](https://aotamasaki.hatenablog.com/entry/confident_learning)が既ににあり、Confident Learningを実行するライブラリに[cleanlab](https://github.com/cleanlab/cleanlab)というのものあるので、ここでは機械学習で後付でcleanlabを使う小技の紹介をする。
## cleanlab
cleanlabはConfident Learningを実行できるライブラリで、scikit-learn like APIのモデルクラスをラップして使うことができる。
“`python
from sklearn.base import BaseEstimatorclass YourFavoriteModel(BaseEstimator): # Inherits sklearn bas
【Python】 開始終了、pipインストールメモ
####バージョン確認
“`bat:バージョン確認
python –version
“`
こんなのが出てくる(バージョンによって変わる)“`bat:結果
Microsoft Windows [Version 10.0.19042.1237]
(c) Microsoft Corporation. All rights reserved.C:\XXXX\XXXX>python –version
Python 3.8.10C:\XXXX\XXXX>python –version
Python 3.8.1>“`
####pipからのインストール
“`bat:pipからのインストール
py -m -3.9 pip install BeautifulSoup
py -m pip install BeautifulSoup
“`####pipのアップグレード
“`bat:pipのアップグレード
py -m pip install –upgrade pip
“`####開始
“`bat:
python
“`####コマ
自然言語処理API
https://github.com/mcleavey/identify_author/blob/master/Identify%20the%20Author.ipynb
https://qiita.com/jw-automation/items/0fc9c1b9764233975ab9
[Python] __repr__メソッドをカスタマイズする
# インスタンスのprint表示をカスタマイズしたい
自分でクラスを作る。
“`python
class Dummy():
def __init__(self, argument, *args, **kwargs):
# インスタンス変数
self.argument = argument
self.arg1 = args[0]def fit(self):
passdef predict(self):
pass
“`これをprintすると、、
“`python
print(instance)# <__main__.Dummy object at 0x7ff7177d8990>
“`
ななな、なんじゃこら。こんなふうに引数を表示したい。。。
“`python
from sklearn.ensemble import RandomForestClassifierclf = RandomForestClassifier(max_depth=2, ra
関連する記事
OTHERカテゴリの最新記事
-
- 2024.09.19
JavaScript関連のことを調べてみた
-
- 2024.09.19
JAVA関連のことを調べてみた
-
- 2024.09.19
iOS関連のことを調べてみた
-
- 2024.09.19
Rails関連のことを調べてみた
-
- 2024.09.19
Lambda関連のことを調べてみた
-
- 2024.09.19
Python関連のことを調べてみた