機械学習初心者のKaggleへの挑戦 Part.1

Titanicへの挑戦

今回はTitanicへ挑戦してみようと思う。

jupyternotebook使ったことないけど、データフレームがきれいに表示できるから使ってみることにした。

始めたての初心者ですが、一緒に勉強してやってもいいぞって方Twitterの方から連絡お待ちしてます！

1.ライブラリのインポート

まずは必要なライブラリのインポートをする。

“`python
import pandas as pd
from matplotlib import pyplot as plt
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
“`

2.データの確認

それでは、データを読み込んで確認してみよう！

とりあえずデータの先頭5行を出力してみる。

“`python
train = pd.read_csv(‘train.csv’)
test = pd.read_cs

Python,Ruby,PHP,Java,JavaScript,Perlのコマンドライン引数の比較

Qiita > プログラミング言語の比較

Python,Ruby,PHP,Java,JavaScript,Perlのコマンドライン引数の比較

# Python

https://qiita.com/taashi/items/07bf75201a074e208ae5

# Ruby

https://qiita.com/shiGira/items/44586bdc48c06e00d99f

# PHP

https://qiita.com/aic0o/items/91ca1ddc1fc6e025286f

# Java

https://qiita.com/takahirocook/items/ece64146015f702d0a83

# JavaScript

https://qiita.com/furusin_oriver/items/f030d1eaa9e7b54233c3

# Perl

https://perlzemi.com/

簡単な業務改善ツールを作ってみた

## 作ろうと思ったきっかけ
日々の業務に圧殺されないために簡易ツールを作りました。
## このツールで出来ること
特定の名称で新規にフォルダを作成。
作成したフォルダ配下にエクセルファイルを配置。
## 言語バージョン
“`
C:\Users\test>python –version
Python 3.8.10
“`
## 実装
“`
def make_folder(file_path):
file_dir_path = os.path.dirname(file_path)
file_name = os.path.basename(file_path)
dir_name = “【新規フォルダ】” + file_name
file_dir_path = “\\Users\\test\\デスクトップ\\新規フォルダ作成/” + dir_name
os.mkdir(file_dir_path)
# make file_path
new_file_path = file_dir_path + ‘/’ + file_name

python-wordpress-xmlrpcで記事一覧取得時にエラー

`python-wordpress-xmlrpc`でWordPressから記事一覧を取得しようとして躓いた時の話。

# 環境

“`:環境情報
OS: Windows 11
Python環境: Anacondaで仮想環境を構築
Pythonバージョン: 3.10.4

module:
– python-wordpress-xmlrpc バージョン: 2.3
“`

# エラーメッセージ
以下のドキュメントを参考に記事一覧の取得を試みるが、`collections`の処理中にエラーが出る。

– [python-wordpress-xmlrpc ドキュメント](https://python-wordpress-xmlrpc.readthedocs.io/en/latest/examples/posts.html#result-paging)

“`python:GetListPosts.py
# 必要なモジュールを持ってくる
from wordpress_xmlrpc import Client, methods
from wordpress_xmlrpc.methods.po

Porting WordNet to the Dogelog Player

# Introduction

The Princeton WordNet is a relational database of English lexical and semantical word relationships. As a relational database it is also readily available as Prolog predicates. We made an experiment in porting WordNet to a Dogelog Player notebook.


Dogelog Player is 100% written in Prolog, but its Prolog input/output predicates are too slow to read the Pr

richmanbtc さんの docker-compose up -d 実行するまでに必要な準備

richmanbtc さんの著書「日給300万円のSS級トレーダーが明かす botterのリアル」に記載の内容でハマったので、備忘録として事前に必要な内容を記しておきます。

1. Docker for Desktop のインストールが必要
・Docker for Desktop を動作させるにはログインが必要なようでサインアップも必要です。

2. Dockerfile の修正が必要
・mlbot_tutorial\docker_images\jupyter\Dockerfile
“`
ccxt==1.92.20 \
“`
※ Amazon のコメントを参考にしました。ありがとう！
3. Python, JupyterNotebook のインストールが必要
4. (任意) 無料で良いので Code Editor をインストールしておくと編集が

raspbian環境でタイトルからウインドウをアクティブ化する

## 概要
ウインドウのタイトルをもとに特定のウインドウをアクティブ化する。
pywin32はWindows環境でしか使えないので、x11のコマンドをsubprocessで実行する。

## 環境
x11が標準でインストール済みのraspbianで実行

## コード
~~~
import subprocess

def active_window(title):
# xwininfoを用いて対象アプリのウインドウIDを取得する
# https://hk29.hatenablog.jp/entry/2021/08/15/182010 から引用
cmd_list = [‘xwininfo’, ‘-root’, ‘-tree’, ‘|’, ‘grep’, title]
cmd = ‘ ‘.join(cmd_list)
result = subprocess.run(cmd, encoding=’UTF-8’, shell=True,
stdout=subprocess.PIPE, stderr=

初投稿

どこかの記事で毎日コードを書くのが良いと書いていました。
また、一か月に一度違う言語を勉強するのが良いと書いていたのを見たので
今日から、毎日コードを書く＋新しい言語を学ぶにチャレンジします。
そんな成長？過程を見て頂ければとおもいます。

Python

print(‘Hello World’)

first_contact = Hello World
print(first_contact)

プリントを使いハローワールドを表示しました。

【関数を列or行に適用】numpyのapply_along_axisでfor文を無くそう【Python】

# はじめに
ある日のこと、業務でめちゃくちゃ処理が遅いなぁと思いコードをのぞいてみると2重のfor文を発見:confounded:

何とかできないかと探したときに出会ったのが私とapply_along_axisとの出会いです:green_heart:

apply_along_axisで何ができるかといいますと、、、ずばり「関数をnumpy配列の列or行ごとに適用できる」です！

ということで今回はnumpyのapply_along_axisを紹介します！

# 環境
– Google Colaboratory
– Python 3.7.13
– numpy 2.21.6

# 問題設定
今回は[公式ドキュメント](https://numpy.org/doc/stable/reference/generated/numpy.apply_along_axis.html)を参考にかなりシンプルな処理で試してみます。

まず乱数を使って100000×3のサイズのnumpy配列を用意しました。

“`python
import numpy as np

pythonでネット上にあるファイルをダウンロードする方法

## 背景
– pythonでネット上にあるファイルをDLしてカレントに保存するコードが必要になった。
– 調べて一番簡単だと思った方法をまとめておく。

## 目標
– pythonでネット上にあるファイルをDLできるようになる。

## コード
– pythonでネット上にあるファイルをDLする方法をまとめた以下のquita記事さんを参考にした。
– この方が紹介されている一番簡単だと思ったコードを引用している。
https://qiita.com/toshikawa/items/2d535906b42b9332b743

“`python:pythonでネット上のファイルをDLするコード
import urllib.request

#DLしたいファイルがあるurlを指定
url= “https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data”

#カレントディレクトリに保存したいファイル名を指定
save_name=’python_iris.data’

#urllib.request.ur

【Python】初心者がDiscord Botに将棋を実装するまで

# はじめに
当初は、私の運営するDiscordサーバー([詳細](https://disboard.org/ja/server/879288794560471050))にて、気軽に将棋の対局ができるようにとの思いで開発を始めました。しかし、そのニッチな需要にマッチする記事は見つからず、さらに私が初心者であるのもあって、かなり苦戦しました。ですので、今後私と同じような境遇の方がいらっしゃったときのために当記事を書きました。

# 実際に作ったもの
## ソースコード
https://github.com/Fibonshin/Shogi-DiscordBot

ソースコード及び、使用する画像はこちらに公開しております！
「今すぐ将棋がさしたくてたまらない！」という方は、こちらのコードに`BOTのトークン`と`サーバーID`を入れて、ライブラリもなんやかんやしたら動くと思います。
１つ問題としては、私の能力不足と終盤の「とりあえずうごいたらええねん」精神により、コードは**西夏文字並みの読みにくさ**となっております。

## 使い方
#### `/taikyoku` ー ルール説明を表示

AmplifyのServerless containersを使って消しゴムマジックAPIをデプロイしてみた

この記事は[朝日新聞社 Advent Calendar 2021](https://qiita.com/advent-calendar/2021/asahi)の第１日目の記事です。
これから毎日、朝日新聞社のエンジニアがバラエティに富んだテック記事をお届けします！

一部記事は[noteで運営中のテックブログ](https://note.com/asahi_ictrad)記事となります。
合わせてこちらもフォローいただけると幸いです。

https://note.com/asahi_ictrad

初日は[メディア研究開発センター](https://cl.asahi.com/)の倉井が、AWS/Amplifyを利用したサーバレスなコンテナAPIのデプロイに取り組んだ内容をお届けいたします！
***

### 超ざっくり作ったもの説明

AmplifyのServerless containersでデプロイしたAPIに
![スクリーンショット 2021-11-12 19.24.21.png](https://qiita-image-store.s3.ap-northeast-1.amazo

Kaggle超入門 ~タイタニック号の生存予測~(データ確認編)

# 【目的】
初投稿です。Kaggleに挑戦し、データ分析について深く学んでみようと思い、代表的なトレーニングコンペであるタイタニック号の生存予測を行いました。今回は、利用するデータを確認してみたいと思います。

# 【使用するデータ】

今回の分析で使用したデータは、分析コンペプラットフォームであるKaggleで提供されているデータを利用しました。テストデータから生存者

# 【分析の流れ】
・データの確認
・データ前処理
・モデル作成
・モデル評価
　

# 【データ確認】
## 1.全体
まずは、trainデータとtestデータを読み込んで、trainデータの先頭を確認した。
“`
import pandas as pd

train = pd.read_csv(‘train.csv’)

Spotify API から解析情報をとる

# はじめに
ID取得とかSpotify APIを使うのに必要なことは既に理解している前提で話していきます。
まだの方は[Spotify API をPythonでちょっと遊ぶ](https://qiita.com/supertower/items/2f6da271cf16389d6e58)からどうぞ
あとはノート代わりと自分のモチベ維持のために書いてるのでそんなことわかってるよ！っていう場所もあると思います。
ではスタート
# artist_URL取得
今回はspotifyが楽曲の解析情報を提供してくれているとのことなのでそれをみていきたいと思います。そのためにはまず対象となるアーティストが必要です。誰でもいいんですけど個人的に大好きなポルノグラフィティを選びました。そしたらブラウザ版spotifyを立ち上げて、そこの検索ボックスにポルノグラフィティと入力します。ポルノのアーティスト画面が表示されるのでそこのURLを控えます。そのURL`https://open.spotify.com/artist/5jQa0f5MIMPEK7udL7UpI6`の末尾`5jQa0f5MIMPE

AIに欲しい画像を生成して貰おう！【stable diffusion】

ブログや資料作成をする時にちょうど良いフリー画像が見つからない…
あると思います。

自前で用意出来れば良いのですが写真もなければ絵心もなかったりするともう無理。
じゃあAIに作って貰えば良いと思い最近話題の「stable diffusion」を試してみました。

今回は以下を参考に進めハマりポイント等交えながら進めていきます。

https://qiita.com/hevo2/items/c9c611a5f918d36732f3

## 生成方法

### Stable Diffusion

> オープンソースとして2022年8月に無償公開された描画AIである。ユーザがテキストでキーワードを指定することで、それに応じて画像が自動生成される仕組みとなっている

https://ja.wikipedia.org/wiki/Stable_Diffusion

– キーワードを指定するとそのお題に合った画像を自動生成してくれる
– 画像生成時のテキストである「プロンプト」は「呪文」とも呼ばれ少しコツが必要

## 動作環境

CPU: Apple M1 Max
メモリ: 64 GB

今

torchdataとwebdatasetの使いどころ

# TorchData

pytorchでデーラローダーを作成する方法は色々ありますが，最近（2022年前半）にTorchDataがアナウンスされました．

https://github.com/pytorch/data

https://pytorch.org/data/beta/index.html

でもあまり情報が出回っておらず，検索してもcsvを読み込む程度の説明しか見当たりません．データパイプの分岐や処理などをどうやるのか，何に使えるのかがよく分からないので，記事を書いてみました．

リンク先の記事ではtorchdataの簡単な説明から始めて，物体検出用のデータセットに適用するということをしています．画像は画像フォルダに，bbox情報はcsvに，というアノテーションデータをtorchdataのdatapipeを使って読み込みます．データ拡張にはalbumentationsを使います．

https://qiita.com/tttamaki/items/b1058ed518583a0d6c07

# WebDataset

torchdata登場以前からWebDataset

torchdataの使い方：datapipeの扱い方から物体検出データセットを読み込むまで

[Colabバージョンはこちら](https://colab.research.google.com/drive/1vi1xLl02Ug8AffVgVdexdrSaYVyPWrwi?usp=sharing)

https://qiita.com/tttamaki/items/463f1de18bbcfcd395f0

# 1. torchdataとは

[torchdata](https://pytorch.org/data/beta/index.html)とは，従来のdatasetを拡張するpytorchのモジュールです．

> torchdata is a library of common modular data loading primitives for easily constructing flexible and performant data pipelines.

2022/Aug時点で，まだベータ段階なのでAPIは今後変更がありますが，以下ではあまり変化がないと思われる利用方法を紹介します．

インストールはpipから．

“`python
!pip

webdatasetの使い方：shardの作り方からセマンティックセグメンテーションのデータセットを読み込むまで

[Colabバージョンはこちら](https://colab.research.google.com/drive/1-bJv1UUGTovWkgc9x4Xpz0ItSRBualvp?usp=sharing)

https://qiita.com/tttamaki/items/463f1de18bbcfcd395f0

# 1. webdatasetとは

[webdataset](https://github.com/webdataset/webdataset)とは，データセットをtarアーカイブで読み書きするためのライブラリです．

> WebDataset reads dataset that are stored as tar files, with the simple convention that files that belong together and make up a training sample share the same basename.

つまり，tarファイルの中に

“`text:
n01440764/ILSVRC2012_val_000002

【Python】min/max関数は文字列にも使える

昨日のプロコン解説を見て初めて知ったので、メモ

## 文字列に`min/max`関数を使うと**辞書順最小/最大**の文字列を返す

#### サンプル
“`python
print(min(“a”,”b”))
print(max(“a”,”b”))
“`

#### 実行結果
“`
a
b
“`

## **リスト**についても同様に**辞書順最小/最大**の文字列を返す
#### サンプル
“`python
print(min([“a”,”b”,”c”]))
print(max([“a”,”b”,”c”]))
“`

#### 実行結果
“`
a
c
“`

## 文字列と数値を引数にするとエラーが発生する
#### サンプル
“`python
print(min(“2”,1))
“`

#### エラー文
“`
TypeError: ‘<' not supported between instances of 'int' and 'str' ```

社内コードを公開せずに内部で共有する方法

# はじめに

見つけやすく、インストールしやすいソフトウェアパッケージは、開発者にとって使いやすいです。[React](https://reactjs.org/)、[Ruby on Rails](https://rubyonrails.org/)、[Airflow](https://qiita.com/hankehly/items/1f02a34740276d1b8f0f) のような有名な OSS は良い事例です。しかし、社内の非公開のコードは、企業秘密として**世間から隠されることが多いです**。権限を持っている人のみ見ることができて、オープンソースのように `npm` `gem` や `pip` で簡単にインストールすることもできません。

その結果、社内のコードがうまく再利用されなくなる（あるいはできなくなる）ことがあります。各チームはそれぞれ独立したコードベースを持ち、他のチームにコードを共有したくても、満足がいく解決策を導き出すことが難しかったりします。戦略を立てないままでは、それぞれの独立したコードベースを充実させ続け「社内共通のライブラリー」が遠い夢のようになっていきま