Azureストレージのコンテナーからファイルをダウンロードする

# はじめに

現職では、ディープラーニングの学習をする際、会社でAzureのアカウントを契約してもらっていて、そこでNVIDIAのGPUを使って計算しています。
Azureストレージにコンテナを作成し、学習の計算時にはこれをマウントして、ディープラーニングで学習を実施する際の教師画像や学習記録のテキスト、生成されたモデルデータなどを保存していました。
これらを、個別のファイルあるいはディレクトリ一括でダウンロードしたいと思って調べたところ、意外とクリティカルな記事がなかなか見つからず、色々と泥沼にハマってしまい1日近く溶かしたので備忘録を残しておきます。

本記事では、
* Pythonでコンテナーから個別のファイルをダウンロードする。
* （PowerShellでコンテナーからディレクトリ一括でダウンロードする、は別記事で紹介予定です。）

を紹介したいと思います。

プログラムあるいはコマンドでダウンロードすることを選んだのは、まずそもそもAzureポータルからGUIで直接ダウンロードするボタンがなかったことと、定期的にローカルにデータを移したい時の利便性なども考えて、方法を知っ

maya2022 component Tagsで困った

maya2022 から実装された　component Tags
これによってデフォーマセットが無くなり
グラフ的にはすっきりな見た目になるのですが・・・・

https://knowledge.autodesk.com/ja/support/maya/learn-explore/caas/CloudHelp/cloudhelp/2022/JPN/Maya-WhatsNewPR/files/GUID-C6BC495C-F1B6-4370-AC2D-24CA4B4AAF9B-htm.html

そうかtweakも自動で追加されなくなるのか。

それはさておき、困ったのが

従来では
–

– latticeを作る
– latticeの位置divを調整する
– 任意のオブジェクトをffdのデフォマーセットに追加する

という手順でよく作業していたのですが
デフォーマーセットが生成されないので、

sets -add ffd1Set;

とかやってもエラーになってしまいます。

り、リレイションシップエディターなら？
と思って開いてみても
こっちも　デフォーマーセット準拠になっているの

【量子シミュレータの自作】DB検索などの応用が期待されるGroverアルゴリズムの実装

## はじめに
**量子コンピュータはまだまだ一般に普及しているとは言えない**ため、量子アルゴリズムの動作確認を実施する際には、**古典コンピュータ（i.e. 古典ビット{0,1}を扱うコンピュータ）上で動作する量子シミュレータ**が利用されます。量子シミュレータは、[Qiskit](https://qiskit.org/)など様々なものが公開されていますが、特定のアルゴリズムの実装に重きをおけば、量子シミュレータの自作も比較的容易にできます。
本記事では、Groverアルゴリズムを対象に自作した量子シミュレータを紹介します。尚、Groverアルゴリズムとは、ゲート型量子コンピュータの利用を前提とした量子アルゴリズムの一種で、データベース（以降は、DB）の検索などへの応用が期待されているものです。

## 参考文献
Groverアルゴリズムの理解や量子シミュレータの作成の際に、参考にした文献を示します。

https://qiskit.org/textbook/ja/ch-algorithms/grover.html

https://utokyo-icepp.github.io/q

xlwings Names addについての書かれていない仕様

# 名前定義された範囲の利用
xlwingsでExcelファイルを読み書きする時(特に読む時)には、対象範囲に名前を定義し、その名前でアクセスした方が良い。
こうすることで、python側から\$A\$1などとセルアドレスを指定する必要が無くなる。また、Excel側で行や列の追加・削除やシート名の変更をしても問題無い状態となる。

なお、名前定義をExcel上だけで行うなら、ここで書いている事項は無関係だが、知識として知っていても良いことだろう。

# 仕様に書かれていない理由
ここで書くことは、xlwingsの公式ドキュメントに書かれておらず、知らないとうまく使えないことなんだが、これはxlwings側の問題ではない。

Excelの名前定義について、いつのまにか仕様が拡張され、参照範囲に指定するものが、**セル範囲**ではなく、**数式**になったためだ。

# 公式ドキュメント中の説明
xlwingsのNamesクラスのaddメソッドの説明は以下となっている。
>`add(name, refers_to)`
>セル範囲に新しい名前を定義します。
>
>パラメータ
>name (s

地球外生命体 – GridDBとPythonによる解析

## 概要

SF映画の愛好家の多くは、「地球上に異星人はいるのか」という疑問に興味を持ちます。私自身、データサイエンスの実践者であり、地球上のエイリアンの詳細がわかるデータセットがないかとよく考えていました。今回、Senckenberg World of Biodiversityが所有するSenckenberg（メタ）データポータルで、その1つを見つけることができ、嬉しく思っています。

ゼンケンベルグ（メタ）データポータルにあるように、このデータセットは藻類から哺乳類まで、世界中の外来種を詳細にまとめたものです。早速ですが、分析に入りましょう。この分析には、GridDB CloudとPythonを使用する予定です。

jupyterファイルへのリンクはこちらです:

## 全体的な前提

データセットをSenckenberg（メタ）データポータルからダウンロードし、GridDBのWebApiを使用してGridDB Cloudにアップロードする予定です。そして、GridDBのSQ

PygameでRPG制作　ーーそれっぽい画面を作ってみよう

この記事は、岩手県八幡平市のプログラミング教室「アクセルキャンプ」の公開教材です。
[アクセルキャンプ(フリースペースプラウド)のリンク](https://freespaceproud.com)
教材の作成依頼等も承っております。ご意見等は、リンク先の問い合わせ欄からお願いします。
教材の転用・利用等は自由です。

# 寒くなってきたぜ！　　
風邪ひかないようにね！先生は天才なので、いつ風邪をひくかいつもひやひやしています。それに加えてイケメンなので、気が気じゃありません。　　

# PygameでRPG風な画面を作ってみよう。
今の君たちに言っても全然伝わらない可能性があるけど、先生の時代はファミコンからスーパーファミコンに切り替わったり、初代プレイステーションがでて、「すげー！ＣＧやべえ！！ゲームすげー！！！」てなった時代です。中学生になってＦＦ１０が出たときなんかもう、グラフィックがきれいすぎてぶったまげたもんです。今のゲームと比べると全然ですが、なんていうか、そういう感動が今のゲームにはない気がします。　　

今日みんなに作ってもらいたいのは、こういう感じの、いわゆる「ドッ

OpenAIの音声認識Whisperを使用して英作文の文字起こしテスト

# はじめに
暗記のための自由/オープンソースソフトウェアである「[Anki](https://apps.ankiweb.net/)」を知りました。これを使用すれば、エビングハウスの忘却曲線に基づいて暗記することが出来るようになります。
英単語などであれば自分は英単語アプリ「TANZAM」を使用しており、このアプリも忘却曲線に基づいて暗記できるように作られています。

https://www.path-to-success.net/tanzam

1行か2行程度の英作文の暗記をする上で、本を使用しても面倒くさくなって段々やらなくなる。それだったらAnkiアプリで問題文を作成した方が効果的である。その本の英作文を入力するのも結構大変である。Kindle for PCを使用してもコピー制限があり全文取得は難しい。巻末などに一覧で掲載されていればiPhoneで写真を撮って「[一太郎Pad](https://www.justsystems.com/jp/products/ichitaropad/)」でOCRすることで手間を省くことが出来たりします。

そこで最近、OpenAIから音声認識モデル

Mac Pythonバージョン切り替えができない、、、

– (注)自分のノートとして投稿しています。
– 解決まで色々いじってしまったので、再度試す時に同じ方法でできるか分かりません。

# 今回したこと
pythonのバージョンを3.8.16(?)から3.10.4にアップデート

# 環境
– MacBook Pro (13-inch, 2020, Four Thunderbolt 3 ports)
OS : macOS 12.6
プロセッサ : 2 GHz クアッドコアIntel Core i5
メモリ : 32 GB 3733 MHz LPDDR4X
ストレージ : 1TB

# 参考にしたサイト
色々なサイトを確認してバージョンの切り替えを試みたが、
インストールはできるのに切り替えができない、、、、

最終的には、このサイトが参考になりました！
[pyenvでpythonのバージョンが切り替わらない時にやったこと](https://it-syoya-engineer.com/pyenv-version-change-erorr/)

# 思ったこと
PATHの確認大事！
`echo $PATH`
↓ターミナルで実行してみて、、、

transformersを用いた疑似会話AIについて

# はじめに
　「SiriとAlexaを対話させてみた」の動画を見て、テキストベースで似たようなことができないかな、と思いました。
　色々探してみたところ、同じようなことを行っている方がおられたので、自分なりに改良してみました。

# 事前学習モデル
　今回は、参考にさせていただいたサイト様と同じく、rinnna社のjapanese-gpt-1bを使用します。

## 開発環境
python 3.9.12
torch 1.12.1
transformers 4.21.3
sentencepiece 0.1.97

# コード
## コンストラクタ
トークナイザとモデルの準備、あとはGPUと後で使うリスト(後述)を作成します。

“`create_txt.py
class create_text:
def __init__(self, model_name):
self.tokenizer = T5Tokenizer.from_pretrained(model_name)
self.model = AutoModelForCausalLM.fro

傾向スコアマッチング(python)

# はじめに
傾向スコアマッチングをする機会があったが、何気にpythonで簡単に実施するライブラリなど見当たらなかったので、自分で書いた。
その備忘録。

# 参考文献
[効果検証入門～正しい比較のための因果推論/計量経済学の基礎～](https://www.amazon.co.jp/dp/4297111179)
[LaLonde(1986)とその周辺の学習記録](https://moratoriamuo.hatenablog.com/entry/2020/02/10/235636)

# データ
効果検証入門の書籍でも使われているLaLonde(1986)のデータ。
詳細内容は「[LaLonde(1986)とその周辺の学習記録](https://moratoriamuo.hatenablog.com/entry/2020/02/10/235636)」を参照。
NSWのデータはRCTによる結果。
CPSのデータは実験の外で得られた結果。
NSWの一部をCPSに置き換えることで、セレクションバイアスが生じているデータセットを作れる。
https://users.nber.org/~rd

Spark 開発における絶望的完全開発ガイドシリーズ ～ Deeply Deep Dive into Spark ～

## はじめに

Spark 開発者向けプラクティス集が欲しいと考え、Spark 開発のためのナレッジをコンテンツを整理しました。`Deeply Deep Dive` というタイトルにて、`Deep dive` として公開されている情報に満足したことはないので、より深さを求めていることを表現しました。コンテンツ作成を作成する際には、要求される知識量に対する絶望を感じること、いわゆる`完全に理解した`の先へいざなうことを意識しました。その絶望の先には、おもしろさがあります。本開発ガイドシリーズがそれに気付くことへの一助になれば幸いです。

本ガイドシリーズを読む前に、次のトレーニングを受講、あるいは、トレーニング相当の知識を有することが望ましいです。開発ガイドシリーズでは、項目に対する細かな説明を実施していないため、ドキュメントやトレーニングコンテンツを適宜参照してください。Github にて公開しているコードを自分の環境で動作させることにより、理解を深めてください。

– Spark概要
– 英語
– [apache-spark-programmin

Qiitaの人気記事を検索できるサービス「Qiitank」を作りました

## 概要

私は Qiita で面白い記事を見つけることが日課です。
Qiita 標準では、トレンドしか確認できなくて困っていました。
過去 1 年の人気記事をまとめて読むことはできないものかと思っておりました。ストック数が多い記事は興味がない分野でも面白い記事が多く、新しい学びのきっかけとなります。
以前 Qiita の殿堂というサービスがありましたが、更新が止まってしまったため、類似のサービスを自作しました。

それが、qiita の人気記事を検索できるサービス [Qiitank](https://qiitank.r-nakaishi.com/) です！
Qiita の人気記事を貯めておくタンクのようなサービスを目指し、このような名前となりました。
自分が効率よく記事検索をおこなうために作成したものですが、せっかくなので同じような悩みを持つ方のために公開に踏み切りました。
Qiita サーフィン好きの方は是非使ってみてください。

## 使用技術

| 主な使用技術 | 用途 |
| ———— | ————-

PySpark によるメタデータデプロイの実践

## 概要

PySpark によるメタデータデプロイの実践について説明する。本記事では、Databricks での実行結果を掲載。

本記事のコードを含むノートブックを以下のリンクに保存してあり、Databricks 等の環境にインポートして実行が可能。

https://github.com/manabian-/databricks_development_practices/blob/main/docs/jp/notebooks/T50__L100__010_PySpark%20%E3%81%AB%E3%82%88%E3%82%8B%E3%83%A1%E3%82%BF%E3%83%87%E3%83%BC%E3%82%BF%E3%83%87%E3%83%97%E3%83%AD%E3%82%A4%E3%81%AE%E5%AE%9F%E8%B7%B5.ipynb

## 本記事の位置付け

次の開発ガイドシリーズにおけるメタデータデプロイ分野の1記事であり、リンク先には記事にて記事の全体像を整理している。

| GroupID | 分野 |
| ——

Spark のデータオブジェクト のメタデータ取得方法

## 概要

Spark のデータオブジェクトのメタデータを、PySpark 、および、Spark SQL により取得する方法を説明する。本記事では、Databricks での実行結果を掲載。

## 本記事の位置付け

次の開発ガイドシリーズにおけるメタデータデプロイ分野の補足記事であり、リンク先には記事にて記事の全体像を整理している。

| GroupID | 分野 |
| ——- | ———————- |
| T10 | Spark概要 |
| T20 | データエンジニアリング |
| T30 | データ品質チェック |
| T40 | データサイエンス | |
| **T50** | **メタデータデプロイ** |
| T60 | テスト |
| T70 | DevOps

PySpark によるデータ品質に関する処理の開発実践

## 概要

PySpark によるデータ品質に関する処理の開発実践について次の項目を説明する。

1. データ品質概要
2. PySpark(Python) によるデータ品質処理方法
3. データ品質処理の実績

本記事のコードを含むノートブックを以下のリンクに保存してあり、Databricks 等の環境にインポートして実行が可能。

https://github.com/manabian-/databricks_development_practices/blob/main/docs/jp/notebooks/T30__L100__010_PySpark%20%E3%81%AB%E3%82%88%E3%82%8B%E3%83%87%E3%83%BC%E3%82%BF%E5%93%81%E8%B3%AA%E3%81%AB%E9%96%A2%E3%81%99%E3%82%8B%E5%87%A6%E7%90%86%E3%81%AE%E9%96%8B%E7%99%BA%E5%AE%9F%E8%B7%B5.ipynb

## 本記事の位置付け

次の開発ガイドシリーズにおけるデータ品質チェッ

【AtCoder 色変記事】PythonでAtCoder水色になりました

## 0 はじめに
### 0-1 自己紹介
こんにちは、橘諸兄です。中二です。
競プロ歴は一年強で、AtCoderは水色でRatingは1213(執筆時現在)です。
使用言語は主にPythonで、問題によってはC++を使ったりもしています。

### 0-2 この記事について
僭越ながら、個人的な振り返りを兼ねて私の入水への道についてこの記事で話したいと思います。
あらそうですか程度でお聴き頂ければ幸いです。(恐らく参考になる場所は多くないです)
まとめると完全な自伝です。
不器用で忘れっぽいので色々欠陥があるかもです。

## 1 競プロへ入門
中学に入学する前、小6の3月くらいにPythonを始めました。
Pythonを触りたくてPCをいじる部活に入りました。中1の5月くらいです。
そこで、競プロをやってみるといいよと先輩に言われたのでAtCoderを始める事にしました。
AtCoderを始めたのは競プロ目的ではなく、Pythonを触りたかったからという感じです。

始めてみましたが、使用言語がPythonだったのでAPG4bにはまず文法説明が載っておらず、部活内でもPython

PythonでGBFSを遊んでみる〜シェアサイクル到達圏の可視化〜

たまには本業っぽいことをしよう。

みなさんはシェアサイクルをご存じでしょうか？
日本国内だとHELLO CYCLINGやドコモ・バイクシェアが有名ですね。単位時間で自転車をレンタルして、任意のポート（またはステーションともいいますが、この記事ではポートに統一します）に返却できるというサービスです。

GBFS(General Bikeshare Feed Specification)というシェアサイクル（といいつつキックボードなども扱えます）の情報を扱うフォーマットが策定されており、日本でも先に挙げた2社は公共交通オープンデータセンターからこの形式でデータが公開されています。

GBFSとはなんぞやについては、@kumatira さんの記事に詳しいのでそちらを参照ください。
https://qiita.com/kumatira/items/f9229c21d9f0db3b5ae3

前置きが長い記事なので、スパッとソースだけ見てえという方は、前置きは飛ばしてください。大したことは言ってないです。

# やること is シェアサイクルはラストワンマイルの解決策たるや？を可視化する

ラ

ノートブック型 Spark サービス（Databricks）における DevOps の実践

## 概要

ノートブック型 Spark サービス（主に Databricks）における DevOps の実践について説明する。Databricks と Azure DevOps の組み合わせにより、次ののような CIパイプラインにてテスト結果やコードカバレッジを継続的に管理するまでの考え方と実施方法を記述する。



![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/acc91528-bed1-bb4e

ノートブック型 Spark サービス（Databricks）における 単体テストの実践

## 概要
ノートブック型 Spark サービス（主にDatabricks）における PySpark に対する単体テストの実践について説明する。

本記事のコードを含むノートブックを以下のリンクに保存しておりますので、興味がある方は Databricks 等の環境にインポートして実行してみてください。

https://github.com/manabian-/databricks_development_practices/blob/main/docs/jp/notebooks/T60__L100__010_%E3%83%8E%E3%83%BC%E3%83%88%E3%83%96%E3%83%83%E3%82%AF%E5%9E%8B%20Spark%20%E3%82%B5%E3%83%BC%E3%83%93%E3%82%B9%E3%81%AB%E3%81%8A%E3%81%91%E3%82%8B%20PySpark%20%E3%81%AB%E5%AF%BE%E3%81%99%E3%82%8B%E5%8D%98%E4%BD%93%E3%83%86%E3%82%B9%E3%83%88%E

pythonで使えるモダンなGUIライブラリ　nicegui

記事を書こうと思ったきっかけ

初めての投稿でtkinterを使っていましたが見た目が古くさい感じがしたので代わりに使えそうなGUIライブラリを探していると使いやすそうなライブラリを見つけたので記録として残そうと思いました。

“`python:
from nicegui import ui

ui.button()
ui.run()
“`

基本的な書き方はui.作りたい部品()、最後にui.run()で表示されます。
ボタンだけでなく、チェックボックスやラジオボタンもui.checkbox(),ui.radio()で作成可能です。

“`python:
ui.button(‘check’, on_click=lambda: print(‘hello world!’))
ui.run()
“`

ボタンなどに文字を表示させるときは引数に文字列を指定し、ユーザーからの入力後処理をさせたいときにはon_click, on_changeに処理をさせる関数を指定します。

“`python:
with ui.row