- 1. Pythonを使用してWord文書から表を一括抽出する方法
- 2. pygameでランダム迷路生成
- 3. OpenAIのAssistants APIでRAG(検索拡張生成)を実装してみた
- 4. 【更新中】フロントエンジニアがバックエンド、Python、Djangoの勉強を「1」からする
- 5. 来るべき弱気相場到来時の投資行動を考える
- 6. AWS LambdaでPythonの外部ライブラリを設定する方法
- 7. pybulletの公式サンプル129個を全部解説する
- 8. [AtCoder]入緑しました！競プロ始める前~入緑までの道のり
- 9. npx amplify sandboxのノリで作るpinecone sandbox
- 10. windowsでNFCのIdmを取得したいけど、どうします？
- 11. ハッカソン参加時の備忘録 ～ 第７回：【Python】AWS Rekoginitionのメソッドの種類を見てみよう ～
- 12. LangChain + Claude3(Amazon Bedrock) を動かしてみる 〜ローカル実行編〜
- 13. ICP-USD / ICP-JPY データ取得の備忘録・改 (グーグルコラボ)
- 14. plotly でグラフに設定できる各種タイトル
- 15. Databricks (Spark) にて Spark dataframe と Pandas 変換時の PyArrow が利用されないことによるエラー事象への対応方法
- 16. ローン返済額シミュレータを作ってみた
- 17. boto3
- 18. pythonで双曲線の書き方
- 19. Claude3に雑に頼むと行間を埋めてStableDiffusionで絵を描いてくれるチャットアプリ
- 20. BigQueryって毎秒何件のAPIリクエストを処理できる？
Pythonを使用してWord文書から表を一括抽出する方法
大規模データ処理と情報抽出の分野では、Word文書は様々な機関や個人が一般的に使用する情報の保存形式です。これには、さまざまなレポート、アンケート結果、プロジェクト計画など、多くの構造化および半構造化データが含まれています。これらのドキュメントには、統計データ、プロジェクトの進捗状況、研究成果など、重要なデータ情報が含まれることがあります。しかし、大量のWord文書からこれらのテーブルを個別に抽出して整理することは、手間がかかり、ミスが生じやすく、効率的かつ正確なデータ利用ニーズを満たすことができません。したがって、Word文書からテーブルを一括抽出するためのプログラミングを利用することは、必要で効率的な解決策となります。Pythonは、強力で簡単に学習できるプログラミング言語として、この目標を効果的に達成することができます。それにより、データ収集と前処理の作業効率が大幅に向上し、さらにデータ分析とアプリケーションの後続処理に強力なサポートを提供します。この記事では、**Pythonを使用してWord文書からテーブルを抽出する方法**について説明します。
– **[Word文書のテー
pygameでランダム迷路生成
## pygameでランダム迷路生成
### 概要
今回の記事では、Pygameを使用して、ランダムな迷路を生成するアプリを作成する方法について説明します。迷路生成には幅優先探索アルゴリズムを使用し、生成された迷路はアニメーションとして視覚化されます。### 機能の概要
1. **Pygameの初期化:** Pygameライブラリを初期化し、ウィンドウを作成します。
2. **迷路の生成:** ランダムな迷路を生成する関数が実装されています。迷路内にはスタートとゴールが配置され、幅優先探索アルゴリズムを使用してスタートからゴールへのパスが確保されます。
3. **迷路の描画:** 生成された迷路は、Pygameを使用してウィンドウ上に描画されます。壁は黒色で、スタートとゴールはそれぞれ緑色と赤色で表示されます。
4. **アニメーション表示:** スタートからゴールまでのパスがアニメーションとして表示されます。各セルはオレンジ色で塗りつぶされ、スタートからゴールまでの経路が示されます。
5. **「ランダム作成」ボタン:** ボタンをクリックすると、新しいランダムな迷路が生成され
OpenAIのAssistants APIでRAG(検索拡張生成)を実装してみた
[Supership](https://supership.jp/)の名畑です。[ドラゴンボール](https://dragon-ball-official.com/)も[ちびまる子ちゃん](https://chibimaru.tv/)も子どもの頃からずっとそばにいてくれました。
## はじめに
**Retrieval-Augmented Generation (RAG)** という技術があります。
> Retrieval-Augmented Generation (RAG) は、大規模言語モデル（LLM）によるテキスト生成に、外部情報の検索を組み合わせることで、回答精度を向上させる技術のこと。
>
> 「検索拡張生成」、「取得拡張生成」などと訳されます。外部情報の検索を組み合わせることで、大規模言語モデル（LLM）の出力結果を簡単に最新の情報に更新できるようになる効果や、出力結果の根拠が明確になり、事実に基づかない情報を生成する現象（ハルシネーション）を抑制する効果などが期待されています。
>
> 参考：[RAG | 用語解説 | 野村総合研究所(NRI)](https://
【更新中】フロントエンジニアがバックエンド、Python、Djangoの勉強を「1」からする
# はじめに
こんにちは、mabuproです。
今まで`React` `Next`をメインに書いてきた私ですが、バックエンドにも興味があり**Django** を勉強しようと思うので、その経過をまとめます。# 勉強の狙い
バックエンドについては、`Express`や`色々なDB`を少し触った程度で、分かっていないことやイメージが固まっていないことが多いので、その部分の知識も埋められたらと思います。> #### 目標設定
> 1. バックエンドエンジニアに必要な知識を知る
> 2. Pythonを勉強する
> 3. Djangoで何ができるのかを知る
> 4. SQliteなどでDBを使ってみる
> 5. Djangoで小さなアプリを作ってみる
> 6. ReactやNextと連携させる方法を知る
> 7. 知識や得た経験を元に、開発のイメージを付けるこのような感じで、軽い目標設定をしてみます。勉強順は1,2までは同時並行で、それ以外は順番に進めていきます。
## バックエンドやDjangoを使うために必要な知識を知る
### どんな知識が必要なのか調べる
まず分から
来るべき弱気相場到来時の投資行動を考える
# はじめに
日経平均株価が一時4万円を超え、新NISA制度も始まり、投資ブームが起きています。巷では新NISAで積み立てるのはSP500連動投信がいいだとか、オルカン一択だとかの話題で盛り上がっています。確かに本記事執筆時点(2024年3月)では世界的に株価は上昇傾向の強気相場の真っ只中であり、盛り上がるのは尤もなんですが、相場は永遠に上昇し続けるわけでもなく、この先大きな調整や弱気相場突入もふつうにありえる話ではあります。
特に新NISA発足を期に積立投資を始めたとか、ここ数年で積立投資を始めたとかの場合、本記事執筆時点(2024年3月)までは順調に資産を増やせたと思うのですが、大きな調整や弱気相場突入に見舞われると、資産は見る見るうちに目減りして狼狽することになるでしょう。巷では、数年以上の長期積立投資を続けていくと、たとえ調整や弱気相場を経ても確実に資産は増えていくといわれています。過去のSP500指数の実績では確かにそうなっています。だから、調整や弱気相場突入に怖気づかず、粛々と積立投資を続ければいいんだと。
しかしここで、もし将来弱気相場が来るならば、弱気相場突入時点
AWS LambdaでPythonの外部ライブラリを設定する方法
# 概要
Lambdaでは、Python標準ライブラリとAWS SDK for Pythonしか使用できません。
また、Lambda上ではpipによる外部ライブラリのインストールもできません。そのため、必要なライブラリは自分で調達してくる必要があります。
ここでは、外部ライブラリの調達と設定方法について解説します。# 手段
Lambdaでは外部ライブラリを配置できる場所が2つあります。* Lambdaレイヤー
* Lambda関数ごとのコード置き場（フォルダ/ファイル構成）配置場所はどちらでもよいのですが、枯れた技術（アップデートの頻度が少ないモジュールや外部ライブラリ）はLambdaレイヤー配置するのが、一般的な作法なようです[^1]。
今回は**Lambdaレイヤーに外部ライブラリを配置**する方法を取ります。# 外部ライブラリを取得する
外部ライブラリは公開先からダウンロードしてよいですが、“`pip install -t“`でローカルに落としてしまうのが手っ取り早いです。AWS環境で完結させるなら、外部ライブラリ調達用にCloud9を１つ作成し、
pybulletの公式サンプル129個を全部解説する
# はじめに
お疲れ様です。秋並です。pybulletはpythonで使用できる物理エンジンの一つで、ロボティクスや機械学習などの分野に使用されています。
pybulletでは、以下のリポジトリにて公式のサンプルが用意されています。
https://github.com/bulletphysics/bullet3/tree/master/examples/pybullet/examples
一方で、pybulletのサンプルコードは129個(pythonコード128個+inoコード1個)と大量に存在します。
また、サンプルコードについて解説しているようなサイトも見当たりませんでした。
そこで、せっかくなので私が**全ての公式サンプルを解説**
したいと思います。
pybulletの公式サンプルコードは学習に役立つものもたくさんあるため、この記事を読むことで、
::: note
pybulletで何ができるかを知ることができる
:::と思っているので、是非ご覧ください。
# pybulletの公式サンプル一覧
以下が公式サンプルの一覧に
[AtCoder]入緑しました！競プロ始める前~入緑までの道のり
# はじめに
初めてQiitaで記事を投稿させていただきます！Cecilと申します！最近、AtCoderにて緑色になることができたため、その道のりをここに記します！
## 自己紹介
– 情報理工学科に所属するB2
– B1の夏休み頃に競プロを知る
– Pythonを主に使用している## 競プロを始める前の話
私は大学に入学したらプログラミングの勉強をしたいと思っていました。その為、大学に入学後はPythonをメインに様々な書籍を読んだり、学習サイトなどで勉強をしていました。しかし、開発はおろかPythonの文法を理解することにすら苦戦していました。## 競プロを始めた頃の話
Pythonの勉強をするなかで競技プログラミングの存在を知りました。問題が与えられてそれを満たすコードを作成することはプログラミングの勉強に効果的だと思い、競技プログラミングを始めてみることにしました。まずは、AtCoder Beginners Selectionの問題をいくつか解いてみようとしました。このときの私は競技プログラミングについて何も知らず、Pythonもごく簡単な文法しか扱うことがで
npx amplify sandboxのノリで作るpinecone sandbox
https://zenn.dev/timimamushi/articles/cf52995e69216d
windowsでNFCのIdmを取得したいけど、どうします？
こんにちは、あるいは、こんばんは。
弊社は、スマートロックにNFCのタグを取得して開閉と記録をとっています。
このNFCのタグは[amazon](https://www.amazon.co.jp/NFC%E3%82%BF%E3%82%B0NTAG215%E3%83%A9%E3%83%99%E3%83%AB-NFC%E3%82%B9%E3%83%86%E3%83%83%E3%82%AB%E3%83%BC-%E6%9B%B8%E3%81%8D%E6%8F%9B%E3%81%88%E5%8F%AF%E8%83%BD-504%E3%83%90%E3%82%A4%E3%83%88%E3%83%A1%E3%83%A2%E3%83%AA-13-56MHz/dp/B07PBDHGDK/ref=sr_1_28?crid=1AUPGN44LOBXG&dib=eyJ2IjoiMSJ9.rz8oq6cqZNufRgBWpxrQ5rDNu7cXRSJk0tmegeKwzAcYa18JztNEfy_Qe0AUM1pui42C-iuzICgFc3J6phZfMEjJLbP85TmKEppiHYyfb65CoN-
ハッカソン参加時の備忘録 ～ 第７回：【Python】AWS Rekoginitionのメソッドの種類を見てみよう ～
こんにちは。
ITエンジニアのきゅうと申します。今回は事前にお伝えした通り、AWS Rekognitionのメソッドの種類や機能概要などについて見ていきたいと思います。
ここにあるサンプルは、メソッドを使う部分のみ切り出したものになります。
探し求めていたものがあった場合は、下記の備忘録を参考にインスタンス化、接続、実行、データの取り出し・活用をしてみてください。https://qiita.com/kyuu2197/items/fd566d9966994a712f91
# Image（画像分析）のメソッドについて
まずはRekognitionの画像分析（Image）と動画分析（Video）の内、画像分析のメソッドについて確認していきます。## １．detect_labels
detect_labelsメソッドは、画像から物体やイベント、テーマなどのラベルを検出することが出来ます。
画像プロパティには、前景や背景の色、画像の鮮明度、明るさ、コントラストなどの属性が含まれます。detect_labelsのサンプルコード
LangChain + Claude3(Amazon Bedrock) を動かしてみる 〜ローカル実行編〜
# はじめに
こんにちは！**yu-Matsu**です！
皆さんBedrockしていますでしょうか。3/4に **Anthropic Claude3** が発表され、界隈はかなり盛り上がっていますね！
特に Claude 3 Opus はあの**GPT4を性能で上回る**とのことですから、注目されています。それだけでなく、**画像処理**が出来るのもかなり魅力的です！https://www.anthropic.com/news/claude-3-family
そんな Claude3 ですが、つい先日、**PythonのLangChainからBedrockのClaude3 Sonnetが呼び出せるようになった**ので、試してみたいと思います！
なお、記事のタイトルを「ローカル実行編」としているのは、今回で検証した内容を LINE Bot に乗せて、画像情報も取り扱える AI LINE Bot を作ろうとしているからです。こちらは実装次第別途記事にしたいと思いますので、お楽しみに！
## 事前準備
まずは何よりもBedrock上で Claude3 のモデルを有効化する必要
ICP-USD / ICP-JPY データ取得の備忘録・改 (グーグルコラボ)
以前行ったものをシンプルにした。
# 以前
* ICP-USD / ICP-JPY データ取得の備忘録
グーグルコラボで実行した例。
***
# 今回
**”ICP-USD価格と為替レートを利用してICP-JPYを計算するPythonチュートリアル”**
はじめに:
暗号通貨市場は、その急速な変動とグローバルな性質から、多くの投資家や研究者にとって魅力的な研究対象となっています。このブログでは、特定の暗号通貨であるInternet Computer (ICP)のUSD価格データと、USD-JPYおよびEUR-USDの為替レートデータを用いて、ICPのJPY価格を計算する方法について、Pythonを使って詳しく解説します。### ステップ1: 必要なライブラリのインストールとインポート
まず、このチュートリアルで使用するPythonライブラリをインストールし、インポートします。主に`historic_crypto`ライブラリを使ってICP-USDの価格データを取得し、`pandas_d
plotly でグラフに設定できる各種タイトル
plotlyはグラフ内に様々なタイトルを設定できる。
~~~python
fig = make_subplots(
rows=2, cols=1,
subplot_titles=[‘subplot_titles_aa’,’subplot_titles_bb’],
column_titles=[‘col_titles_1’],
row_titles=[‘row_titles_1′,’row_titles_2′],
x_title=’x_title’,
y_title=’y_title’,
specs=[[{}],[dict(secondary_y=True)]]
)
fig.update_layout(
height=800, width=800, margin_l=120
Databricks (Spark) にて Spark dataframe と Pandas 変換時の PyArrow が利用されないことによるエラー事象への対応方法
## 概要
Databricks (Spark) にて Spark dataframe と Pandas 変換時の PyArrow が利用されないことによるエラーに遭遇したため、事象の再現方法と対応方法を共有します。
Spark dataframe と Pandas 変換時の PyArrow が利用されない場合（`spark.sql.execution.arrow.pyspark.enabled`が`false`の場合）には、ドライバーノードとワーカーノードでデータの通信が行われ、`spark.rpc.message.maxSize`の上限を超えることで次のエラーが発生します。メッセージでは`spark.rpc.message.maxSize`の上限を上げることが提案されていますが、その上限を上げる対応方法を実施しませんでした。
“`text
org.apache.spark.SparkException: Job aborted due to stage failure: Serialized task 29:0 was 277567143 bytes, which exce
ローン返済額シミュレータを作ってみた
# まとめ
– ローン返済シミュレータを作成
– コードは[こちら](https://github.com/yosusi/loan)から
– 今後は繰り上げ返済などにも対応予定
# はじめに
家を買うか考えるときに出てくるのがお金の問題。ローンを組むといっても3000万の話なんてよく分からないので試算をしたいと考えていた。
銀行のサイトでもローンの試算はできるが、どの銀行のサイトもボタンを押して計算が始まるので、再計算が面倒だった。そこで数値をある程度自由に変えながら、月ごとの返済のイメージをつけやすくするためのプログラムを組んでみた。# 必要ライブラリ
– streamlit
– pandas
– numpy# できること
– 借入金やボーナス、返済期間などをスライダーで設定して、月々の返済額を計算
– 元利均等計算・元本計算方式
boto3
<メモ>
### 1.boto3のインストール
“`
pip install boto3
“`### 2.AWSCLIのインストール
“`
pip install awscli
“`### 3.Configure設定
“`
aws configre
“`AWS Access Key ID:※以下参照
AWS Secret Access Key: ※以下参照
Default region name: ap-northeast-1
Default output format: json————————————————-
AWS Access Key ID と AWS Secret Access Key について
これらのキーを取得する手順は以下AWS マネージメントコンソールにログインします。
IAM（Identity and Access Management）コンソールに移動します。
ユーザーを選択または作成し、そのユーザーの「セキュリティ認証情報」タブに移動します。
「アクセスキーを
pythonで双曲線の書き方
# 特殊相対論でもよく出てくる双曲線。
初めに設定を描く。
文書は書くのは今回初めてでたぶん汚いコードだけどなんかあれば
無視してください。あくまでも参考程度の
感想文より技術文書のほうが書きやすいけどｗ
まずは設定
“`
import numpy as np
import matplotlib.pyplot as plt
plt.figure(figsize=(10, 10))
plt.grid()
plt.xlim(-3,3)#x=3からx=3までの範囲を表示
plt.ylim(-3,3)
“`
次にx軸,y軸
“`
xx=np.linspace(-5,5)#ｙ軸
y=0*xx
plt.plot(xx,y)#x軸
xx=np.repeat(0,50)#xを５０個0を作る
y4=np.linspace(-5,5)
plt.plot(xx,y4)
“`
次に二次曲線
“`math
\frac{x^2}{a^2}-\frac{y^2}{b^2}=1
“`移行すると
“`math
y^2=\frac{b}{a}\sqrt{x^2-a^2}“`
Claude3に雑に頼むと行間を埋めてStableDiffusionで絵を描いてくれるチャットアプリ
賢いClaude3を使って、描いて欲しい絵をClaude3に頼むと足りない情報を聞き返してくれて、「もういいかな」となれば行間を埋めながらStableDiffusionで絵にしてくれるアプリを作ってみます。
以下、頼んだ内容と描いてもらった絵
> 日本のオフィスで自撮りをする地鶏
> 日本のアニメのようなタッチで
自撮り成分はあるようなないような
> K-POP風の美しい女性がダンスをしている写真
なんかケバくなった
> ドクタースランプの新しいキャラ。横長で。
![image.png
BigQueryって毎秒何件のAPIリクエストを処理できる？
## 今回の検証内容
+ Big Queryは外部からAPIリクエストに対して、毎秒何件程度処理できるのか
→リアルタイム処理を実装するにあたって、APIリクエストの場合の限界を検証## 前提
+ 本検証は仮に他のサービスを用いずにAPIリクエストでリアルタイム連携をする場合は、どれぐらいの限界があるのかという検証
+ BigQueryでリアルタイム処理をするならPub/SubやDataflowを利用しましょう！## 検証
#### 実行環境
+ Big Query
+ Google Colab（Python）#### 検証の流れ
1\. 事前準備：テーブル作成とGoogleColabからのBigQuery接続
2\. 検証実施
2-1\. DML INSERTで検証（失敗）
2-2\. ストリーミングAPIで検証#### 1\. 事前準備
BigQueryでテスト用テーブルを作成
カラムは適当に3列設定（おそらくカラムが増えてデータ処理量が増えるとクエリ成功率も下がるが今回は考慮しない）
![スクリーンショット 2024-03-09 13.07.35.png]
