damのブログラミング雑記ブログ
Home
sed
awk
vi
bash
Japanese English
  • VBAでスクレイピング中にHTML要素を削除する

    2022年4月17日 スクレイピング VBA Javascript
    VBAでスクレイピング中にHTML要素を削除する

    Excel VBAでWebスクレイピング中に、不要な要素を削除する必要が出てきたので、その方法を備忘録として残す。 例えば、下図で「他の人はこちらも質問」の要素を削除する。 まずブラウザの開発ツールから、不要な要素を特定するための属性情報を確認する。 cl

    続きを読む
  • XPathによる要素特定(class属性値が複数の場合)

    2022年2月7日 XPath スクレイピング
    XPathによる要素特定(class属性値が複数の場合)

    例えばHTMLソース内に<div class="a">というdivタグがあるとする。 このdivタグを特定するxpathは//div[@class="a"]である。 では<div class

    続きを読む
  • XPathの動作確認(Excel VBA編)

    2020年8月10日 VBA スクレイピング xpath
    XPathの動作確認(Excel VBA編)

    サンプルドキュメント 図1のXMLドキュメントファイルをVBAプログラムでロードして、XPathのテストを行う。 構造としては、Studentsの子要素にStudentが複数あり、さらにその子要素にIdとsubject別のScore要素がある。

    続きを読む
  • Excel VBAで xmlデータを扱うときは名前空間に注意する

    2020年8月6日 VBA xml XPath スクレイピング
    Excel VBAで xmlデータを扱うときは名前空間に注意する

    サンプルデータと取得方法 サンプルデータと名前空間 下図をサンプルデータとして、データの取得方法を説明する。図1:サンプルデータ 3行目で名前空間が記述されている。また、6,7行目では名前空間が2つ記述されている。 ① xmlns="http://mws.amazonservices.com/schema/Products/2011-10-01" ② xmlns:ns2="http://mws.amazonservices.com/schema/Products/2011-10-01/default.xsd" ①は接頭辞(prefix

    続きを読む
  • 「セキュリティで保護されたチャネルサポートでエラーが発生しました」は、XMLHTTPで解消した

    2020年8月1日 VBA スクレイピング

    ツールを動かしていたら、次のエラーが発生した。 「セキュリティで保護されたチャネル サポートでエラーが発生しました」 ログを見るなどして調査した結果、以下の状況を確認した。 エラー発生個所は、画像のダウンロードリクエスト時。 リクエストは「WinHt

    続きを読む
  • SeleniumのChromeDriverを自動でダウンロードする方法(VBA編)

    2020年7月27日 VBA スクレイピング selenium
    SeleniumのChromeDriverを自動でダウンロードする方法(VBA編)

    Seleniumを組み込んだツールを使っていると、ブラウザ(Chrome)とWebドライバー(ChromeDriver)のバージョン不一致によりエラーとなることがある。感覚的には2か月に一度程度の頻度で発生する。Chromeが自動更新される

    続きを読む
  • VBAでparseしたJSONデータの要素を取得する方法

    2020年7月24日 VBA JSON スクレイピング
    VBAでparseしたJSONデータの要素を取得する方法

    Web APIを使っていると、リクエストに対するレスポンスデータがJSONデータってことが一般的だ。JSONデータはキーと値のペア、すなわち連想配列になっているわけだが、これをparseすることで、キーを指定すれば値を取り出すことが可能となる。別

    続きを読む
  • VBAによるIE操作でロード完了判定がうまくいかないときはVisibleを弄ってみる

    2020年7月11日 VBA スクレイピング
    VBAによるIE操作でロード完了判定がうまくいかないときはVisibleを弄ってみる

    Excel VBAでIEを操作するときの話。 全てのサイトで・・・というわけではないが、ページ遷移がうまくいかず、ページロード中の状態が継続することがある。 この記事の結論を先に言えば、原因は不明だが、IEオブジェクトのVisibleプロパティをFals

    続きを読む
  • Excel VBAでHTMLソースを取得したときに文字化けしていたら、HTMLドキュメントに書き込む

    2020年7月7日 VBA スクレイピング
    Excel VBAでHTMLソースを取得したときに文字化けしていたら、HTMLドキュメントに書き込む

    Webページによってはソースがエンコードされた状態の場合がある Webページのソース(HTMLテキスト)を取得する。 ブラウザを操作中、例えばExcel VBAでIEを操作中なら、objIE.document.body.outerHTMLで取得で

    続きを読む
  • IE操作中にオブジェクトのメモリが異常に膨れる場合の対応

    2020年6月28日 VBA スクレイピング
    IE操作中にオブジェクトのメモリが異常に膨れる場合の対応

    Excel VBAで繰り返しIEを操作していると、IEオブジェクトの使っているメモリ領域が異常に膨れることがある。 それも、どういうわけか特定のサイトを操作している時に限ってだ。 原因は不明だが、この状況に陥るとExcelが固まってしまい、タスクマネージ

    続きを読む
    • ««
    • «
    • 1
    • 2
    • »
    • »»

最近の記事

  • bashマニュアルとサンプル
  • Awkの基礎
  • CSVでカンマセパレータだけを置換する(フィールド内カンマはスルー)・・・SED版
  • ジョブネットとコントローラの自作
  • Sedの基本
  • Sedの高度な使い方・・・テストコマンド「t」で繰り返し置換する
  • ExcelVBAで図形内テキストを検索するアドイン自作
  • シェルの算術式展開の事例

タグ

VBA 19 正規表現 13 スクレイピング 12 SHELL 10 SVN 6 AWK 5 CSV 5 EXCEL 5 HUGO 5 PYTHON 5 SED 5 ECLIPSE 4 GO 3 XPATH 3
全てのタグ
AWK5 BASE641 C1 CDN1 CLOUDFLARE1 CSV5 DBEAVER1 DJANGO2 ECLIPSE4 EXCEL5 FLASK1 GIT2 GO3 HUGO5 INDEX1 JAVA1 JAVASCRIPT1 JSON2 MAC1 MYSQL1 PYTHON5 SED5 SELENIUM1 SHELL10 SOFTETHER1 SORT1 SSH1 SVN6 VBA19 VI1 WORDPRESS1 XML1 XPATH3 YAHOO知恵袋2 その他2 スクレイピング12 ブラウザ拡張機能1 正規表現13
[A~Z][0~9]
damのブログラミング雑記ブログ

Copyright  DAMのブログラミング雑記ブログ. All Rights Reserved