In previous post, I’ve introduced you the basic concept of Azure Data Factory along with hands on on creating pipelines, which copying data from on premise to cloud and cloud to cloud.
Today I will write to you guys how to automate ADF tasks with Azure Automation. Though ADF have scheduling feature but you will sure run into scenarios that scheduler in ADF can’t meet your requirement. Here I will explain why.
Overview
Azure Data Factory (ADF)
Azure Data Factory is a cloud-based data integration service that allows you to create data-driven workflows in the cloud for orchestrating and automating data movement and data transformation.
It’s more of an Extract-and-Load (EL) and then Transform-and-Load (TL) platform rather than a traditional Extract-Transform-and-Load (ETL) platform.
In the real world, the migration between two OBIEE environments is really take time .The last time we did this for a customer migrating from 10g to 11g, we had to spend roughly 2 weeks just running through the dashboards clicking on all objects to do the 1st pass of the upgrade. When a customer asked us to migrate from 11g to 12c we were bracing ourselves for a similar ordeal. But the folks at Oracle have really done a great job this time with the Baseline Validation Tool (BVT). It allowed us to very quickly do a 1st pass through all the catalog objects and do a quick sanity check of the catalog and RPD after the upgrade.
Chúng ta đã đến Đảo Phục Sinh. Không hề có một di chỉ nào lý giải vì sao những bức tượng kỳ lạ này được đặt ở đây. Giờ đây chúng ta chỉ có thể cố tưởng tượng ra những con người vĩ đại mà các bức tượng này đại diện. Bạn đã sẵn sàng kiến tạo một tương lai Việt Nam. Hãy đăng ký tham gia ngay Hành Trình Không Ngừng Bước Tới!
via Đảo Phục Sinh.
Chúng ta đã đến Đảo Phục Sinh. Không hề có một di chỉ nào lý giải vì sao những bức tượng kỳ lạ này được đặt ở đây. Giờ đây chúng ta chỉ có thể cố tưởng tượng ra những con người vĩ đại mà các bức tượng này đại diện. Bạn đã sẵn sàng kiến tạo một tương lai Việt Nam. Hãy đăng ký tham gia ngay Hành Trình Không Ngừng Bước Tới!
via Đảo Phục Sinh.
Dự án công nghệ Pavegen hiện đang dẫn đầu với 692088 Steps. Hãy cùng tôi thu thập và đóng góp Steps bằng cách đăng ký, chia sẻ và kêu gọi bạn bè tham gia. Tương lai thành phố trong tầm tay bạn! Còn chờ gì nữa, hãy tham gia ngay bây giờ!
Thư mời hội thảo
Microsoft Student Techs Day và Imagine Cup 2012
Kính gửi tất cả các bạn Sinh Viên
Nhằm mục tiêu giúp sinh viên tiếp cận với các công nghệ mới của Microsoft , để nâng cao kỹ năng chuyên môn phát triển ứng dụng trên nền tảng Web, SmartPhone và điện toán đám mây của Microsoft. LiveClub OU trân trọng kính mời tất cả các bạn sinh viên đến với hội thảo “Microsoft Student Techs Day và Imagine Cup 2012”
Đến với hội thảo các bạn sẽ được nâng cao kiến thức về những công nghệ mới, có cơ hội dự những buổi training từ những chuyên gia công nghệ của Microsoft tổ chức
Thời gian: Khai mạc vào lúc 8 giờ sáng, thứ bảy ngày 22 tháng 10 năm 2011
Địa điểm: Hội trường tầng 6 Đại Học Mở, 97 Võ Văn Tầng Q.3 TPHCM.
Hình Thức tham gia :
· Đã đăng ký thông tin tại www.imaginecup.com
· Đăng ký thông tin vé tham dự http://outechday.eventbrite.com/
Mọi chi tiết xin lien hệ qua e-mail: pham.nguyen@hotmail.com, số điện thoại 01699942228
Trong bài viết này mình sẽ giới thiệu 1 cách khái quát về các service cơ bản và system database trong SQL Server 2005 và ý nghĩa, công dụng của từng loại services và system database.
Trước tiên là về các service cơ bản :
MSSQLServer (SQL Server)
Là một database engine. Để connect được SQL Server 2005 thì MSSQLServer phải đang được chạy.Phần lớn các chức năng của database engine đều được điều khiển bởi service này.
SQLServerAgent (SQL Server Agent)
Phụ trách thực thi các thao tác theo lịch định sẵn như backup , import/export , …. Nếu có giao tiếp với mạng hoặc truy cập các file hệ thống, credential của service này thường đuợc dùng.
SQLBrowser (SQL Server Browser)
Mỗi instance trong SQL Server đều có port riêng khi giao tiếp vs client, instance mặc định ( lúc cài SQL Server) sẽ có port cố định là 1433. Các instance về sau sẽ có port ngẫu nhiên, SQLBrowser có chức năng dò port của các instance đó mỗi khi khởi động SQL Server.
Nếu vì một lý do nào đó mà SQLBrowser không hoạt động hoặc bị disable thì bạn sẽ phải gán thủ công port cho từng instance của SQLServer và điều chỉnh lại bên phía ứng dụng client.
SQLWriter (SQL Server VSS Writer)
Dùng để back-up data file và log file trong thời gian thực ( mặc dù các file này vẫn đang đựơc sử dụng khi SQL Server đang vận hành)
Các loại database trong SQL Server 2005 :
-
System Database
Bao gồm :
-
The Master Database
Master database dùng để lưu các account Logon vào Server , các endpoint , các thông tin của database khác trên server ( tên , đường dẫn cài đặt của chúng ). SQL Server 2005 không lưu thông tin hệ thống vào Master.
-
The Model Database
Nó là 1 database tạm. Mỗi khi 1 database mới đc tạo ra , 1 bản sao của database Model sẽ đc tạo ra với tên trùng vs tên database mới đc tạo ra đó. Như thế các đối tg (FUNCTION , STO , ..) sẽ đc đưa vào trong database Model tr khi thực hiện tạo database mới, và khi database mới đc tạo ra sẽ có sẵn các đối tượng đó. Ví dụ bạn muốn tạo một hàm trim để sử dụng trong các database về sau , bạn Excute đoạn code sau
USE Model GO CREATE FUNCTION dbo.Trim (@String varchar(MAX)) RETURNS varchar(MAX) AS BEGIN SELECT @String = LTRIM(RTRIM(@String)) RETURN @String END
Và như vậy các database bạn tạo về sau sẽ có thể sử dụng hàm trim như sau :
SELECT dbo.TRIM('character string')
-
The MSDB Database
SQL Server Agent thường sử dụng database này để chứa các thông tin về các thông tác tự động, các định nghĩa về cảnh báo. Ngoài ra Service Broker, Database Mail, and Reporting Services cũng sử dụng database này để lưu trữ các thông tin về các thông tác tự động.
-
The TempDB Database
Đọc qua tên cũng đủ biết SQL Server dùng database này để lưu trữ các dữ liễu tạm. Và bạn đừng xem thường nó nhé, nó được dùng thường xuyên trong quá trình làm việc của SQL Server đấy. TempDB database có chức năng lưu lại các đối tượng mang tính tạm thời ( như bảng tạm , view tạm, …) trong quá trình thao tác với dữ liệu.
Ví dụ khi bạn query lên 5000 dòng và bạn muốn sort 5000 dòng dữ liệu đó theo 1 cột nào đó, thì SQL Server sẽ gửi 5000 dòng dữ liệu đó ( chưa được sắp xếp) đến bảng tạm ( ở TempDB ) , ở đó dữ liệu sẽ được sắp xếp theo yêu cầu và trả ra cho người dùng.
Và điều quan trọng nữa là các database users đều có thể truy xuất vào TempDB này và thực hiện các thao tác như tạo mới các đối tượng.Do đó bạn phải kiểm soát dung lượng của nó sao cho hợp lý để không bị tràn dung lượng ảnh hưởng đến SQL Server.
Các đường dẫn thư mục ứng với từng database trên SQL Server 2005 :
2 .User Database
đơn giản là các database do người dùng tạo ra.
3 .Distribution Databases :
các database dùng trong Replication
Business Intelligence
BI là một qui trình có tích hợp công nghệ mà các doanh nghiệp dùng để kiểm soát khối lượng dữ liệu khổng lồ đến từ nhiều nguồn khác nhau và khai thác nguồn dữ liệu đó giúp cho họ có thể đưa các các quyết định hiệu quả hơn trong hoạt động kinh doanh của mình. BI có mặt ở khắp các doanh nghiệp như hệ thống siêu thị, ngân hàng, viễn thông,… đó đều là những nơi cần thu thập, xử lý khối lượng dữ liệu cực lớn. Do đó BI có tính ứng dụng rất cao khi nguồn dữ liệu của doanh nghiệp sẽ lớn dần theo thời gian hoạt động. Hiện nay BI vẫn còn là một thuật ngữ khá mới ở Việt Nam, nhưng trên thế giới BI đã được ứng dụng rất nhiều vào doanh nghiệp.Vậy mình sẽ cùng tìm hiểu 1 giải pháp BI cho doanh nghiệp gồm những gì và cách hoạt động như thế nào nhé.
BI chủ yếu gồm các thành phần chính như sau :
- Data Sources:
o Là cơ sở dữ liệu thô (thường là cơ sở dữ liệu quan hệ) đến từ nhiều nguồn khác nhau như các ứng dụng business như Human Resource Management (HRM), Customer relationship management (CRM), phần mềm bán hàng, website thương mại điện tử…
o Có thể là bất cứ hệ quản trị cơ sở dữ liệu nào như MySQL, Oracle, MSSQL, DB2, …
o Thường được thiết kế theo mô hình cơ sở dữ liệu quan hệ ( vì dạng mô hình này đang rất phổ biến trong thực tế )
- Data Warehouse:
o Là cơ sở dữ liệu được thiết kế theo mô hình khác với CSDL quan hệ và là nơi lưu trữ dữ liệu lâu dài của tổ chức
o Dữ liệu của DW chỉ có thể đọc, ko ghi hay update được và chỉ được update bởi gói ETL chuyển đổi dữ liệu từ Data Sources vào Data Warehouse. Mình sẽ bàn kỹ hơn về Data Warehouse ở phần tiếp theo.
- Integrating Server:
o Chịu trách nhiệm trung gian vận hành gói ETL để chuyển đổi dữ liệu từ Data Sources vào Data Warehouse.
- Analysis Server:
o Chịu trách nhiệm thực thi các Cube được thiết kế dựa trên các Dimension dữ liệu và tri thức nghiệp vụ
o Cube chịu trách nhiệm nhận input data từ DW và thực thi theo nghiệp vụ định nghĩa sẵn để trả về output.
- Reporting Server:
o Thực thi các report với output nhận được từ Analysis Server.
o Nơi quản trị tập trung các report trên nền web, các report này có thể được attach vào ứng dụng web, hay application
- Data Mining
o Là quá trình trích xuất thông tin dữ liệu đã qua xử lý (phù hợp với yêu cầu riêng của doanh nghiệp) từ Data Warehouse rồi kết hợp với các thuật toán để đưa ra ( hoặc dự đoán ) các quyết định có lợi cho việc kinh doanh của doanh nghiệp.
o Đây là một quá trình quan trọng trong BI, thông thường một doanh nghiệp muốn sử dụng giái pháp BI thường kèm theo về Data Mining.
- Data Presentation
o Tạo ra các báo cáo, biểu đồ từ quá trình data mining để phục vụ cho nhu cầu của người dùng cuối.
Sau đây mình sẽ nói rõ hơn về Data Warehouse – 1 phần gần như không thể thiếu của 1 giải pháp BI.
Data Warehouse
Data warehouse nói nôm na như một nơi lưu trữ dữ liệu khổng lồ của doanh nghiệp nhằm phục vụ cho yêu cầu về sau này. Một data warehouse thường có các tính chất sau :
- Hướng đối tượng
Thường dữ liệu trong data warehouse sẽ được phân tích theo từng đối tựơng cụ thể, ví dụ như khách hàng hoặc là sản phẩm,… - Tổng hợp dữ liệu
Như chúng ta đã biết, dữ liệu vào data warehouse có thể đến từ nhiều nguồn khác nhau, mỗi nguồn có cách định nghĩa dữ liệu khác nhau nhưnh khi đưa vào Data Warehouse, chúng sẽ đựơc chuẩn hoá theo thiết kế riêng của từng DW thông qua giai đoạn ETL. Khi đó mọi nguồn dữ liệu sẽ được tổng hợp lại thành một nguồn thống nhất . - Lưu trữ lâu dài
Dữ liệu trong data warehouse được lưu trữ trường kỳ theo một thời gian dài cho dù nó đã được thay đổi. Một hệ thống dữ liệu bình thường chỉ lưu trữ dữ liệu gần nhất của một trường nào đó, ví dụ như địa chỉ của 1 khách hàng, khi thay đổi nó, địa chỉ cũ vẫn được giữ lại thông qua các phương pháp Slowly Changing Dimensions ( sẽ được bàn kỹ vào các bài blog tiếp theo )
- Bất biến theo thời gian
Một khi dữ liệu đựơc đưa vào DW, nó chỉ đựơc thay đổi thông qua gói ETL ( nhưng dữ liệu cũ vẫn được giữ lại).
Kiến trúc của một Data Warehouse thông thường
- Data Source Layer (Lớp dữ liệu nguồn)
Dữ liệu vào DW có thể đến từ nhiều nguồn khác nhau và dưới các định dạng khác nhau như đơn thuần một file text, cơ sở dữ liệu quan hệ, file Excel… hoặc dữ liệu từ doanh nghiệp như dữ liệu về sản phẩm, thông tin lưu trữ về việc lướt web của ngừơi dùng lưu trên web server … - Data Extraction Layer
Đảm nhận việc trích dữ liệu từ nguồn để đưa vào hệ thống DW. sddsada - Staging Area
Đây là nơi mà dữ liệu sẽ được loại bỏ các trường dữ liệu thừa theo chuẩn của từng DW và chuỷên vào DW hoặc Data mart. - ETL Layer
Lớp này có nhiệm vụ thêm sự logic vào dữ liệu ( thường do yêu cầu riêng của doanh nghiệp ) .
- Data Storage Layer
Đây là nơi mà dữ liệu sau khi đã được lược bỏ và chuẩn hóa sẽ được lưu trữ. - Data Logic Layer
Các quy luật riêng của doanh nghiệp sẽ đươc lưu vào đây. Chúng không ảnh hưởng tới dữ liệu lưu trong DW nhưng sẽ tác động tới các dạng như báo cáo sau này.
- Data Presentation Layer
Lớp này đảm nhận việc “xuất” các thông tin hữu ích cho người dùng như bảng hoặc báo cáo đồ họa theo yêu cầu của doanh nghiệp trên web, dạng email báo cáo tự dộng tạo và gửi đi định kỳ hoặc … - Metadata Layer
Đây sẽ lưu trữ các thông tin về dữ liệu trong DW.
- System Operations Layer
Lưu lại thông tin về quá trình hoạt động của hệ thống DW như tình trạng của tiến trình ETL, năng suất của hệ thống và lưu lại lịch sử truy xuất của các user.
Giới thiệu Visual Studio LightSwitch
LightSwitch được thiết kế với mục đích giúp cho người lập trình tạo ra những ứng dụng cho doanh nghiệp một cách nhanh chóng và tiện lợi cho cả lập trình viên lẫn doanh nghiệp.Hiện nay phần lớn các ứng dụng business thường là dạng forms-over-data. Với các ứng dụng như vậy, tựu chung chỉ có vài chức năng cơ bản nhất như xem, chỉnh sửa, thêm xoá … dữ liệu. Việc phát triển những ứng dụng này với những tool thông thường, bạn phải tốn thời gian cho việc code cho từng phần cụ thể như kết nối cở sở dữ liệu, thiết kế giao diện và quy định các kiểm chứng cho dữ liệu… những công việc này cứ lặp đi lặp lại qua từng ứng dụng như thế, gây mất nhiều thời gian cho ngừơi lập trình. Visual Studio LightSwitch ra đời chính là để giải quyết vấn đề đó. Ngoài ra Visual Studio LightSwitch còn hỗ trợ sẵn các validation, hỗ trợ phân quỳên, có các data-type dành cho business như emailaddress, image… Hiện nay thì Visual Studio LightSwitch chỉ mới ra bản beta 1. Vậy sao không thử xem Visual Studio LightSwitch mặt mũi như thế nào để kịp làm quen khi Visual Studio LightSwitch ra bản chính thức nhỉ.
Lab : BookStore App
Trong bài lab này mình sẽ làm 1 ứng dụng quản lý sách ở mức đơn giản với Visual Studio LightSwitch.
Trước tiên bạn hãy tải Visual Studio LightSwitch beta 1 theo link sau nhe (bạn xem cấu hình yêu cầu trong đó luôn nhe) :
http://www.microsoft.com/visualstudio/en-us/lightswitch
Chú ý : Bản LightSwitch beta 1 không tương thích với VS 2010 SP1 beta. Nên nếu bạn đã cài VS 2010 SP1 beta thì không nên cài bản LightSwitch beta 1 này.
Sau khi cài đặt hoàn tất xong, bạn mở Visual Studio 2010 lên.
1. Chọn File >>> new project
2. Trong Installed Templates, bạn chọn lightswitch. Sau đó chọn lightswitch application theo ngôn ngữ mà bạn thích ( VB hay C#).
Vậy là bạn đã tạo xong 1 LightSwitch project rồi! Trong bài lab này có 2 task chính :
- Làm quen với LightSwitch.
- Làm việc với Table- Relationships.
Task 1 :
a) Tạo bảng TacGia
Khi tạo xong project, trong màn hình chính bạn hãy click vào “Create new table” .
Lập tức 1 bảng mới sẽ được tạo ra cho bạn. Bạn hãy thêm các field như trong hình sau :
Sau đó bạn save lại.
b) Hiển thị bảng TagGia trong Editable Grid Screen
Screen ( hay còn gọi là form) là nơi thể hiển dữ liệu, nơi giao tiếp với ngừơi dùng trong LightSwitch.
- Bạn tạo mới screen bằng cách click vào icon “Screen” trên thanh menu hoặc chuột phải folder Screens trong Solution Explorer rồi chọn add screen
- Sau đó bạn screen template là Editable Grid Screen và Screen data là TacGia.
- Sau khi chọn OK, bạn sửa lại thuộc tính Display Name trong cửa sổ properties thành TacGia.
Bây giờ bạn hãy chạy thử ứng dụng của bạn. Bạn hãy nhập thử dữ liệu vào form. Nếu có bất kỳ dữ liệu nào không hợp lệ ( như required field, sai data-type …) nó sẽ báo ngay cho bạn biết.Điều này chứng tỏ LightSwitch đã tích hợp sẵn các kiểu validation cho bạn.
Sau khi nhập xong dữ liệu bạn hãy save lại. Nếu không có sai sót gì về kiểu dữ liệu thì bạn sẽ save thành công.
Task 2 :
a) Tạo bảng Sach
Bạn làm như cách tạo bảng TacGia ở trên.
Chú ý : trong bảng Sach có field Theloai là 1 combox cho phép bạn chọn thể loại ( mà không cần nhập tay). Để làm được điều đó trong cửa sổ properties bạn chọn field TheLoai, sau đó nhấn vào Choice List. Thêm vào các thông tin như trong hình.
b) Tạo relationships giữa 2 bảng TacGia và Sach
Trên thanh menu bạn bấm vào nút Relationship. Sau đó bạn modify lại giống trong hình.
Chú ý : khi bạn thiết lập quan hệ cho 2 bảng. Ở phần dưới sẽ có các tóm tắt quan hệ đó như trong hình. Điều này giúp cho các ngừơi mới làm quen với cơ sở dữ liệu có thể dễ dàng nắm bắt hoặc tránh sai sót về sau.
Task 3 : Hiển thị dữ liệu Sach trong List and Details Screen
a Bạn làm giống bước Hiển thị bảng TagGia trong Editable Grid Screen như ở trên chỉ khác là bạn chọn List and Details Screen thay vì Editable Grid Screen
b Sau đó bạn nhập dữ liệu vào form Sach như bạn đã làm với bảng TacGia.
d) Save lại.
Vậy là bạn đã làm được 1 ứng dụng quản lý sách đơn giản trong thời gian rất ngắn.Nếu bạn review lại các bước làm thì sẽ thấy LightSwitch vô cùng đơn giản, dễ nắm bắt và tiện lợi vô cùng. Bài blog tiếp theo mình sẽ nâng cao ứng dụng quản lý sách để khám phá các tính năng nổi bật của LightSwitch.
Chúc các bạn ăn tết zui zẻ ! 😀
KhangTran's Blog 
